Частный повар снял мою кухню для обучения роботов: репортаж изнутри

Немецкий стартап Nyota отправил к журналисту Wired частного повара, оснащённого камерой на голове. В обмен на бесплатный обед автор согласился, чтобы каждое движение повара — от нарезки овощей до помешивания соуса — было записано и использовано для обучения роботов. Это часть программы сбора данных для тренировки человекоподобных роботов, которые в будущем смогут выполнять сложные задачи на кухне. Такой подход позволяет собирать реалистичные данные о повседневных действиях, которые затем применяются для обучения нейросетей. Вместо того чтобы программировать каждое движение вручную, компания использует демонстрации реальных людей, что значительно ускоряет процесс и делает роботов более адаптивными к непредсказуемым условиям домашней кухни.

Как частный повар стал инструктором для роботов

Стартап Nyota, основанный выпускниками Мюнхенского технического университета, ищет способы ускорить обучение роботов бытовым навыкам. Вместо того чтобы программировать каждое движение вручную, компания собирает данные с реальных людей, выполняющих повседневные задачи. Повар, нанятый стартапом, пришёл в квартиру журналиста с портативной камерой, закреплённой на обруче, и приготовил трёхблюдный обед. Каждый этап — от чистки картофеля до сервировки — фиксировался в высоком разрешении. После еды данные были отправлены в облако для обработки и последующего обучения нейросетей. Такой метод позволяет получить не только визуальную информацию, но и тактильные ощущения через звуки и движения рук.

Предыстория и контекст

Обучение роботов через демонстрацию (imitation learning) — активно развивающееся направление в робототехнике. Крупные компании, такие как Tesla и Figure, уже используют этот подход, но им не хватает качественных данных из реальных домохозяйств. Nyota решает проблему, нанимая людей для выполнения задач в естественной среде. Кухня — идеальный полигон: она требует мелкой моторики, координации и адаптации к непредсказуемым условиям (например, разный размер продуктов). Запись одного обеда даёт около 10 часов видеоданных, которые затем размечаются и используются для тренировки моделей. В отличие от симуляций, данные из реальной жизни содержат шумы и вариации, что делает обучение более robust. По словам основателя стартапа, цель — собрать 1000 часов кухонных демонстраций к концу года.

Какие задачи решает обучение роботов на кухне?

Кухня представляет собой уникальную среду с множеством переменных: продукты разной формы и текстуры, инструменты, требующие точного захвата, и последовательность действий, которую нужно соблюдать. Роботы, обученные на реальных данных, могут научиться адаптироваться к этим условиям. Например, они смогут определять степень зрелости фруктов по звуку при нарезке или корректировать силу захвата в зависимости от хрупкости предмета. Это критически важно для создания действительно полезных домашних помощников, которые не будут ронять посуду или давить помидоры.

Технические подробности: как собирают данные

Камера повара записывает видео в 4K при 60 кадрах в секунду. Дополнительно используется стереозвук для определения текстур (например, звук нарезки хлеба отличается от нарезки огурца). Каждое видео затем проходит через pipeline: сначала детекция объектов (продукты, инструменты), затем трекинг рук и инструментов, и наконец, извлечение траекторий. Nyota использует комбинацию open-source моделей (MediaPipe, YOLO) и собственных наработок. Обработка одного обеда занимает около суток на GPU-кластере. Полученные данные затем применяются для fine-tuning модели робота, который учится повторять движения в симуляторе перед переносом на реальное железо. Такой подход минимизирует риск поломок и ускоряет итерации.

Кого затронет и как

Для разработчиков робототехники это означает появление более доступного источника качественных данных. Для потребителей — возможное ускорение выхода домашних роботов-помощников, способных готовить и убирать. Повара и работники кухонь могут столкнуться с изменением спроса: если роботы научатся готовить, часть низкоквалифицированных позиций может исчезнуть. В России и СНГ подобные стартапы пока не активны, но интерес к сбору данных растёт: например, лаборатории Сколтеха и МФТИ уже экспериментируют с imitation learning для промышленных роботов. Однако важно понимать, что автоматизация кухонь — это не только угроза, но и возможность для повышения эффективности и безопасности труда.

Что будет дальше

Nyota планирует расширить программу на другие комнаты: ванную, гостиную, спальню. Компания ищет партнёров среди производителей бытовой техники и робототехнических стартапов. Если сбор данных пойдёт по плану, первые прототипы роботов, обученных на этих записях, могут появиться через два года. Однако остаются вопросы: как масштабировать сбор данных на тысячи домохозяйств и как обеспечить конфиденциальность участников. Nyota утверждает, что все лица и адреса размываются перед передачей данных. Кроме того, компания разрабатывает методы анонимизации, чтобы исключить утечку личной информации.

Итог

Идея использовать частных поваров для обучения роботов — необычный, но эффективный подход к сбору данных. Он показывает, что будущее домашних роботов может быть построено на реальных человеческих навыках, а не только на синтетических симуляциях. Следить за развитием Nyota стоит всем, кто интересуется робототехникой и автоматизацией быта. Этот эксперимент демонстрирует, как инновации в сборе данных могут приблизить эру умных помощников, способных облегчить повседневную жизнь.