Сортировка томатов с помощью ESP32 и машинного обучения

Инженер создал устройство на базе ESP32, которое сортирует томаты по качеству с помощью машинного обучения. Проект показывает, как доступные микроконтроллеры и TinyML могут автоматизировать сельское хозяйство.

Сортировка томатов — это не просто «хороший или плохой», а целая система оценки: размер, цвет, наличие повреждений, степень зрелости. На крупных предприятиях для этого используют дорогие оптические сортировщики, но энтузиаст из сообщества Hackaday решил показать, что подобное можно собрать на базе ESP32 и машинного обучения. Получился компактный прототип, который способен распознавать дефекты и сортировать плоды в реальном времени.

Как работает сортировка томатов на ESP32

Основа проекта — микроконтроллер ESP32, камера и модель машинного обучения, обученная на изображениях томатов. Система делает снимок плода, обрабатывает его нейросетью и принимает решение: томат первой категории, второй или брак. Управление происходит через веб-интерфейс, а результаты выводятся на дисплей.

Автор использовал платформу Edge Impulse для обучения модели и оптимизировал её под ограниченные ресурсы ESP32. Модель работает локально, без облака, что важно для применения в полевых условиях или на небольших фермах. Вся обработка занимает доли секунды, что позволяет сортировать томаты в потоке, например, на конвейерной ленте.

По словам разработчика, точность распознавания достигает 90% на тестовой выборке. Конечно, это не уровень промышленных систем, но для малого бизнеса или образовательных целей — отличный старт.

Предыстория и контекст

Интерес к TinyML — машинному обучению на микроконтроллерах — растёт с каждым годом. ESP32 с его двухъядерным процессором и Wi-Fi стал любимой платформой для экспериментов. Уже есть проекты по распознаванию брака на производстве, сортировке мусора и даже диагностике растений. Этот проект — ещё одно подтверждение, что ИИ становится доступным каждому.

Раньше для подобных задач требовались мощные GPU и серверы, но теперь нейросети ужимаются до нескольких сотен килобайт и работают на батарейках. Это открывает новые возможности для автоматизации в сельском хозяйстве, особенно в развивающихся странах, где нет средств на дорогое оборудование.

Чем отличается от промышленных сортировщиков?

Промышленные системы, например, от компаний Tomra или Key Technology, используют многокамерные модули, инфракрасную спектроскопию и лазеры. Они стоят миллионы рублей и требуют специального обслуживания. Проект на ESP32 — это бюджетная альтернатива: стоимость компонентов не превышает нескольких тысяч рублей.

Конечно, точность и скорость несопоставимы: промышленные сортировщики обрабатывают тонны продукции в час, а прототип — единичные плоды. Но для небольших хозяйств, фермерских рынков или образовательных проектов такой подход может быть вполне достаточным.

Технические подробности

Схема проста: ESP32-CAM или аналогичная плата с камерой OV2640 подключается к сервоприводу или конвейеру. Модель обучена на датасете изображений томатов, размеченных по категориям. Использовалась архитектура MobileNet, ужатая до 16-битных весов. Встроенный TensorFlow Lite для микроконтроллеров позволяет выполнять инференс за ~100 мс.

Питание — от USB или аккумулятора, что делает устройство мобильным. Веб-интерфейс позволяет менять порог чувствительности и просматривать статистику. Исходный код и схема опубликованы на GitHub, так что любой желающий может повторить проект.

Кого затронет и как

Разработчики встраиваемых систем и любители DIY получат готовый пример интеграции ML в микроконтроллеры. Малые фермеры и переработчики овощей смогут оценить потенциал дешёвой автоматизации сортировки. Для образовательных учреждений это наглядный кейс по применению ИИ в реальной жизни.

В России и СНГ подобные разработки могут быть интересны тепличным хозяйствам, где ручная сортировка томатов остаётся трудоёмкой. Хотя проект не готов к промышленному использованию, он демонстрирует направление, в котором стоит развиваться.

Что будет дальше

Автор планирует улучшить модель, добавив распознавание степени зрелости и размера. Также в планах — интеграция с роботизированной рукой для автоматического перемещения плодов. Возможно, появятся коммерческие версии для малого бизнеса.

Индустрия TinyML продолжит развиваться: выходят новые чипы с нейроускорителями, например, ESP32-S3, которые позволяют запускать более сложные модели. Так что в ближайшие годы мы увидим ещё больше подобных проектов в сельском хозяйстве.

Итог

Проект сортировки томатов на ESP32 — яркий пример того, как современные технологии становятся доступными. Он показывает, что машинное обучение может работать на крошечных устройствах и решать реальные задачи. Следите за развитием этой темы — возможно, скоро такие устройства появятся на каждой ферме.