Перейти до вмісту

Як роботи навчилися працювати з незнайомими обʼєктами: адаптивний захват, машинний зір і штучний інтелект

Як промислові роботи навчилися розпізнавати та захоплювати незнайомі обʼєкти

Ще десять років тому промисловий робот міг працювати лише з деталями, чітко зафіксованими у визначеному положенні. Кожен обʼєкт мав лежати під конкретним кутом, у точно заданому місці — інакше маніпулятор просто промахувався. Будь-яка зміна номенклатури вимагала перепрограмування, а інженери витрачали тижні на налаштування нової задачі.

Ситуація радикально змінилася завдяки поєднанню трьох технологій: машинного зору, штучного інтелекту та адаптивних захватних пристроїв. Робот із такою комбінацією здатний побачити раніше невідому деталь, зрозуміти її геометрію та фізичні властивості, обрати оптимальну стратегію захвату і виконати задачу — без втручання оператора.

Від Dense Object Nets до сучасних рішень

Одним із перших проривів стала система Dense Object Nets (DON), розроблена в MIT. DON розкладала обʼєкт на тисячі координатних точок, запамʼятовувала їх розташування та шукала аналогії з раніше вивченими предметами. Якщо робот бачив кросівку — він розумів, де носок, де пʼята, де шнурівка, і піднімав будь-яке взуття однаковим способом. Кухоль із рідиною DON захоплювала за ручку незалежно від орієнтації.

Але DON мала суттєве обмеження: навчання одного обʼєкта займало близько 20 хвилин, а система працювала лише з обʼєктами, схожими на вже вивчені. Для промислового конвеєра, де щохвилини зʼявляються десятки різних деталей, цього було замало.

Наступне покоління систем — Dex-Net, GraspNet, а нещодавно Inbolt AI та B.AI від Blumenbecker — вирішили цю проблему через глибоке навчання на мільйонах синтетичних та реальних зображень. Замість аналізу одного обʼєкта 20 хвилин, такі системи генерують стратегію захвату менш ніж за секунду.

Bin picking: робот витягає деталі з контейнера

Задача bin picking (захват обʼєктів із контейнера з довільним розташуванням) десятиліттями вважалася «святим Граалем» робототехніки. Деталі лежать хаотично, частково перекривають одна одну, мають різні розміри та матеріали. Людина вирішує це інтуїтивно, а для робота це було непосильним завданням.

Рішення знайшлося у комбінації 3D-камери, змонтованої безпосередньо на маніпуляторі, та нейромережі, що працює в реальному часі. Сучасний цикл bin picking виглядає так:

  1. Сканування: 3D-камера будує хмару точок (point cloud) вмісту контейнера
  2. Сегментація: AI виділяє окремі обʼєкти, навіть якщо вони частково заховані під іншими
  3. Планування захвату: нейромережа генерує кілька варіантів захвату та обирає оптимальний за критеріями надійності, швидкості та безпеки
  4. Виконання: маніпулятор захоплює деталь, а AI продовжує уточнювати траєкторію руху під час переміщення (in-hand localization)
  5. Розміщення: обʼєкт точно встановлюється у цільову позицію

Рішення Inbolt, представлене наприкінці 2025 року, досягає швидкості менше 1 секунди на захват із показником успішності до 95%. Система вже працює на понад пʼяти промислових майданчиках.

Машинний зір: як робот «бачить» незнайомі обʼєкти

Основа адаптивної маніпуляції — це машинний зір. Сучасні системи використовують кілька типів сенсорів одночасно:

  • 2D-камери — для текстур, маркувань, кольорів
  • 3D-камери та структуроване світло — для точної геометрії обʼєктів
  • Time-of-Flight (ToF) сенсори — для швидкого визначення відстані
  • Тактильні датчики — для зворотного звʼязку під час захвату (сила стиснення, текстура поверхні, ковзання)

Дані з усіх сенсорів обʼєднуються (sensor fusion) і надходять у нейромережу, яка класифікує обʼєкт, визначає його масу, матеріал і крихкість. Для промислового обладнання на базі серводвигунів та ПЛК це означає безшовну інтеграцію між системою зору та виконавчими механізмами.

Адаптивні захватні пристрої

Навіть найкращий AI безпорадний, якщо захват фізично не може утримати деталь. Тому паралельно розвиваються адаптивні грипери — захватні пристрої, що підлаштовуються під форму обʼєкта:

  • Мʼякі (soft) грипери — з еластичних полімерів або пневматичних камер, що обгортають обʼєкт довільної форми. Ідеальні для крихких предметів: скло, електроніка, харчові продукти
  • Вакуумні присоски з адаптивною зоною — набір присосок різного діаметра, що активуються залежно від поверхні обʼєкта
  • Багатопальцеві грипери — механічні «пальці» з індивідуальним керуванням кожним, що дозволяє захоплювати обʼєкти від дрібних гвинтів до великих корпусів
  • Магнітні захвати — для металевих деталей, з регульованою силою магнітного поля через електромагніти

Найпросунутіші системи комбінують два-три типи захвату в одному інструменті та автоматично перемикаються між ними залежно від розпізнаного обʼєкта.

Традиційні vs адаптивні роботи: порівняння

Параметр Традиційний промисловий робот Робот з адаптивним AI-захватом
Розпізнавання обʼєктів Тільки завчасно запрограмовані деталі Будь-які обʼєкти, включно з раніше невідомими
Час перенастроювання Години або дні (перепрограмування) Секунди (автоматична адаптація)
Точність позиціювання Висока, але лише для фіксованих позицій Висока для довільних позицій та орієнтацій
Bin picking Неможливий без додаткових систем Вбудована функція з успішністю 90-95%
Робота з крихкими обʼєктами Ризик пошкодження (фіксована сила) Адаптивна сила захвату з тактильним зворотним звʼязком
Вартість інтеграції Нижча початкова, вища при зміні продукції Вища початкова, значно нижча при зміні продукції
Номенклатура обʼєктів Обмежена (зазвичай 1-5 типів) Необмежена
Навчання системи Ручне програмування точок Автоматичне через нейромережу або демонстрацію

Колаборативні роботи (коботи) з адаптивним захватом

Коботи — це роботи, спроєктовані для безпечної роботи поруч із людиною без огороджень. Поєднання коботів з адаптивним AI-захватом відкрило нові сценарії: робот може працювати на тій самій лінії, що й оператор, перехоплюючи важкі або монотонні операції.

Лідери ринку промислових роботів — FANUC з серією CRX, ABB з коботами YuMi, KUKA з LBR iiwa та Universal Robots — активно інтегрують AI-зір у свої колаборативні платформи. FANUC, наприклад, уклала партнерство з Inbolt для впровадження точних операцій на конвеєрах, що рухаються, — General Motors став першим замовником цього рішення.

Ринок колаборативних роботів зростає з 1,42 мільярда доларів у 2025 році до прогнозованих 3,38 мільярда доларів у 2030 році (CAGR 18,9%).

Роль частотних перетворювачів та ПЛК в адаптивній робототехніці

За плавністю руху робота-маніпулятора стоїть точне керування електродвигунами. Частотні перетворювачі (VFD) забезпечують безступінчасте регулювання швидкості обертання двигунів, що критично для адаптивного захвату: робот має плавно підводити захватний пристрій, зменшувати швидкість при наближенні до обʼєкта та миттєво реагувати на сигнали від тактильних датчиків.

Програмовані логічні контролери (ПЛК) координують усі компоненти системи — від камер машинного зору до серводвигунів осей маніпулятора. У сучасних рішеннях ПЛК взаємодіє з AI-модулем через промислові протоколи (EtherCAT, PROFINET), передаючи команди з мілісекундною точністю.

Системи на базі серводвигунів забезпечують позиціювання з точністю до сотих часток міліметра. Для bin picking це означає, що робот може дістати дрібний гвинт із купи деталей, не зачепивши сусідні.

Промислові протоколи звʼязку для AI-роботів

Інтеграція нейромережі з виконавчими механізмами вимагає швидких промислових мереж. Основні протоколи:

  • EtherCAT — цикл оновлення менше 100 мікросекунд, стандарт для серводвигунів
  • PROFINET IRT — синхронізація з точністю до 1 мікросекунди
  • OPC UA — обмін даними між AI-сервером та ПЛК
  • ROS 2 — фреймворк для програмування роботів з підтримкою AI-модулів

Практичні застосування адаптивних роботів

Логістика та складське господарство

Amazon, Walmart та інші гіганти електронної комерції використовують адаптивних роботів для сортування посилок різних розмірів і форм. Один робот обробляє тисячі унікальних товарних позицій на добу — від косметики до побутової техніки.

Автомобільна промисловість

Завантаження заготовок у верстати ЧПУ, перекладання деталей між етапами обробки, фінальна інспекція якості — всі ці операції автоматизуються через адаптивний bin picking. General Motors вже впроваджує систему FANUC + Inbolt на своїх заводах.

Електронна промисловість

Захват дрібних компонентів (мікросхеми, конденсатори, розʼєми) з лотків-подавачів вимагає одночасно високої точності та обережності. Плати розширення і модулі для контролерів автоматизації демонструють рівень мініатюризації, з яким мають справу сучасні роботи.

Фармацевтика та харчова промисловість

Мʼякі грипери дозволяють працювати з крихкими продуктами: скляні ампули, упаковки з ліками, кондитерські вироби. Робот адаптує силу захвату під кожен конкретний предмет.

Технології навчання роботів

Як саме нейромережа «розуміє», як захопити незнайомий обʼєкт? Існує кілька підходів:

Навчання на синтетичних даних (Sim-to-Real)

AI тренується в 3D-симуляторі (Isaac Sim від NVIDIA, MuJoCo, PyBullet), де генеруються мільйони випадкових обʼєктів з різними формами, текстурами та фізичними властивостями. Робот у віртуальному середовищі пробує тисячі стратегій захвату, і навчена модель потім переноситься на реальне обладнання.

Навчання через демонстрацію (Learning from Demonstration)

Оператор вручну проводить робота через задачу кілька разів, а AI узагальнює ці приклади. Цей підхід використовують для швидкого розгортання нових задач без глибоких знань програмування.

Навчання з підкріпленням (Reinforcement Learning)

Робот самостійно експериментує, отримуючи «нагороду» за успішний захват і «штраф» за невдачу. Через мільйони спроб AI знаходить оптимальну стратегію. Цей метод дає найкращі результати, але вимагає значних обчислювальних ресурсів.

Майбутнє: що далі

Наступний крок — foundation models для робототехніки. Так само, як GPT працює з текстом, а DALL-E з зображеннями, нові моделі (Google RT-2, Open X-Embodiment) навчаються розуміти фізичний світ і генерувати дії робота на основі текстових або візуальних інструкцій. Робот зможе виконати команду «підніми червону деталь і постав її на конвеєр» без будь-якого програмування.

Для промислової автоматизації це означає перехід від «налаштування кожної задачі» до «пояснення задачі». А компоненти, що забезпечують рух і контроль — частотні перетворювачі, серводвигуни, контролери — залишаться фундаментом, на якому працюватиме наступне покоління інтелектуальних роботів. Більше про практичне використання цих компонентів — у нашій статті про застосування частотних перетворювачів та концепції промислової автоматизації.

Поширені запитання

Bin picking — це технологія автоматичного захвату обʼєктів із контейнера, де деталі розташовані хаотично. Робот за допомогою 3D-камери та нейромережі розпізнає окремі предмети, обирає оптимальну стратегію захвату та витягує деталі зі швидкістю менше 1 секунди на захват. Це дозволяє автоматизувати завантаження верстатів ЧПУ, сортування на складах і пакувальних лініях.