Искусственный интеллект в производстве - модный термин. При описании решений для обнаружения дефектов на основе ИИ часто речь идет о технологии визуального контроля, основанной на глубоком обучении и компьютерном зрении.

Что такое глубокое обучение при визуальном осмотре?

Глубокое обучение - это аспект технологии машинного обучения, основанный на искусственных нейронных сетях. Принцип работы технологии глубокого обучения - научить машины учиться на собственном примере. Предоставляя нейронную сеть с помеченными примерами конкретных типов данных, можно извлечь общие закономерности между этими примерами и затем преобразовать их в математическое уравнение. Это помогает классифицировать будущую информацию.

Благодаря технологии визуального контроля интеграция алгоритмов глубокого обучения позволяет различать части, аномалии и символы, которые имитируют визуальный осмотр человека при работе компьютеризированной системы. 

Итак, что именно это означает? Возьмем пример:

Если вам нужно было создать программное обеспечение для визуального контроля для автомобилестроения, вам следует разработать алгоритм, основанный на глубоком обучении, и обучить его примерам дефектов, которые оно должно обнаружить. При наличии достаточного количества данных нейронная сеть в конечном итоге обнаружит дефекты без каких-либо дополнительных инструкций.

Системы визуального контроля, основанные на глубоком обучении, хороши для обнаружения сложных по своей природе дефектов. Они обращаются к сложным поверхностям и косметическим дефектам, а также обобщают и концептуализируют поверхности деталей.

Как интегрировать систему визуального контроля AI

1. Сформулируйте проблему

Разработка визуального контроля часто начинается с бизнес-анализа и технического анализа. Цель здесь - определить, какие дефекты должна обнаруживать система.

Другие важные вопросы, которые следует задать:

• Что такое среда системы визуального контроля?
• Следует ли проводить проверку в реальном времени или отложить? 
• Насколько тщательно система визуального контроля должна обнаруживать дефекты и должна ли она различать их по типу?
• Есть ли какое-либо существующее программное обеспечение, которое интегрирует функцию визуального контроля, или оно требует разработки с нуля?
• Как система должна уведомлять пользователя (-ей) об обнаруженных дефектах?
• Должна ли система визуального контроля регистрировать статистику обнаружения дефектов?
• И ключевой вопрос: существуют ли данные для разработки модели глубокого обучения, включая изображения «хороших» и «плохих» продуктов и различных типов дефектов?

Инженеры по обработке и анализу данных выбирают оптимальное техническое решение и последовательность действий на основе полученных ответов.

2. Сбор и подготовка данных

Инженеры по обработке и анализу данных должны собрать и подготовить данные, необходимые для обучения будущей модели, до начала разработки модели глубокого обучения. Для производственных процессов важно внедрить аналитику данных Интернета вещей. При обсуждении моделей визуального контроля данные часто представляют собой видеозаписи, где изображения, обработанные с помощью модели визуального контроля, включают видеокадры. Существует несколько вариантов сбора данных, но наиболее распространенными являются:

1. Снятие существующей видеозаписи, предоставленной клиентом
2. Получение видеозаписей с открытым исходным кодом, применимых для определенных целей
3. Сбор данных с нуля в соответствии с требованиями модели глубокого обучения

Самыми важными параметрами здесь являются качество видеозаписи. Более качественные данные приведут к более точным результатам. 

Собрав данные, мы готовим их к моделированию, очищаем, проверяем на наличие аномалий и обеспечиваем актуальность.

3. Разработайте модель глубокого обучения.

Выбор подхода к разработке модели глубокого обучения зависит от сложности задачи, требуемого времени выполнения и бюджетных ограничений. Есть несколько подходов:

Использование службы разработки моделей глубокого обучения (например, Google Cloud ML Engine, Amazon ML и т. Д.)

Такой подход имеет смысл, когда требования к функциям обнаружения дефектов соответствуют шаблонам, предоставляемым данной службой. Эти услуги могут сэкономить время и бюджет, поскольку нет необходимости разрабатывать модели с нуля. Вы должны загрузить данные и настроить параметры модели в соответствии с соответствующими задачами. 

В чем подвох? Эти типы моделей не подлежат настройке. Возможности моделей ограничены опциями, предоставляемыми данной услугой.

Использование предварительно обученных моделей

Предварительно обученная модель - это уже созданная модель глубокого обучения, которая выполняет задачи, аналогичные тем, что мы хотим выполнить. Нам не нужно строить модель с нуля, поскольку она использует обученную модель, основанную на наших данных.

Предварительно обученная модель может не на 100% соответствовать всем нашим задачам, но она обеспечивает значительную экономию времени и средств. Использование моделей, ранее обученных на больших наборах данных, позволяет нам настраивать эти решения в соответствии с нашей проблемой. 

Разработка модели глубокого обучения с нуля

Этот метод идеален для сложных и безопасных систем визуального контроля. Подход может потребовать много времени и усилий, но результат того стоит. 

При разработке пользовательских моделей визуального контроля специалисты по данным используют один или несколько алгоритмов компьютерного зрения. К ним относятся классификация изображений, обнаружение объектов и сегментация экземпляров.

На выбор алгоритма (ов) глубокого обучения влияют многие факторы. Это включает:

• Бизнес-цели
• Размер объектов / дефектов 
• Условия освещения
• Количество продуктов для проверки
• Типы дефектов
• Разрешение изображений

Пример категорий дефектов:

Допустим, мы разрабатываем модель визуального осмотра для оценки качества зданий. Основное внимание уделяется обнаружению дефектов на стенах. Для получения точных результатов визуального осмотра необходим обширный набор данных, поскольку категории дефектов могут быть невероятно разнообразными, от отслаивающейся краски и плесени до трещин в стенах. Оптимальным подходом здесь была бы разработка модели на основе сегментации экземпляров с нуля. В некоторых случаях также возможен подход с предварительно обученной моделью.

Другой пример - визуальный осмотр фармацевтического производства, при котором вы хотите отличить пузырьки воздуха от частиц в таких продуктах, как высоковязкие исходные растворы. Наличие пузырьков - единственная категория дефектов, поэтому требуемый набор данных не будет таким обширным, как в приведенном выше примере. Оптимальный подход к разработке модели глубокого обучения может заключаться в использовании службы разработки модели вместо разработки ее с нуля.

4. Тренируйте и оценивайте

Следующим шагом после разработки модели визуального контроля является ее обучение. На этом этапе специалисты по обработке данных проверяют и оценивают производительность и точность результатов модели. Здесь пригодится тестовый набор данных. Система визуального контроля может быть набором видеозаписей, которые либо устарели, либо похожи на те, которые мы хотим обработать после развертывания.

5. Развертывание и улучшение

При развертывании модели визуального контроля важно учитывать, насколько архитектура программного и аппаратного обеспечения системы соответствует мощности модели.

Software 

Структура программного обеспечения, основанного на визуальном контроле, основана на сочетании веб-решений для передачи данных и инфраструктуры Python для обработки нейронных сетей. 

Ключевой параметр здесь - хранение данных. Существует три распространенных способа хранения данных: на локальном сервере, в облачной потоковой службе или в бессерверной архитектуре. 

Система визуального осмотра предполагает хранение видеозаписей. Выбор решения для хранения данных часто зависит от функциональности модели глубокого обучения. Например, если система визуального контроля использует большой набор данных, оптимальным выбором может быть облачная потоковая служба.

Аппаратные средства

В зависимости от отрасли и процессов автоматизации, устройства, необходимые для интеграции системы визуального контроля, могут включать:

• камера: Основная опция камеры - потоковое видео в реальном времени. Некоторые примеры включают IP и CCTV.
• Шлюз: Как специализированные аппаратные устройства, так и программное обеспечение хорошо подходят для системы визуального контроля.
• ЦП/ГП: Если необходимы результаты в реальном времени, графический процессор будет лучшим выбором, чем ЦП, поскольку первый может похвастаться более высокой скоростью обработки, когда речь идет о моделях глубокого обучения на основе изображений. Можно оптимизировать ЦП для работы с моделью визуального контроля, но не для обучения. Примером оптимального графического процессора может быть Джетсон Нано. 
• Фотометр (необязательно): в зависимости от условий освещения среды системы визуального контроля могут потребоваться фотометры.
• колориметр (опционально): при обнаружении цвета и яркости в источниках света колориметры визуализации имеют неизменно высокое пространственное разрешение, что позволяет проводить детальные визуальные проверки. 
• Термографическая камера (необязательно): В случае автоматизированного обследования пароводяных трубопроводов и оборудования рекомендуется иметь данные термографической камеры. Данные термографической камеры предоставляют ценную информацию для обнаружения утечки тепла / пара / воды. Данные тепловизионной камеры также полезны для проверки теплоизоляции.
• беспилотники (опционально): В настоящее время сложно представить автоматизированное обследование труднодоступных мест без дронов: внутренние устройства зданий, газопроводы, визуальный осмотр танкеров, осмотр ракет / шаттлов. Дроны могут быть оснащены камерами высокого разрешения, которые могут обнаруживать дефекты в реальном времени.

Модели глубокого обучения открыты для улучшения после развертывания. Подход глубокого обучения может повысить точность нейронной сети за счет итеративного сбора новых данных и повторного обучения модели. В результате получается «более умная» модель визуального контроля, которая обучается путем увеличения объема данных во время работы.

Варианты использования визуального осмотра

Здоровье

В рамках борьбы с COVID-19 большинство аэропортов и пограничных переходов теперь могут проверять пассажиров на наличие признаков заболевания.

BaiduКрупная китайская технологическая компания разработала масштабную систему визуального контроля, основанную на искусственном интеллекте. Система состоит из камер компьютерного зрения и инфракрасных датчиков, которые прогнозируют температуру пассажиров. Технология, действующая в Пекинский вокзал Цинхэ, может показывать до 200 человек в минуту. Алгоритм AI обнаруживает любого, у кого температура выше 37.3 градуса.

Другой пример из реальной жизни - система на основе глубокого обучения, разработанная Алибаба Компания. Система может обнаружить коронавирус на компьютерной томографии грудной клетки с точностью 96%. Имея доступ к данным о 5,000 случаях COVID-19, система выполняет тест за 20 секунд. Более того, он может отличить обычную вирусную пневмонию от коронавируса.

Авиакомпании

По данным Boeing, 70% рынка аэрокосмических услуг стоимостью 2.6 триллиона долларов США посвящено качеству и техническому обслуживанию. В 2018 году Airbus представил новый автоматизированный, система досмотра самолетов на базе дронов это ускоряет и облегчает визуальный осмотр. Эта разработка сокращает время простоя самолетов, одновременно повышая качество отчетов об инспекциях.

Автомобильная

Toyota недавно согласилась выплатить 1.3 миллиарда долларов из-за неисправности, из-за которой автомобили разгонялись, даже когда водители пытались замедлить скорость, что привело к 6 смертельным случаям в США. Cognex Видипроизводители автомобилей могут гораздо точнее анализировать и выявлять проблемы с качеством и решать их до того, как они возникнут.

Производство компьютерной техники

Спрос на печатные платы меньшего размера растет. Fujitsu Laboratories возглавляет разработку Системы распознавания с поддержкой искусственного интеллекта для электронной промышленности. Они сообщают о значительном прогрессе в области качества, стоимости и доставки.

Текстиль

Благодаря внедрению автоматизированного визуального контроля и подхода глубокого обучения теперь можно обнаруживать проблемы с текстурой, плетением, вышивкой и соответствием цветов.

Например, Система искусственного интеллекта Datacolor может учитывать исторические данные прошлых визуальных проверок для создания настраиваемых допусков, которые более точно соответствуют образцам.

В заключение мы приведем цитату генерального менеджера, о которой мы упоминали ранее: «Для меня не имеет значения, является ли предлагаемая технология лучшей, но меня действительно волнует, насколько хорошо она решит мои проблемы».

Солнечные панели

Солнечные панели, как известно, страдают от пыли и микротрещин. Автоматическая проверка солнечных панелей во время производства, а также до и после установки - хорошая идея для предотвращения отправки неисправных солнечных панелей и быстрого обнаружения поврежденных панелей на вашей солнечной ферме. Например, DJI Enterprise использует дроны для осмотра солнечных батарей.

Инспекция трубопроводов

Известно, что газо- и нефтепроводы имеют огромную протяженность. Последние данные за 2014 год дают в общей сложности чуть меньше 2,175,000 3,500,000 120 миль (XNUMX XNUMX XNUMX км) трубопроводов в XNUMX странах мира. Утечки газа и нефти могут нанести огромный вред природе в результате химического загрязнения, взрывов и пожаров.

Осмотр со спутников и дронов с помощью техники компьютерного зрения - хороший инструмент для раннего обнаружения и локализации утечки газа / нефти. Недавно DroneDeploy переправу что они нанесли на карту около 180 миль трубопроводов.

Визуальный контроль AI: основные выводы

1. Концепция: Все визуальное обследование основано на традиционных методах компьютерного зрения и человеческого зрения.
2. Выбор: Подход к разработке модели глубокого обучения зависит от задачи, сроков поставки и ограничений бюджета.
3. Алгоритм: Алгоритмы глубокого обучения обнаруживают дефекты, имитируя анализ, выполненный человеком, при работе компьютеризированной системы.
4. Архитектура: Программное и аппаратное обеспечение должно соответствовать возможностям модели глубокого обучения.
5. Главный вопрос: При инициировании визуального осмотра главный вопрос: «Какие дефекты должна обнаруживать система?»
6. Улучшения: После развертывания модель глубокого обучения становится «умнее» за счет накопления данных.

PlatoAi. Web3 в новом свете. Расширенный анализ данных.
Щелкните здесь, чтобы получить доступ.

Источник: https://www.iotforall.com/ai-visual-inspection-for-defect-detection-in-manufacturing