Amazon Lookout für Vision ist ein maschineller Lerndienst, der mithilfe von Computer Vision Fehler und Anomalien in visuellen Darstellungen erkennt. Mit Amazon Lookout for Vision können produzierende Unternehmen die Qualität steigern und die Betriebskosten senken, indem sie schnell Unterschiede in den Bildern von Objekten im Maßstab erkennen.

Basler und Amazon Lookout for Vision haben gemeinsam das „Amazon Lookout for Vision Accelerator PoC-Kit“ (APK) auf den Markt gebracht, mit dem Kunden in weniger als sechs Wochen einen Lookout for Vision PoC durchführen können. Das APK ist ein sofort einsatzbereites Bildverarbeitungssystem (Hardware + Software) zum Erfassen und Übertragen von Bildern an den Lookout for Vision-Dienst sowie zum Trainieren / Bewerten von Lookout for Vision-Modellen. Das APK vereinfacht die Auswahl / Installation der Kamera sowie das Erfassen / Analysieren von Bildern und ermöglicht es Ihnen, die Leistung von Lookout for Vision schnell zu überprüfen, bevor Sie zu einem Produktionssetup wechseln.

Die meisten Fertigungs- und Industriekunden haben mehrere Anwendungsfälle (z. B. mehrere Produktionslinien oder mehrere Produkt-SKUs), in denen Amazon Lookout for Vision Unterstützung bei der automatisierten visuellen Inspektion bieten kann. Mit der APK können Kunden das Kit verwenden, um zuerst die Lookout for Vision-Funktionen für ihren Anwendungsfall zu testen und dann eine maßgeschneiderte Vision-Lösung für mehrere Linien zu kaufen. Ohne die APK müssten Sie ein Vision-System beschaffen und einrichten, das in Amazon Lookout for Vision integriert ist. Dies ist ressourcen- und zeitaufwändig und kann den PoC-Start verzögern. Das integrierte Hardware- und Software-Design des APK umfasst eine automatisierte AWS Cloud-Verbindung, Bildvorverarbeitung und direkte Bildübertragung an Amazon Lookout for Vision - das spart Ihnen Zeit und Ressourcen.

Die APK soll von technischem Personal mit leicht zu befolgenden Anweisungen eingerichtet und installiert werden.

Mit der APK können Sie schnell Bilder erfassen und übertragen, Amazon Lookout for Vision-Modelle trainieren, Schlussfolgerungen zur Erkennung von Anomalien ziehen und die Modellleistung bewerten. Das folgende Diagramm zeigt unsere Lösungsarchitektur.

Das Kit ist ausgestattet mit:

1. Basler Ass Kamera
2. Kameraobjektiv
3. USB-Kabel
4. Netzwerkkabel
5. Netzkabel für das Ringlicht
6. Basler Standard Ringlicht
7. Basler Kamerahalterung
8. NVIDIA Jetson Nano Entwicklungsboard (in seinem Gehäuse)
9. Netzteil der Entwicklungsplatine

Siehe entsprechende Elemente im folgenden Bild:

Im nächsten Abschnitt werden die Schritte zum Erfassen eines Bilds, Extrahieren des interessierenden Bereichs (ROI) mit Bildvorverarbeitung, Hochladen von Schulungsbildern in einen Amazon S3-Bucket (Simple Storage Service) und Trainieren eines Amazon Lookout for Vision-Modells beschrieben und Ausführen von Inferenzen auf Testbildern. Die Zug- und Testbilder sind von einer Leiterplatte. Das Lookout for Vision-Modell lernt, Bilder in Normalen und Anomalien (Kratzer, verbogene Stifte, schlechtes Lötmittel und fehlende Komponenten) zu klassifizieren. In diesem Blog erstellen wir einen Trainingsdatensatz mit der Funktion "Automatisch teilen" von Lookout for Vision auf der Konsole mit einem einzigen Datensatz. Mit dem Kit können Sie auch einen separaten Trainings- und Testdatensatz einrichten.

Kit-Setup

Führen Sie die folgenden Schritte aus, nachdem Sie das Kit entpackt haben:

1. Schrauben Sie das Objektiv fest auf die Kamerahalterung.
2. Schließen Sie die Kamera mit dem mitgelieferten USB-Kabel an die Karte an.
3. Verwenden Sie für schlecht beleuchtete Bereiche das mitgelieferte Ringlicht. Hinweis: Wenn Sie das Ringlicht zum Trainieren von Bildern verwenden, sollten Sie es auch zum Erfassen von Inferenzbildern verwenden.

4. Verbinden Sie die Karte mit einem Netzwerkkabel mit dem Netzwerk (Sie können optional das mitgelieferte Kabel verwenden).
5. Schließen Sie die Karte an die Stromversorgung an und schließen Sie sie an. Beachten Sie in der Abbildung unten, dass der Kameraständer und die Basisplattform ein Beispielset zeigen, diese jedoch nicht als Teil der APK bereitgestellt werden.

6. Beim ersten Einschalten des Systems müssen ein Monitor, eine Tastatur und eine Maus angeschlossen sein.
7. Akzeptieren Sie beim ersten Start die Endbenutzer-Lizenzvereinbarung von NVIDIA. Sie sehen eine Reihe von Eingabeaufforderungen zum Einrichten des Speicherorts, des Benutzernamens und des Kennworts usw. Weitere Informationen finden Sie unter Weitere Informationen finden Sie im ersten Abschnitt zum Booten bei der Ersteinrichtung.
8. Melden Sie sich mit dem Benutzernamen und dem Passwort bei APK an. Sie sehen den folgenden Bildschirm. Rufen Sie das Linux-Terminalfenster über das Suchsymbol auf (grünes Symbol oben links). Dies zeigt die APK-IP-Adresse an.

9. Geben Sie den Befehl "ip addr show" ein. Dadurch wird die APK-IP-Adresse angezeigt (z. B. 192.168.0.22, wie im folgenden Screenshot gezeigt).

10. Rufen Sie Ihren Chrome-Browser auf einem Computer im selben Netzwerk auf und geben Sie die APK-IP-Adresse ein. Auf der Webseite des Kits sollte ein Live-Stream von der Kamera angezeigt werden.

Jetzt können wir das optische Setup durchführen (wie im nächsten Abschnitt beschrieben) und mit dem Aufnehmen von Bildern beginnen.

Bilderfassung, Vorverarbeitung und Einrichtung der Cloud-Verbindung

1. Wählen Sie, während der Browser ausgeführt wird und die Webseite des Kits anzeigt Konfiguration.

In wenigen Sekunden wird ein Livebild von der Kamera angezeigt.

2. Erstellen Sie ein AWS-Konto, falls Sie noch keines haben. Man kann kostenlos ein AWS-Konto erstellen. Der neue Benutzer hat in den ersten 12 Monaten Zugriff auf den kostenlosen AWS-Tier-Service. Weitere Informationen finden Sie unter Erstellen und Aktivieren eines neuen AWS-Kontos.
3. Jetzt richten Sie die Verbindung in der Cloud zu Ihrem AWS-Konto ein.
4. Auswählen Erstellen Sie AWS-Ressourcen.

5. Wählen Sie im angezeigten Dialogfeld Erstellen Sie AWS-Ressourcen.

Sie werden zur AWS Management Console weitergeleitet, wo Sie aufgefordert werden, den AWS CloudFormation-Stack auszuführen.

6. Erstellen Sie im Rahmen der Erstellung des Stapels einen S3-Bucket in der angegebenen Region. Aktivieren Sie das Kontrollkästchen, um IAM-Ressourcen (AWS Identity and Access Management) zu erstellen.
7. Auswählen Stapel erstellen.

8. Wenn der Stapel erstellt wird, klicken Sie auf Ausgänge Kopieren Sie den Wert für DeviceCertUrl.

9. Kehren Sie zur Webseite des Kits zurück und geben Sie den URL-Wert ein.
10. Wählen Sie OK
11. Sie werden zurück zum Livebild geleitet. Das Setup ist nun abgeschlossen.
12. Stellen Sie die Kamera in einiger Entfernung vom zu inspizierenden Objekt auf, sodass sich das Objekt vollständig in der Live-Kameraansicht befindet und die Ansicht so weit wie möglich ausfüllt.
13. Als allgemeine Richtlinie sollte der Bediener in der Lage sein, die Anomalie im Bild zu erkennen, damit die Amazon Lookout for Vision-Modelle die Fehler aus dem normalen Bild lernen können. Da die mitgelieferte Linse einen minimalen Abstand zum Objekt von 100 Millimetern hat, sollte das Objekt auf oder größer als der minimale Abstand platziert werden.
14. Wenn das Objekt in dieser Entfernung das Bild nicht ausfüllt, können Sie den Hintergrund mit dem unten beschriebenen ROI-Tool (Region-of-Interest) ausschneiden.
15. Überprüfen Sie den Fokus und ändern Sie entweder den Abstand des Objekts zum Objektiv oder drehen Sie den Fokus auf das Objektiv (höchstwahrscheinlich eine Kombination).
16. Wenn das Livebild zu dunkel oder zu hell erscheint, passen Sie das an Gewinnen und Belichtungszeiten Hinweis: Zu viel Verstärkung führt zu mehr Bildrauschen und eine lange Belichtungszeit führt zu Unschärfe, wenn sich das Objekt bewegt.

17. Wenn das Objekt fokussiert ist und einen großen Teil des Bildes einnimmt, verwenden Sie das ROI-Tool, um unnötige „Hintergrundinformationen“ zu reduzieren.

18. Das ROI-Tool wählt den relevanten Teil des Bildes aus und reduziert Hintergrundinformationen. Das Bild im ROI wird an den Amazon S3-Bucket gesendet und für das Lookout for Vision-Training und die Inferenz verwendet.

19. Auswählen Jetzt bewerben um die Kamera neu zu konfigurieren, um sich auf diese Region zu konzentrieren.
20. Sie können den ROI in der Live-Ansicht sehen. Wenn Sie den Kamerawinkel oder den Abstand zum Objekt ändern, müssen Sie möglicherweise den ROI ändern oder zurücksetzen. Sie können dies tun, indem Sie erneut „Region of Interest auswählen“ auswählen und den Vorgang wiederholen.

Laden Sie Trainingsbilder hoch

 Wir sind jetzt bereit, unsere Trainingsbilder hochzuladen.

1. Wähle die Ausbildung Registerkarte auf der Browser-Webseite.

2. Wählen Sie im Dropdown-Menü die Option Ausbildung: normal or Training: Anomalie. Bilder werden an den entsprechenden Ordner im Amazon S3-Bucket gesendet.

3. Auswählen Auslösen um Bilder von einem Objekt mit und ohne Anomalien auszulösen. Die Kamera kann auch durch einen Hardware-Trigger direkt an den E / A-Pins ausgelöst werden. Weitere Informationen finden Sie unter Nummerierung und Zuordnung der Anschlussstifte.

Es ist wichtig, dass jedes aufgenommene Bild von einem eindeutigen Objekt stammt und nicht dasselbe Objekt, das mehrmals aufgenommen wurde. Wenn Sie dasselbe Bild wiederholen, lernt das Modell keine normalen, fehlerfreien Variationen Ihres Objekts und kann sich negativ auf die Modellleistung auswirken.

4. Nach jedem Trigger wird das Bild an den S3-Bucket gesendet. Sie müssen mindestens 20 normale und 10 anomale Bilder aufnehmen, um die automatische Aufteilungsoption für einzelne Datensätze in der Amazon Lookout for Vision-Konsole zu verwenden. Je mehr Bilder Sie aufnehmen, desto besser ist im Allgemeinen die Modellleistung, die Sie erwarten können. Eine Tabelle auf der Website zeigt das zuletzt als Miniaturbild gesendete Bild und die Anzahl der Bilder in jeder Kategorie.

Achten Sie auf Vision Model Dataset und Training

 In diesem Schritt bereiten wir den Datensatz vor und beginnen mit dem Training.

1. Auswählen Zum Lookout for Vision hinzufügen Schaltfläche, wenn Sie mindestens 20 normale und 10 anomale Bilder haben. Da wir den einzelnen Datensatz und die Option für die automatische Aufteilung verwenden, ist es in Ordnung, keine Testbilder zu haben. Die Option zum automatischen Teilen unterteilt die 30 Bilder automatisch intern in einen Trainings- und Testdatensatz.

2. Auswählen Erstellen Sie einen Datensatz in Lookout for Vision

3. Sie werden zur Amazon Lookout for Vision-Konsole weitergeleitet.
4. Auswählen Erstellen Sie einen einzelnen Datensatz.

5. Auswählen Importieren Sie Bilder aus dem S3-Bucket

6. Geben Sie für die S3-URL die URL für das S3-Trainingsbildverzeichnis ein, wie in der folgenden Abbildung dargestellt.
7. Auswählen Fügen Sie Bildern basierend auf dem Ordnernamen automatisch Beschriftungen hinzu.
8. Diese Option importiert die Bilder mit den richtigen Beschriftungen in das Dataset.
9. Auswählen Datensatz erstellen

10. Auswählen Zugmodell Taste, um das Training zu starten

Auf der Seite Modelle sehen Sie die Statusanzeige Training in progress und ändern zu Training complete wenn das Modell trainiert ist.

11. Wählen Sie Ihr Modell aus, um die Modellleistung anzuzeigen.

Das Modell gibt die Genauigkeits-, Rückruf- und F1-Werte an. Die Präzision ist ein Maß für die Anzahl der korrekten Anomalien aus den Gesamtvorhersagen. Ein Rückruf ist ein Maß für die Anzahl der vorhergesagten Anomalien aus den Gesamtanomalien. Die F1-Punktzahl ist ein Durchschnitt aus Präzisions- und Rückrufmessungen.

Im Allgemeinen können Sie die Modellleistung verbessern, indem Sie mehr Trainingsbilder hinzufügen und ein konsistentes Beleuchtungssetup bereitstellen. Bitte beachten Sie, dass sich die Beleuchtung tagsüber je nach Umgebung ändern kann. (wie Sonnenlicht durch die Fenster). Sie können die Beleuchtung steuern, indem Sie die Vorhänge schließen und das mitgelieferte Ringlicht verwenden. Für mehr Informationen, Sehen Sie, wie Sie Ihr Bildverarbeitungssystem beleuchten.

Führen Sie Inferenz für neue Bilder aus

Führen Sie die folgenden Schritte aus, um Rückschlüsse auf neue Bilder zu ziehen:

1. Wählen Sie auf der Kit-Webseite die Option Inferenz
2. Auswählen Starten Sie das Modell um das Lookout for Vision-Modell zu hosten.

3. Wählen Sie im Dropdown-Menü das gewünschte Projekt und die Modellversion aus.

4. Stellen Sie ein neues Objekt, das das Modell zuvor noch nicht gesehen hat, vor die Kamera und wählen Sie auslösen auf der Browser-Webseite des Kits.

Stellen Sie sicher, dass die Objektposition und Beleuchtung der Trainingsobjektposition und -beleuchtung ähnlich sind. Dies ist wichtig, um zu verhindern, dass das Modell aufgrund von Beleuchtung oder Posenänderungen eine falsche Anomalie erkennt.

Inferenzergebnisse für das aktuelle Bild werden im Browserfenster angezeigt. Sie können diese Übung mit neuen Objekten wiederholen und die Leistung Ihres Modells an verschiedenen Anomalietypen testen.

Die kumulierten Inferenzergebnisse sind auf der Amazon Lookout for Vision-Konsole auf der verfügbar Dashboard

In den meisten Fällen können Sie davon ausgehen, dass Sie diese Schritte in wenigen Stunden implementieren, eine schnelle Beurteilung Ihrer Anwendungsfallanpassung erhalten, indem Sie Rückschlüsse auf unsichtbare Testbilder ziehen und die Inferenzergebnisse mit der Modellgenauigkeit, dem Rückruf und den F1-Ergebnissen korrelieren.

Zusammenfassung

Basler und Amazon Web Services haben gemeinsam an einem „Amazon Lookout für Vision Accelerator PoC Kit“ (APK) gearbeitet. Das APK ist ein Testkamerasystem, mit dem Kunden ein schnelles Prototyping ihrer Lookout for Vision-Anwendung durchführen können. Es enthält sofort einsatzbereite Vision-Hardware (Kamera, Verarbeitungseinheit, Beleuchtung und Zubehör) mit integrierten Softwarekomponenten, um schnell eine Verbindung zur AWS Cloud und zu Lookout for Vision herzustellen.

Durch die direkte Integration in Lookout for Vision bietet Ihnen die APK einen neuen und effizienten Ansatz für das Rapid Prototyping und verkürzt Ihre Proof-of-Concept-Bewertung um Wochen. Mit der APK können Sie sicher sein, die Leistung Ihres Anomalieerkennungsmodells zu bewerten, bevor Sie zur Produktion übergehen. Da es sich bei dem Kit um ein Bündel fester Komponenten handelt, können je nach Kundenanwendung Änderungen an der Festplatte und der Software für den nächsten Schritt erforderlich sein. Nach Abschluss Ihres PoC mit der APK bieten Basler und AWS Kunden eine Lückenanalyse an, um festzustellen, ob der Umfang des Kits Ihren Anwendungsfallanforderungen entspricht oder Anpassungen im Hinblick auf eine maßgeschneiderte Lösung erforderlich sind.

Note: Um einen möglichst hohen Erfolg bei Ihren Prototyping-Bemühungen zu gewährleisten, müssen Sie vor dem Kauf eine Diskussion über die Kit-Qualifizierung mit Basler führen.

Wenden Sie sich noch heute an Basler, um Ihren für APK geeigneten Anwendungsfall zu besprechen: AWSBASLER@baslerweb.com

Mehr erfahren | Basler Tools für die Komponentenauswahl

Über die Autoren

Amit Gupta ist AI Services Solutions Architect bei AWS. Er ist begeistert davon, Kunden maßstabsgetreue Lösungen für maschinelles Lernen in großem Maßstab zu ermöglichen.

Markus Hebbel ist Leiter IoT und Anwendungen bei der Basler AG. Er und sein Team implementieren kamerabasierte Lösungen für Kunden im Bereich Bildverarbeitung. Er hat ein besonderes Interesse an dezentralen Architekturen.

Münzsmart. Beste Bitcoin-Börse in Europa
Quelle: https://aws.amazon.com/blogs/machine-learning/amazon-lookout-for-vision-accelerator-proof-of-concept-poc-kit/