Es ist leicht, einen See von einer Flut zu unterscheiden. Wenn Sie sich jedoch ein Luftbild ansehen, können Faktoren wie Winkel, Höhe, Wolkendecke und Kontext die Aufgabe erschweren. Und wenn Sie 100,000 Luftbilder identifizieren müssen, um Ersthelfern die Informationen zu geben, die sie zur Beschleunigung der Katastrophenhilfe benötigen? Dann müssen Sie die Geschwindigkeit und Genauigkeit des maschinellen Lernens (ML) mit der Präzision menschlichen Urteils kombinieren.
Angesichts der ständigen Online-Bereitstellung von Katastrophenbildern in geringer Höhe und Satellitenbildern suchen Forscher nach schnelleren und kostengünstigeren Möglichkeiten, diese Inhalte zu kennzeichnen, damit sie von Interessengruppen wie Ersthelfern sowie staatlichen, lokalen und föderalen Behörden verwendet werden können. Da das Beschriften dieser Daten teuer, manuell und zeitaufwändig ist, ist die Entwicklung von ML-Modellen, die das Beschriften von Bildern (oder Anmerkungen) automatisieren können, entscheidend, um diese Daten in einen besser verwendbaren Zustand zu versetzen. Und um ein effektives ML-Modell zu entwickeln, benötigen Sie einen Grundwahrheitsdatensatz: einen beschrifteten Datensatz, der zum Trainieren Ihres Modells verwendet wird. Das Fehlen eines adäquaten Grundwahrheitsdatensatzes für LADI-Bilder machte die Modellentwicklung bisher unerreichbar.
Eine breite Palette von Organisationen und Agenturen entwickelt Lösungen für dieses Problem, und Amazon unterstützt sie mit Technologie, Infrastruktur und Fachwissen. Durch die Integration der gesamten Suite von Human-in-the-Loop-Diensten in eine einzelne AWS-Datenpipeline können wir die Modellleistung verbessern, die Kosten für die Überprüfung durch den Mitarbeiter senken, den Prozess der Implementierung einer Anmerkungspipeline vereinfachen und vorgefertigte Vorlagen für den Mitarbeiter bereitstellen Benutzeroberfläche, während der Zugriff auf eine elastische On-Demand-Benutzeroberfläche ermöglicht wird Amazon Mechanischer Türke Belegschaft, die auf ereignisgesteuerte Annotationsaufgaben für Naturkatastrophen skaliert werden kann.
Eines der Projekte, die Fortschritte bei der Annotation von Katastrophenbildern gemacht haben, wurde von Studenten des Penn State entwickelt. Arbeiten mit einem Team von Forschern des MIT Lincoln Laboratory, Studenten des Penn State Hochschule für Informationswissenschaften und Technologie (IST) hat ein Computermodell entwickelt, das die Klassifizierung von Katastrophenszenenbildern verbessern und die Katastrophenreaktion informieren kann.
Lösungen entwickeln
Das Penn State-Projekt begann mit einer Analyse der Bilder aus dem LADI-Datensatz (Low Altitude Disaster Imagery), eine Sammlung von Luftbildern, die seit 2015 über Katastrophenszenen aufgenommen wurden. Basierend auf Arbeiten, die von der United States Air Force unterstützt wurden, wurde der LADI-Datensatz vom New Jersey Office of Homeland Security and Preparedness und dem MIT Lincoln Laboratory mit Unterstützung des National Institute entwickelt des Innovationsbeschleunigerprogramms für öffentliche Sicherheit (NIST PSIAP) und AWS von Standards and Technology.
„Wir haben uns im Juni 2019 mit dem MIT Lincoln Laboratory-Team getroffen und gemeinsame Ziele zur Verbesserung der Anmerkungsmodelle für Satelliten- und LADI-Objekte erkannt, da wir hier bei AWS ähnliche Computer-Vision-Lösungen entwickelt haben“, sagt Kumar Chellapilla, General Manager von Amazon Mechanical Türke, Amazon Sage Maker Grundwahrheit und Amazon Augmented AI (Amazon A2I) bei AWS. „Wir haben das Team mit den AWS Machine Learning Research Awards (jetzt Teil des.) Verbunden Amazon-Forschungspreise Programm) und die AWS Datenprogramm öffnen und finanzierte MTurk-Credits für die Entwicklung des Ground-Truth-Datensatzes des MIT Lincoln Laboratory. “ Mechanical Turk ist ein globaler Marktplatz für Antragsteller und Mitarbeiter zur Interaktion bei Arbeiten im Zusammenhang mit menschlicher Intelligenz und wird häufig von Forschern der ML und der künstlichen Intelligenz genutzt, um große Datenmengen zu kennzeichnen.
Mit dem kommentierten Datensatz, der im Rahmen des AWS Open Data-Programms gehostet wird, entwickelten die Studenten des Penn State ein Computermodell, um ein erweitertes Klassifizierungssystem für die Bilder zu erstellen. Diese Arbeit hat zu einem trainierten Modell mit einer erwarteten Genauigkeit von 79% geführt. Der Code und die Modelle der Schüler werden jetzt als Open-Source-Basisklassifikator und Tutorial in das LADI-Projekt integriert.
„Sie haben daran gearbeitet, das Modell nur mit einer Teilmenge des gesamten Datensatzes zu trainieren, und ich gehe davon aus, dass die Präzision noch besser wird“, sagt Dr. Jeff Liu, Technischer Mitarbeiter am MIT Lincoln Laboratory. „Wir haben also im Laufe einiger Wochen sehr signifikante Verbesserungen der Präzision festgestellt. Es ist sehr vielversprechend für die Zukunft von Klassifikatoren, die auf diesem Datensatz basieren. “
„Während einer Katastrophe können viele Daten sehr schnell gesammelt werden“, erklärt Andrew Weinert, wissenschaftlicher Mitarbeiter am MIT Lincoln Laboratory, der das Projekt mit dem College of IST erleichtert hat. "Aber das Sammeln von Daten und das Zusammenstellen von Informationen für Entscheidungsträger ist etwas ganz anderes."
Integration von Human-in-the-Loop-Diensten
Amazon unterstützte auch die Entwicklung einer Annotation User Interface (UI), die mit gängigen Katastrophenklassifizierungscodes übereinstimmt, wie sie beispielsweise von städtischen Such- und Rettungsteams verwendet werden. Dadurch konnte das MIT Lincoln Laboratory Echtzeit-Bildanmerkungen für Civil Air Patrol (CAP) steuern nach dem Hurrikan Dorian. Das MIT Lincoln Laboratory-Team ist dabei, eine Pipeline zu erstellen, mit der CAP-Daten mithilfe von Amazon A2I durch diesen Klassifikator geleitet werden können, um Ergebnisse mit geringem Vertrauen zur Überprüfung durch den Menschen an Mechanical Turk weiterzuleiten. Amazon A2I integriert die menschliche Intelligenz nahtlos in die KI, um Genauigkeit auf menschlicher Ebene auf Maschinenebene für AWS AI-Dienste und benutzerdefinierte Modelle zu bieten, und ermöglicht das Weiterleiten von ML-Ergebnissen mit geringem Vertrauen zur Überprüfung durch den Menschen.
"Amazon A2I ist wie" Telefon einen Freund "für das Modell", sagt Weinert. „Es hilft uns, die Bilder, die vom Klassifizierer nicht sicher gekennzeichnet werden können, zur Überprüfung an MTurk-Mitarbeiter weiterzuleiten. Die Entwicklung der Tools, mit denen Ersthelfer Hilfe für diejenigen erhalten können, die sie benötigen, liegt bei der Arbeit an diesem Klassifizierertyp im Vordergrund. Daher bauen wir jetzt einen Service auf, um unsere Ergebnisse mit anderen Datensätzen wie GIS zu kombinieren (geografische Informationssysteme), um es für Ersthelfer vor Ort nützlich zu machen. “
Weinert sagt, dass bei einem Hurrikan oder einer anderen Großkatastrophe bis zu 100,000 Luftbilder für Notfalloffiziere analysiert werden könnten. Beispielsweise sucht ein Beamter möglicherweise nach Bildern von Brücken, um Schäden oder Überschwemmungen in der Nähe zu bewerten, und benötigt eine Möglichkeit, die Bilder schnell zu überprüfen.
"Angenommen, Sie haben ein Bild, das auf den ersten Blick wie ein See aussieht", sagt Dr. Marc Rigas, Assistant Teaching Professor. Penn State College von IST. „Dann sieht man Bäume herausragen und merkt, dass es sich um eine Flutzone handelt. Der Computer muss das wissen und unterscheiden können, was ein See ist und was nicht. “ Wenn es nicht sicher zwischen den beiden unterscheiden kann, kann Amazon A2I dieses Bild zur Überprüfung durch den Menschen weiterleiten.
Es ist dringend erforderlich, neue Technologien zu entwickeln, um die Reaktion auf Vorfälle und Katastrophen nach Naturkatastrophen zu unterstützen, z. B. Computer-Vision-Modelle, die beschädigte Infrastrukturen oder gefährliche Bedingungen erkennen. In Zukunft werden wir Amazon A2I verwenden, um die Leistungsfähigkeit benutzerdefinierter ML-Modelle mit Amazon A2I zu kombinieren und Vorhersagen mit geringem Vertrauen an Mitarbeiter weiterzuleiten, die Bilder mit Anmerkungen versehen, um Kategorien von Naturkatastrophenschäden zu identifizieren.
Während der Hurrikansaison können durch die Bereitstellung der Kapazität für redundante Systeme, mit denen Mitarbeiter von zu Hause aus auf Systeme zugreifen können, Daten in Echtzeit mit Anmerkungen versehen werden, sobald neue Bildsätze verfügbar werden.
Wir freuen uns
Grace Kitzmiller vom Amazon Disaster Response-Team stellt sich eine Zukunft vor, in der Projekte wie diese den Umgang mit Katastrophenreaktionen verändern können. „Durch die Zusammenarbeit mit Forschern und Studenten können wir mit der Computer Vision-Community zusammenarbeiten, um eine Reihe von Open-Source-Ressourcen aufzubauen, die eine umfassende Zusammenarbeit zwischen verschiedenen Interessengruppen ermöglichen“, sagt Kitzmiller. "Mit der Idee, dass Open-Source-Entwicklung mit Unterstützung von Amazon auf akademischer Seite vorangetrieben werden kann, können wir den Prozess beschleunigen, einige dieser Mikrodienste für Ersthelfer in Produktion zu bringen."
Joe Flasher vom AWS Open Data Program diskutierte die großen Fortschritte bei der Vorhersagegenauigkeit, die Klassifikatoren in den letzten Jahren gemacht haben. „Wenn wir das, was wir über ein bestimmtes Bild wissen, seine GIS-Koordinaten und andere Metadaten verwenden, können wir die Klassifikatorleistung sowohl von LADI- als auch von Satellitendatensätzen verbessern“, sagt Flasher. „Wenn wir beginnen, komplementäre Datensätze basierend auf Geodaten zu kombinieren und zu schichten, können wir sowohl die Genauigkeit verbessern als auch die Tiefe und Granularität der Ergebnisse verbessern, indem wir Attribute aus jedem Datensatz in die Ergebnisse des ausgewählten Satzes einbeziehen.“
Mechanical Turk und das MIT Lincoln Laboratory veranstalten einen Workshop, der es einer breiteren Gruppe von Forschern ermöglicht, den LADI-Ground-Truth-Datensatz zu nutzen, um Klassifikatoren mit SageMaker Ground Truth zu trainieren. Ergebnisse mit geringem Vertrauen werden über Amazon A2I zur menschlichen Annotation mit Mechanical Turk weitergeleitet, und das Team kann Modelle mithilfe des erweiterten Grundwahrheitssatzes erneut ausführen, um Verbesserungen der Modellleistung zu messen. Die Workshop-Ergebnisse werden zu den Open-Source-Ressourcen beitragen, die im Rahmen des AWS Open Data-Programms gemeinsam genutzt werden. "Wir freuen uns sehr, diese akademischen Bemühungen durch die Amazon Research Awards zu unterstützen", sagt An Luo, Senior Technical Program Manager für akademische Programme bei Amazon AI. "Wir suchen nach Möglichkeiten, bei denen die von Wissenschaftlern geleistete Arbeit die ML-Forschung vorantreibt und die AWS-Ziele ergänzt und gleichzeitig die Bildungschancen für Studenten verbessert."
Um Amazon Augmented AI zu verwenden, überprüfen Sie die Ressourcen hier. Es sind Ressourcen verfügbar hier zur Verwendung mit dem LADI-Datensatz (Low Altitude Disaster Imagery). Sie können mehr über Mechanical Turk erfahren hier.
Über den Autor
Morgan Dutton ist Senior Program Manager beim Amazon Augmented AI- und Mechanical Turk-Team. Sie arbeitet mit Kunden aus dem akademischen und öffentlichen Sektor zusammen, um die Nutzung von Human-in-the-Loop-ML-Diensten zu beschleunigen. Morgan ist daran interessiert, mit akademischen Kunden zusammenzuarbeiten, um die Einführung von ML-Technologien durch Studenten und Pädagogen zu unterstützen.
