16 sep 2023 (Nanowerk Nyheter) Känslan av en katts päls kan avslöja viss information, men att se katten ger viktiga detaljer: är det en huskatt eller ett lejon? Även om ljudet av sprakande eld kan vara tvetydigt, bekräftar dess doft det brinnande träet. Våra sinnen samverkar för att ge en heltäckande förståelse, särskilt när individuella signaler är subtila. Den samlade summan av biologiska insatser kan vara större än deras individuella bidrag. Robotar tenderar att följa mer enkla tillägg, men Penn State-forskare har nu utnyttjat det biologiska konceptet för tillämpning i artificiell intelligens (AI) för att utveckla den första artificiella, multisensoriska integrerade neuronen. Under ledning av Saptarshi Das, docent i ingenjörsvetenskap och mekanik vid Penn State, publicerade laget sitt arbete i Naturkommunikation ("En bioinspirerad visuotaktil neuron för multisensorisk integration").
En forskargrupp från Penn State utvecklade en bioinspirerad artificiell neuron som kan bearbeta visuella och taktila sensoriska input tillsammans. (Bild: Tyler Henderson, Penn State) "Robotar fattar beslut baserat på miljön de befinner sig i, men deras sensorer pratar i allmänhet inte med varandra", säger Das, som också har gemensamma utnämningar inom elektroteknik och inom materialvetenskap och teknik. . ”Ett kollektivt beslut kan fattas genom en sensorbearbetningsenhet, men är det den mest effektiva eller effektiva metoden? I den mänskliga hjärnan kan ett sinne påverka ett annat och låta personen bättre bedöma en situation." Till exempel kan en bil ha en sensor som söker efter hinder, medan en annan känner av mörker för att modulera strålkastarnas intensitet. Individuellt skickar dessa sensorer information till en centralenhet som sedan instruerar bilen att bromsa eller justera strålkastarna. Enligt Das förbrukar denna process mer energi. Att tillåta sensorer att kommunicera direkt med varandra kan vara mer effektivt när det gäller energi och hastighet - särskilt när ingångarna från båda är svaga. "Biologi gör det möjligt för små organismer att frodas i miljöer med begränsade resurser, vilket minimerar energiförbrukningen i processen", säger Das, som också är knuten till Materials Research Institute. ”Kraven på olika sensorer baseras på sammanhanget – i en mörk skog skulle man lita mer på att lyssna än att se, men vi fattar inte beslut baserat på bara ett sinne. Vi har en fullständig känsla för vår omgivning, och vårt beslutsfattande bygger på integrationen av det vi ser, hör, rör, luktar, etcetera. Sinnena utvecklades tillsammans i biologin, men separat i AI. I det här arbetet vill vi kombinera sensorer och efterlikna hur våra hjärnor faktiskt fungerar.” Teamet fokuserade på att integrera en taktil sensor och en visuell sensor så att utsignalen från en sensor modifierar den andra, med hjälp av visuellt minne. Enligt Muhtasim Ul Karim Sadaf, en tredjeårs doktorand i ingenjörsvetenskap och mekanik, kan även en kortlivad ljusblixt avsevärt öka chansen att lyckas förflytta sig genom ett mörkt rum. "Detta beror på att visuellt minne sedan kan påverka och hjälpa de taktila svaren för navigering," sa Sadaf. "Detta skulle inte vara möjligt om vår visuella och taktila cortex enbart skulle svara på deras respektive unimodala signaler. Vi har en fotominneseffekt, där ljuset lyser och vi kan minnas. Vi införlivade den förmågan i en enhet genom en transistor som ger samma respons.” Forskarna tillverkade den multisensoriska neuronen genom att ansluta en taktil sensor till en fototransistor baserad på ett monolager av molybdendisulfid, en förening som uppvisar unika elektriska och optiska egenskaper användbara för att detektera ljus och stödja transistorer. Sensorn genererar elektriska spikar på ett sätt som påminner om neuroner som bearbetar information, vilket gör att den kan integrera både visuella och taktila signaler. Det motsvarar att se en "tänd" lampa på spisen och känna att värmen kommer från en brännare - att se lampan tända betyder inte nödvändigtvis att brännaren är varm ännu, men en hand behöver bara känna en nanosekund av värme innan kroppen reagerar och drar handen bort från den potentiella faran. Inmatningen av ljus och värme utlöste signaler som inducerade handens svar. I det här fallet mätte forskarna den artificiella neuronens version av detta genom att se signalutgångar resulterade från visuella och taktila insignaler. För att simulera beröringsinmatning använde den taktila sensorn triboelektrisk effekt, där två lager glider mot varandra för att producera elektricitet, vilket betyder att beröringsstimuli kodades till elektriska impulser. För att simulera visuell input lyste forskarna ett ljus in i monolager molybdendisulfid foto memtransistor - eller en transistor som kan komma ihåg visuell input, som hur en person kan hålla fast vid den allmänna layouten av ett rum efter att en snabb blixt lyser upp den. De fann att nervcellens sensoriska respons - simulerad som elektrisk uteffekt - ökade när både visuella och taktila signaler var svaga. "Intressant nog resonerar denna effekt anmärkningsvärt väl med sin biologiska motsvarighet - ett visuellt minne förstärker naturligtvis känsligheten för taktil stimulans", säger medförfattaren Najam U Sakib, en tredjeårs doktorand i ingenjörsvetenskap och mekanik. "När signaler är svaga måste du kombinera dem för att bättre förstå informationen, och det är vad vi såg i resultaten." Das förklarade att ett artificiellt multisensoriskt neuronsystem kan förbättra sensorteknikens effektivitet, vilket banar väg för mer miljövänlig AI-användning. Som ett resultat kan robotar, drönare och självkörande fordon navigera i sin miljö mer effektivt samtidigt som de använder mindre energi. "Den superadditiva summeringen av svaga visuella och taktila ledtrådar är nyckelprestationen i vår forskning", säger medförfattaren Andrew Pannone, en fjärdeårs doktorand i ingenjörsvetenskap och mekanik. "För det här arbetet tittade vi bara på två sinnen. Vi arbetar med att identifiera det rätta scenariot för att införliva fler sinnen och se vilka fördelar de kan erbjuda."
En forskargrupp från Penn State utvecklade en bioinspirerad artificiell neuron som kan bearbeta visuella och taktila sensoriska input tillsammans. (Bild: Tyler Henderson, Penn State) "Robotar fattar beslut baserat på miljön de befinner sig i, men deras sensorer pratar i allmänhet inte med varandra", säger Das, som också har gemensamma utnämningar inom elektroteknik och inom materialvetenskap och teknik. . ”Ett kollektivt beslut kan fattas genom en sensorbearbetningsenhet, men är det den mest effektiva eller effektiva metoden? I den mänskliga hjärnan kan ett sinne påverka ett annat och låta personen bättre bedöma en situation." Till exempel kan en bil ha en sensor som söker efter hinder, medan en annan känner av mörker för att modulera strålkastarnas intensitet. Individuellt skickar dessa sensorer information till en centralenhet som sedan instruerar bilen att bromsa eller justera strålkastarna. Enligt Das förbrukar denna process mer energi. Att tillåta sensorer att kommunicera direkt med varandra kan vara mer effektivt när det gäller energi och hastighet - särskilt när ingångarna från båda är svaga. "Biologi gör det möjligt för små organismer att frodas i miljöer med begränsade resurser, vilket minimerar energiförbrukningen i processen", säger Das, som också är knuten till Materials Research Institute. ”Kraven på olika sensorer baseras på sammanhanget – i en mörk skog skulle man lita mer på att lyssna än att se, men vi fattar inte beslut baserat på bara ett sinne. Vi har en fullständig känsla för vår omgivning, och vårt beslutsfattande bygger på integrationen av det vi ser, hör, rör, luktar, etcetera. Sinnena utvecklades tillsammans i biologin, men separat i AI. I det här arbetet vill vi kombinera sensorer och efterlikna hur våra hjärnor faktiskt fungerar.” Teamet fokuserade på att integrera en taktil sensor och en visuell sensor så att utsignalen från en sensor modifierar den andra, med hjälp av visuellt minne. Enligt Muhtasim Ul Karim Sadaf, en tredjeårs doktorand i ingenjörsvetenskap och mekanik, kan även en kortlivad ljusblixt avsevärt öka chansen att lyckas förflytta sig genom ett mörkt rum. "Detta beror på att visuellt minne sedan kan påverka och hjälpa de taktila svaren för navigering," sa Sadaf. "Detta skulle inte vara möjligt om vår visuella och taktila cortex enbart skulle svara på deras respektive unimodala signaler. Vi har en fotominneseffekt, där ljuset lyser och vi kan minnas. Vi införlivade den förmågan i en enhet genom en transistor som ger samma respons.” Forskarna tillverkade den multisensoriska neuronen genom att ansluta en taktil sensor till en fototransistor baserad på ett monolager av molybdendisulfid, en förening som uppvisar unika elektriska och optiska egenskaper användbara för att detektera ljus och stödja transistorer. Sensorn genererar elektriska spikar på ett sätt som påminner om neuroner som bearbetar information, vilket gör att den kan integrera både visuella och taktila signaler. Det motsvarar att se en "tänd" lampa på spisen och känna att värmen kommer från en brännare - att se lampan tända betyder inte nödvändigtvis att brännaren är varm ännu, men en hand behöver bara känna en nanosekund av värme innan kroppen reagerar och drar handen bort från den potentiella faran. Inmatningen av ljus och värme utlöste signaler som inducerade handens svar. I det här fallet mätte forskarna den artificiella neuronens version av detta genom att se signalutgångar resulterade från visuella och taktila insignaler. För att simulera beröringsinmatning använde den taktila sensorn triboelektrisk effekt, där två lager glider mot varandra för att producera elektricitet, vilket betyder att beröringsstimuli kodades till elektriska impulser. För att simulera visuell input lyste forskarna ett ljus in i monolager molybdendisulfid foto memtransistor - eller en transistor som kan komma ihåg visuell input, som hur en person kan hålla fast vid den allmänna layouten av ett rum efter att en snabb blixt lyser upp den. De fann att nervcellens sensoriska respons - simulerad som elektrisk uteffekt - ökade när både visuella och taktila signaler var svaga. "Intressant nog resonerar denna effekt anmärkningsvärt väl med sin biologiska motsvarighet - ett visuellt minne förstärker naturligtvis känsligheten för taktil stimulans", säger medförfattaren Najam U Sakib, en tredjeårs doktorand i ingenjörsvetenskap och mekanik. "När signaler är svaga måste du kombinera dem för att bättre förstå informationen, och det är vad vi såg i resultaten." Das förklarade att ett artificiellt multisensoriskt neuronsystem kan förbättra sensorteknikens effektivitet, vilket banar väg för mer miljövänlig AI-användning. Som ett resultat kan robotar, drönare och självkörande fordon navigera i sin miljö mer effektivt samtidigt som de använder mindre energi. "Den superadditiva summeringen av svaga visuella och taktila ledtrådar är nyckelprestationen i vår forskning", säger medförfattaren Andrew Pannone, en fjärdeårs doktorand i ingenjörsvetenskap och mekanik. "För det här arbetet tittade vi bara på två sinnen. Vi arbetar med att identifiera det rätta scenariot för att införliva fler sinnen och se vilka fördelar de kan erbjuda."
- SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
- PlatoData.Network Vertical Generative Ai. Styrka dig själv. Tillgång här.
- PlatoAiStream. Web3 Intelligence. Kunskap förstärkt. Tillgång här.
- Platoesg. Fordon / elbilar, Kol, CleanTech, Energi, Miljö, Sol, Avfallshantering. Tillgång här.
- PlatoHealth. Biotech och kliniska prövningar Intelligence. Tillgång här.
- ChartPrime. Höj ditt handelsspel med ChartPrime. Tillgång här.
- BlockOffsets. Modernisera miljökompensation ägande. Tillgång här.
- Källa: https://www.nanowerk.com/news2/robotics/newsid=63648.php
