NextMind is begonnen met het verzenden ervan real-time hersencomputerinterface Ontwikkelkit voor $ 399. Het apparaat vertaalt hersensignalen naar digitale commando's, waardoor u computers, AR/VR-headsets en IoT-apparaten (verlichting, tv's, muziek, games, enzovoort) kunt bedienen met uw visuele aandacht.

Het in Parijs gevestigde NextMind maakt deel uit van een groeiend aantal startups neurale interfaces die afhankelijk zijn van machine learning-algoritmen. Er zijn invasieve apparaten zoals die van Elon Musk Neuralink, dat in augustus een prototype onthulde dat metingen uit de hersenen van een varken liet zien met behulp van een muntvormig apparaat dat onder de schedel werd geïmplanteerd. Er zijn ook niet-invasieve apparaten zoals de elektromyografie-polsband die neuromusculaire signalen vertaalt in machinaal interpreteerbare commando's van Ctrl-labs, dat Facebook in september 2019 heeft overgenomen. NextMind ontwikkelt een niet-invasief apparaat: een elektro-encefalogram (EEG) dat op de achterkant van je hoofd wordt gedragen, waar de visuele cortex van je hersenen zich bevindt.

Toen we vorig jaar Sid Kouider, CEO van NextMind, spraken, beloofde hij dat de kits in het tweede kwartaal van 2 zouden worden verzonden. Toen sloeg de pandemie toe. “We hadden ongeveer drie tot vier maanden vertraging als gevolg van COVID-2020, maar niet meer dan dat qua productie”, vertelde Kouider aan VentureBeat. Het bedrijf verscheepte in november “honderden” Dev Kits na de productie van de eerste duizend exemplaren. Volgende maand zullen er nog eens duizend exemplaren worden geproduceerd.

Praktisch met de Dev Kit van NextMind

De NextMind Dev Kit bevat een NextMind Sensor, een hersengevoelig apparaat met een verstelbare hoofdband, en de NextMind Engine, die realtime machine learning-algoritmen omvat die neurale signalen in commando's omzetten. Ontwikkelaars krijgen ook de NextMind SDK, die kant-en-klare Unity-bronnen bevat, zoals tutorials, demo-apps en -games, en codebouwstenen.

NextMind haalde in december 4.6 een startronde van $2018 miljoen op, inclusief een innovatieprijs van $1 miljoen van Bpifrance en investeringen van particuliere contribuanten zoals de oprichter van Eye Tribe Sune Alstrup Johansen en oprichter David Helgason van Unity Technologies. De relatie van NextMind met Helgason hielp de Unity-tooling mogelijk te maken en zorgde ervoor dat de Dev Kit compatibel is met platforms als Windows 10, macOS, Oculus, HTC Vive en HoloLens.

Elke keer dat u een NextMind-apparaat gebruikt, raadt het bedrijf u aan eerst de wearable te kalibreren. Het duurt ongeveer 45 seconden om een ​​neuraal profiel te maken. Over een paar maanden hoopt het team deze stap volledig te elimineren.

“Het neurale profiel verkrijgen; we hopen hier vanaf te komen, en daarvoor hebben we gewoon veel data nodig”, aldus Kouider. “We zijn op weg om dit probleem op te lossen. Ik denk echt dat we de komende maanden een kalibratievrije procedure zullen kunnen hebben.” Uit voorzorg heeft het team ervoor gekozen om de kalibratiestap in deze eerste versie van de software te behouden. Ze zijn liever conservatief en zorgen ervoor dat het apparaat werkt, zelfs met de extra stap.

Verbetering van de machine learning-modellen

Het bedrijf is van plan regelmatig updates uit te brengen die de machine learning-algoritmen in de NextMind Engine verbeteren. "We zullen in principe waarschijnlijk elke paar weken kunnen updaten naar nog snellere en robuustere algoritmen", zei Kouider. “De hardware – we zullen deze niet kunnen uitwisselen, maar de algoritmen zullen echt verbeteren.” Bijna elke update zal een bijgewerkt machine learning-model bevatten, beloofde hij.

Kouider zei dat het volledig wegnemen van de noodzaak voor kalibratie een overdrachtsleerprobleem was van tijddomeindoelen. Uiteindelijk hoopt het team een ​​apparaat te hebben dat onmiddellijk werkt als iemand het op zijn achterhoofd plaatst. Bovendien zou u dankzij ‘cognitieve plasticiteitstraining’ al na een paar sessies beter moeten worden in het gebruik van NextMind. Net zoals wanneer je voor het eerst een muis of een touchscreen gebruikt, krijg je het door oefening onder de knie.

NextMind is ook van plan ontwikkelaars een ‘boostmodus’ aan te bieden die de minimumdrempel verlaagt, afhankelijk van hun gebruiksscenario. Als een ontwikkelaar bijvoorbeeld een zombiespel maakt, wil hij het de speler misschien gemakkelijker maken om zo snel mogelijk te schieten wanneer hij zijn doelen richt.

Demo's en gebruiksscenario's

De Dev Kit wordt geleverd met vijf demo's. Twee lijken erg op de demo's die ik vorig jaar met het prototype heb geprobeerd. Pinpad laat zien hoe je met je geest een vergrendelscherm kunt openen, en met Neuro TV kun je van kanaal wisselen, de inhoud afspelen of pauzeren, en het geluid dempen of dempen.

De platformgame, die je met je verstand en een gamecontroller speelt, is kort maar iets complexer dan de vorige versie:

Er zijn ook twee nieuwe apps: een muziekcomponist en Brickbreaker (die het Duck Hunt-spel dat ik speelde vervangt). Net als toen ik het toestel vorig jaar probeerde, werken alle apps zoals beloofd. En net als vorig jaar is er nog steeds geen geweldige app. Dat is wat de ontwikkelaars moeten creëren.

"Ik ben het met je eens dat de use case niet helemaal duidelijk is, maar dat is ook de reden waarom we het aan ontwikkelaars geven om hun eigen use cases uit te bouwen", aldus Kouider. “Ik ben er niet eens zeker van dat we de killer-use-case zelf kunnen vinden.”

Enterprise-kit

NextMind is ook in gesprek met 25 bedrijven om contracten te ondertekenen voor de enterprise kits van het bedrijf. Deze partnerschappen, die NextMind al met drie bedrijven heeft ondertekend, omvatten de integratie van de technologie in toekomstige producten die “in de komende paar jaar op de markt zullen komen.” Kouider weigerde de namen van de drie bedrijven te noemen, maar zei dat het onder meer een autofabrikant, een entertainmentbedrijf en een gamingbedrijf betreft. Vooral over gaming is hij enthousiast.

“Voor het enterprise-traject zijn we ook bezig met de integratie van zowel hardware- als softwarecomponenten”, aldus Kouider. “We ontwikkelen samen om ons platform te integreren in hun hardwarecomponent. Of als ze sterke software hebben, als ze Unity bijvoorbeeld niet willen gebruiken, geven we ze toegang tot onze core API.”

Toekomstige gebruiksscenario's

Vorig jaar liet een van de demo's me de lichtkleur van een lamp veranderen door mijn visuele aandacht te richten op verschillende gekleurde blokken. Ik vroeg om een ​​update over deze ervaring. Het team overweegt nu samen te werken met een fabrikant, zodat toekomstige producten unieke patronen kunnen vertonen. Gebruikers die een NextMind-apparaat dragen, kunnen vervolgens een uniek patroon visualiseren om de producten te bedienen.

“Acteren op fysieke objecten is als geest boven materie,” zei Kouider. “Het is een heel andere ervaring.”

Vorig jaar sprak Kouider ook over een tweede track voor het decoderen van visuele verbeelding. Deze track zou afhankelijk zijn van dezelfde hardware, maar vereist andere software en algoritmen om deze taken uit te voeren. Dat nummer wordt nog niet ondersteund, maar is nog in de maak.

Ongeacht of u zich iets voorstelt om een ​​object te besturen of er rechtstreeks naar kijkt, u moet nog steeds een NextMind-apparaat dragen. Het is niet erg comfortabel, of je het nu alleen draagt ​​of met een VR-headset. Kouider beloofde dat de volgende generaties kleiner zullen zijn. Hij weigerde te praten over versie 2, de kleinere versie van het apparaat van NextMind waar het bedrijf al meer dan een jaar aan werkt.

“We zijn zeer actief in R&D met betrekking tot miniaturisatie, met betrekking tot betere algoritmen en met betrekking tot de integratie van ons platform in toekomstige AR-producten”, aldus Kouider. “We zijn ook erg enthousiast over IoT: het kunnen besturen van feitelijk echte fysieke objecten. We willen dat u contactloze interacties heeft. Je zult je lamp achter je, je gootsteen en de deurschakelaars kunnen bedienen. Dit is een zeer opwindende gebruikscasus.”

Voor al dat onderzoek is geld nodig en NextMind is van plan volgend jaar een ronde in te zamelen. “We gaan begin 2021 beginnen met onze serie A – op dit moment concentreren we ons op het product.”