Herinner je je de scène uit Blade Runner nog, waar Deckard een foto in een Photo Inspector stopt? De virtuele camera kan rond de vastgelegde scène pannen en bewegen, waarbij onmogelijke details eruit worden gehaald. Het lijkt erop dat [Ben Wang] ontdekte hoe je die specifieke truc kon realiseren, maar dan met audio in plaats van filmpje. De geheime saus is geen geavanceerde microfoon, maar een hele reeks heel eenvoudige. In dit geval zijn het er 192, gerangschikt op lange printplaten die werken als de spaken van een muurkunstwiel. Een heel gespreksonderwerp.
Je zou je kunnen voorstellen dat het in één keer vastleggen van de gegevens van 192 microfoons een uitdaging op zich is, en dat lijkt een juiste inschatting te zijn. Het eerste probleem met het vastleggen van gegevens was te wijten aan de vreemde PCB's die het fabricageproces tot het uiterste dreef. Ongeveer de helft van de spaken was dood bij aankomst, waarbij de individuele microfoons de neiging hadden om de gedeelde kloklijn kort te sluiten naar aarde of de voedingslijn. Om vervolgens al die gegevens binnen te halen, a Kleurlicht wordt gebruikt als een FPGA voor algemeen gebruik met een handige vormfactor. Deze voormalige pixelcontroller kan worden gebruikt voor een breed scala aan projecten, dankzij een Open Source reverse engineering-inspanning, en wordt zelfs ondersteund door de Project Trellis-toolchain, die ook voor deze inspanning werd gebruikt.
Het verpakken van al die microfoons in UDP-pakketten levert uiteindelijk maar liefst 715 Mbps op, wat mooi past op een Gigabit Ethernet-verbinding. Die gegevens worden ingevoerd in een geschreven GPU-kernel Triton, een open source alternatief voor CUDA. Dit voert een van de twee beamforming-bewerkingen uit. Near-field beamforming verdeelt de ruimte direct voor de microfoonarray in een 64x64x64 raster van 5 cm voxels, en kan een geluidsbron lokaliseren in die 3D-ruimte. Als alternatief kan het systeem een verre-veldbundel uitvoeren en een geluidsbron lokaliseren in een 2D-richting op een 512×512-raster.
Als onderdeel van de kalibratie is de geluidssnelheid ook een parameter die is geoptimaliseerd om het beste model van het systeem te verkrijgen, waardoor deze hele procedure kan fungeren als een belachelijk overontwikkelde thermometer.
De meest indrukwekkende truc is om het proces andersom uit te voeren en de inkomende audio die uit een specifieke richting komt te isoleren. De demo hier was om statisch af te spelen vanaf één bron en muziek van een tweede, nabije bron. Bij het luisteren met slechts één microfoon is het resultaat een onleesbare puinhoop. Maar het toepassen van het beamforming-algoritme is indrukwekkend om de directionele audio te isoleren. Klik door om de resultaten te horen.
En als dat nog niet genoeg is, bekijk dan de details van nog een soortgelijk microfoonarray-project.
- Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
- PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
- PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
- PlatoESG. Automotive / EV's, carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
- BlockOffsets. Eigendom voor milieucompensatie moderniseren. Toegang hier.
- Bron: https://hackaday.com/2023/07/04/3d-audio-imaging-with-a-phased-array-microphone/
