还记得《银翼杀手》中德卡德将照片放入照片检查器中的场景吗？ 虚拟相机可以在拍摄的场景中平移和移动，从而提取出不可能的细节。 看起来 [Ben Wang] 发现了如何使这个特殊的技巧成为现实，但是需要音频 而不是视频。 秘密武器不是一个复杂的麦克风，而是一大堆非常简单的麦克风。 在本例中，共有 192 个，排列在长 PCB 上，充当墙壁艺术轮的辐条。 完全是对话片段。
您可能会认为同时捕获 192 个麦克风的数据本身就是一个挑战，但这似乎是一个准确的评估。 第一个数据采集问题是由于奇怪的 PCB 将制造过程推向了极限。 大约一半的辐条在到达时就已损坏，各个麦克风倾向于将共享时钟线短路至接地线或电源线。 然后将所有数据拉入， 色光 用作具有方便外形尺寸的通用 FPGA。 由于开源逆向工程的努力，这种前像素控制器可用于各种项目，甚至得到 网格项目工具链，也用于这项工作。
将所有这些麦克风打包成 UDP 数据包最终会达到高达 715 Mbps，这非常适合千兆位以太网连接。 该数据被输入到用以下代码编写的 GPU 内核中 Triton，CUDA 的开源替代品。 这将执行两个波束成形操作之一。 近场波束成形将麦克风阵列正前方的空间划分为 64 厘米体素的 64x64x5 网格，并且可以在该 3d 空间中定位声源。 或者，系统可以运行远场波束成形，并在 2×512 网格上的 512d 方向上定位声源。
作为校准的一部分，声速也是一个参数，经过优化以获得系统的最佳模型，这使得整个过程就像一个过度设计的温度计。
最令人印象深刻的技巧是以另一种方式运行该过程，并隔离来自特定方向的传入音频。 这里的演示是播放来自一个源的静态声音，以及来自附近第二个源的音乐。 当仅使用一个麦克风收听时，结果是一团乱码。 但应用波束成形算法在隔离定向音频方面取得了令人印象深刻的效果。 点击查看结果.
如果这还不够，请查看以下详细信息 另一个类似的麦克风阵列项目.
