Disfruto hablar con CEVA porque trabajan en productos de consumo muy interesantes (entre otras líneas de productos). Mi discusión más reciente fue con Seth Sternberg (Sensores y software de audio en CEVA), sobre audio espacial o 3D. Los primeros pasos para una experiencia de audio algo inmersiva fueron el sonido estéreo y envolvente, colocando fuentes de sonido alrededor del oyente. Un poco mejor que el audio mono, pero su cerebro interpreta el sonido como si viniera del interior y estuviera fijo en su cabeza, porque le faltan señales importantes como la reverberación, la reflexión y las diferencias de tiempo en cada oído. El audio 3D recrea esas señales, lo que permite que el cerebro sienta que la fuente de sonido está fuera de tu cabeza pero aún está fija en tu cabeza; mueve la cabeza hacia la izquierda y la banda se mueve hacia la izquierda, muévete hacia la derecha y la banda se mueve hacia la derecha Conectar los movimientos de la cabeza al audio corrige este último problema, fijando la fuente de sonido en su lugar. Cuando mueves la cabeza, escuchas un cambio de la misma manera que lo harías en el mundo real. Esto puede parecer bueno, pero tiene implicaciones importantes en la experiencia del usuario y en la reducción de la fatiga inducida por implementaciones menores.
¿Por qué nos debe importar?
Los avances en este dominio aprovechan los grandes mercados, especialmente en los juegos (~$300 mil millones), que no solo impulsan las ventas de juegos. Si duda de que los juegos sean importantes, recuerde que el año pasado los juegos lideraron los ingresos de NVIDIA y siguen siendo un contribuyente importante. Como indicador adicional, el mercado de audífonos/audífonos ya supera los $34 mil millones y se espera que crezca a $126 mil millones para 2030. Apple y Android 13 brindan soluciones de audio espacial patentadas para servicios de música y video y ya están atrayendo una atención significativa. Según un crítico, ya hay miles de canciones de Apple Music codificadas para 3D. Samsung llama a su equivalente 360 Audio, que trabaja con sus Galaxy Buds Pro y contenido codificado para Dolby Atmos (también compatible con Spatial Audio de Apple). Diferenciarse en la experiencia de audio del usuario es un gran problema.
La opción de música es interesante pero quiero prestar especial atención a los juegos. Dado un juego atractivo, cuanto más inmersiva sea la experiencia, más jugadores se sentirán atraídos por ese título. Por supuesto, esto depende en parte de la acción del video, pero también depende de que el audio esté bien sincronizado tanto en el tiempo como en la posición del reproductor con el video. Quiere saber la diferencia entre pasos detrás de usted o al frente. Cuando gira la cabeza para confirmar, espera que el audio siga su movimiento. Si miras un helicóptero que vuela por encima, el audio debería seguir. Cualquier cosa menos será insatisfactorio.
Aunque es posible que no lo note al principio, la mala sincronización en el tiempo y la pose también puede volverse agotador. Su cerebro trata de dar sentido a lo que deberían estar correlacionados con los estímulos visuales y auditivos. Si estos no se corresponden, debe trabajar más duro para que se alineen. Una experiencia inmersiva debería aumentar la emoción, no la fatiga, y los creadores de juegos lo saben. Por cierto, también se cree que las largas latencias y el desajuste de posición entre los estímulos visuales y de audio son un factor que contribuye a la fatiga de Zoom. Los usuarios de audífonos observan los labios del orador en busca de pistas para reforzar lo que están escuchando; también informan fatiga después de una conversación prolongada.
En otras palabras, el audio 3D no es agradable de tener. Los fabricantes de productos que hagan esto bien aplastarán a aquellos que ignoren la diferenciación que ofrece.
Codificar o no codificar
En los primeros días del sonido envolvente, el audio de múltiples micrófonos se codificaba en canales separados y finalmente se decodificaba en altavoces separados en su sala de estar. Luego, se introdujo la "mezcla ascendente" utilizando señales del audio para inferir una asignación razonable de las direcciones de la fuente para admitir el sonido envolvente 5.1 o 7.1. Esto resulta ser un proxy bastante decente para la codificación previa y ciertamente es mucho más económico que volver a grabar y codificar el contenido original en múltiples canales. Si hay más información como estéreo, un verdadero 5.1, 7.1 o ambisónicos, el audio 3D debería comenzar con eso. De lo contrario, la mezcla proporciona una forma de que el audio 3D entregue un buen facsímil de lo real.
La segunda consideración es dónde reproducir el audio, en el teléfono/estación de juegos o en los auriculares. Esto es relevante para el seguimiento de la cabeza y la latencia. Obviamente, la detección de los movimientos de la cabeza debe ocurrir en los auriculares, pero lo más común es que la reproducción de audio se maneje en el teléfono/dispositivo de juego. El envío de información sobre el movimiento de la cabeza desde los auriculares al renderizador agrega latencia además del renderizado. Este viaje de ida y vuelta a través de Bluetooth puede agregar hasta 200-400 milisegundos, un retraso muy notable entre las transmisiones visuales y audibles. Apple tiene algunos trucos patentados para solucionar este problema, pero están bloqueados en un ecosistema exclusivo de Apple.
La solución ideal y abierta es hacer la reproducción de audio y la detección de movimiento en los auriculares para lograr una latencia total mínima.
La solución RealSpace
En mayo de este año, CEVA adquirió el negocio de audio espacial de VisiSonics. Lo han integrado junto con el software CEVA MotionEngine para el seguimiento dinámico de la cabeza, proporcionando precisamente la solución definida anteriormente. También proporcionan complementos para los desarrolladores de juegos que quieren llegar hasta el final para ofrecer contenido totalmente optimizado para audio 3D. El producto ya está integrado en chips de un par de semis chinos y una línea de audífonos lanzada recientemente en India. Se esperan anuncios similares en otras regiones.
Tecnología muy chula. Puedes leer sobre la adquisición AQUÍy obtenga más información sobre el producto RealSpace AQUÍ.
Comparte esta publicación a través de:
- Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
- EVM Finanzas. Interfaz unificada para finanzas descentralizadas. Accede Aquí.
- Grupo de medios cuánticos. IR/PR amplificado. Accede Aquí.
- PlatoAiStream. Inteligencia de datos Web3. Conocimiento amplificado. Accede Aquí.
- Fuente: https://semiwiki.com/ip/329881-democratizing-the-ultimate-audio-experience/
