En ce qui concerne les jeux de suivi manuel sur Quest, rien ne se rapproche vraiment de Unplugged.

Développé par Anotherway et publié par Vertigo Games fin 2021, Unplugged est un jeu de guitare aérienne, inspiré de Guitar Hero et bien d'autres, qui vous permet de déchiqueter en VR avec une guitare virtuelle et vos vraies mains.

Comme je l'ai dit ailleurs, Unplugged exploite la technologie de suivi des mains de Quest pour donner vie à l'acte imaginaire de l'air guitar. Ce faisant, il porte le suivi manuel à un tout nouveau niveau conceptuel et technologique, surpassant tout ce qui est disponible sur Quest.

"Dès le début, notre obsession était de comprendre à quel point la technologie est limitée et d'essayer de peaufiner ce genre de choses", explique Ricardo Acosta, directeur du studio et créateur d'Unplugged. "C'était la toute première chose. Pas les graphismes, pas même le gameplay.

Après avoir parlé avec Acosta dans notre studio virtuel (interview vidéo complète intégrée ci-dessus), il est clair que créer une expérience raffinée et tangible a toujours été l'objectif. "Je pense que le suivi manuel est là pour de bon", me dit-il. « Je voulais créer quelque chose qui fonctionnait pour de vrai. Ce n'était pas juste une autre démo.

Un engagement aussi fort envers cette nouvelle forme d'entrée est un appel important, en particulier pour Acosta, qui a passé des années en tant que sceptique du suivi des mains tout en travaillant dans l'équipe HoloLens de Microsoft. "Quand j'étais chez Microsoft, j'étais comme un défenseur des contrôleurs", dit-il en riant. "Chez Microsoft, tout est question de suivi manuel, mais je me disais : 'Non les gars, nous avons besoin de contrôleurs. Les contrôleurs sont super. Et maintenant, je dis exactement le contraire.

"Sur la première version de l'HoloLens... vous avez le suivi manuel, mais tout comme le blob. C'est juste la main, pas les doigts. Sans un suivi complet et fiable des doigts, Acosta est reparti déçu et sceptique. "Avec HoloLens 2, c'était un peu mieux, mais le décalage entre votre mouvement et la main était très important, pour de nombreuses raisons techniques."

Même ainsi, Unplugged a été conceptualisé pour la première fois en 2015 - bien avant l'avènement de la fonctionnalité de suivi des mains de toute réalité virtuelle moderne. "Je me souviens d'avoir assisté à un concert à Prague et j'étais comme faire de la guitare aérienne", se souvient-il. "Et à un moment donné, je me suis dit, oh, c'est une interaction qui pourrait fonctionner en VR."

«Dès que je suis rentré chez moi, j'ai prototypé quelque chose… et ça a totalement fonctionné. C'était comme, oh, c'est bon. C'est quelque chose que nous pourrions en fait transformer en jeu. » L'idée originale s'est développée en quelque chose qui ressemble à Rock Band mais pour VR, en utilisant des contrôleurs et les premiers casques Vive et Oculus SDK. Acosta a déclaré qu'il avait quitté son emploi chez Microsoft pour travailler sur le prototype, intitulé Rock the Stage, au cours de quatre mois.

"Je pense que c'était plutôt bien", dit-il à propos du prototype Rock the Stage, dont les vidéos existent toujours en ligne. "La meilleure chose c'était que cela vous donnait l'impression d'être là." Mais Acosta s'est rapidement heurté à un obstacle - les jeux musicaux, et en particulier les licences associées, sont un travail compliqué. « Vous avez besoin de beaucoup d'argent. Vous avez besoin d'une équipe de personnes qui s'occupe de toutes ces licences musicales. Et je n'avais pas tout ça à l'époque. J'ai donc décidé, à un moment donné, de reprendre mon travail.

Après avoir continué dans la division VR/AR de Microsoft pendant encore quelques années, Acosta a revisité le concept en 2020 alors qu'il s'ennuyait à la maison pendant la pandémie. "Oculus [avait] vient de sortir le système de suivi des mains [pour Quest] et tout à coup, il m'est venu comme, 'Oh mon dieu, je pourrais en fait sauver ce... prototype et essayer [voir] s'il fonctionne en utilisant le suivi des mains.'"

Même au début, le suivi des mains ressemblait à un tournant pour l'expérience auparavant réservée aux contrôleurs. « Cela a si bien fonctionné. . À l'époque, avec les contrôleurs, c'était bien, mais avec le suivi manuel, c'était exactement ce qu'il fallait faire. Acosta a adapté son prototype original en quelque chose de nouveau, abandonnant les contrôleurs pour quelque chose de beaucoup plus libérateur et immersif. "Quand j'ai mis [hand tracking] sur le prototype, ce n'était pas parfait, mais c'était assez bon pour que je commence à peaufiner l'expérience. Je savais qu'avec un peu de travail et quelques algorithmes en plus du suivi des mains, je pouvais le faire fonctionner.

Acosta a créé une vidéo présentant le nouveau prototype de jeu et l'a publiée sur les réseaux sociaux. Il a rapidement explosé et suscité beaucoup d'intérêt, notamment de la part des éditeurs proposant des financements. Après avoir discuté des options avec quelques éditeurs différents, Acosta a signé avec Vertigo Games. «Ils ont proposé la meilleure offre. Et aussi ils étaient plus gros, et ils avaient vraiment une vision super sympa de ce que le jeu devrait être.

« Au début, j'avais un peu peur parce que c'était un super gros projet. Nous n'avions pas d'entreprise ensemble. C'était compliqué. » Ce qui a commencé comme un one-man show a dû se transformer en une équipe en plein essor. La femme d'Acosta a rejoint en tant que chef de projet et ils ont ensuite été rejoints par quelques autres pour constituer le petit studio maintenant connu sous le nom d'Anotherway.

"Nous sommes six personnes maintenant, ce qui n'est pas beaucoup", dit-il. « Très récemment, nous avons eu l'opportunité de grandir un peu, mais nous avons décidé de rester petits. J'ai travaillé chez Microsoft pendant la plus grande partie de ma carrière. C'est une très grande entreprise et c'est incroyable, mais j'aime vraiment travailler avec un très petit nombre de personnes. C'est un environnement très créatif.

Aux côtés de Vertigo, Unplugged s'est rapidement transformé en un projet aux ambitions plus grandes que celles qu'Acosta n'avait jamais imaginées. "Je suis très conservateur en termes d'ajout de fonctionnalités, car je sais que tout ce que vous ajoutez à un projet créera beaucoup de problèmes, beaucoup de bogues, beaucoup de choses."

«Ils ont poussé pour plus de personnel. Ils voulaient plus de musique, ils voulaient plus de lieux, ils voulaient plus de qualité sur le jeu et ils ont toujours poussé pour cela. Et je pense qu'en général, le jeu aurait été beaucoup plus petit sans Vertigo », dit-il.

En particulier, travailler avec Vertigo a ouvert des opportunités en ce qui concerne la liste de pistes proposée. « Au tout début, nous ne recherchions que de petits groupes. Et puis quand nous nous sommes inscrits avec Vertigo, ils ont dit 'Non, les groupes indépendants sont cool et nous en aurons quelques-uns. Mais nous avons besoin de groupes célèbres. Et nous étions comme, oh, mais ça va être super compliqué.

Vertigo a envoyé à Anotherway une liste de lecture Spotify et leur a demandé d'ajouter toutes les chansons qu'ils pourraient vouloir dans le jeu. "Et nous étions comme 'Attendez, quelle musique?'" C'était un grand changement mental.

The Offspring's The Kids Aren't Alright a été la première chanson majeure dont Vertigo et Anotherway ont obtenu les droits. "Nous étions comme sauter, comme, 'Oh mon dieu, nous avons réussi.'" Le la sélection finale comprenait des artistes massifs – The Clash, T. Rex, Weezer et Steel Panther, pour n'en nommer que quelques-uns. "[L'octroi de licences musicales] est un processus qui prend beaucoup de temps, et je le savais. Donc, même dans mes rêves les plus fous, j'aurais rêvé d'avoir Weezer ou Tenacious D, The Offspring ou Ozzy… »

L'inclusion de Tenacious D's Roadie est particulièrement spéciale pour Acosta – non seulement le groupe est l'un de ses favoris, mais il avait utilisé la chanson depuis 2015 dans le tout premier prototype. Cependant, la chanson n'a presque pas fait partie du jeu final.

Vertigo et Anotherway ont d'abord eu du mal à entrer en contact avec Tenacious D pour obtenir les droits. Cependant, Vertigo avait un tour dans sa manche – la légende de Guitar Hero Mark Henderson avait été amenée à bord pour aider au jeu. "Il était comme, 'Les gars, laissez-moi faire. Je vais y arriver. Alors, d'une manière ou d'une autre, il a contacté le directeur de Tenacious D et a commencé à leur parler.

Avec l'aide d'Henderson, les droits de la chanson ont été sécurisés. Mais un autre problème est apparu - avec une cote PEGI 12, les bombes F explicites et fréquentes de Roadie n'allaient pas le couper. "Alors à un autre moment, nous nous sommes dit:" D'accord, nous avons la chanson maintenant, mais nous ne pouvons pas l'utiliser car nous sommes PEGI 12, nous devons donc la retirer de la liste. ""

Acosta a fait la paix en laissant la chanson hors de la liste des chansons mais, selon ses mots, "peut-être que les stars étaient dans une position particulière ce soir-là". Henderson a pu faire revenir Tenacious D en studio pour réenregistrer une version propre de Roadie, spécifiquement pour Unplugged, à l'exclusion de tous les jurons.

"C'était fou", dit Acosta. « Sachant que mon groupe préféré a réenregistré une chanson juste pour le match. C'est fou. C'est tout simplement incroyable. Et beaucoup de gens se sont plaints du fait que c'est une version différente de la chanson, sans jurons. Mais je suis tellement fier de ça. Pour moi, c'est encore mieux parce que c'est notre chanson.

Avec son tracklist solide sécurisé, Acosta et l'équipe d'Anotherway se sont mis au travail pour créer une expérience de suivi des mains inoubliable et fiable. "Je suis un concepteur UX, donc pour moi, la chose la plus importante dans tout est l'expérience utilisateur. Si l'expérience n'est pas bonne, tout le jeu ne fonctionnera pas, ou toute l'expérience sera merdique, et nous ne voulions pas cela.

En conséquence, le gameplay lui-même a été adapté et conçu pour fonctionner avec, et non contre, le suivi des mains. Même de minuscules changements ont fait une grande différence – la taille de la guitare dans Unplugged, par exemple, est un peu plus petite qu'une guitare normale, ce qui permet de garder vos mains en vue des caméras.

"Au début, avec le suivi manuel 1.0, nous devions être très conscients de vos mouvements", explique-t-il. "Nous avons dû créer la cartographie pour que la musique soit classée d'une manière qui soit toujours consciente des limites de la technologie."

Cela signifiait qu'au lancement, la cartographie dans Unplugged ne suivait pas toujours complètement la musique, ce qui a amené certains joueurs à se plaindre que la musique et les notes ne s'alignaient pas toujours. "Et nous savions pourquoi, mais nous ne pouvions rien y faire, car le suivi de la main était très limité et vous ne pouviez pas déplacer votre main aussi rapidement", a-t-il déclaré.

Néanmoins, Acosta reste fier de l'expérience offerte au lancement. « Dans la première version, c'était absolument jouable. Évidemment, ce n'était pas parfait, mais c'était jouable. Et je pense que nous avons prouvé que vous pouvez réellement créer un jeu de suivi des mains qui utilise le suivi des mains de manière très intensive.

Avancez quelques mois après le lancement et le la sortie du logiciel Meta's Hand Tracking 2.0 a offert d'énormes gains pour Unplugged. Non seulement la technologie était plus fiable que jamais, mais elle était si bonne qu'Anotherway est revenu en arrière et a remappé toute la liste des pistes pour une précision et un défi accrus. «Nous voulons que le jeu soit entièrement accessible à tous, évidemment. Mais je pense que pour 98% des gens, le jeu fonctionne très bien.

Néanmoins, Anotherway met toujours en œuvre des algorithmes et des solutions de contournement pour tenir compte des erreurs et améliorer l'expérience – le dernier en date étant un système d'IA. "Nous utilisons l'apprentissage en profondeur afin de voir où vos mains devraient être ou quelle est votre pose ou quelles sont vos intentions. Nous avons fait tout ça pour [that] quand il y a un problème avec le suivi des mains, il y a une autre couche essayant d'aider et essayant de rendre l'expérience aussi fluide que possible.

Il y a plus à venir aussi. À court terme, Anotherway vient de sortir un nouveau pack DLC — avec des chansons du groupe de métal Pantera – et travaillent sur une prochaine mise à jour d'accessibilité ajoutant de nouvelles fonctionnalités et "une autre chose" qui est top secrète mais qui sera "vraiment importante".

En termes de sélection de chansons, il y a certainement plus sur le chemin. «Nous travaillons pour ajouter plus de musique tout le temps. Nous voulons ajouter de la musique gratuite [ainsi], pas seulement du contenu téléchargeable. De plus, je veux ajouter plus de musique indépendante parce que je pense qu'il y a beaucoup de très bonne musique indépendante.

Mais qu'en est-il du long terme ? À quoi ressemble l'année prochaine ou plus pour Unplugged? "Je ne peux pas trop en parler parce que Vertigo va me tuer", dit Acosta en riant. « Mais nos projets sont très grands. Unplugged va devenir plus gros, du moins en termes de fonctionnalités… »

"Je serais très excité à propos de Unplugged si je savais ce qui va se passer. Probablement comme dans un an, Unplugged sera très différent. Il aura beaucoup plus de choses. C'est ça. C'est tout ce que je peux dire."

Pour un jeu qui a déjà été le pionnier d'une nouvelle technologie sur un matériel de pointe, il pourrait y avoir beaucoup de développements intéressants dans l'avenir d'Anotherway.

"Unplugged va aller de l'avant", a déclaré Acosta. "Ça c'est sûr. Nous ne restons pas immobiles.

Unplugged est disponible sur Casques de recherche ainsi que casques PC VR avec suivi des mains sur Steam. Tu peux lisez notre 2022 complet et mis à jour du jeu ici.