Dans le prolongement du Sunny Side of the Doc dont la fréquentation enregistre une hausse de 15 % (2 300 accrédités), PiXii (Parcours d’expériences immersives et innovantes) a pris un peu plus d’ampleur et s’est décliné en un espace « marché » et un espace « démo ». La XR (réalité virtuelle, réalité augmentée, réalité mixte) y était exposée à la fois au travers d’une quinzaine de dispositifs immersifs et interactifs, mais aussi de conférences, d’études de cas, de cessions de pitchs (Histoire & Patrimoine, Science & Éducation) permettant de rencontrer les porteurs de projets, ainsi que d’une remise de prix.
Avec son espace « démo » ouvert l’après-midi au grand public, PiXii, qui a lancé pour la première fois un appel international pour des installations de médiation numérique, a fait d’une pierre deux coups : offrir au public de nouvelles expériences immersives tout en introduisant, auprès des professionnels du documentaire, les producteurs et auteurs de ces narrations issues d’images du réel.
Encore plus sollicités cette année que lors des éditions précédentes, les musées et les centres culturels (plus de trente musées internationaux ont fait le déplacement) sont considérés comme de potentiels diffuseurs, voire coproducteurs d’œuvres numériques. Comme le montre entre autres, la coproduction Opération Pompéi entre le Grand Palais, Gédéon et France Télévisions (un 52 minutes accompagné de podcasts et d’une exposition VR immersive muséale).
Signe que les milieux se rapprochent : « Cette année, nous n’avons pas eu besoin de démontrer l’intérêt des parcours sonores immersifs », se félicite Laurence Bagot, cofondatrice de Narrative, une société de production dédiée aux nouveaux medias. « Ils semblent aujourd’hui faire partie de la demande en scénographie et des appels d’offres. »
Installations immersives en quête de lieux
Pour le producteur Xavier de la Vega (Picseyes), il ne fait aucun doute que les installations virtuelles interactives nécessitent des immersions grandeur nature et sont de plus en plus destinées à être expérimentées dans des lieux muséaux. Première incursion en VR, Les murs parlent invite le visiteur à toucher les murs d’une cellule de prison dans laquelle il est immergé. Ces touchers successifs font apparaître des graffitis tracés par un prisonnier durant sa captivité ainsi que la silhouette de son amoureuse rendue en nuages de points. Au visiteur de l’aider à trouver un message dissimulé sur les murs.
« Cette histoire a été élaborée à partir de graffitis trouvés dans la prison de Fresnes où étaient enfermés les résistants lors de l’occupation allemande », précise le producteur exécutif. « Ils ont été redessinés à la palette graphique qui a enregistré leur tracé afin de les restituer dans leur mouvement. »
Pour ce jeu narratif en réalité virtuelle, la production ne cherche pas un diffuseur « classique » mais des lieux dédiés à la mémoire de la Seconde Guerre mondiale, de la Résistance, etc. : « Le marché LBE (Location Based Entertainment) s’est beaucoup développé et le nombre d’espaces dédiés aux expériences virtuelles est en progression très nette. Bien sûr, nos productions ne sont pas destinées aux salles d’arcade VR, mais elles intéressent beaucoup les musées désireux de renouveler, en utilisant les technologies immersives, leur rapport à l’histoire, au patrimoine, aux archives… La diffusion “idéale” de notre projet serait une exposition temporaire portée par un musée et contextualisée par une scénographie appropriée. »
Nécessitant également un espace dédié pour donner pleine mesure à sa dramaturgie, 11.11.18 (pour la date du 11 novembre 1918), portée par la société de production audiovisuelle Les Films de la Récré (Bruxelles) et réalisée par Sébastien Tixador et Django Schrevens, fait partie des installations en réalité virtuelle les plus marquantes de PiXii. Plongé au cœur d’une tranchée au moment où les soldats se préparent à livrer un assaut, le visiteur incarne cette fois-ci un soldat grièvement blessé, porteur de la nouvelle du traité de paix qui vient d’être signé. Sa version interactive (en cours de développement) permettra d’avoir un contrôle complet sur la narration : décider de poursuivre la guerre ou jeter les armes.
Comme une fiction classique, l’expérience 360 ° a été filmée en images réelles dans une tranchée reconstituée de toutes pièces avec la caméra 360 ° Z CAM V1 (cinq jours de tournage), les nombreux effets d’explosion et de fumée ayant été ajoutés en postproduction. Sélectionnée au Tribeca Film Festival 2019, elle est distribuée sur la plate-forme en ligne AmazeVR et bientôt sur Veer. Mais sa version interactive, qui fait partie des premiers projets européens en multi-narration interactive, s’adresse aux musées et lieux de mémoire.
Grand Prix PiXii 2019, Claude Monet, l’obsession des nymphéas, réalisé par Nicolas Thépot, résulte pour sa part d’une coproduction entre Lucid Realities, Arte, le musée d’Orsay et celui de l’Orangerie, où l’expérience 360° a été exposée pendant cinq mois dans le cadre de l’exposition Focus collection Monet-Clemenceau (fin 2018).
Nourrie par des échanges dialogués entre le peintre et son ami Georges Clemenceau, l’expérience immersive de six minutes opère un va-et-vient sensible entre le modèle réel (le jardin de Giverny abondamment photographié par le réalisateur puis recréé en 3D temps réel par Studio 130) et sa représentation picturale qui va jusqu’à retrouver les mouvements de pinceau du peintre des Nymphéas. L’œuvre, disponible gratuitement sur les stores Viveport et Steam, fait partie de la collection VR Arte Trips.
En bonne place dans l’inventaire PiXii, Arte exposait d’autres titres phares de sa collection Arte Trips : Caravaggio, In Tenebris, Les Rêves du Douanier Rousseau, L’Ile des Morts… Ainsi que ses dernières productions 360° comme -22,7°C, un « documentaire » de Yan Kounen, Amaury Laburthe et Molécule sur l’aventure du compositeur de musique électronique Molécule parti capter des sons de l’Arctique pour sa dernière œuvre musicale (coproduction Zorba, Novelab et DV Group). La version interactive était à expérimenter sous un igloo mis en place par le distributeur Diversion.
De son côté, les Nouvelles Écritures de France Télévisions donnait à revivre les expériences immersives 360° Dans la peau de Thomas Pesquet (coup de cœur au Screen4All 2018) de Pierre-Emmanuel Le Goff et Jürgen Hansen (production La Vingt-Cinquième Heure), et Géants disparus (French Connections Films, Chuck Productions, GlitchR), lequel a rejoint le Cabinet de Réalité Virtuelle du MNHN (musée national d’Histoire naturelle).
À noter que ces expériences d’immersion, contemplatives ou interactives, reposent sur des designs sonores originaux très élaborés. Pris en charge par Studio Bastille (associé à Picseyes), le design sonore de Les murs parlent est à 6 DoF (Degrees of Freedom) et participe à la fluidité des déplacements.
Composé par le studio Demute (Belgique), celle de 11.11.18 a recouru à de nombreux micros ambisoniques dissimulés sur le plateau et chaque comédien disposait de deux micros HF. Participant à l’effet impressionniste, la composition spatialisée de Claude Monet, l’obsession des nymphéas a été écrite par le pianiste George Lepauw qui a improvisé directement, en voyant les images, à partir d’une musique de Debussy.
Ces expériences immersives, qui dépassent rarement les 15 minutes, présentent encore en commun d’intégrer, dans leur pipeline de production, un moteur temps réel comme Unity ou Unreal Engine.
« Sur Les murs parlent, l’encodage des scènes prend à peine plus de deux heures sur Unity », remarque Xavier de la Vega. « On peut donc très rapidement modifier la narration, opter pour plus ou moins d’interactivité, varier la dynamique du son, etc. Le principe que nous avons mis en place peut donc se décliner pour un autre espace et dans un autre contexte, raconter d’autres histoires… »
La fiction VR et à choix multiples 11.11.18 a opté pour la même solution : « Comme il y a encore peu d’exemples similaires, nous recourons à ce logiciel qui bénéficie d’un large écosystème dans la création interactive », précise le producteur Boris Baum (Les Films de la Récré). Sur Claude Monet…, l’animation réaliste du bassin des nymphéas s’est appuyée sur Unreal Engine.
Brassage de médiations numériques in situ
Pour valoriser un corpus (images, sons) ou une collection muséale, les sites disposent aujourd’hui d’un large choix de médias numériques. PiXii rappelait au public du Sunny Side quelques solutions immersives éprouvées ou encore à l’état de prototype.
Largement déployé (Palais des Papes à Avignon, Chambord, Chinon, etc.), l’Histopad de la société Histovery recourt à la réalité augmentée pour aborder les sites historiques ou patrimoniaux. Depuis l’Histopad de la Conciergerie sorti en 2016 qui recréait à 360° et en 3D la prison et les cellules (entre autres celle de Marie-Antoinette) sur tablette tactile, la start-up a peaufiné la qualité de ses reconstitutions et intègre même, afin de les rendre plus vivantes, des personnages rendus en 3D. Celle de l’abbaye de Senanque (inaugurée au début de l’été), géolocalisée au moyen de beacons, donne également à voir les moines d’aujourd’hui filmés dans leur travail quotidien.
L’immersion sonore constitue également une voie très prometteuse pour la médiation numérique et les parcours de visite. Portées par Narrative qui a signé en 2016 les premiers voyages en son 3D in situ (Abbaye aux Dames à Saintes…), les expériences augmentées par le son peuvent à l’évidence se passer d’images : les voix enregistrées en son binaural parvenant à faire revivre à elles seules l’esprit du lieu, comme ici le château de Vaux-le-Vicomte et ses protagonistes : Nicolas Fouquet, La Fontaine, Louis XIV… (lire De parcours en voyages sonores : le son partout au SITEM 2019. Et à créer des scénographies originales comme en témoignent ces deux parcours enregistrés in situ au moyen d’une tête Neumann (enfants et adultes).
Dans les cartons de Narrative se pressent encore d’autres scénographies sonores comme l’œuvre créée pour le théâtre Mogador (Paris), les parcours sonores de l’abbatiale de Saint-Savin, ceux de la ville de Montauban… Autant d’expériences qui présentent l’avantage d’exister aussi « hors les murs ».
Avec Apocalypse -10 destins VR, l’Ecpad (Établissement de communication et de production audiovisuelle de la défense) proposait de son côté une solution immersive et interactive originale de valorisation d’images d’archives. D’une durée d’environ 5 minutes, l’expérience VR place le visiteur au cœur d’une tranchée de la Première Guerre mondiale. Incarnant un cameraman du service cinématographique des armées françaises (ou une photographe canadienne), il est chargé de rapporter du front des images de la guerre. Tous les clichés qu’il est amené à prendre correspondent à des vues cadrées par des opérateurs militaires de l’époque.
Réalisée en interne par l’Ecpad à partir de son fonds d’archives constitué depuis 1914, l’expérience résulte d’une collaboration entre CC&C (Clarke Costelle et Compagnie) qui a produit la série documentaire Apocalypse, le réseau Canopé et Idéacom international qui a produit la série web Apocalypse-dix destins dont l’expérience VR reprend les codes graphiques 2D ainsi que deux de ses protagonistes.
Si l’expérience s’adresse aux enseignants et scolaires, elle constitue aussi, pour l’établissement engagé depuis trois ans dans la production de films à 360° (La prison de Montluc…), une exposition de son savoir-faire en matière d’immersion et de valorisation d’archives audiovisuelles : « Au travers de cette expérience VR, nous voulons montrer aux musées et lieux de mémoire l’intérêt de cet outil de médiation immersif pour valoriser un contenu », remarque le chef de projet Pascal Roussel.
Moins glamour qu’une expérience VR mais participant, à sa manière, à l’immersion in situ, le projet présenté dans le cadre des pitchs de PiXii par Emmanuel Rouillier, fondateur de l’agence multimédia Mosquito, revient sur un utilitaire de base pour le musée : le « cartel numérique » ou l’outil permettant de générer des contenus numériques sur n’importe quel dispositif de médiation déployé.
« Le “cartel numérique” doit répondre à la demande des visiteurs sur un point précis tout en s’immisçant dans les scénographies. Rien n’est plus frustrant dans un musée que de ne pas avoir d’informations sur un objet ou une œuvre vous questionnant. » Ce « basique » (à l’état de prototype), sans lequel l’institution ne peut envisager une découverte efficace et cohérente de son offre numérique, comprend des fonctions de repérage (dans les différentes bases de données du musée) et permet la construction de scénarios d’interprétation.
À l’état de prototype, Tamed Cloud (« nuage apprivoisé » en anglais) est une application en réalité virtuelle de visualisation spatiale partagée. Développée par Spatial Media (laboratoire de recherche de l’EnsadLab) en collaboration avec IBM (IBM Watson), elle permet de visualiser et de manipuler, de manière intuitive et sensorielle, un grand ensemble de données au comportement autonome.
L’expérience présentée à PiXii s’appuie sur une partie de la collection du MoMa (4 000 tableaux et photographies). Selon les gestes et les interactions vocales de l’utilisateur (via le microphone de la manette), les images se réorganisent autour de lui (selon les couleurs, etc.) ou livrent instantanément les métadonnées correspondantes à une œuvre en particulier. « Dans une seconde étape, nous voulons travailler sur comment mieux mémoriser cette information en s’aidant de la spatialisation », précise le chercheur Dionysis Zamplaras.
Produite par Black Euphoria (Marseille) et Inlum.in, l’installation collective et interactive, qui fait appel à la captation volumétrique en temps réel, ouvre un champ de recherche particulièrement prometteur. Non disponible lors de PiXii (pour cause d’avarie), l’expérimentation réalisée lors de l’inauguration de l’exposition On danse ? au Mucem (printemps 2019) donne à voir une centaine de visiteurs dansant sous les scanners et instantanément transformés en un esthétique nuage de points 3D.
« Deux réalisateurs, qui codaient en 3D temps réel, changeaient les points de vue et les échelles… », précise Mathieu Rozières. « Mais notre objectif est de mettre notre système multi caméras (des Kinect connectées entre elles), qui associe scanner 3D et mapping, au service d’une narration : le public, dont les interactions collectives sont scriptées, faisant avancer cette narration. »
En développement par Black Euphoria, l’adaptation dansée de L’Écume des jours par Julie Desmet Weaver. Cette première œuvre numérique, qui sollicite à la fois coopération et interaction, ne recourt à aucun accessoire pour le public. Ni casque de réalité virtuelle, ni capteurs sur le corps, ni manettes d’aucune sorte.
Extrait de l’article paru pour la première fois dans Sonovision #16, p.20-24. Abonnez-vous à Sonovision (4 numéros/an + 1 Hors-Série) pour accéder, à nos articles dans leur totalité dès la sortie du magazine.
Retrouvez ici notre interview vidéo de Chloé Jarry, productrice qui a reçu le Grand Prix PiXii en juin dernier pour l’expéricence VR réalisée par Nicolas Thépot, Claude Monet, L’obsession des nymphés…
