MindBuff : les neurosciences au service du gaming

Quand un chercheur en neurosciences rencontre l'un des pionniers du jeu en ligne, cela donne la start-up Conscious Lab, à l'origine de MindBuff, un petit capteur capable d'analyser l'activité cérébrale lors d’une partie. Nous avons rencontré ces deux créateurs, Julien Dauguet et Aksel Piran, dont l'invention peut révolutionner la manière d’analyser les performances en jeu et l’entrainement de haut niveau. Entretien avec notre nouveau partenaire. 

 
BM-Blanche-yeux-transparents petite  Comment est né le projet MindBuff ?

 

C’est la rencontre de deux mondes. Julien est issu de la recherche en neurosciences sur les maladies neurodégénératives. Il a cherché à sortir les neurosciences du laboratoire et à trouver des applications pour aider les athlètes du quotidien. Aksel est un technophile pionnier des jeux en ligne qui a plus récemment lancé la première caméra 360° pour le livestreaming 4K, à la croisée de la réalité virtuelle, de la vidéo et de l’électronique. Après des rencontres avec The Coach (Coach Mental), puis avec des coaches de jeu, on a vite compris que la composante neurophysiologique était ultra importante pour la performance et le bien être des gamers. Ça nous a paru une évidence d’essayer d’apporter une solution adaptée pour ces athlètes du cerveau.

 

Julien Dauget

 

Julien Dauguet, Co-fondateur de MindBuff

 

BM-Blanche-yeux-transparents petite  Pour le grand public, l’activité cérébrale demeure un mystère. Pouvez-vous, de manière simple, nous expliquer comment il est possible de faire le lien entre l’activité de notre cerveau et les différents signaux qui peuvent en émaner ?

 

Pour faire simple, on peut comparer chaque état neurophysiologique (comme l’attention, le stress, la fatigue…) à un style de musique. Le cerveau émet une activité électrique qui prend la forme d’une oscillation que l’on peut mesurer notamment à la surface du scalp. Cette oscillation est majoritairement due aux échanges de neurotransmetteurs, particules chargées, qui ont lieu en permanence entre les différentes aires cérébrales. À chaque état neurophysiologique, on peut associer des fréquences d’oscillations prépondérantes ; un peu comme à chaque style musical, on peut associer un spectre particulier (des basses pour l’électro, des aigus pour du classique). En un mot, on identifie l’état en regardant la puissance des « basses », des « mediums » et des « aigus » du cerveau en temps réel. Les électrodes que l’on place sont comme des micros qui permettent d’écouter la musique cérébrale. En pratique, c’est un peu plus compliqué : il existe des différences interindividuelles, mais aussi des variations au sein d’une même personne en fonction du moment, des conditions. De plus, la mesure est différente en fonction du positionnement des électrodes. On enregistre aussi beaucoup de bruit qu’il faut pouvoir filtrer. L’avantage de la mesure de l’activité cérébrale est que l’on est à la source de toute chose : toute action, toute intention humaine s’initie dans le cerveau. On mesure aussi le signal « brut » : même si aujourd’hui on se focalise sur l’état d’attention, on peut virtuellement détecter, découvrir, comprendre beaucoup de mécanismes en jeu lors d’un entrainement ou d’une compétition.

 

BM-Blanche-yeux-transparents petite  Quelles sont les informations que l’on peut recueillir en analysant le courant faible émis par le cerveau lorsqu’il est en activité, via, notamment, l’électroencéphalographie ou l’électrocardiographie ?

 

On utilise effectivement la technique d’exploration cérébrale que l’on appelle électroencéphalographie, en abrégé EEG. La technique cousine beaucoup plus connue est l’électrocardiographie (ECG ou EKG) que l’on connait mieux pour le cœur, mais qui est basée sur le même principe. Les courants générés par le cerveau sont effectivement très faibles et leur mesure est difficile. L’information directement issue de l’EEG n’est pas interprétable facilement, c’est un signal médical qui est analysé par les neurologues, les spécialistes du sommeil avec une formation spécifique pour lire ces courbes dansantes. Il y a une très grande connaissance de l’analyse des états durant le sommeil mais beaucoup moins grande concernant la veille. Cela est principalement dû au fait qu’il est compliqué de porter un dispositif EEG dans la journée, sur une longue période, pendant qu’on réalise son activité normalement. C’est ce que l’on souhaite changer grâce à notre dispositif intégré dans un casque de gaming. Ensuite, ces signaux sont très riches, ils sont très sous exploités d’une certaine manière quand on y recherche « simplement » une pathologie. Grâce à l’analyse numérique du signal, on peut en tirer beaucoup d’informations : on a vu apparaître le domaine de la BCI, Brain Computer Interface, largement basée sur l’EEG, où l’on cherche à échanger des infos entre un cerveau et un ordinateur. L’une des applications naturelles est la commande : ça fait un peu rêver mais on est loin d’atteindre des résultats probants pour l’heure. L’autre domaine est le neuro-sensing : comprendre les états neurophysiologiques de manière automatique et objective. C’est dans ce domaine que nous évoluons en appliquant nos développements au monde de l’esport.

 

BM-Blanche-yeux-transparents petite  Quelle est la fiabilité des données recueillies ?

 

Concrètement en utilisant l’EEG, on est capable de détecter très rapidement un changement de signal (très bonne résolution temporelle), mais on n’a pas d’idée précise de l’origine de ce signal (faible résolution spatiale). Pour pallier ce problème dans un cadre médical – pour détecter précisément un foyer épileptique dans le cerveau par exemple dans –, on est contraint de tapisser l’ensemble du scalp de centaines de capteurs et de procéder à une espèce d’énorme triangulation (problème inverse) pour retrouver l’origine d’un signal. En neuro-sensing, nous sommes plus proches de la médecine du sommeil où l’on écoute globalement le signal cérébral sur du plus long terme. Il est alors suffisant d’avoir quelques capteurs. Nous faisonsune très bonne polysomnographie clinique avec deux capteurs EEG. Cela répond au premier point concernant le nombre de capteurs.
Concernant le capteur lui-même, nous avons mis beaucoup d’efforts dans le développement des électrodes, pour éviter d’avoir à appliquer la pâte conductrice gluante utilisée en hôpital. Nous avons développé nos propres capteurs dits secs (sans pâte conductrice), qui aussi ont la particularité d’être non métalliques, d’être souples et de pouvoir lire à travers les cheveux, avec un matériau d’apparence très proche de ce qui est utilisé dans les casques audio du commerce. En apparence seulement !

 

BM-Blanche-yeux-transparents petite  Quelles sont les difficultés, notamment techniques, auxquelles vous avez été confrontés ?

 

Le développement du capteur a été long et compliqué, car il a fallu faire appel à de nombreuses disciplines scientifiques et techniques : c’est un mélange de mécanique, de science des matériaux, d’électronique, d’analyse des signaux et de neurosciences ! Le protocole de communication sans fil nous a, entre autres, donné du fil à retordre, car nous cherchions à utiliser le moins de puissance possible tout en étant capables d’envoyer l’information brute. C’est comme shooter raw en photo, ça prend de la place ! Apporter de la robustesse à la mesure en mettant en place des protocoles d’expérimentation répétables, quantifiables et fiables a été une grosse étape également, qui a pris beaucoup de temps.
Ensuite, le défi – qui est encore en cours et qui est absolument passionnant –, c’est de fusionner les données physiologiques avec les statistiques du jeu et de leur donner du sens. Nous travaillons avec des coaches mentaux, des coaches jeu et des équipes élites pour avancer dans ce domaine. L’interface a bien avancé, on a besoin de testeurs maintenant !

 

BM-Blanche-yeux-transparents petite  Le courant émis par le cerveau est extrêmement faible, de l’ordre de quelques microampères et la tension de l’ordre de quelques microvolts. Quelle est la précision de votre capteur et comment parvenez-vous à analyser un si faible signal ?

 

La tension mesurée après filtrage est effectivement de l’ordre de la dizaine de microvolts. On n’a pas de problème de précision de ce côté, car on a un convertisseur analogique numérique avec une résolution ultra-précise, très inférieure au microvolt. La principale difficulté de mesure vient du « bruit » que l’on enregistre en même temps que le signal cérébral d’intérêt : bruit physiologique (muscles), bruit dû au mouvement et aux perturbations électromagnétiques environnantes (notamment les gros transformateurs des ordinateurs !).
On a mis en place un certain nombre d’étapes de filtrages pour nettoyer le signal, certaines classiques pour de l’EEG, mais d’autres originales propres à notre cas d’usage particulier.

 

BM-Blanche-yeux-transparents petite  Dans quelle mesure est-il possible d’utiliser les données recueillies par votre capteur pour développer une interface cerveau-machine ?

 

Nos algorithmes renvoient des valeurs reflétant l’état neurophysiologique que l’on affiche sur un écran, qui font bouger des jauges, donc on peut dire en ce sens que c’est déjà une interface cerveau-machine. On a développé pour d’autres applications des détecteurs de somnolence avec une alarme qui sonne ou encore un dispositif qui adapte la musique à son état. On entre donc vraiment dans cette catégorie.
Maintenant, si on comprend la question au sens « commande », notre matériel en tant que tel est parfaitement adapté puisqu’il mesure de l’EEG brut de qualité. En revanche, pour différencier plusieurs instructions, il est nécessaire d’avoir beaucoup plus de capteurs, puis de mener une phase d’apprentissage qui peut être longue pour chaque individu. Ensuite, en fonction de l’individu, la performance peut être variable. En pratique, je pense que la commande de la machine par la pensée est une belle idée, mais il semble qu’aujourd’hui l’application pratique convaincante – autre que la recherche pure ou le traitement des pathologies lourdes – reste à trouver. Les résultats les plus spectaculaires obtenus aujourd’hui sont réalisés avec des implantations d’électrodes directement dans le cerveau, en invasif. On s’éloigne du grand public et du Gaming. Ensuite, il y a malgré tout des commandes qui peuvent être réalisées par EEG, mais on est très loin de la vitesse d’exécution des champions du Gaming. De plus, il est nécessaire d’utiliser pleinement son cerveau pour réaliser la commande, or le cerveau est complètement occupé par autre chose pendant le jeu. Il faut donc trouver un jeu particulier dont le but serait en soi de réussir la commande cérébrale. Ce n’est pas LoL ou Overwatch en tout cas !

 

BM-Blanche-yeux-transparents petite  Où en êtes-vous dans le développement de votre produit ?

 

Nous avons énormément travaillé en amont pour le développement des capteurs et des marqueurs d’état neurophysiologiques. Nous sommes arrivé à une version stable de l’électronique, on itère encore sur la forme optimale pour les capteurs et on est en phase active d’acquisitions de données pour alimenter notre base et lancer les algorithmes de machine learning sur des problématiques spécifiques que rencontrent les joueurs, dans des conditions réelles afin d’apporter une réelle valeur ajoutée pour progresser.

 

BM-Blanche-yeux-transparents petite  Qu’est-ce que MindBuff peut apporter aux joueurs de jeu vidéo ?

 

Un jeune joueur sait généralement qu’il faut travailler sa technique et sa stratégie pour améliorer son niveau de jeu, mais à un certain moment il atteint un plateau. Ce qui fait la différence entre deux très bons joueurs à l’arrivée : c’est le mental ! Ce qui est très difficile à quantifier et par conséquent à améliorer.
Avec MindBuff on veut proposer une information sur la qualité de son attention pendant la partie : où il en est par rapport aux joueurs de son niveau, par rapport à sa moyenne perso sur les dernières semaines ? Est-ce-que son entrainement est efficace ? Une véritable nouvelle ère commence pour l’entrainement
Au-delà de ça, et là je rebondis sur un thème commun avec Blackmice que l’on a abordé récemment avec le député M.Denis Masséglia - qui porte à bout de bras le thème de l’esport à l’Assemblée - : on souhaite pouvoir introduire dans les centres d’entrainement la notion de « healthy training ». On sait depuis longtemps, notamment dans le sport traditionnel, que qualité et quantité d’entrainement ne sont pas la même chose. Aujourd’hui, on mise presque tout sur la quantité dans l’esport. Or pour une équipe, ou un organisme de formation, l’idée est de garder les gens longtemps au top, en bonne santé physique et mentale et donc détecter au plus tôt tout signe d’irritabilité excessive, perte de concentration et même burnout qui malheureusement touche le milieu de plein fouet. On ne veut pas de joueurs qui s’épuisent à « tryhard » pendant des heures pour rien ! C’est comme cela que l’on fera tous ensemble progresser l’esport.

 

BM-Blanche-yeux-transparents petite  Existe-t-il des applications possibles à destination des sportifs de haut niveau ?

 

ous sommes vraiment spécialisés dans les activités qui demandent de la concentration, génèrent du stress, ont une certaine durée et qui se déroulent avec un casque devant un écran. Si l’activité sportive ou une phase de préparation mentale de cette activité se passent dans ces conditions, on peut apporter quelque chose. Il y a pas mal de choses qui se passent sur simulateur maintenant pour l’entrainement, dans les sports mécaniques notamment, donc je pense qu’il y a des ponts possibles effectivement.

 

BM-Blanche-yeux-transparents petite  Quelles sont les prochaines étapes de développement de votre projet ?

 

On veut intensifier notre travail et collaboration avec des joueurs, des coaches, des équipes pour récolter de la donnée et pouvoir donner toujours plus de sens à nos mesures. Cela implique au niveau matériel de produire une série conséquente de modèles costauds, utilisables en conditions réelles afin de commencer à distribuer les casques et à lier des partenariats avec des structures.
On veut suivre des joueurs au cours du temps et les voir progresser, avoir des repères pour pouvoir, avec notre techno, détecter un problème, ou, au contraire, révéler un futur champion !
On va commencer par des structures d’entrainement spécialisées, avec un staff pour coacher les joueurs et pouvoir assimiler notre nouveau flux de données neurophysiologiques, leur donner du sens pour ensuite intégrer à terme cette intelligence dans un produit grand public. Dernière étape : faire de l’esport un endroit sain dans lequel se développer, en écoutant son corps (et son cerveau)… avec notre casque.

 

www.mindbuff.co