Il s’agit là d’un projet ambitieux et à long terme du géant Facebook : intégrer dans des lunettes intelligentes, une IA avec une perception égocentrique du monde réel.
L’objectif est clair pour la firme de Mark Zuckerberg, proposer d’ici à quelque temps, des lunettes capables d’augmenter la perception de la réalité au quotidien. Notons que c’est la division Reality Labs qui s’occupera de ce projet du nom de « Ego4D ».
Comment Facebook compte s’y prendre ?
Pour améliorer le fonctionnement d’une IA (Intelligence artificielle), Facebook a collecté, collecte et continue de collecter des vidéos capturées à la première personne. Il s’agit de lunettes intelligentes censées aider les gens dans leur quotidien. En effet, les IA devront s’habituer à voir, à entendre et à percevoir de la même façon qu’un être humain.
Aujourd’hui, Facebook a collecté plus de 2 200 heures de vidéos qui impliquent 700 participants environ. Rappelons que l’apprentissage habituel des IA se fait avec des vidéos à la troisième personne. Mais ce n’est pas le cas avec les vidéos à la troisième personne. Ces dernières permettront de constituer une grande base de données où les IA peuvent apprendre en permanence.
Il faut savoir que la division Reality Labs ne travaille pas seul dans ce projet. Elle collabore aussi avec 13 universités réparties dans 9 pays différents afin de créer un « dataset » public. Quant aux vidéos, elles sont prises de façons naturelles, sans montage. L’objectif étant de permettre aux machines de reconnaître l’environnement, les objets et les scènes au quotidien.
Quelles sont les attentes pour ce projet ?
D’une manière générale, les IA en développement pourront aider les gens dans plusieurs activités. Pour rappel, la lunette intelligente Ray-Ban Stories sortie en septembre par la firme permettait tout simplement de collecter les informations. Pour mieux cerner les résultats attendus du projet, Facebook a mis en place 5 axes de références.
Tout d’abord, il y a la mémoire épisodique qui permet à l’IA de se souvenir de l’emplacement de certains objets. Cette capacité permettrait par exemple de retrouver les clés d’une voiture ou une télécommande égarée. La mémoire épisodique servirait aussi à rappeler à l’usager une tâche déjà réalisée ou non. Ce qui serait avantageux pour les seniors.
Ensuite, le deuxième axe concerne de prévision qui aiderait à réaliser certaines actions tout en étant préventif. Il convient de souligner que l’interaction main-objet ou manipulation d’objets est sûrement l’une des fonctionnalités les plus attendues de l’IA. En effet, celle-ci pourra enseigner à jouer au piano par exemple. De plus, elle aura la faculté d’associer les événements à des personnes ou à des objets.
La journalisation audiovisuelle est également l’une des attentes de ce projet. Au fait, l’on attend à ce que l’IA, une fois intégrée dans les lunettes intelligentes, puisse enregistrer les faits marquants d’une journée. Ainsi, les utilisateurs avec un problème de mémoire pourront facilement se souvenir d’un détail, comme un numéro de téléphone. Le cinquième et dernier axe de référence concerne l’interaction sociale. Cette dernière vise à améliorer la communication entre deux individus.
Pour finir, le projet Ego4D est toujours en phase de conception. Mais il représente l’espoir de rendre le quotidien de plus d’un plus facile. Par ailleurs, Facebook compte rendre public l’ensemble des données (dataset) pour les chercheurs qui seraient intéressés par le projet.
