Les start-ups israéliennes derrière la technologie 3D de Google

Mantis Vision de Petah Tikva et SagivTech de Kfar Saba fournissent la principale technologie nécessaire pour le Projet Tango de Google. Le but du projet est de permettre aux appareils équipés de caméras, de capteurs et d’algorithmes sophistiqués de créer un modèle 3D avec lequel l’utilisateur peut interagir. Mantis Vision est la clé de Tango, produisant le moteur 3D principal utilisé par le système.

Google a travaillé sur Tango pendant un certain temps, et a annoncé cette semaine les détails du projet. La société prépare un kit de développement logiciel (SDK) pour Tango, qui sera présenté en juin, accompagné d’une tablette contenant le processeur Tegra K1 de Nvidia.

Le SDK et la tablette seront disponibles pour 1 024 dollars. Google espère que les développeurs mettront au point des jeux et des applications qui porteront la 3D aux « masses ».

Selon Nvidia, la tablette « intègre des caméras optimisées pour la vision par ordinateur, des algorithmes avancés de fusion de capteurs et des outils de détection de profondeur intégrés, ainsi que le processeur mobile Nvidia Tegra K1. En conséquence, il peut comprendre l’espace et bouger à la manière des humains, permettant aux espaces intérieurs d’être rapidement cartographiés en trois dimensions, ce qui permet la création d’applications qui allient des objets réels et virtuels ».

Mantis Vision est au cœur du projet Tango. Le moteur 3D de la société, appelé MV4D, servira de moteur 3D de base aux appareils de Tango, qui comprend des algorithmes de détection de profondeur basés sur la structure de la lumière.

Cette technologie est ce qui transforme l’image en 2D vue par la caméra d’un appareil en un environnement 3D et recrée à l’intérieur du processeur de l’appareil une approximation très proche de ce que voit la caméra et permet au logiciel basé sur Tango de manipuler et d’interagir avec l’environnement.

La technologie de MV4D est basée sur un système de triangulation active, ce qui signifie qu’il utilise un logiciel pour « observer » une scène de différents points de vue, en tenant compte des dimensions, de l’éclairage, des ombres et d’autres informations via un laser.

L’image brute est envoyée à un ordinateur, où la modélisation 3D a lieu. Un créateur de jeu pourrait utiliser la technologie pour construire un environnement de jeu 3D, permettant aux individus de télécharger des images d’eux-mêmes comme des avatars, qui peuvent ensuite être programmés dans le jeu.

Ce sont le genre de choses que Google a en tête. Selon le géant de la recherche, une tablette basé sur Tango pourrait être utilisé pour construire un environnement de jeu 3D dans un salon, projetant un environnement de jeu virtuel sur les murs et le plafond d’une pièce et permettant aux utilisateurs de jouer à des jeux comme s’ils étaient à l’intérieur du dispositif, imitant une action réelle en 3D.

Une application Tango pourrait prendre une photo d’une robe ou une chemise et la projeter sur l’avatar à l’écran d’un utilisateur, ou permettre aux utilisateurs de voir à quoi le mobilier ressemblerait dans leur salon.

La technologie de Tango pourrait rendre la vie beaucoup plus facile pour les personnes handicapées, a déclaré Google, avec une application de détection de profondeur pour les personnes ayant une déficience visuelle et d’informer les utilisateurs à combien de mètres ils sont d’un coin d’une rue ou un obstacle par exemple.

La technologie de SagivNet sera utile une fois que les appareils de Tango seront établis sur le marché. La société, en collaboration avec les partenaires de l’UE, développe une technologie pour combiner les vidéos d’un événement unique filmées par des personnes différentes de plusieurs points de vue, les transformant en une seule vue 3D de l’ensemble de l’événement.

Le système, appelé SceneNet, « assemble les vidéos sur leurs bords, faisant les correspondances avec les scènes téléchargées par les dispositifs de crowdsourcing », selon le Dr Chen Sagiv, le PDG de l’entreprise et coordinateur en chef du projet de SceneNet.

« C’est un processus compliqué, parce que vous devez faire correspondre les couleurs et compenser les différents éclairages, les capacités des appareils et d’autres facteurs qui font qu’une vidéo de la même scène ait l’air très différente ».

SceneNet pourraient être utilisé pour permettre aux téléspectateurs de regarder un concert de rock de n’importe quel angle ou point de vue, par exemple, en mettant l’accent sur le batteur ou le guitariste ou en regardant la foule, comme s’ils se trouvaient à l’événement, se déplaçant à travers la foule ou ayant une meilleure vue sur la scène.

La technologie pourrait être utilisée dans des applications de réseaux de socialisation qui permettraient aux utilisateurs de collaborer sur une vidéo YouTube, en téléchargeant différents angles d’un événement et les assemblants en une recréation en 3D dans un cloud, tout comme les utilisateurs de Google Docs peuvent collaborer sur un document en ligne.

Google n’est pas la seule société à travailler sur la technologie 3D. IllumiRoom de Microsoft utilise une caméra Kinect et un projecteur permet aux utilisateurs de faire l’expérience des jeux et des vidéos interactifs sur une surface beaucoup plus grande qu’un grand écran d’une télévision, ce qui permet à une télévision de « sortir » du boîtier et d’englober toute la pièce pour créer un environnement 3D qui allie l’écran et la réalité.

Le scanner Kinect 3D capture l’aménagement de la salle, y compris lorsqu’il y a du mobilier, les photos sur le mur, les couleurs et l’éclairage, et adapte les jeux et les vidéos utilisés par un système de jeu, tels que la Xbox One, aux contours de la pièce. IllumiRoom est encore en cours de développement chez Microsoft.

Outre Microsoft, Intel travaille également sur sa technologie 3D, appelé Perceptual Computing. Intel a sorti avec le Perceptual Computing SDK l’année dernière, en utilisant une caméra Creative 3D, mais il n’y a eu aucun écho sur les progrès accomplis par Intel dans ce domaine cette année.

Avec Google qui projette de sortir les premières tablettes et les téléphones 3D cette année, il semble que l’entreprise est en tête du peloton dans le déploiement de cette technologie. Mantis a beaucoup à voir avec cela.

La « 3D représente un changement majeur de paradigme pour le mobile. Nous n’avons pas vu de changement significatif depuis l’introduction de la caméra-téléphone. MV4D permet aux développeurs de fournir des appareils mobiles et des capacités compatibles avec la 3D au monde », a déclaré Amihai Loven, le chef de la direction de Vision Mantis.

« Ce partenariat avec Google permet à Mantis Vision d’avoir la flexibilité pour se développer rapidement et stratégiquement. Il va alimenter l’adoption et l’engagement direct avec les consommateurs dans le monde entier. Ensemble, nous apportons la 3D aux masses ».