AR et ChatGPT pourraient être un combo tueur pour la traduction et la transcription

AVIS: En errant dans les couloirs du MWC 2023, j'ai eu l'occasion de me familiariser avec la conception du casque AR de référence de Qualcomm. Bien que le matériel soit encore en cours de développement et se concentre principalement sur les fabricants et développeurs, la démo a introduit quelque chose que je n'avais jamais envisagé auparavant: tirer parti de la plate-forme d'IA ouverte ChatGPT.

Qualcomm ne produira pas réellement de casques AR pour les consommateurs, mais la société a publié quelques casques AR de référence conceptions au cours des deux dernières années qui servent essentiellement de modèle à d'autres entreprises pour créer leur propre réalité augmentée casques.

Ils deviennent lentement plus compacts et moins comme le Microsoft HoloLens volumineux, mais ils fonctionnent essentiellement de la même manière, augmentant le monde réel avec des éléments virtuels.

Les fabricants commencent déjà à tirer parti de cette technologie - le Nréal Air est un bon exemple d'une première paire de lunettes AR - mais il reste encore un long chemin à parcourir avant que nous soyons dans un avenir entièrement augmenté avec des lunettes AR minces. Le casque que j'ai utilisé, par exemple, nécessite toujours une connexion filaire à un smartphone pour traiter toutes les données du casque.

instagram viewer

Cela a changé avec Qualcomm dernier concept de visionneuse AR alimenté par le chipset Snapdragon XR2 qui utilise Wi-Fi 7 pour une connectivité ultra rapide – Qualcomm revendique une latence inférieure à 10 ms – mais en raison du nombre considérable d'appareils sans fil présents au salon, il n'a pas été possible d'en faire la démonstration.

Pourtant, j'ai pu passer du temps avec le casque de référence Snapdragon XR1 légèrement plus ancien, et on m'a présenté un nouveau service de traduction et de transcription en temps réel entièrement alimenté par ChatGPT.

ChatGPT est le sujet brûlant de la technologie en ce moment, avec la plate-forme d'IA ouverte apparemment capable de faire n'importe quoi, de la génération de lignes de code pour accélérer le développement d'applications à aider les enfants à faire leurs devoirs. Il y a même une histoire sur ChatGPT réussir l'étape 1 de l'examen de licence médicale aux États-Unis, montrant à quel point le matériel est impressionnant.

Dans cet esprit, ChatGPT semble être le candidat idéal pour la transcription et la traduction en temps réel en mettant l'accent sur la modélisation du langage naturel.

Le casque utilisait un microphone dédié pour capter l'audio de la zone de démonstration (très bruyante) et transcrivait presque parfaitement ce qui était dit sur les lunettes, et il est assez intelligent pour détecter plusieurs haut-parleurs et diviser la transcription entre eux, avec le haut-parleur 0, le haut-parleur 1 et ainsi de suite sur.

Il y a encore un léger décalage pendant que l'API fait son travail, mais en une seconde ou deux, je voyais ce qui était effectivement des sous-titres en direct de ma conversation à trois.

Cela peut sembler un peu fantaisiste à première vue, mais cela pourrait changer la donne non seulement pour la traduction - imaginez pouvoir parler à quelqu'un dans une langue différente en utilisant seulement une paire de lunettes - mais sans doute plus important encore, une véritable aubaine pour ceux qui ont du mal à audience. La capacité de transcrire efficacement en temps réel pourrait être une libération pour ceux qui sont malentendants, surtout s'ils conversent avec quelqu'un qui ne parle pas couramment la langue des signes.

Bien sûr, il reste encore du chemin à parcourir jusqu'à ce que nous portions tous des casques AR avec transcription et chatGPT activés. services de traduction, mais c'est un aperçu alléchant de ce que nous devrions vraiment nous attendre à voir arriver sur le marché dans le prochain quelques années.