AR und ChatGPT könnten eine Killer-Kombination für Übersetzung und Transkription sein

MEINUNG: Als ich durch die Hallen des MWC 2023 wanderte, hatte ich die Gelegenheit, Qualcomms AR-Headset-Referenzdesign in die Hand zu nehmen. Während sich die Hardware noch sehr in der Entwicklung befindet und hauptsächlich auf Hersteller und Entwicklern führte die Demo etwas ein, an das ich vorher nie gedacht hatte: die Nutzung der offenen KI-Plattform ChatGPT.

Qualcomm wird eigentlich keine AR-Headsets für Verbraucher produzieren, aber das Unternehmen hat einige Referenz-AR-Headsets herausgebracht Designs in den letzten Jahren, die im Wesentlichen als Blaupause für andere Unternehmen dienen, um ihre eigene AR zu erstellen Kopfhörer.

Sie werden langsam kompakter und weniger wie die sperrige Microsoft HoloLens, aber sie funktionieren im Wesentlichen auf die gleiche Weise und erweitern die reale Welt um virtuelle Elemente.

Hersteller beginnen bereits, diese Technologie zu nutzen – die Nreal Air ist ein gutes Beispiel für eine frühe AR-Brille – aber es ist noch ein langer Weg, bis wir in einer vollständig erweiterten Zukunft mit schlanken AR-Brillen stehen. Das von mir verwendete Headset benötigt zum Beispiel noch eine kabelgebundene Verbindung zu einem Smartphone, um alle Daten des Headsets zu verarbeiten.

Das hat sich mit Qualcomm geändert neustes AR-Viewer-Konzept angetrieben durch den verwendeten Snapdragon XR2-Chipsatz WLAN 7 für superschnelle Konnektivität – Qualcomm behauptet weniger als 10 ms Latenz – aber aufgrund der schieren Menge an drahtlosen Geräten auf der Messe war es nicht möglich, es vorzuführen.

Trotzdem konnte ich etwas Zeit mit dem etwas älteren Referenz-Headset Snapdragon XR1 gewinnen, und mir wurde ein neuer Echtzeit-Übersetzungs- und Transkriptionsdienst präsentiert, der vollständig von ChatGPT unterstützt wird.

ChatGPT ist derzeit das heiße Thema in der Technik, da die offene KI-Plattform scheinbar alles kann, von der Generierung von Codezeilen zur Beschleunigung der App-Entwicklung bis hin zur Unterstützung von Kindern bei den Hausaufgaben. Es gibt sogar eine Geschichte über ChatGPT Bestehen von Step 1 der Medical Licensing Prüfung in den USA, was zeigt, wie beeindruckend die Hardware ist.

Vor diesem Hintergrund scheint ChatGPT der ideale Kandidat für Echtzeit-Transkription und -Übersetzung mit Schwerpunkt auf der Modellierung natürlicher Sprache zu sein.

Das Headset verwendete ein spezielles Mikrofon, um Audio aus dem (sehr lauten) Demobereich aufzunehmen, und transkribierte das Gesagte nahezu perfekt die Brille, und es ist intelligent genug, um mehrere Sprecher zu erkennen und die Transkription zwischen ihnen aufzuteilen, mit Sprecher 0, Sprecher 1 und so An.

Es gibt immer noch eine leichte Verzögerung, während die API ihre Arbeit erledigt, aber innerhalb von ein oder zwei Sekunden sah ich, was effektiv Live-Untertitel meiner Drei-Wege-Konversation waren.

Das mag auf den ersten Blick etwas effekthascherisch klingen, könnte aber nicht nur für die Übersetzung ein echter Game-Changer sein – stellen Sie sich vor, Sie könnten sprechen zu jemandem in einer anderen Sprache mit nur einer Brille – aber was wohl noch wichtiger ist, ein echter Segen für diejenigen, die es schwer haben Hören. Die Fähigkeit, effektiv in Echtzeit zu transkribieren, könnte für Schwerhörige befreiend sein, insbesondere wenn sie sich mit jemandem unterhalten, der die Gebärdensprache nicht fließend beherrscht.

Natürlich ist es noch ein weiter Weg, bis wir alle AR-Headsets mit ChatGPT-fähiger Transkription tragen und Übersetzungsdienste, aber es ist eine verlockende Vorschau auf das, was wir wirklich erwarten sollten, was wir in der nächsten Zeit auf den Markt bringen werden ein paar Jahre.

Warum unserem Journalismus vertrauen?

Trusted Reviews wurde 2004 gegründet, um unseren Lesern eine gründliche, unvoreingenommene und unabhängige Kaufempfehlung zu geben.

Heute haben wir jeden Monat Millionen von Benutzern aus der ganzen Welt und bewerten mehr als 1.000 Produkte pro Jahr.