AR и ChatGPT могат да бъдат убийствена комбинация за превод и транскрипция

МНЕНИЕ: Скитайки се из залите на MWC 2023, получих възможността да се запозная практически с референтния дизайн на слушалки за AR на Qualcomm. Докато хардуерът все още е в процес на разработка и е фокусиран главно върху производителите и разработчици, демонстрацията въведе нещо, което никога не бях обмислял преди: използване на отворената AI платформа ChatGPT.

Qualcomm всъщност няма да произвежда AR слушалки за потребителите, но компанията пусна няколко референтни AR слушалки проекти през последните няколко години, които по същество служат като план за други компании да създадат свои собствени AR слушалки.

Те бавно стават по-компактни и по-малко подобни на обемист Microsoft HoloLens, но по същество работят по същия начин, като допълват реалния свят с виртуални елементи.

Производителите вече започват да използват тази технология – Nreal Air е добър пример за ранен чифт AR очила – но има още много време да се извърви, преди да сме в напълно разширено бъдеще с тънки AR очила. Слушалките, които използвах, например, все още изискват кабелна връзка със смартфон, за да обработят всички данни от слушалките.

instagram viewer

Това се промени с Qualcomm най-новата концепция за AR Viewer захранван от чипсета Snapdragon XR2, който използва Wi-Fi 7 за супер бърза връзка – Qualcomm претендира за по-малко от 10ms латентност – но поради голямото количество безжични устройства на изложението не беше възможно да се демонстрира.

Все пак успях да отделя малко време с малко по-старите референтни слушалки Snapdragon XR1 и ми беше представена нова услуга за превод и транскрипция в реално време, захранвана изцяло от ChatGPT.

ChatGPT е горещата тема в технологиите в момента, като отворената AI платформа изглежда може да прави всичко - от генериране на редове код за ускоряване на разработването на приложения до помагане на децата да пишат домашните. Има дори история за ChatGPT преминаване на стъпка 1 от изпита за медицинско лицензиране в САЩ, показвайки колко впечатляващ е хардуерът.

Имайки това предвид, ChatGPT изглежда идеалният кандидат за транскрипция и превод в реално време с фокус върху моделирането на естествен език.

Слушалките използваха специален микрофон, за да уловят аудио от (много силната) демонстрационна зона и почти перфектно транскрибираха казаното на очилата и е достатъчно интелигентен, за да открие множество високоговорители и да раздели транскрипцията между тях, с високоговорител 0, говорител 1 и така На.

Все още има малко забавяне, докато API свърши работата си, но в рамките на секунда или две видях това, което на практика бяха субтитри на живо на моя тристранен разговор.

Това може да звучи малко измамно на пръв поглед, но може наистина да промени играта не само за превода – представете си да можете да говорите на някой на различен език, използвайки само чифт очила – но може би по-важното, истинска благодат за тези, които са трудни слух. Възможността за ефективно преписване в реално време може да бъде освобождаваща за тези, които имат увреден слух, особено ако разговарят с някой, който не владее езика на знаците.

Разбира се, има още много неща, докато всички не носим AR слушалки с транскрипция с активиран ChatGPT и преводачески услуги, но това е примамлив предварителен преглед на това, което наистина трябва да очакваме да видим на пазара в следващия няколко години.