Alexa heeft nu een 'fluistermodus' en het is veel complexer dan je zou denken

Tijdens de kolossale daling van nieuwe producten en functies van vorige week kondigde Amazon een nieuwe fluisterstand aan voor zijn persoonlijke Alexa-assistent. De functie is gecentreerd rond het idee dat er momenten van de dag zijn waarop je van nature stil bent, zoals 's morgens vroeg als uw partner misschien nog slaapt, of' s avonds als de kinderen slapen in slaap.

Wanneer anderen echter een aantal z’s vangen, wil je misschien Alexa toch vragen om een ​​update over je woon-werkverkeer, of om een ​​wekker in te stellen voor de ochtend, zonder andere leden van het huishouden wakker te maken. Dus nu, als je je commando naar Alexa fluistert, fluistert ze op dezelfde manier terug.

Een week later is Amazon uitleggen hoe de functie werkt, en het is veel complexer dan het klinkt. Amazon-wetenschapper Zeynab Raeesy zegt dat gefluisterde spraak doorgaans weinig energie en stemloos is, wat betekent dat de trilling in de stembanden ontbreekt. Dat maakt het voor een afluisterapparaat als een Amazon Echo veel moeilijker om de geluiden effectief op te pikken.

Verwant: Welke Amazon Echo moet je kopen

Raeesy zegt dat Amazon de prestaties van twee verschillende neurale netwerken heeft vergeleken om onderscheid te maken tussen normaal gesproken en gefluisterde woorden. Ze ontdekten dat een LSTM-netwerk (Long Short Term Memory) beter presteerde dan een multilayer perceptron-netwerk (MLP)

Ze schreef: “De modellen zijn getraind op twee categorieën kenmerken. Een daarvan is logboekfilterbank-energieën, een redelijk directe weergave van het spraaksignaal dat de signaalenergieën in verschillende frequentiebereiken registreert. De andere is een reeks functies die speciaal zijn ontworpen om de signaalverschillen tussen gefluister en normale spraak te benutten.

"We ontdekten dat een LSTM-netwerk dat geen handgemaakte functies gebruikt, even goed presteert als een MLP dat dat wel doet, wat aangeeft dat LSTM's in staat zijn om te leren welke signaalkenmerken het meest bruikbaar zijn voor fluisteren detectie. "

Raeesy voegde toe dat er voorbehouden waren aan deze aanpak, namelijk dat hoe meer gegevens het LSTM-netwerk werd blootgesteld, hoe minder verbetering de handgemaakte functies bood. Het model dat nu in Alexa zit, bevat dus helemaal niet de handgemaakte functies.

Andere problemen die het team moest overwinnen, waren onder meer het proces van "end-pointing". Meestal kan Alexa het einde van een opdracht detecteren vanwege de periode van stilte aan het einde. Dit wordt problematischer met fluisteren en het vermogen van het LSTM-netwerk was minder effectief tegen het einde van de uitingen.

Ze zei: “Onverwachts leverde het middelen van het volledige signaal - inclusief de lastige laatste 50 frames - de beste resultaten op. We vermoeden echter dat dat komt doordat de voorbeelden van gefluisterde spraak die we in onze experimenten gebruikten handmatig gesegmenteerd, terwijl de voorbeelden van normale spraak automatisch werden gesegmenteerd met behulp van de productie van Alexa eindaanwijzer.

“Er kan een consistent verschil zijn tussen handmatige en automatische segmentatie dat het systeem eigenlijk was het benutten van het onderscheid tussen de twee soorten invoer en het laten vallen van de laatste 50 frames maakte dat verschil moeilijker detecteren. "

Denk je dat de fluistermodus een nuttige toevoeging is aan de vaardigheden van Alexa? Stuur ons een bericht @TrustedReviews op Twitter.