Hvad er semantisk segmentering? Smartphone-kamerateknologien forklarede

Qualcomm annoncerede for nylig sin seneste flagskibsplatform til smartphones, den Snapdragon 8 Gen 2.

En af de største opdateringer her var den nye Cognitive ISP, en smart billedsignalprocessor, der leverer op til 200 megapixel billeder, mere intelligent ansigtsgenkendelse fra Always-Sensing-kameraet og alle fordelene ved real-time semantik segmentering.

Men hvad er semantisk segmentering, og hvad betyder det for din telefons kamera?

Hvad er semantisk segmentering?

Semantisk segmentering er en billedteknologi, der gør det muligt for et kamera at genkende individuelle aspekter inden for en ramme, såsom ansigter, hår, tøj, baggrunde og mere. Disse aspekter kan så optimeres separat, hvilket betyder, at kameraet vil ændre farve, tone, skarphed og mængden af ​​støj i billedet fra sag til sag.

Tænk på semantisk segmentering som Photoshop-lag i dit telefonkamera, så forskellige dele af et billede kan justeres individuelt i stedet for at kameraet redigerer billedet som helhed.

Semantisk segmentering i realtid er præcis, hvad det lyder som - det samme som ovenstående, men alt sker, mens du bruger kameraet og ikke efter, at du har taget billedet eller afsluttet optagelsen af ​​videoen.

Der er masser af tilfælde, hvor semantisk segmentering i realtid kan forbedre din mobilfotografering.

Teknikken kan bruges til at glatte hud, fjerne reflekser fra briller, skærpe hår og pels, bringe mere blå til himlen og forbedre læsbarheden af ​​tekst på skærme og i bøger, for at nævne nogle få fra den virkelige verden bruger.

Du kan se semantisk segmentering i aktion i videoen ovenfor.

Hvor nøjagtig er den?

Vi havde mulighed for at teste real-time semantisk segmentering på Qualcomms Snapdragon Summit på Hawaii i år og fandt ud af, at det gjorde et godt stykke arbejde med at adskille hud fra hår, tøj og baggrunden bag os, men det var det ikke Perfekt.

I demoen var kameraet indstillet til at gøre alt, hvad det antog for at være hudgrønt, for at give os en idé om, hvor nøjagtigt det er.

Kameraet gjorde et godt stykke arbejde med at fremhæve al huden på billedet, bortset fra et lille udsnit, der kiggede frem bag brillerne. Den kæmpede dog meget med ens farvede elementer, hvilket ved en fejl fremhævede den beige kjole og orange iPhone som hud, fordi deres toner passede for tæt til ansigtet og armene på billedet.

I en anden demo testede vi hududjævningsfunktionen og fandt ud af, at den var meget subtil og naturlig, hvilket resulterede i noget lidt mere overbevisende end nogle af de mere overivrige udjævningseffekter, der findes på TikTok, Instagram og nogle OEM's Android-kameraer software.

I sidste ende er det op til hver OEM at tune funktionerne aktiveret af den kognitive internetudbyder, som de kan lide, fortalte vicedirektør for produktstyring for kamera Judd Heape os på Summit, hvilket betyder, at vi bliver nødt til at vente på, at det første parti af 8 Gen 2-telefoner ankommer for at se, hvordan realtids semantisk segmentering vil forbedre billeder med den virkelige verden brug.

Hvorfor stole på vores journalistik?

Trusted Reviews blev grundlagt i 2004 og eksisterer for at give vores læsere en grundig, objektiv og uafhængig rådgivning om, hvad de skal købe.

I dag har vi millioner af brugere om måneden fra hele verden og vurderer mere end 1.000 produkter om året.