Co je sémantická segmentace? Vysvětlena technologie fotoaparátu smartphonu

Qualcomm nedávno oznámil svou nejnovější vlajkovou loď pro smartphony Snapdragon 8 Gen 2.

Jednou z největších aktualizací zde byl nový Cognitive ISP, inteligentní procesor obrazového signálu, který poskytuje rozlišení až 200 megapixelů. obrázky, inteligentnější detekce obličeje z kamery Always-Sensing a všechny výhody sémantiky v reálném čase segmentace.

Ale co je sémantická segmentace a co to znamená pro fotoaparát vašeho telefonu?

Co je sémantická segmentace?

Sémantická segmentace je zobrazovací technologie, která umožňuje kameře rozpoznat jednotlivé aspekty v rámci snímku, jako jsou obličeje, vlasy, oblečení, pozadí a další. Tyto aspekty pak lze optimalizovat samostatně, což znamená, že kamera bude případ od případu upravovat barvu, tón, ostrost a množství šumu v obrazu.

Představte si sémantickou segmentaci, jako jsou vrstvy Photoshopu ve fotoaparátu vašeho telefonu, které umožňují individuální úpravu různých částí obrázku, místo aby fotoaparát upravoval obrázek jako celek.

Sémantická segmentace v reálném čase je přesně to, co zní – stejně jako výše, ale vše se děje, když používáte fotoaparát, a ne poté, co uděláte obrázek nebo dokončíte nahrávání videa.

Existuje mnoho případů, kdy sémantická segmentace v reálném čase může zlepšit vaši mobilní fotografii.

Technika může být použita k vyhlazení pokožky, odstranění odlesků z brýlí, ostření vlasů a srsti, přinese více modré do nebe a zlepšit čitelnost textu na obrazovkách a v knihách, abychom jmenovali alespoň některé z reálného světa používá.

Sémantickou segmentaci můžete vidět v akci ve videu výše.

jak je to přesné?

Měli jsme příležitost otestovat sémantickou segmentaci v reálném čase na letošním Qualcomm’s Snapdragon Summit na Havaji a zjistil, že to dělá dobře, když odděluje kůži od vlasů, oblečení a pozadí za námi, ale nebylo perfektní.

V ukázce byla kamera nastavena tak, aby změnila vše, co považovala za zelenou, abychom získali představu o tom, jak je přesná.

Fotoaparát odvedl dobrou práci, když zvýraznil veškerou kůži na snímku, kromě malé části vykukující zpoza brýlí. Hodně se však potýkalo s podobně barevnými prvky, omylem zvýrazňovalo béžové šaty a oranžový iPhone jako kůže, protože jejich tóny příliš ladily s obličejem a pažemi na obrázku.

V další ukázce jsme testovali funkci vyhlazení pleti a zjistili jsme, že je velmi jemná a přirozená, což má za následek něco trochu přesvědčivější než některé z příliš horlivých vyhlazovacích efektů nalezených na TikTok, Instagramu a některých OEM fotoaparátech Android software.

V konečném důsledku je na každém OEM, aby vyladil funkce povolené poskytovatelem Cognitive ISP tak, jak se mu líbí, řekl nám viceprezident produktového managementu pro fotoaparát Judd Heape na konferenci Summit, což znamená, že budeme muset počkat na první várku telefonů 8 Gen 2, abychom viděli, jak sémantická segmentace v reálném čase vylepší obrázky se skutečným světem použití.

Proč věřit naší žurnalistice?

Trusted Reviews, založená v roce 2004, existuje, aby našim čtenářům poskytla důkladné, nezaujaté a nezávislé rady ohledně toho, co koupit.

Dnes máme miliony uživatelů měsíčně z celého světa a ročně hodnotíme více než 1000 produktů.