Was ist semantische Segmentierung? Die Smartphone-Kameratechnik erklärt

Qualcomm hat kürzlich seine neueste Flaggschiff-Plattform für Smartphones angekündigt, die Löwenmaul 8 Gen 2.

Eines der größten Updates war hier der neue Cognitive ISP, ein intelligenter Bildsignalprozessor, der bis zu 200 Megapixel liefert Bilder, intelligentere Gesichtserkennung durch die Always-Sensing-Kamera und alle Vorteile der Echtzeit-Semantik Segmentierung.

Aber was ist semantische Segmentierung und was bedeutet sie für die Kamera Ihres Telefons?

Was ist semantische Segmentierung?

Die semantische Segmentierung ist eine Bildgebungstechnologie, die es einer Kamera ermöglicht, einzelne Aspekte innerhalb eines Rahmens zu erkennen, z. B. Gesichter, Haare, Kleidung, Hintergründe und mehr. Diese Aspekte können dann separat optimiert werden, was bedeutet, dass die Kamera die Farbe, den Ton, die Schärfe und die Menge an Rauschen im Bild von Fall zu Fall modifiziert.

Stellen Sie sich die semantische Segmentierung wie Photoshop-Ebenen in Ihrer Telefonkamera vor, mit denen verschiedene Teile eines Bildes einzeln angepasst werden können, anstatt dass die Kamera das Bild als Ganzes bearbeitet.

Semantische Segmentierung in Echtzeit ist genau das, wonach es sich anhört – das gleiche wie oben, aber alles passiert, während Sie die Kamera verwenden, und nicht, nachdem Sie das Bild aufgenommen oder die Aufnahme des Videos beendet haben.

Es gibt viele Fälle, in denen die semantische Segmentierung in Echtzeit Ihre mobile Fotografie verbessern kann.

Die Technologie kann verwendet werden, um die Haut zu glätten, Reflexionen von Brillen zu entfernen, Haare und Fell zu schärfen und mehr zu bringen blau in den Himmel und verbessern die Lesbarkeit von Text auf Bildschirmen und in Büchern, um nur einige Beispiele aus der realen Welt zu nennen Verwendet.

Im obigen Video können Sie die semantische Segmentierung in Aktion sehen.

Wie genau ist es?

Wir hatten die Gelegenheit, die semantische Segmentierung in Echtzeit auf dem Snapdragon Summit von Qualcomm in diesem Jahr auf Hawaii zu testen und fand, dass es einen guten Job machte, Haut von Haaren, Kleidung und dem Hintergrund hinter uns zu trennen, aber es war nicht so perfekt.

In der Demo war die Kamera so eingestellt, dass sie alles, was sie für hautfarben hielt, grün färbte, um uns eine Vorstellung davon zu geben, wie genau sie ist.

Die Kamera hat gute Arbeit geleistet, indem sie die gesamte Haut im Bild hervorgehoben hat, abgesehen von einem kleinen Abschnitt, der hinter der Brille hervorschaut. Es kämpfte jedoch sehr mit ähnlich farbigen Elementen und betonte fälschlicherweise das beige Kleid und orangefarbenes iPhone als Skin, weil ihre Farbtöne zu genau mit dem Gesicht und den Armen im Bild übereinstimmten.

In einer anderen Demo haben wir die Hautglättungsfunktion getestet und festgestellt, dass sie sehr subtil und natürlich ist, was zu etwas Besonderem führt überzeugender als einige der übereifrigen Glättungseffekte, die auf TikTok, Instagram und einigen Android-Kameras von OEMs zu finden sind Software.

Letztendlich liegt es an jedem OEM, die vom Cognitive ISP ermöglichten Funktionen nach Belieben abzustimmen, sagte Judd Heape, VP of Product Management for Camera, auf der Summit, was bedeutet, dass wir auf die Ankunft der ersten Charge von 8 Gen 2-Telefonen warten müssen, um zu sehen, wie die semantische Segmentierung in Echtzeit Bilder mit der realen Welt verbessern wird verwenden.

Warum unserem Journalismus vertrauen?

Trusted Reviews wurde 2004 gegründet, um unseren Lesern eine gründliche, unvoreingenommene und unabhängige Kaufempfehlung zu geben.

Heute haben wir jeden Monat Millionen von Benutzern aus der ganzen Welt und bewerten mehr als 1.000 Produkte pro Jahr.