Qu'est-ce que la segmentation sémantique? La technologie de l'appareil photo du smartphone expliquée

Qualcomm a récemment annoncé sa dernière plate-forme phare pour smartphones, la Snapdragon 8 Gen 2.

L'une des plus grandes mises à jour ici était le nouveau Cognitive ISP, un processeur de signal d'image intelligent qui fournit jusqu'à 200 mégapixels images, une détection de visage plus intelligente grâce à la caméra Always-Sensing et tous les avantages de la sémantique en temps réel segmentation.

Mais qu'est-ce que la segmentation sémantique et qu'est-ce que cela signifie pour l'appareil photo de votre téléphone?

Qu'est-ce que la segmentation sémantique?

La segmentation sémantique est une technologie d'imagerie qui permet à une caméra de reconnaître des aspects individuels dans un cadre, tels que des visages, des cheveux, des vêtements, des arrière-plans, etc. Ces aspects peuvent ensuite être optimisés séparément, ce qui signifie que l'appareil photo modifiera la couleur, le ton, la netteté et la quantité de bruit dans l'image au cas par cas.

Pensez à la segmentation sémantique comme les calques Photoshop dans l'appareil photo de votre téléphone, permettant à différentes parties d'une image d'être ajustées individuellement plutôt que l'appareil photo éditant l'image dans son ensemble.

La segmentation sémantique en temps réel est exactement ce à quoi cela ressemble - comme ci-dessus, mais tout se passe lorsque vous utilisez l'appareil photo et non après avoir pris la photo ou terminé l'enregistrement de la vidéo.

Il existe de nombreux cas dans lesquels la segmentation sémantique en temps réel peut améliorer votre photographie mobile.

La technologie peut être utilisée pour lisser la peau, éliminer les reflets des lunettes, aiguiser les cheveux et la fourrure, apporter plus bleu vers le ciel et améliore la lisibilité du texte sur les écrans et dans les livres, pour n'en nommer que quelques-uns dans le monde réel les usages.

Vous pouvez voir la segmentation sémantique en action dans la vidéo ci-dessus.

Quelle est sa précision ?

Nous avons eu l'occasion de tester la segmentation sémantique en temps réel lors du Snapdragon Summit de Qualcomm à Hawaï cette année et j'ai trouvé qu'il faisait un bon travail pour séparer la peau des cheveux, des vêtements et de l'arrière-plan derrière nous, mais ce n'était pas le cas parfait.

Dans la démo, la caméra a été réglée pour transformer tout ce qu'elle supposait être vert peau pour nous donner une idée de sa précision.

L'appareil photo a bien mis en évidence toute la peau de l'image, à l'exception d'une petite section qui dépasse derrière les lunettes. Cependant, il a beaucoup lutté avec des éléments de couleur similaire, soulignant par erreur la robe beige et l'iPhone orange comme peau parce que leurs tons correspondaient trop étroitement au visage et aux bras de l'image.

Dans une autre démo, nous avons testé la fonction de lissage de la peau et l'avons trouvée très subtile et naturelle, ce qui donne quelque chose d'un peu plus convaincant que certains des effets de lissage les plus zélés trouvés sur TikTok, Instagram et la caméra Android de certains OEM logiciel.

En fin de compte, il appartient à chaque OEM de régler les fonctionnalités activées par le FAI cognitif comme il le souhaite, nous a déclaré le vice-président de la gestion des produits pour la caméra Judd Heape lors de la conférence. Summit, ce qui signifie que nous devrons attendre l'arrivée du premier lot de téléphones 8 Gen 2 pour voir comment la segmentation sémantique en temps réel améliorera les images avec le monde réel utiliser.

Pourquoi faire confiance à notre journalisme ?

Fondée en 2004, Trusted Reviews existe pour donner à nos lecteurs des conseils approfondis, impartiaux et indépendants sur ce qu'il faut acheter.

Aujourd'hui, nous comptons des millions d'utilisateurs par mois dans le monde entier et évaluons plus de 1 000 produits par an.