Segmentation d'images

La segmentation d'image attribue chaque pixel d'une image à une catégorie, produisant une carte où chaque région est étiquetée avec ce qu'elle représente : personne, ciel, voiture, bâtiment, arbre, route, etc. Cette compréhension au niveau des pixels permet aux outils de traiter différemment différentes parties d'une image, en appliquant des opérations de manière sélective en fonction du contenu plutôt que de la position. Il en existe trois types principaux : la segmentation sémantique (étiquetage des catégories de pixels), la segmentation d'instance (distinction entre des objets individuels du même type) et la segmentation panoptique (combinant les deux).\n\nLes systèmes de véhicules autonomes utilisent la segmentation d'images pour comprendre leur environnement en temps réel. Le système segmente chaque image vidéo en surface de la route, marquage des voies, véhicules, piétons, panneaux de signalisation et obstacles. Chaque région segmentée déclenche des décisions de conduite différentes. Bien qu'il s'agisse d'une application critique en matière de sécurité, loin de l'édition de photos, la technologie sous-jacente est la même et progresse dans un domaine par rapport à l'autre.\n\nPour l'édition de photos, la segmentation permet des opérations sensibles au contenu qui étaient impossibles avec les outils traditionnels. Un éditeur peut sélectionner tous les pixels du ciel pour remplacer le ciel sans affecter les bâtiments. Un retoucheur de portraits peut appliquer un lissage de la peau uniquement sur les régions du visage tout en gardant les cheveux et les vêtements nets. Un éditeur de paysage peut augmenter la saturation du feuillage tout en gardant les autres éléments intacts. Toutes ces opérations nécessitent que l'outil sache ce que représente chaque pixel.\n\nLa segmentation magique de l'image Magic Eraser constitue la base de son pipeline d'édition. Lorsqu'un utilisateur passe le pinceau sur un objet pour le supprimer, la segmentation identifie la limite complète de l'objet même si le coup de pinceau était imprécis. Fond EBackground Erasertation pour identifier et séparer le sujet du fond. AI Enhance utilise seAI Enhance pour appliquer différentes stratégies d'amélioration à différentes régions de l'image. Le modèle de segmentation traite les images en millisecondes, permettant un retour en temps réel lorsque les utilisateurs interagissent avec les outils d'édition, et sa précision détermine directement la précision de chaque opération ultérieure dans le pipeline, ce qui en fait sans doute le composant d'IA le plus critique de toute l'architecture du produit.