Segmentation

1. 1

   Opdeling af et digitalt billede i flere segmenter (sæt af pixels) for at forenkle eller ændre repræsentationen.

   • Semantisk segmentering tildeler en klasseetikette til hver pixel i billedet. — Forskningsartikel, 2015
   • U-Net er en populær arkitektur til billedsegmentering inden for biomedicin. — U-Net: Convolutional Networks for Biomedical Image Segmentation, 2015
2. 2

   Opdeling af en tekst i meningsfulde enheder som sætninger, ord eller emner.

   • Sætningssegmentering er et vigtigt forbehandlingstrin i NLP.
   • Subword-segmentering med SentencePiece muliggør håndtering af ord uden for ordforrådet. — SentencePiece: A simple and language independent subword tokenizer, 2018

I computer vision bruges segmentation til at identificere objekter og deres grænser i billeder, fx i medicinsk billedbehandling og selvkørende biler. I NLP bruges segmentation til at opdele tekst i mindre enheder som sætninger eller tokens.

import torch
from torchvision import models, transforms
from PIL import Image

# Load pre-trained DeepLab model
model = models.segmentation.deeplabv3_resnet101(pretrained=True)
model.eval()

# Load and preprocess image
input_image = Image.open("image.jpg")
preprocess = transforms.Compose([
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]),
])
input_tensor = preprocess(input_image).unsqueeze(0)

# Run inference
with torch.no_grad():
    output = model(input_tensor)['out'][0]
output_predictions = output.argmax(0)

Eksempel på semantisk segmentering med en fortrænet DeepLab-model i PyTorch.

Fra latin 'segmentum' (afsnit, stykke).

• U-Net: Convolutional Networks for Biomedical Image Segmentation
• SentencePiece: A simple and language independent subword tokenizer