pretext task

1. 1

   En opgave konstrueret til self-supervised learning, hvor modellen lærer fra data uden labels ved at løse et puslespil eller forudsige skjulte dele.

   • I BERT er den primære pretext task at forudsige maskerede ord i en sætning. — BERT: Pre-training of Deep Bidirectional Transformers, 2019
   • SimCLR bruger en pretext task baseret på kontrastiv læring mellem augmenterede versioner af samme billede. — SimCLR: A Simple Framework for Contrastive Learning of Visual Representations, 2020

Pretext tasks anvendes i self-supervised learning, især inden for computer vision og naturlig sprogbehandling. Eksempler omfatter at forudsige manglende dele af et billede eller at forudsige næste sætning i en tekst. Efter træning på pretext-tasks finjusteres modellen typisk på en specifik downstream-opgave.

# Simpelt eksempel på pretext task: maskeret billede rekonstruktion
import torch
import torch.nn as nn

class MaskedAutoencoder(nn.Module):
    def __init__(self):
        super().__init__()
        self.encoder = nn.Sequential(nn.Conv2d(3, 64, 3), nn.ReLU())
        self.decoder = nn.Sequential(nn.ConvTranspose2d(64, 3, 3), nn.Sigmoid())
    
    def forward(self, x, mask):
        encoded = self.encoder(x * mask)  # kun synlige pixels
        reconstructed = self.decoder(encoded)
        return reconstructed

model = MaskedAutoencoder()
# Træning: mellem rekonstrueret og originalt billede for maskerede områder

Simpel implementering af en pretext task, hvor modellen rekonstruerer maskerede dele af et billede.

'Pretext' betyder påskud eller undskyldning; opgaven er kun et påskud for at lære nyttige repræsentationer.

• BERT: Pre-training of Deep Bidirectional Transformers
• SimCLR: A Simple Framework for Contrastive Learning of Visual Representations