zero-shot object detection
Zero-shot object detection er en teknik inden for computer vision, hvor en model kan lokalisere og klassificere objekter fra klasser, den ikke har set under træning.
Kort fortalt
En model der kan finde og genkende objekter den aldrig har set før – uden at blive trænet på dem.
- Kategori
- teknik
- Niveau
- øvet
- Udtale
- /ˈzɪroʊ ʃɑt ˈɑbdʒɛkt dɪˈtɛkʃən/
Betydninger
1- 1
En opgave inden for computer vision, hvor en model skal forudsige både en bounding box og en klasseetiket for objekter i et billede, hvor klasseetiketten kan tilhøre en klasse, modellen ikke har set under træning.
- Zero-shot object detection gør det muligt for en robot at genkende nye værktøjer i et værksted uden forudgående træning. — fiktivt eksempel
- Modellen anvender semantiske indlejringer til at generalisere fra sete til usete klasser i zero-shot object detection. — fiktivt eksempel
Hvornår bruges det
Zero-shot object detection bruges i praksis, når man ønsker at genkende et bredt sæt af objekter uden at skulle indsamle og annotere data for hver klasse. Det er især nyttigt i åbne miljøer som autonome køretøjer eller overvågningssystemer.
Kodeeksempel
from transformers import OwlViTProcessor, OwlViTForObjectDetection
processor = OwlViTProcessor.from_pretrained("google/owlvit-base-patch32")
model = OwlViTForObjectDetection.from_pretrained("google/owlvit-base-patch32")
from PIL import Image
image = Image.open("cat.jpg")
texts = ["a cat", "a dog"]
inputs = processor(text=texts, images=image, return_tensors="pt")
outputs = model(**inputs)
# Get predictions: scores, boxes, class indicesEksempel med OWL-ViT-modellen fra Hugging Face Transformers. Indlæs en model, giv et billede og tekstbeskrivelser af potentielle objekter, og få detektioner.
Oprindelse
Termen er sammensat af 'zero-shot learning' (indlæring uden eksempler) og 'object detection' (objektdetektion). Konceptet opstod omkring 2018 med de første forskningsartikler på området.
Kilder
2- Zero-shot Object Detection (Bansal et al., ECCV 2018)
- Zero-shot Object Detection via Learning an Abstract Representation (Demirel et al., CVPR 2019)