Query-by-committee

1. 1

   En aktiv læringsteknik, hvor et sæt af modeller (komitéen) trænes på den nuværende etiketterede data, og derefter udvælger de datapunkter, hvor komitéen er mest uenig (f.eks. målt ved stemmeentropi eller gennemsnitlig KL-divergens), til at blive etiket herefter.

   • I query-by-committee udvælges de datapunkter, hvor komitéens medlemmer er mest uenige om forudsigelsen. — kunstig
   • Query-by-committee kan anvendes med en komité af neurale netværk med forskellige initialiseringer.

Query-by-committee anvendes i aktiv læring for at reducere antallet af nødvendige etiketterede data ved at udvælge de mest informative eksempler. Teknikken er særligt nyttig når etiketteringsomkostningerne er høje, og man ønsker at maksimere modelpræstationen med færrest mulige etiketter.

import numpy as np

def query_by_committee(committee_predictions):
    # committee_predictions: (n_models, n_samples) with class labels
    n_models, n_samples = committee_predictions.shape
    votes = np.apply_along_axis(lambda x: np.bincount(x, minlength=committee_predictions.max()+1), 0, committee_predictions)
    probabilities = votes / n_models
    # vote entropy
    entropies = -np.sum(probabilities * np.log(probabilities + 1e-10), axis=0)
    return np.argmax(entropies)

Dette eksempel viser en simpel implementering af query-by-committee, hvor uenighed måles ved stemmeentropi.

Begrebet stammer fra aktiv læring og ensemble-læring. Idéen er at bruge et udvalg af modeller som en 'komité' til at afgøre usikkerhed.

• Seung, H.S., Opper, M., & Sompolinsky, H. (1992). Query by Committee. In Proceedings of the Fifth Annual Workshop on Computational Learning Theory (COLT '92).
• Settles, B. (2009). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin–Madison.