tool-augmented language model

1. 1

   En sprogmodel, der er i stand til at kalde eksterne værktøjer (f.eks. regnemaskiner, oversættelsestjenester, databasesporinger) som en del af sin inferens, typisk ved at generere særlige tokens, der aktiverer værktøjet.

   • Tool-augmented language models kan beregne komplekse matematiske udtryk ved at kalde en regnemaskine. — Schick et al., 2023 (Toolformer)
   • Ved at integrere en søgemaskine kan en tool-augmented language model give opdaterede svar på aktuelle spørgsmål. — Schick et al., 2023 (Toolformer)

Tool-augmented language models bruges i praksis til at overvinde begrænsninger ved rene sprogmodeller, såsom manglende evne til at beregne eller hente aktuel information. De integreres typisk gennem API-kald, hvor modellen genererer et specialtoken, der aktiverer et værktøj, og resultatet sættes ind i konteksten.

# Assume model outputs a special token [SEARCH]query[/SEARCH]
def parse_and_call_tool(output):
    import re
    if '[SEARCH]' in output:
        query = re.search(r'\[SEARCH\](.*?)\[/SEARCH\]', output).group(1)
        result = search_api(query)  # call external search
        return result
    else:
        return output

Eksempel på, hvordan en tool-augmented sprogmodel kan udløse et værktøj via specialtokens i outputtet.

Termen opstod i forbindelse med forskning i at udvide sprogmodellers funktionalitet, bl.a. i artiklen 'Toolformer: Language Models Can Teach Themselves to Use Tools' (2023).

• Toolformer: Language Models Can Teach Themselves to Use Tools