prompt optimization

1. 1

   Manuel iterativ forfining af en prompt baseret på outputkvalitet.

   • Ved prompt optimization justerede vi spørgsmålet flere gange for at reducere hallucinationer.
2. 2

   Automatiseret søgning efter optimale prompts, fx ved brug af gradientbaserede metoder eller genetiske algoritmer.

   • Automatisk prompt optimization kan finde prompts, der forbedrer nøjagtigheden på klassifikationsopgaver med flere procentpoint.

Prompt optimization anvendes i prompt engineering, typisk gennem iteration og afprøvning af forskellige formuleringer. Det kan også automatiseres vha. algoritmer, der søger efter optimale prompt-strukturer.

import openai

def optimize_prompt(base_prompt, variations):
    best = None
    best_score = -1
    for var in variations:
        response = openai.Completion.create(engine="text-davinci-003", prompt=var, max_tokens=50)
        score = evaluate_response(response.choices[0].text)  # custom evaluator
        if score > best_score:
            best = var
            best_score = score
    return best

Simpel søgefunktion, der tester forskellige promptvariationer og returnerer den bedste baseret på en evalueringsmetrik.

Fra engelsk 'prompt' (opfordring) og 'optimization' (optimering).

• Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing (Liu et al., 2021)
• The Power of Prompting: A Systematic Review of Prompt Engineering (White et al., 2023)