Parallel Function Calling
Teknik hvor en LLM kalder flere funktioner samtidigt i én enkelt tur, i stedet for sekventielt.
Kort fortalt
Parallel Function Calling lader sprogmodellen bede om flere handlinger på én gang, så den for eksempel både kan tjekke vejret og kalenderen i samme svar.
- Kategori
- teknik
- Niveau
- øvet
Betydninger
1- 1
Evnen for en LLM til at returnere flere uafhængige funktionskald i én enkelt outputbesked, som kan eksekveres samtidigt.
- Modellen kaldte funktionerne get_weather('København') og get_stock_price('AAPL') parallelt i ét svar. — Simuleret eksempel
Hvornår bruges det
Bruges i LLM-applikationer for at reducere latens og antal API-kald. Modellen sender en liste af funktionskald i ét svar, og udvikleren kalder dem parallelt, indsamler resultater og sender dem samlet tilbage.
Kodeeksempel
import openai
response = openai.ChatCompletion.create(
model="gpt-4",
messages=[{"role": "user", "content": "Get weather in Paris and time in London"}],
functions=[
{"name": "get_weather", "parameters": {"type": "object", "properties": {"location": {"type": "string"}}},
{"name": "get_time", "parameters": {"type": "object", "properties": {"city": {"type": "string"}}}}
],
function_call="auto"
)
# Output may contain multiple function calls:
# [{"name": "get_weather", "arguments": "{"location": "Paris"}"},
# {"name": "get_time", "arguments": "{"city": "London"}"}]Eksempel på et API-kald der tillader parallelle funktionskald. Modellen returnerer en liste af kald.
Oprindelse
Termen opstod med introduktionen af funktionskald (function calling) i OpenAI's GPT-modeller, og parallel udgave kom i juni 2023.