Glossar

Few-Shot Learning

Few-Shot Learning, im LLM-Kontext meist Few-Shot Prompting genannt, bezeichnet eine Technik, bei der ein Large Language Model im Prompt zwei bis fünf ausformulierte Beispiele erhält und daraus Format, Stil und Logik der Antwort ableitet – ohne dass das Modell neu trainiert wird.

Wie Few-Shot Learning funktioniert

Beim Few-Shot-Ansatz besteht der Prompt aus drei Teilen: einer kurzen Anweisung, mehreren ausformulierten Beispielen (typischerweise zwei bis fünf) und der eigentlichen Eingabe, fuer die eine Antwort gewuenscht ist. Das Modell erkennt das wiederkehrende Muster und produziert eine Ausgabe im gleichen Schema – ohne dass ein neues Training stattfindet. Dieses Verhalten ist eine Form des In-Context Learning: Lernen aus dem aktuellen Kontextfenster statt aus aktualisierten Gewichten.

Die wegweisende OpenAI-Studie Language Models are Few-Shot Learners (GPT-3, 2020) zeigte erstmals systematisch, dass genügend große Sprachmodelle aus wenigen Beispielen im Prompt komplexe Aufgaben lösen können – ein Effekt, der bei kleineren Modellen kaum auftritt und mit der Modellgröße deutlich wächst.

  • Klassifikation mit eigenem Schema: drei Beispiele für „Reklamation / Anfrage / Bestellung“, dann die neue Mail – das Modell übernimmt die Kategorien genau in dieser Schreibweise.
  • Strukturierte Ausgabe: zwei Beispiele in einem festen JSON-Schema, dann ein neuer Eingabetext – das Modell antwortet im exakt gleichen Format.
  • Stilvorgabe: drei Beispielsaetze im gewuenschten Marken-Tonfall, dann ein umzuformulierender Text – das Modell uebernimmt Wortwahl und Satzbau.

Zero-Shot, Few-Shot und Finetuning im Vergleich

Few-Shot ist die mittlere Stufe einer dreistufigen Anpassungslogik. Praktischer Faustweg: erst zero-shot testen, bei instabilem Ergebnis Beispiele ergänzen, und erst bei hohem Volumen oder spezieller Domäne über Finetuning nachdenken.

Die Anbieter-Dokumentation von Prompt Engineering Guide (DAIR.AI) ordnet die Stufen so ein: Zero-Shot nutzt nur eine Anweisung, Few-Shot ergänzt 2–5 Demonstrationen im Prompt und Finetuning aktualisiert die Modellgewichte mit hunderten bis tausenden Trainingsbeispielen. Few-Shot ist damit die schnellste Methode, gezielt Format und Logik vorzugeben – ohne Training oder neue Daten-Pipeline.

  • Zero-Shot: 1 Anweisung, 0 Beispiele – minimaler Prompt, höchste Varianz im Output.
  • Few-Shot: 1 Anweisung + 2–5 Beispiele – stabileres Format, höhere Token-Kosten pro Aufruf.
  • Finetuning: neuer Modell-Snapshot mit zusätzlich trainierten Beispielen – einmalige Kosten, danach kein Beispiel mehr im Prompt nötig.

Wann Few-Shot in KI-Projekten sinnvoll ist

Few-Shot lohnt sich immer dann, wenn Zero-Shot Ergebnisse liefert, die formal oder inhaltlich noch nicht stabil genug sind. Vier typische Profile aus der Unternehmenspraxis:

Feste Ausgabeformate

JSON, CSV, eigene Kategorien-Schemata, definierte Felder: zwei–drei Beispiele führen das Modell präziser zum Schema als jede textuelle Beschreibung.

Domaenen-Sprache

Fachterminologie, interne Abkürzungen, branchenübliche Formulierungen: das Modell übernimmt aus den Beispielen den Tonfall, den eine reine Anweisung nicht treffen wuerde.

Mehrdeutige Aufgaben

Wenn dieselbe Eingabe mehrere plausible Antworten erlaubt, zeigen Beispiele, welche Variante gewuenscht ist – und reduzieren Streuung zwischen Aufrufen.

Kleinere Modelle

Je kleiner das Modell, desto staerker profitiert es von Beispielen. Eine Studie zeigte: kleinere Modelle gewinnen durch Few-Shot deutlich mehr als die groessten Modelle, die bereits zero-shot stark sind.

Im Prompt Engineering ist Few-Shot daher der zweite Schritt: erst eine präzise Anweisung formulieren, messen, und bei Bedarf gezielt zwei bis fuenf Beispiele ergänzen – nicht mehr, sonst steigen Kosten und Latenz unverhältnismäßig.

Was Few-Shot in KI-Projekten beeinflusst

Few-Shot wirkt nicht nur auf die Qualität, sondern auch auf die Wirtschaftlichkeit einer LLM-Anwendung. Vier Hebel:

  • Token-Kosten: Jedes Beispiel verbraucht Eingabe-Token bei jedem Aufruf. Fünf Beispiele à 100 Token erhöhen den Prompt um 500 Token – relevant bei vielen Anfragen pro Tag.
  • Beispiel-Qualität: Schlechte oder unrepräsentative Beispiele schaden mehr als sie nutzen. Die Beispiele sollten die echte Eingabe-Verteilung abbilden und fehlerfrei sein.
  • Reihenfolge: Sprachmodelle reagieren empfindlich auf die Reihenfolge der Beispiele. Für maximale Stabilität Beispiele in der Praxis variieren und A/B-testen.
  • Kontext-Budget: Jedes Beispiel belegt Platz im Context Window. Bei dokumentlastigen Aufgaben (RAG, lange Inputs) konkurrieren Few-Shot-Beispiele direkt mit Nutz-Inhalten.

Few-Shot ist damit kein „immer besser“ gegenüber Zero-Shot, sondern ein gezielter Eingriff: einsetzen, wenn Qualität und Konsistenz die zusätzlichen Token rechtfertigen.

Verwandte Begriffe

Zero-Shot, Few-Shot oder Finetuning – was passt zu Ihrem Use Case?

Wir bewerten Ihre Aufgaben strukturiert und wählen den Prompt-Ansatz, der Qualität, Kosten und Skalierbarkeit ausbalanciert – im Rahmen einer KI-Beratung.

Kostenlose Erstberatung vereinbaren