Wie In-Context Learning funktioniert
Beim In-Context Learning erhält das Modell die gesamte Aufgaben-Information – Anweisung, Beispiele, Eingabe – innerhalb eines einzelnen Prompts. Es leitet daraus Format, Stil und Logik der Antwort ab und produziert eine passende Ausgabe, ohne dass ein Training oder eine Anpassung der Modellparameter stattfindet. Der „Lernvorgang“ geschieht ausschliesslich im Context Window der laufenden Anfrage und ist nach der Antwort wieder vergessen.
Die wegweisende Survey A Survey on In-context Learning (Dong et al., laufend aktualisiert) beschreibt ICL als neues NLP-Paradigma: das Modell trifft Vorhersagen auf Basis eines Kontexts, der mit wenigen Beispielen angereichert ist – statt eine Aufgabe ueber gradientenbasiertes Training zu erlernen. Das macht ICL zur flexibelsten Form der Modellanpassung: jeder neue Anwendungsfall entsteht durch einen neuen Prompt, nicht durch ein neues Modell.
- Anweisung allein: Das Modell loest die Aufgabe ohne Beispiele – das ist Zero-Shot Learning als einfachste Form von ICL.
- Anweisung plus Beispiele: Das Modell sieht 2–5 ausformulierte Beispiele und uebernimmt das Muster – das ist Few-Shot Learning.
- Anweisung plus Denkpfad: Das Modell bekommt Zwischenschritte vorgegeben oder wird explizit zum Schritt-fuer-Schritt-Denken aufgefordert – das ist Chain-of-Thought.
ICL als emergente Fähigkeit
In-Context Learning ist keine selbstverstaendliche Eigenschaft jedes Sprachmodells. Sie tritt erst ab einer bestimmten Modellgrösse zuverlässig auf und gilt deshalb als emergente Fähigkeit großer Sprachmodelle. Kleine Modelle ignorieren Beispiele oft oder verwirren sich; große Modelle dagegen identifizieren das Muster und uebertragen es korrekt auf die neue Eingabe.
Die Survey Emergent Abilities in Large Language Models (Berti et al., 2025) ordnet ICL ausdrücklich als emergente Fähigkeit ein – neben fortgeschrittenem Schlussfolgern und Programmier-Fähigkeit. Diese Eigenschaft erklärt, warum ein und dieselbe Prompt-Technik in einem kleinen Modell scheitert und in einem grossen Modell stabil funktioniert: nicht die Technik ist anders, sondern die Fähigkeit des Modells, aus dem Kontext zu verallgemeinern.
Was ICL in der Unternehmenspraxis bedeutet
ICL ist der Grund, warum LLM-Projekte schnell starten können: jede Anpassung beginnt mit einem Prompt, nicht mit einem Trainings-Datensatz. Vier Konsequenzen für KI-Vorhaben:
Iterations-Geschwindigkeit
Ein neuer Use Case ist ein neuer Prompt – Anpassungen dauern Minuten statt Wochen. Das macht ICL zum bevorzugten Startpunkt jedes Prompt-Engineering-Prozesses.
Kein Daten-Pipeline-Overhead
Solange ICL ausreicht, entfällt der Aufwand für Trainingsdaten-Sammlung, Labeling und Finetuning – ein gewaltiger Hebel für kleinere Teams ohne ML-Operations-Stack.
Modell-Wechsel-Faehigkeit
Ein ICL-Prompt lässt sich grundsätzlich auf ein neues Modell uebertragen – ein finegetuntes Modell nicht. Das reduziert Lock-in und vereinfacht den Wechsel auf bessere Modellgenerationen.
Grenzen bei Skalierung
Bei sehr hohem Anfrage-Volumen oder spezialisierten Domains werden ICL-Prompts teuer (jeder Aufruf zahlt die Beispiele in Token). Dann lohnt der Schritt zu Finetuning.
Grenzen von In-Context Learning
ICL ist mächtig, aber nicht beliebig: das Modell „lernt“ nichts dauerhaft – jede Anfrage beginnt bei null. Drei typische Grenzen:
- Kein Wissens-Update: ICL kann dem Modell keine neuen Fakten dauerhaft beibringen. Fuer aktuelles Unternehmenswissen ist RAG oder Finetuning nötig.
- Token-Budget: Jedes Beispiel und jede Anweisung belegt Platz im Context Window. Lange ICL-Prompts konkurrieren direkt mit Nutz-Inhalten.
- Empfindlichkeit gegenueber Formulierung: ICL-Ergebnisse hängen stärker von Beispielwahl und Reihenfolge ab als von der reinen Anweisung – ein Grund, warum systematisches Prompt Engineering in Unternehmen unverzichtbar ist.
In der Praxis ist ICL der Standardweg, mit dem 80 % aller LLM-Anwendungen gestartet werden. Finetuning kommt erst dann ins Spiel, wenn ICL die Anforderungen an Konsistenz, Latenz oder Token-Kosten nicht mehr erfuellt.
Verwandte Begriffe
Welche Prompt-Strategie passt zu Ihrem Use Case?
Zero-Shot, Few-Shot, Chain-of-Thought oder doch Finetuning – wir bewerten Ihre Aufgaben strukturiert und wählen den Ansatz, der Qualität, Kosten und Skalierbarkeit ausbalanciert – im Rahmen einer KI-Beratung.
Kostenlose Erstberatung vereinbaren