Fünf prägende Paper, um moderne KI zu verstehen
Ein Lesepfad zu Transformern, Few-Shot Learning, Retrieval, menschlichem Feedback und Reasoning, mit praktischen Fragen für deine Arbeit mit KI.
Warum kann KI einer neuen Anweisung folgen, Dokumente nutzen und trotzdem falschliegen? Diese fünf Paper geben dir eine Grundlage, um Sprachmodelle besser zu verstehen und bewusster mit ihnen zu arbeiten.
Die Auswahl ist ein Einstieg in generative Sprach-KI, keine abschließende Rangliste der gesamten KI-Forschung. Die Paper erklären Ideen. Sie dokumentieren weder die Architektur von MAIA noch belegen sie, dass eine Funktion eine bestimmte Methode nutzt. Falls dir die Begriffe neu sind, beginne mit den KI-Grundlagen.
Finde deinen Einstieg
Section titled “Finde deinen Einstieg”| Deine Frage | Hier anfangen | Darauf achten |
|---|---|---|
| Wie verbinden Modelle Wörter und Kontext? | Attention Is All You Need | Die Abbildung zur Architektur |
| Warum helfen Beispiele im Prompt? | Language Models are Few-Shot Learners | Die verschiedenen Testsituationen |
| Wie arbeitet ein Modell mit externen Quellen? | Retrieval-Augmented Generation | Suche und Antwortgenerierung |
| Wie lernt ein Modell, Anweisungen zu folgen? | Training language models with human feedback | Die Trainingsschritte |
| Warum hilft es, Aufgaben in Schritte aufzuteilen? | Chain-of-Thought Prompting | Beispiele und Fehlerfälle |
Attention Is All You Need
Section titled “Attention Is All You Need”Vaswani et al., 2017. Der Transformer verknüpft Positionen einer Sequenz durch Attention. Er kommt ohne die rekurrenten oder Faltungsschichten vieler früherer Sequenzmodelle aus und wurde zu einer Grundlage moderner Sprachmodellarchitekturen.
Beginne mit der Architekturabbildung und der Erklärung von Attention. Vertiefe anschließend Positionsinformationen und Multi-Head Attention. Attention ist ein Rechenmechanismus, kein Beleg für menschliches Verständnis oder faktische Richtigkeit. Paper lesen.
Language Models are Few-Shot Learners
Section titled “Language Models are Few-Shot Learners”Brown et al., 2020. Die GPT-3-Studie zeigt, wie Beispiele im Prompt die Leistung bei vielen Aufgaben beeinflussen, ohne die Modellparameter für jede Aufgabe zu verändern. Sie beschreibt auch Grenzen und Schwierigkeiten bei der Bewertung.
Vergleiche Zero-Shot, One-Shot und Few-Shot. Beispiele im aktuellen Kontext sind etwas anderes als dauerhaftes Modelltraining. Für die Vertiefung eignen sich die aufgabenspezifischen Ergebnisse und die Diskussion möglicher Überschneidungen zwischen Trainings- und Testdaten. Paper lesen.
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
Section titled “Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks”Lewis et al., 2020. RAG verbindet ein Modell mit Textpassagen aus einem externen Dokumentindex. Die Studie untersucht diese Kombination bei wissensintensiven Sprachaufgaben.
Verfolge eine Frage von der Quellensuche bis zur Antwort. Vergleiche für die Vertiefung, ob dieselben Passagen für die gesamte Antwort gelten oder während der Generierung wechseln. Externe Quellen können helfen, müssen aber relevant sein und richtig verwendet werden. Eine Quellenangabe allein belegt keine Richtigkeit. Paper lesen.
Training language models to follow instructions with human feedback
Section titled “Training language models to follow instructions with human feedback”Ouyang et al., 2022. InstructGPT verbindet Beispiele gewünschter Antworten, menschliche Rangfolgen und Reinforcement Learning, um Anweisungen besser zu befolgen. Die Studie zeigt: Modellgröße allein entscheidet nicht, welche Antworten Menschen bevorzugen.
Lies die Trainingsübersicht und prüfe anschließend, wer Feedback gegeben hat und wie Antworten bewertet wurden. Präferenz ist nicht gleich Wahrheit. Auch die Autoren berichten von verbleibenden Fehlern. Paper lesen.
Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
Section titled “Chain-of-Thought Prompting Elicits Reasoning in Large Language Models”Wei et al., 2022. In der Studie verbessern Beispiele mit Zwischenschritten die Ergebnisse ausreichend großer Modelle bei mehreren Rechen-, Alltagswissens- und symbolischen Aufgaben.
Vergleiche die Prompt-Beispiele und untersuche Fehlerfälle. Das Paper belegt weder, dass jede längere Erklärung richtig ist, noch dass derselbe Prompt für jedes spätere Modell optimal bleibt. Frage nach prüfbaren Berechnungen, Belegen und kurzen Begründungen. Bewerte das Ergebnis unabhängig davon. Paper lesen.
Aktiv lesen, auch ohne Forschungserfahrung
Section titled “Aktiv lesen, auch ohne Forschungserfahrung”Halte zu jedem Paper das Problem, die Methode, die Belege und eine Grenze fest. Lies Abstract, Abbildungen und Schlussfolgerungen, bevor du technische Abschnitte auswählst. Benchmark-Werte gelten unter bestimmten Testbedingungen. Sie sind kein Versprechen für deine eigene Arbeit.
Wenn du MAIA als Lesebegleitung nutzt, stelle das Paper bereit und frage:
Erkläre die Forschungsfrage und die vorgeschlagene Methode in einfacher Sprache. Trenne Ergebnisse der Autoren von deiner Interpretation. Verweise auf die jeweiligen Abschnitte. Definiere unbekannte Begriffe und nenne, was die Studie nicht belegt. Erfinde keine Experimente oder Ergebnisse.
Prüfe die Erklärung im Original. Für eine gemeinsame Leserunde bringt jede Person eine Erkenntnis, eine Einschränkung und eine offene Frage mit.
Aus der Lektüre ein kleines Experiment machen
Section titled “Aus der Lektüre ein kleines Experiment machen”Teste dieselbe fiktive Aufgabe von Acme Corp mit und ohne ausgearbeitetes Beispiel. Halte Quellen und Erfolgskriterien gleich. Vergleiche Richtigkeit, Format und Korrekturaufwand an mehreren Eingaben, darunter eine mit fehlenden Informationen. Das ist eine Übung, keine Reproduktion der Paper.
Nutze bessere Prompts für die Anweisung und Qualität bewerten, um Veränderungen festzuhalten. Eine Methode zu verstehen ist hilfreich. Ihren Nutzen für deine eigene Aufgabe zu prüfen ist der nächste Schritt.