Großes Sprachmodell (LLM)

Definition

Ein großes Sprachmodell (LLM) ist ein neuronales Netzwerk, das anhand umfangreicher Textkorpora trainiert wird, um menschliche Sprache zu verstehen und zu generieren. LLMs verwenden Milliarden von Parametern, um linguistische Muster zu erfassen.

Zweck

Der Zweck besteht darin, erweiterte NLP-Aufgaben wie Textgenerierung, Zusammenfassung und Übersetzung zu ermöglichen. LLMs werden in Chatbots, Such- und Produktivitätstools verwendet.

Bedeutung

• Unterstützt moderne Konversations-KI.
• Risiko von Voreingenommenheit, Fehlinformationen und Halluzinationen.
• Hoher Rechen- und Umweltaufwand.
• Erfordert eine sorgfältige Ausrichtung und Steuerung.

Funktionsweise

1. Sammeln Sie umfangreiche Textdatensätze.
2. Tokenisieren Sie Text in numerische Darstellungen.
3. Trainieren Sie Transformer-Modelle mit Milliarden von Parametern.
4. Lernen Sie, das nächste Token im Kontext vorherzusagen.
5. Optimieren oder passen Sie die Aufgaben an nachfolgende Aufgaben an.

Beispiele (Reale Welt)

• GPT-4 (OpenAI): wird in ChatGPT verwendet.
• PaLM (Google): Groß angelegter LLM für Forschung und Produkte.
• LLaMA (Meta): offener, forschungsorientierter LLM.

Referenzen / Weiterführende Literatur

• Vaswani et al. „Aufmerksamkeit ist alles, was Sie brauchen.“ NeurIPS 2017.
• OpenAI GPT-4-Systemkarte.
• Stanford CRFM. „Grundlagenmodelle.“
• Alles, was Sie über LLM wissen müssen