Vortraining

Definition

Unter Vortraining versteht man das anfängliche Training eines Machine-Learning-Modells anhand großer allgemeiner Datensätze vor der Feinabstimmung für spezifische Aufgaben.

Zweck

Ziel ist es, Modelle mit umfassenden Darstellungen bereitzustellen, die auf mehrere Aufgaben übertragbar sind, wodurch der Daten- und Rechenaufwand für die nachgelagerte Anpassung reduziert wird.

Bedeutung

• Grundlage für moderne LLMs und Visionsmodelle.
• Verbessert die Leistung bei verschiedenen Aufgaben.
• Kostspielig in Bezug auf Daten und Berechnung.
• Um Verzerrungen zu vermeiden, ist eine sorgfältige Datensatzkuratierung erforderlich.

Funktionsweise

1. Sammeln Sie umfangreiche allgemeine Datensätze (Text, Bilder).
2. Definieren Sie unbeaufsichtigte oder selbstüberwachte Lernaufgaben.
3. Trainieren Sie Modelle, um allgemeine Funktionen zu erlernen.
4. Speichern Sie vortrainierte Gewichte zur Wiederverwendung.
5. Optimieren Sie kleinere aufgabenspezifische Datensätze.

Beispiele (Reale Welt)

• BERT ist auf Wikipedia und BooksCorpus vortrainiert.
• CLIP wurde anhand von Bild-Text-Paaren trainiert.
• GPT-Modelle, die anhand umfangreicher Internettexte vortrainiert wurden.

Referenzen / Weiterführende Literatur

• Devlin et al. „BERT: Vortraining von tiefen bidirektionalen Transformatoren.“ NAACL 2019.
• Radford et al. „Sprachmodelle sind Lerner mit wenigen Erfolgschancen.“ NeurIPS 2020.
• Technischer Bericht zu OpenAI GPT-4.