Feintuning

Definition

Feinabstimmung ist der Prozess der Anpassung eines vortrainierten maschinellen Lernmodells an eine neue Aufgabe durch zusätzliches Training mit kleineren, domänenspezifischen Datensätzen.

Zweck

Ziel ist es, Wissen aus großen Modellen wiederzuverwenden und die Leistung bei spezialisierten Aufgaben mit weniger Ressourcen zu verbessern.

Bedeutung

• Reduziert Schulungskosten und -zeit im Vergleich zum Erstellen von Modellen von Grund auf.
• Verbessert die Leistung bei domänenspezifischen Aufgaben.
• Bei zu wenigen Trainingsdaten besteht das Risiko einer Überanpassung.
• Bezieht sich auf Transferlernen.

Funktionsweise

1. Wählen Sie ein vortrainiertes Basismodell aus.
2. Ersetzen oder passen Sie aufgabenspezifische Ebenen an.
3. Trainieren Sie mit gekennzeichneten Daten aus der neuen Domäne.
4. Passen Sie die Lernraten an, um altes und neues Wissen auszugleichen.
5. Validieren und testen Sie auf Generalisierbarkeit.

Beispiele (Reale Welt)

• BERT, optimiert für die Stimmungsanalyse.
• GPT-Modelle, optimiert für Chatbots im Kundensupport.
• Für die Klassifizierung medizinischer Bilder optimierte Sehmodelle.

Referenzen / Weiterführende Literatur

• Howard & Ruder. „Universal Language Model Fine-tuning“ (ULMFiT). ACL 2018.
• Dokumentation zu Hugging Face Transformers.
• Pan & Yang. „Eine Umfrage zum Transferlernen.“ IEEE TKDE.
• Was ist Feinabstimmung für große Sprachmodelle? – Shaip