Definition
Beim überwachten Feintuning (Supervised Fine-Tuning, SFT) handelt es sich um den Prozess, bei dem ein vortrainiertes Modell anhand gekennzeichneter Daten für eine bestimmte Aufgabe trainiert wird, wobei alle oder einige seiner Parameter angepasst werden.
Zweck
Ziel ist es, allgemeine Modelle mit verbesserter Genauigkeit an spezielle Aufgaben anzupassen.
Bedeutung
- Kerntechnik in NLP und Sehaufgaben.
- Erfordert qualitativ hochwertige beschriftete Daten.
- Bei kleinen Datensätzen besteht das Risiko einer Überanpassung.
- Oft ein Vorläufer von RLHF.
Funktionsweise
- Wählen Sie ein vorab trainiertes Modell aus.
- Sammeln Sie beschriftete Daten für die Zielaufgabe.
- Trainieren Sie das Modell mit überwachtem Lernen.
- Validieren Sie anhand eines zurückgehaltenen Testsatzes.
- Implementieren und überwachen Sie die Leistung.
Beispiele (Reale Welt)
- GPT hat die Kundendienstgespräche optimiert.
- BERT ist für die Erkennung benannter Entitäten optimiert.
- Vision Transformers, optimiert auf die Klassifizierung medizinischer Bilder.
Referenzen / Weiterführende Literatur
- Devlin et al. „BERT: Vortraining von tiefen bidirektionalen Transformatoren.“ NAACL 2019.
- Dokumentation zu Hugging Face Transformers.
- Stanford CS224N: NLP mit Deep Learning.
- Was ist SFT? Warum ist es wichtig?
