Ein Foundation Model ist ein groß angelegtes KI-Modell, das auf einer riesigen Datenmenge (oft im Internet-Maßstab) trainiert wurde und an eine Vielzahl von nachgelagerten Aufgaben angepasst werden kann. Sie stellen einen Paradigmenwechsel von aufgabenspezifischen Modellen zu Allzweckmotoren dar.
Was macht ein Modell zu einem "Foundation Model"?
Es muss breit fähig sein. Im Gegensatz zu früheren Modellen, die für eine Aufgabe entwickelt wurden (z. B. Stimmungsanalyse), kann ein Foundation Model Gedichte schreiben, Code debuggen, Sprachen übersetzen und Text zusammenfassen, alles ohne spezifisches Neutraining.
Was ist "Emergenz"?
Foundation Models zeigen Emergenz – Fähigkeiten, für die sie nicht explizit trainiert wurden. Zum Beispiel könnte ein Modell, das einfach darauf trainiert wurde, das nächste Wort in einem Satz vorherzusagen, mit der Fähigkeit hervorgehen, Sprachen zu übersetzen, Code zu schreiben oder Logikrätsel zu lösen.
Wie werden sie gebaut?
Der Lebenszyklus umfasst zwei Phasen:
- Pre-Training: Die teure, rechenintensive Phase, in der das Modell allgemeine Muster aus massiven Datensätzen lernt (z. B. "Lesen und Schreiben lernen").
- Fine-Tuning: Die Anpassungsphase, in der das Modell auf eine bestimmte Aufgabe oder ein bestimmtes Verhalten spezialisiert wird (z. B. "lernen, ein hilfreicher Assistent zu sein").
Führende Foundation Models
Prominente Foundation Models sind die GPT-Serie (OpenAI), BERT (Google), Claude (Anthropic) und Stable Diffusion (Stability AI).
Frequently Asked Questions
Sind Foundation Models dasselbe wie LLMs?
LLMs (Large Language Models) sind eine *Art* von Foundation Model, die sich auf Text konzentriert. Aber Foundation Models können auch multimodal sein und Bilder, Audio und Video verarbeiten.
Was sind die Risiken?
Da sie auf Internetdaten trainiert sind, können sie Vorurteile und toxische Inhalte erben. Sie können auch selbstbewusst 'halluzinieren' (Dinge erfinden).
Up Next
Ready to Deepen Your Understanding?
Join our hands-on workshops to master these concepts and apply them to real-world problems.