Un Modèle de Fondation est un modèle d'IA à grande échelle entraîné sur une vaste quantité de données (souvent à l'échelle d'Internet) qui peut être adapté à un large éventail de tâches en aval. Ils représentent un changement de paradigme, passant de modèles spécifiques à une tâche à des moteurs polyvalents.
Qu'est-ce qui fait d'un modèle un "Modèle de Fondation" ?
Il doit être largement capable. Contrairement aux modèles précédents conçus pour une tâche (par exemple, l'analyse de sentiment), un modèle de fondation peut écrire de la poésie, déboguer du code, traduire des langues et résumer du texte, le tout sans réentraînement spécifique.
Qu'est-ce que l'"Émergence" ?
Les modèles de fondation présentent une émergence — des capacités pour lesquelles ils n'ont pas été explicitement entraînés. Par exemple, un modèle entraîné simplement pour prédire le mot suivant dans une phrase pourrait émerger avec la capacité de traduire des langues, d'écrire du code ou de résoudre des énigmes logiques.
Comment sont-ils construits ?
Le cycle de vie comprend deux étapes :
- Pré-entraînement : La phase coûteuse et intensive en calcul où le modèle apprend des motifs généraux à partir de jeux de données massifs (par exemple, "apprendre à lire et à écrire").
- Affinement (Fine-tuning) : La phase d'adaptation où le modèle est spécialisé pour une tâche ou un comportement spécifique (par exemple, "apprendre à être un assistant utile").
Principaux Modèles de Fondation
Les modèles de fondation importants incluent la série GPT (OpenAI), BERT (Google), Claude (Anthropic) et Stable Diffusion (Stability AI).
Frequently Asked Questions
Les Modèles de Fondation sont-ils la même chose que les LLM ?
Les LLM (Grands Modèles de Langage) sont un *type* de modèle de fondation axé sur le texte. Mais les modèles de fondation peuvent aussi être multimodaux, traitant des images, de l'audio et de la vidéo.
Quels sont les risques ?
Parce qu'ils sont entraînés sur des données Internet, ils peuvent hériter de biais et de contenus toxiques. Ils peuvent aussi 'halluciner' (inventer des choses) avec confiance.
Up Next
Ready to Deepen Your Understanding?
Join our hands-on workshops to master these concepts and apply them to real-world problems.