La Révolution Silencieuse des Startups : Vers une Nouvelle Ère des Modèles de Langage
Dans le vaste océan de l'intelligence artificielle, les transformeurs ont longtemps été les phares guidant les navires de l'innovation. Cependant, comme tout marin aguerri le sait, même les phares les plus brillants peuvent être éclipsés par de nouvelles étoiles. Aujourd'hui, une constellation de startups émerge, prête à redéfinir les contours de l'IA moderne.
Les Transformeurs : Un Héritage et ses Limites
Les transformeurs, ces architectures qui ont révolutionné la science informatique, sont devenus le socle des grands modèles de langage (LLMs). Justin Dangel, cofondateur de Subquadratic, le résume bien : "L'industrie entière de l'IA repose sur les transformeurs. Ils ont changé le monde." Pourtant, leur appétit insatiable pour l'énergie et leur difficulté à gérer des tâches complexes de raisonnement posent des défis majeurs.
L'Émergence des Nouveaux Pionniers
Face à ces défis, des startups comme Subquadratic, Manifest AI, et Liquid AI se dressent en pionnières. Elles réinventent les mécanismes d'attention et explorent des architectures novatrices :
- Subquadratic : Avec son modèle SubQ, elle utilise une attention sparse pour une efficacité accrue.
- Manifest AI : Son PowerCoder, une version améliorée de StarCoder, utilise la 'power retention' pour optimiser le traitement des données.
- Liquid AI : Inspirée par les cerveaux de vers, elle développe des réseaux neuronaux liquides, plus adaptatifs et économes en énergie.
Inception et Pathway : Les Nouveaux Horizons
À Palo Alto, Inception et Pathway tracent de nouvelles routes. Inception, avec son modèle Mercury 2, prétend égaler GPT-4 tout en étant dix fois plus rapide grâce à la technologie de diffusion. Pathway, quant à elle, explore des 'state spaces' pour libérer les LLMs des contraintes du langage.