Les Transformeurs : Une Vieille Gloire de l'IA
Ah, les transformeurs. Ces modèles de langage larges (LLMs) qui ont révolutionné l'IA, mais qui, soyons honnêtes, commencent à montrer leur âge. Gourmands en calcul, énergivores, et franchement pas très futés quand il s'agit de tâches de raisonnement complexes. Mais ne vous inquiétez pas, une armée de startups est là pour sauver la mise.
Les Nouveaux Héros de l'IA
Subquadratic et son Modèle SubQ
Subquadratic, avec son modèle SubQ, prétend avoir trouvé la solution avec une attention sparse. Justin Dangel, le cofondateur, nous assure que "les transformeurs sont une commodité d'ingénierie". En gros, ils ont fait leur temps.
Manifest AI et la 'Power Retention'
Manifest AI propose PowerCoder, une version du LLM open source StarCoder, qui utilise la 'power retention'. Carles Gelada, le CTO, pense que stocker uniquement les informations pertinentes est la clé pour réduire la charge de données.
Liquid AI et les Réseaux Neuronaux Liquides
Liquid AI, une spin-off du MIT, mise sur les 'liquid neural networks'. Inspirés par les cerveaux de vers, ces modèles sont censés être plus petits, adaptatifs et économes en énergie. Ramin Hasani, le PDG, est convaincu que c'est l'avenir.
Inception et la Technologie de Diffusion
Inception utilise la technologie de diffusion pour générer du texte plus rapidement. Stefano Ermon, cofondateur, pense que leur modèle Mercury 2 peut égaler les performances de GPT-4 tout en étant dix fois plus rapide.
Pathway et les 'State Spaces'
Pathway explore des structures mathématiques appelées 'state spaces' pour améliorer le raisonnement des LLMs. Zuzanna Stamirowska, la PDG, croit que c'est la clé pour libérer les LLMs des contraintes du langage.