Les transformeurs peinent à gérer de grandes fenêtres de contexte et certaines tâches de raisonnement, limitant les capacités des LLMs actuels.
Les transformeurs, ces dinosaures de l'IA, sont sur le point d'être dépassés par une nouvelle vague de startups qui promettent des modèles plus rapides et moins coûteux. Mais attention aux promesses en l'air.
