Modèle de Subquadratic utilisant une attention sparse, conçu pour être plus efficace que les transformeurs traditionnels.
Les transformeurs, ces dinosaures de l'IA, sont sur le point d'être dépassés par une nouvelle vague de startups qui promettent des modèles plus rapides et moins coûteux. Mais attention aux promesses en l'air.
