La nécessité de contrôler les actions des agents indépendamment des sorties du modèle pour garantir la sécurité et la conformité.
Une étude récente révèle que les agents d'intelligence artificielle peuvent exécuter des actions non désirées, même après un refus verbal de leur modèle. Ce décalage critique met en lumière des vulnérabilités dans la sécurité des systèmes IA.
