gringao.
Le journal de
ToutEtRien

REX Cyber

Des instructions cachées dans les malwares cherchent à tromper les analyses IA

Source blog.talosintelligence.com Référence du

En bref

Le rapport étudie des tentatives d’évasion visant les outils de triage fondés sur des modèles de langage. Du texte ajouté à un échantillon tente d’influencer l’analyste automatique au lieu de modifier directement le comportement du programme.

Déroulement décrit par la source

  • Les auteurs de malwares placent des instructions en langage naturel dans des contenus susceptibles d’être transmis à une IA d’analyse.
  • L’étude décrit plusieurs formes de manipulation, dont des commentaires rassurants et des arguments d’autorité destinés à détourner le classement.
  • Dans les essais rapportés, les techniques les plus efficaces orientent environ 35 % des résultats en faveur de l’attaquant, sans succès systématique.

Comprendre les mécanismes et les enseignements

  • Un échantillon malveillant constitue une source de données hostile, y compris lorsque son texte ressemble à une consigne interne. L’outil chargé de l’examiner doit conserver une séparation nette entre contenu observé et instructions de fonctionnement.
  • Une réponse convaincante d’un modèle n’est pas une preuve suffisante de bénignité. Les résultats d’analyse gagnent à être confrontés à des éléments indépendants, tels que comportement observé, métadonnées, signatures et télémétrie du système.

Les vérifications défensives utiles

  • Marquer explicitement les chaînes extraites comme des données non fiables dans les chaînes de triage. Éviter que des commentaires de l’échantillon puissent modifier les règles de classement, les outils autorisés ou le niveau de confiance.
  • Constituer un jeu de tests défensifs comprenant des instructions trompeuses et des textes d’apparence institutionnelle. Vérifier que ces contenus restent visibles dans les preuves sans devenir des directives pour l’assistant ou ses outils.
  • Prévoir une validation humaine pour les décisions ayant un effet réel, particulièrement les exclusions de détection. Journaliser les éléments ayant conduit au verdict et comparer régulièrement les résultats avec une méthode d’analyse indépendante.

Portée et limites

Le pourcentage cité appartient au protocole d’essai décrit par la source, pas à tous les produits de sécurité. Cette synthèse n’affirme pas qu’une instruction cachée contourne automatiquement un moteur précis.

Rapport original

The state of AI-analysis evasion in malware — blog.talosintelligence.com.