À mesure que les détecteurs de fausses nouvelles et les filtres anti-spam en ligne deviennent plus sophistiqués, les méthodes utilisées par les attaquants pour les tromper évoluent également, y compris les attaques via le « déclencheur universel ». Dans cette méthode basée sur l’apprentissage, un attaquant utilise une phrase ou un ensemble de mots pour tromper un nombre indéfini d’entrées. Une attaque réussie pourrait signifier davantage de fausses nouvelles apparaissant dans votre flux de réseaux sociaux ou du spam arrivant dans votre boîte de réception e-mail. Empruntant une technique couramment utilisée en cybersécurité pour se défendre contre ces attaques universelles basées sur des déclencheurs, des chercheurs du Penn State College of Information Sciences et Technologie ont développé un cadre d'apprentissage automatique capable de se défendre de manière proactive contre les mêmes types d'attaques dans les applications de traitement du langage naturel dans 99 % des cas.
Le modèle, appelé DARCY, utilise un concept de cybersécurité connu sous le nom de « pot de miel » pour appâter et intercepter les attaques potentielles contre les applications de traitement du langage naturel, telles que les détecteurs de fausses informations et les filtres anti-spam. Servant de leurre, le pot de miel attire un attaquant en l'attirant vers les mots et les phrases qu'il cible dans son hack.
"Les attaquants essaient de trouver ces phrases d'attaque universelles, nous essayons donc de rendre très attrayant pour eux de trouver les phrases que nous avons déjà définies", a déclaré Thai Le, doctorant en sciences et technologies de l'information et auteur principal du document de recherche. "Nous essayons de leur rendre le travail d'attaque très facile, puis ils tombent dans un piège."
DARCY recherche et injecte plusieurs trappes, ou appâts, dans un réseau de neurones textuels, la technologie qui pilote les applications de traitement du langage naturel, pour détecter et filtrer le contenu malveillant généré par les attaques à déclenchement universel.
"Pour autant que nous le sachions, il s'agit du premier travail qui utilise le concept de pot de miel du domaine de la cybersécurité pour défendre les modèles de réseaux de neurones textuels contre les attaques contradictoires", a déclaré Dongwon Lee, professeur de sciences et technologies de l'information et chercheur principal du projet.
Le a expliqué que les méthodes de défense actuelles contre les attaques adverses sont largement réactives, ce qui signifie que les défenseurs doivent observer et apprendre les techniques des pirates après une attaque, puis attendre une autre attaque pour les détecter et les supprimer.
Avec DARCY, l'idée novatrice d'une approche de défense proactive pourrait aider à détecter et à prévenir les attaques.
« Ce que les gens faisaient, c'était former un machine learning modèle, puis essayez de le défendre après son entraînement », a déclaré Le. « Mais ce que nous essayons de faire, c'est de défendre pendant le processus de formation afin de protéger de manière proactive les modèles pendant la phase de formation. »
Les chercheurs ont testé DARCY sur quatre ensembles de données de classification de texte distincts et ont utilisé le cadre pour se défendre contre six scénarios d'attaque potentiels différents, par exemple si un attaquant avait accès au réseau de détection ou s'il était au courant des trappes intégrées. DARCY a nettement surperformé cinq algorithmes de détection accusatoire existants qui servaient de lignes de base défensives.
« Par exemple, DARCY a pu détecter les attaques accusatoires universelles basées sur des déclencheurs avec jusqu'à 99 % de taux de vrais positifs et moins de 2 % de faux positifs dans la plupart des cas, ce qui représente une amélioration significative par rapport aux lignes de base existantes », a déclaré Lee.
Voyant l'efficacité de l'utilisation d'une tactique de défense de cybersécurité réussie pour défendre les applications de traitement du langage naturel, les chercheurs espèrent utiliser les mêmes techniques et le même cadre pour empêcher d'autres types d'attaques à l'avenir.
« Appliquer un concept dans un domaine très différent est intrigant, car nous pouvons voir comment différents domaines se connectent les uns aux autres et comment le parapluie de sécurité peut s'appliquer à de nombreux aspects différents de l'informatique », a conclu Le.
