オンラインのフェイク ニュース検出機能やスパム フィルターがより洗練されるにつれて、「ユニバーサル トリガー」を介した攻撃など、それらを騙す攻撃者の手法も洗練されています。 この学習ベースの方法では、攻撃者はフレーズまたは一連の単語を使用して、不特定の数の入力を騙します。 攻撃が成功すると、ソーシャル メディア フィードにさらに偽のニュースが表示されたり、電子メールの受信箱にスパムが届く可能性があります。 ペンシルバニア州立情報科学大学の研究者らは、サイバーセキュリティで一般的に使用されている技術を借用して、これらの普遍的なトリガーベースの攻撃を防御しています。 テクノロジー は、自然言語処理アプリケーションにおける同種の攻撃を 99% の確率で事前に防御できる機械学習フレームワークを開発しました。
DARCYと呼ばれるこのモデルは、「ハニーポット」と呼ばれるサイバーセキュリティの概念を使用して、偽のニュース検出器やスパムフィルターなどの自然言語処理アプリケーションに対する潜在的な攻撃を阻止します。 ハニーポットはおとりとして機能し、ハニーでターゲットにしている単語やフレーズに攻撃者を引き付けます。
「攻撃者はこれらの普遍的な攻撃フレーズを見つけようとするので、私たちはすでに設定したフレーズを見つけることを非常に魅力的にしようとしています」と、情報科学技術の博士課程の学生で研究論文の筆頭著者であるThaiLeは述べています。 「私たちは攻撃の仕事を彼らにとって非常に簡単にするように努めています、そしてそれから彼らは罠に陥ります。」
DARCYは、複数のトラップドアまたは餌を検索してテキストニューラルネットワーク（自然言語処理アプリケーションを駆動するテクノロジー）に注入し、ユニバーサルトリガー攻撃によって生成された悪意のあるコンテンツをキャッチして除外します。
「私たちの知る限り、これは、サイバーセキュリティドメインのハニーポットの概念を利用して、敵対的攻撃からテキストニューラルネットワークモデルを防御する最初の作業です」と、情報科学技術の教授でプロジェクトの主任研究員であるドンウォンリーは述べています。
Leは、敵対的攻撃に対する現在の防御方法は主に反応的であると説明しました。つまり、防御側は攻撃後にハッカーのテクニックを観察して学習し、別の攻撃がそれらを検出して削除するのを待つ必要があります。
DARCYを使用すると、プロアクティブな防御アプローチの斬新なアイデアが攻撃の検出と防止に役立つ可能性があります。
「人々が行っていたのは、 機械学習 モデルを作成し、トレーニング後に防御を試みます」とLe氏は述べています。 「しかし、私たちがやろうとしているのは、トレーニングプロセス中に防御することです。そのため、トレーニングフェーズ中にモデルを積極的に保護します。」
研究者は、XNUMXつの別々のテキスト分類データセットでDARCYをテストし、フレームワークを使用して、攻撃者が検出ネットワークにアクセスできるかどうか、埋め込まれたトラップドアを認識しているかどうかなど、XNUMXつの異なる潜在的な攻撃シナリオから防御しました。 DARCYは、防御ベースラインとして機能するXNUMXつの既存の敵対的検出アルゴリズムを大幅に上回りました。
「たとえば、DARCYは、ほとんどの場合、最大99％の真陽性率と2％未満の偽陽性率で、ユニバーサルトリガーベースの敵対攻撃を検出できました。これは、既存のベースラインを大幅に上回っています」とLee氏は述べています。
成功したサイバーセキュリティ防御戦術を使用して自然言語処理アプリケーションを防御することの有効性を見て、研究者は同じ技術とフレームワークを使用して、将来的に他のタイプの攻撃を防ぐことを望んでいます。
「非常に異なる分野からの概念を適用することは興味深いです。なぜなら、異なる分野がどのように相互に関連し、セキュリティ傘がコンピュータサイエンスの多くの異なる側面にどのように適用できるかを見ることができるからです」とLeは結論付けました。
