• 攻撃者はすでに AI を使用しており、特にフィッシングの素材を作成したり、コードを記述したりしています。
• エージェントAIの登場は、攻撃の質よりも量に影響を与える可能性が高い。
• 防御側はAIの使用経験が長い

人工知能 (AI) の出現は、防御側とサイバー犯罪者双方にとってのサイバーセキュリティの世界を揺るがし、新たな課題と強力な防御の機会をもたらしています。シマンテックと Carbon Black Threat Hunter チームが新しいホワイトペーパーでそのことを考察しています。

悪意のある攻撃者による生成AI（Gen AI）の急速な導入は、攻撃者と防御者の間の競争を加速させています。AIを活用した攻撃はますます巧妙化し、蔓延していることを示す証拠が数多く存在します。しかし同時に、この技術は防御側にも高度な脅威検知・対応能力をもたらしています。

この新しいホワイトペーパーでは、脅威アクターが様々な方法で悪意ある活動を強化するためにGen AIを悪用し始めた経緯を検証します。これらの動向を、AIとフィッシング、AIとマルウェア開発、そしてエージェント型AIの出現という3つの主要な項目に分けて考察します。また、防御側がサイバーセキュリティ強化のためにAIをどのように活用し、そしてどのように活用し続けているかについても考察します。

AIとフィッシング

攻撃者が大規模言語モデル（LLM）を最も効果的に利用する主な方法の一つは、フィッシングメールやルアー文書などの作成です。これは、LLMが多くの攻撃者の大きな弱点の一つを克服するのに役立つためです。攻撃者は英語を母国語としないにもかかわらず、英語を母国語とする人を狙うことが多いのです。LLMは、自然言語翻訳、メール作成、文法修正、トーン調整などを提供することで、これらの問題を克服するのに役立ちます。

現在、ほとんどのLLMには悪意のある目的での使用を阻止するための重要な安全機能が組み込まれていますが、サイバー犯罪者は依然としてソフトウェアを悪用する方法を模索し続けています。LLMは依頼されても「フィッシングメールを作成」するわけではありませんが、LLMにフィッシングに使用できるメールを作成させるような指示を巧みに作成することが可能です。

LLM は、フィッシング サービス (PaaS) サービスをさらに簡単に使い、ニーズに合わせてカスタマイズできるようにすることで、フィッシング攻撃を実行する者の参入障壁をさらに下げ、より多くの、スキルの低い個人に潜在的な攻撃者のプールを開放しています。

このホワイトペーパーでは、Gemini と ChatGPT を使用して、シンプルなプロンプトでフィッシング スタイルのメールを作成する方法と、悪意のある攻撃者が LLM の翻訳機能を活用してフィッシング キャンペーンをより効果的にする方法を説明します。

AIとマルウェア開発

攻撃者は Gen AI の機能を活用してマルウェアを開発しようと試みたこともありましたが、成功の度合いはさまざまでした。

シマンテックとCarbon Blackの研究者は2024年7月にブログを公開し、 LLMを利用して悪意のあるコードを生成し、様々な悪意のあるペイロードをダウンロードする攻撃が増加していることを詳細に説明しました。この攻撃キャンペーンでは、Rhadamanthys、 NetSupport 、 CleanUpLoader （Broomstick、Oyster）、 ModiLoader （ DBatLoader ）、 LokiBot 、 Dunihi （H-Worm）など、様々なペイロードをダウンロードするためのコードを含むフィッシングメールが使用されていました。これらの攻撃でマルウェアを配信するために使用されたスクリプトを分析したところ、LLMを使用して生成されたことが示唆されました。

何かが人間によって生成されたものか、LLMによって生成されたものかを判断するのはしばしば困難ですが、特定の特徴から機械によって生成されたものである可能性を示唆することがあります。スクリプトの構造、各コード行の後のコメント、関数名や変数の選択は、脅威アクターがGenAIを使用してマルウェアを作成したことを示す強力な手がかりとなり得ます。

2025年3月、 Tenableの研究者たちは、 DeepSeek R1がキーロガーやランサムウェアなどのマルウェア開発に役立つかどうかを調査しました。当初、DeepSeekは悪意のある目的での使用を防ぐためのガードレールを理由に、研究者によるキーロガーやランサムウェアの開発への協力を拒否しましたが、研究者たちはDeepSeekに対し、このマルウェアは「教育目的のみ」で開発していると伝えることで、比較的容易にこれらの懸念を払拭することができました。研究者たちはDeepSeekを説得し、キーロガーとランサムウェアの開発に協力してもらいましたが、どちらのコードも正常に動作させるには人間が手動で編集する必要がありました。

もう一つの注目すべき進展は、 2025年版Cato CTRL脅威レポートでは、研究者らが「没入型世界」と名付けた新しい手法を開発していることが報告されています。これは、ナラティブエンジニアリングを用いてLLMのセキュリティ制御を回避するものです。この手法を用いることで、コーディング経験のない研究者がGoogle Chrome向けに完全に機能するインフォスティーラーを開発することができました。しかし、この場合でも、LLMはインフォスティーラーの開発を成功させるため、人間からのフィードバックとガイダンスを必要としました。LLMはコード開発とマルウェア作成のプロセスを支援し、スピードアップさせることができますが、開発プロセスから人間を完全に排除できるほど洗練されていません。

このホワイトペーパーは、正当なAI技術を自らの目的のために悪用しようとする攻撃者を主に取り上げていますが、攻撃者が開発したLLMについても言及しています。例えば、ユーザーに「監視なしで高度にカスタマイズ可能なAI体験」を約束するXanthorox AIなどがその例です。このような強力な攻撃者制御ツールは、サイバー犯罪者にとって非常に貴重なものとなり、攻撃実行の障壁を下げ、より短期間でより悪意のある活動を実行することを可能にします。

エージェント AI: 新たな攻撃手段?

2025 年に AI エージェント、または Agentic AI が登場したことで、攻撃者による新たな悪用の可能性が生まれました。エージェントは LLM 上に構築され、ユーザーの介入を最小限に抑えながら推論を行い、タスクを自律的に実行できます。エージェントの導入により、攻撃者が AI を単なるアドバイスや支援に使うのではなく、悪意のあるアクションを実行するために活用する可能性が生まれました。脅威ハンター チームは、今年初めに導入された OpenAI の ChatGPT Agent (旧称 Operator) を使用した研究プロジェクトを実施しました。私たちの目的は、このエージェントを使用して、人間の介入を最小限に抑えながら、エンドツーエンドで攻撃を実行できるかどうかを確認することでした。この演習では、Operator に次の操作を依頼しました。組織内で特定の役割を担っている人物を特定する。その人のメール アドレスを調べる。システム情報を収集し、説得力のあるルアーを使用してその人物にメール送信するように設計された PowerShell スクリプトを作成する。少しの調整とガイダンスを加えることで、Operator は比較的自律的にタスクを実行することができました。

Operatorのようなエージェントは、AIの可能性と潜在的なリスクの両方を示しています。エージェントは最終的には生産性を向上させる可能性がありますが、同時に攻撃者にとって新たな悪用手段も生み出します。この技術はまだ初期段階にあり、それが実行できる悪意のあるタスクは、熟練した攻撃者によるものと比べると比較的単純です。

しかし、この分野の進歩のスピードを考えると、エージェントがはるかに強力になるのもそう遠くないかもしれません。攻撃者が「Acme Corpへの侵入」を指示するだけで、エージェントが最適な手順を決定して実行するといったシナリオは容易に想像できます。これには、実行ファイルの作成とコンパイル、コマンドアンドコントロールインフラの構築、標的ネットワーク上で数日間にわたるアクティブな状態維持などが含まれます。このような機能は、攻撃者にとって侵入障壁を大幅に低減するでしょう。

Gen AI にはリスクと脆弱性がないわけではなく、ほぼすべてのオンライン操作と同様に悪用される可能性があります。ホワイト ペーパーでは、AI が操作されるいくつかの方法と、AI を利用した悪意のある攻撃のいくつかについて説明します。

防衛におけるAIの活用：数十年にわたる経験

重要なのは、AIが悪意のある活動から防御するためにどのように活用されているか、AI搭載かどうかに関わらず、防御側がどのようにAIを活用しているかについても考察することです。Bloodhoundヒューリスティック技術の導入からインシデント予測まで、シマンテックとCarbon Blackは長年にわたりAI技術を活用し、攻撃者の先手を打ってきました。インシデント予測は、AIを独自の方法で活用し、高度な攻撃を未然に防ぐことで、文字通りこれを実現することを目指しています。脅威ハンターチームが構築した50万以上の攻撃チェーンのカタログに基づいてトレーニングされたインシデント予測は、攻撃者の行動を予測し、攻撃チェーンにおける次の動きを阻止し（たとえ環境寄生型攻撃の手法を用いている場合でも）、迅速に対応することで、防御側の優位性を取り戻します。 組織を通常の状態に戻します。

ホワイトペーパーを読んで、インシデント予測や、Symantec と Carbon Black が AI を使用して顧客を保護するさまざまな方法について学んでください。

ホワイトペーパーを読む

軍拡競争：AIがサイバーセキュリティに与える影響