Research
Research

by nicoxz

マッキンゼーAI侵入、2時間3200円より重い企業AIの設計欠陥

by nicoxz
URLをコピーしました
#AI #サイバーセキュリティ #McKinsey #LLM #企業システム

はじめに

マッキンゼーの社内生成AI「Lilli」への侵入事案は、見出しだけ読むと「AIがAIを2時間で破った」という派手な話に見えます。実際、英国Consultancy.ukは、CodeWallの攻撃エージェントが約2時間、トークン費用20ドルで侵入に成功したと伝えています。

ただし、本当に重い論点はそこではありません。CodeWallの開示とMcKinsey自身の説明を突き合わせると、この件は最新AIモデルの安全性が破られたというより、古典的なSQLインジェクションと、AIの振る舞いを決めるシステムプロンプトの保護不足が重なった「企業AIの設計問題」だと分かります。なぜ偽回答の混入リスクがここまで深刻なのか。Lilliの役割、侵入の手口、そして企業が見直すべき統制の順で整理します。

侵入を許した手口とLilliの性格

企業知識の集約装置という高価値性

まずLilliが何者なのかを押さえる必要があります。McKinseyは2023年、Lilliを社内向け生成AIとして公開し、自社の膨大な知見を検索、要約、合成してコンサルタントの業務に活用する仕組みだと説明していました。2024年の同社ポッドキャストでは、Lilliを単なるRAGではなく、複数の知識源やモデルを束ねる「オーケストレーション層」と位置づけています。

この位置づけが、今回の問題を大きくします。2023年のMcKinsey公式ブログでは、Lilliが10万件超の文書と70カ国の専門家ネットワークを活用し、社内展開のために法務、サイバーセキュリティ、リスク管理、人材開発まで巻き込んで設計されたとされていました。つまりLilliは、社内文書の検索窓ではなく、企業の知識と判断プロセスに接続する中枢です。ここが乗っ取られると、情報流出だけでなく、組織の意思決定経路そのものが汚染されます。

古典的SQLインジェクションと公開API文書

CodeWallの2026年3月9日付の開示によれば、同社の自律型攻撃エージェントはLilliの公開されたAPI文書をたどり、200超のエンドポイントを把握しました。そのうち22件は認証不要で、その1つが検索クエリをデータベースに書き込む際、値ではなくJSONキー名をSQLへ連結していたとされます。通常のスキャナーが見落としやすい変則的なSQLインジェクションで、CodeWallは15回のブラインド試行を経て本番データへ到達したと説明しています。

CodeWallはその結果として、4650万件のチャット、72万8000件のファイル、5万7000件のユーザーアカウント、38万4000件のAIアシスタント、9万4000件のワークスペースなどに読み書き可能だったと主張しています。McKinseyは3月11日の声明で、脆弱性を数時間で修正し、第三者のフォレンジック調査でも顧客データや顧客機密情報に不正アクセスの証拠は見つからなかったと反論しました。したがって、暴露範囲の細部はCodeWall側の申告値として読むべきです。

それでも、設計上の問題はかなり明白です。Outpost24はこの件を、認証されていないAPI、データストア、プロンプト設定、内部文書基盤が密接につながった「企業AIの周辺エコシステム」の脆弱性として整理しています。つまり、モデル本体よりも、その外側の配線が危なかったということです。

偽回答を仕込めることの深刻さ

データ流出より重いプロンプト改ざん

この事案が通常のデータベース侵入より深刻なのは、CodeWallが「読み取りだけでなく書き込みも可能だった」と説明している点です。CodeWallによると、Lilliのシステムプロンプトとモデル設定95件が同じデータベース内にあり、攻撃者はHTTPリクエスト1回で振る舞いを書き換えられる状態だったとされます。

ここで起きうるのは、単純な情報窃取だけではありません。コンサルタントがLilliに財務モデル、M&A、事業戦略、規制対応を尋ねたとき、回答の前提や引用方針、警告の出し方自体を静かに変えられる可能性があります。Outpost24は、こうした改ざんが不正確な結果の表示や誤った情報の浮上につながると指摘しています。社内ツールだから信用される分、外部の偽情報より厄介です。

しかも、この種の改ざんは発見が難しいという特徴があります。サーバー侵害なら異常なプロセスやファイル変更が手がかりになりますが、プロンプト改変はAIの口調や判断基準が少しずつずれる形で表れます。利用者は「いつもの社内AIがそう言っている」と受け取りやすく、誤りが人間の文書や顧客提案に転写されるまで気づかない恐れがあります。

SQLインジェクションとプロンプトインジェクションの違い

ここで混同しやすいのが、今回の侵入経路と、一般に語られる「プロンプトインジェクション」は別物だという点です。NCSCは2025年12月、プロンプトインジェクションはSQLインジェクションと似て見えても、本質的には異なると警告しました。SQLはデータと命令を分離できますが、LLMは内部的にその区別を持たず、入力はすべて次のトークン予測の材料になります。

OWASPも、LLMアプリケーションの主要リスクの筆頭にPrompt Injectionを置き、巧妙な入力が不正アクセス、情報漏洩、意思決定の改ざんを招くと説明しています。今回のLilli事案は、侵入口こそ古典的なSQLインジェクションでしたが、その先にある被害像は、まさにOWASPが警告する「意思決定の汚染」に近いものです。企業AIでは、侵入経路の古さと、被害の新しさが同居します。

企業AI統制の見直しポイント

モデルではなく周辺権限の統制

今回の教訓は、企業が高性能モデルを入れれば安全も高度化するという発想が危ういことです。NCSCは、プロンプトインジェクションのようなリスクを完全に消すより、被害の可能性と影響を減らす設計が重要だと述べています。Outpost24も、AIエージェントを特権アプリケーションとして扱い、最小権限、アクセス分離、ログ監視、AI特有の脅威モデリングを導入すべきだと提言しています。

Lilliの事案に引きつければ、少なくとも4つの再設計が必要です。第1に、API文書や内部向けエンドポイントを公開面に置かないこと。第2に、システムプロンプトやモデル設定を業務データベースから分離し、変更履歴と承認を必須にすること。第3に、AIの回答が下流システムや顧客文書へ流れる経路を監査可能にすること。第4に、AIエージェントを含む侵入テストを継続運用へ組み込むことです。

「安全に作った」ではなく「壊して確かめた」体制

McKinseyは2023年時点で、Lilli開発に法務やセキュリティを巻き込んだと説明していました。にもかかわらず、CodeWallが主張するような古典的な脆弱性とプロンプト設定の集中保管が残っていたなら、問題は意識の欠如ではなく、検証の深さ不足です。生成AIの導入企業が今問われているのは、「安全を考えたか」ではなく「壊しに来る相手を前提に試したか」です。

企業内AIは、検索、要約、提案、文書作成を通じて、人間の判断の手前に入り込みます。そのため、防御対象はモデルだけでなく、認証、API、権限、文書保管、プロンプト管理、監査証跡まで広がります。今回の事案は、AIの導入が進んだ企業ほど、情報システム部門とセキュリティ部門の境界線を引き直す必要があることを示しました。

注意点・展望

事実認定で分けて読むべき点

この件で注意すべきなのは、露出した件数や読み書き範囲の詳細はCodeWall側の開示に依拠していることです。McKinseyは脆弱性の存在と修正を認めつつも、顧客データへの不正アクセスは確認されなかったとしています。したがって、「大規模流出が確定した事件」と断定するより、「重大な設計欠陥が第三者に実証された事件」と捉える方が正確です。

一方で、その慎重さは危険性を薄めません。もし攻撃者が本当に書き込み権限を持てるなら、被害は漏洩より改ざんの方が大きくなり得ます。AIを社内判断の入口に置く企業ほど、この点は重く受け止める必要があります。

今後の企業AI防御の焦点

今後の焦点は、AI特有の脅威モデリングをどこまで運用へ落とし込めるかです。OWASPが示すPrompt InjectionやInsecure Output Handlingのような項目は、もはや研究者向けの抽象論ではありません。企業内の検索AI、営業支援AI、契約レビューAI、コーディング支援AIのすべてに直結する実務課題です。

今後は、プロンプトをコード資産として管理する発想、出力の監査、AI経由の権限行使の制限、レッドチームによる継続検証が標準装備になっていくはずです。Lilliの事案は、企業AIが便利さの段階から、統制と保証の段階へ入ったことを告げています。

まとめ

マッキンゼーのLilli侵入事案は、「AI時代の新型攻撃」のように見えて、入口は古典的なSQLインジェクションでした。しかし、被害の本質はそこから先にあります。AIの回答を決めるシステムプロンプトまで同じ基盤で管理していたとすれば、攻撃者は情報を盗むだけでなく、組織が信じる答えそのものを静かに変えられます。

企業が学ぶべきなのは、モデル性能より周辺統制の重要性です。認証、API、データ分離、プロンプト管理、監査、継続的な侵入検証が揃わない限り、社内AIは生産性向上の道具であると同時に、意思決定を汚染する新しい単一点障害にもなります。今回の件は、その現実をきわめて分かりやすく示した事例です。

参考資料:

関連記事

最新ニュース