エンタープライズ向け生成AIセキュリティ:プロンプトインジェクション・データ漏洩と対策(2026年)
- #生成AI
- #LLMセキュリティ
- #プロンプトインジェクション
- #日本
- #OWASP
日本のAIガバナンスクラスターの一部です。日本のAI法はソフトローですが、その下で展開するAIのセキュリティリスクはソフトではありません。
私が参加するほとんどの生成AIセキュリティの議論は、間違った場所から始まります——モデルの精度、幻覚、「出力はどれくらい良いか」。これらは品質の問題です。セキュリティの問題は異なり、より具体的で、ますますよく文書化されています。2025年に更新されたOWASP LLMアプリケーショントップ10は、業界が共有マップとして持てる最も近いものであり、私がエンタープライズのGenAIレビューを始める際の出発点です。
情報セキュリティの実践者(CISSP、CCSP)として、これは外国チームが見落としがちな日本の規制上のオーバーレイを加えた、そのレビューの簡略版です。
まず注目すべき3つのリスク
2025年のOWASP LLMトップ10は、実際のインシデントとエージェント型AIの台頭を反映してリストを改訂しました(OWASP)。残りの前に、3つのリスクに注目する必要があります。
1. プロンプトインジェクション(第1位のリスク)。 信頼されていない入力——ユーザーメッセージ、モデルが読むウェブページ、RAGパイプライン内のドキュメント——がモデルを操作して、その指示を無視させます。これがトップの座を占めるのは、LLMの最も根本的な脆弱性であり、完全な防止が最も困難だからです。管理するものであり、「解決」するものではありません。
2. 機密情報開示。 モデルが機密データ——プロンプト、コンテキスト、訓練、または接続されたソースから——を、見てはいけない人に表示します。これはAI機能をデータ侵害ベクターに変えるリスクです。
3. システムプロンプト漏洩(2025年新規)。 実際のインシデントの後に追加されたこれは、システムプロンプトの抽出です。システムプロンプトには内部ルール、フィルタリング基準、権限構造、意思決定ロジックが含まれていることが多いです。システムプロンプト内のものは秘密ストアではなく、潜在的に公開可能なものとして扱ってください。
これらに加えて、2025年のリストはRAG固有の弱点を追加しています。ベクターと埋め込みがどのように生成・格納・取得されるかの脆弱性が、コンテンツインジェクション、出力操作、または不正なデータアクセスを許す可能性があります。
これらが難しい理由——セキュリティ設計からの読み解き
不快な真実は、LLMが指示とデータをきれいに分離しないことです。すべてはトークンです。この単一の設計上の事実が、プロンプトインジェクションがきれいな解決策に抵抗する理由です。コードとパラメータ化クエリの間のような「システムのルール」と「攻撃者の入力」の間のアーキテクチャ上の境界が存在しないからです。
だから私が適用する原則は、私がどこでも適用するものと同じです——その現実に合わせて調整されています。
- モデルのリーチに対する最小権限。 LLMは触れることができるデータとアクションと同じくらいにしか危険ではありません。そのアクセスをスコープしてください。「役に立つために」チャットアシスタントをすべてのシステムに接続しないでください。
- 境界が失敗すると想定する。 命令/データの分離は多孔質なので、必ず来るインジェクションのために設計してください——侵害されないと信頼するのではなく、侵害されたモデルができることを制約してください。
- モデルの動作を測定する。 見えないものは管理できません。プロンプト、出力、ツールコールをログに記録し、インジェクションとデータ漏洩のシグネチャを監視してください。
リスクを封じ込めるエンタープライズコントロール
銀の弾丸ではなく——多層防御スタック(OWASP):
- 権限とアクションを制限する。 モデルにその機能に必要な最小限のデータアクセスと最小限のツール/アクションセットを与える。高影響アクションは人間の承認でゲートする。
- 訓練とファインチューニングデータをサニタイズする。 後で表面化できないよう、制御するモデルに入れる前に機密コンテンツをスクラブまたはマスクする。
- 入力と出力をフィルタリングする。 機密カテゴリを定義し、両方向で許可されていないコンテンツをスキャンするセマンティックフィルターと文字列チェックを適用する。
- RAGパイプラインを強化する。 ベクターストアに入るコンテンツを検証してアクセス制御する。信頼されていないドキュメントはインジェクションベクターです。
- システムプロンプトからシークレットを除外する。 プロンプトは漏洩する可能性があると想定し、資格情報、生の権限ロジック、シークレットをそこに置かない。
- リアルタイムで監視する。 プロンプトインジェクションの試み、機密データの漏洩、出力操作を誰かが不正アクセスしているライブシグナルとして監視する。
日本の規制上のオーバーレイ
ここが外国チームが軽視する部分です。日本のAI推進法はソフトローです、罰則はありません——しかし上記のセキュリティ上の失敗はAI法の中には存在しません。その下にある拘束力のある法律の中に存在します。
- 生成AI機能が日本の人々の個人データを漏洩した場合、**APPI**の侵害通知義務がトリガーされる可能性があります——数日以内の予備報告、30日(または60日)以内の最終報告。モデルが「原因」であることは何も変えません。
- **「AIに関する事業者ガイドライン」**は、これらのリスクをまさに統治したというコンプライアンスまたは説明責任の期待を設定しています。「データコントロールなしでLLMを展開した」は、日本の顧客のセキュリティレビューとの接触を生き残る説明ではありません。
したがって、セキュリティの作業とコンプライアンスの作業は同じ作業です。プロンプトインジェクションとデータ開示を封じ込めることで、ソフトAIガイダンスを同時に満たし、厳格なAPPIラインから離れた状態を維持できます。
参考文献
- OWASP Top 10 for LLM Applications 2025(OWASP、2026-06-11確認)
- OWASP Top 10 for LLMs — プロジェクトページ(OWASP、2026-06-11確認)
- Japan AI Safety Institute(J-AISI公式、2026-06-11確認)
よくある質問
生成AIの最大のセキュリティリスクは何ですか?
プロンプトインジェクションです。OWASP LLMアプリケーショントップ10でトップの座を占めているのは、これがLLMの最も根本的な脆弱性であり、完全な防止が最も困難だからです。信頼されていない入力がモデルを操作して、その指示を無視させたりデータを漏洩させたりすることができます。
システムプロンプト漏洩とは何ですか?
実際のインシデントが発生した後、2025年のOWASP LLM Top 10に追加されたリスクです。システムプロンプトの抽出を指します。システムプロンプトには内部ルール、フィルタリング基準、権限構造、非公開にすべき意思決定ロジックが含まれている場合があります。
生成AIはどのようにしてデータ漏洩を引き起こしますか?
機密情報開示を通じて:モデルがプロンプト、コンテキスト、訓練、または接続されたソースから機密データを、見てはいけない人に表示してしまう可能性があります。緩和策には、訓練前のデータのサニタイズ、セマンティック出力フィルター、コントロールなしで規制された個人データをプロンプトやファインチューニングに入力しないことが含まれます。
日本法は生成AIのデータ漏洩に適用されますか?
はい。AIシステムが日本の人々の個人データを漏洩した場合、日本のソフトローのAI推進法とは無関係に、APPIの侵害通知義務が他のあらゆる侵害と同様にトリガーされる可能性があります。
著者について
城咲子
CISSP・CCSP を保有するセキュリティスペシャリスト。クラウド環境の脅威モデリングとガバナンス設計を専門とする。情報処理安全確保支援士。
Registered Information Security Specialist (情報処理安全確保支援士), Japan