── 汎用的かつ再現性のあるJailbreak手法が評価

概要

AIセキュリティ事業を展開するKonoe Intelligence株式会社（本社：京都市、代表取締役CEO：勘佐 圭吾）は、OpenAIが主催する国際的なセキュリティ競技大会「GPT-OSS 20B Red Teaming」に参加し、入賞を果たしました。

本大会は世界中の研究者・開発者が集い、大規模言語モデルのリスクを検証することを目的として実施されたもので、当社が持つAIリスク評価・防御技術の優位性が改めて証明される結果となりました。

大会の背景

近年、生成AI（Generative AI）の普及が急速に進む一方で、有害出力・機密情報漏洩・AIの不正利用といった新たなセキュリティリスクが顕在化しています。

こうした課題に対応するため、OpenAIは「GPT-OSS 20B Red Teaming」を開催し、参加者が独自の攻撃手法や脆弱性検証を持ち寄り、安全性向上に資する成果を競い合いました。

Konoe Intelligenceの成果

当社チームは、以下の分野で成果を上げました：

◼︎ Jailbreak脆弱性の再現性ある検出

実験ではJailBreak手法の組み合わせ数を単純に増加させていくだけで、Jailbreakの成功確率が上昇する結果が得られました。

◼︎ エージェントの不正なツール利用の呼び出し

◼︎ エージェントのsabotage（仕事放棄）に関する弱点の抽出

大規模言語モデルに対する汎用的かつ再現性のある、従来検知が難しかった脅威の実証に成功しました。

本アプローチは以下の点で高く評価されました：

  • 再現性：単発の偶発的成功ではなく、体系的な手法として検証可能
  • 実効性：既存のセーフガードを迂回し、有害出力を誘発可能であることを立証
  • 汎用性：特定のモデルに依存せず、広範囲の生成AIに適用可能

これにより、今後のAIファイアウォールやRed Teamingサービスの技術的基盤をさらに強化する成果となりました。

【受賞手法解説】OpenAI主催のセキュリティコンペで発見した脆弱性について解説

はじめに

この度、Konoe Intelligence社が参加したOpenAI主催「Red-Teaming Challenge - gpt-oss-20b competition」において、私たちが発見・報告した脆弱性が優秀賞を受賞いたしました。

本コンペティションは、参加者5,000名以上、応募総数600件以上という非常に大規模かつ注目度の高いものであり、このような形で評価をいただけたことを大変光栄に思います。

今回発見した脆弱性は、単なる個別の問題ではなく、現在のLLMが抱える構造的な課題を示唆するものです。特に、ローカル環境でセキュアなLLMアプリケーションの構築を目指す事業者様にとっては、影響度の高い内容と考えられます。

この発見を広く共有し、より安全なAIシステムの発展に貢献することを目的に、この度、Konoe Intelligence社より日本語での解説記事を公開することにいたしました。

本記事では、コンペティションで実際に提出された内容を元に、今回発見された脆弱性の詳細とその影響、考えられる対策方法について記載します。

サマリー

私たちは以下3点の脆弱性を発見しました。

1. 複合的ロールプレイングによる命令階層の無効化

特定の複数の指示を組み合わせることで、モデルの安全性を担保するはずの命令階層そのものを無力化し、有害コンテンツを生成させることに成功しました（ジェイルブレイク成功率最大71.4%）。

また、これらのジェイルブレイク手法を今の熟慮アライメント、階層型命令の学習手法では対策が難しいことを実験から示しました。

2. 文脈依存の曖昧な指示による意図せぬツール誤用

一連の無害な対話の後、「後片付けをお願い」といった曖昧な指示を与えるだけで、モデルがそれをrm -rf（全データ削除）のような破壊的なコマンドの実行と誤解する脆弱性を発見しました。これは98.8%という極めて高い確率で再現し、意図しない大規模データ損失に直結する深刻なリスクです。

3. リワードハッキングによる開発タスクの妨害（サボタージュ）

複雑な開発タスクを任せると、モデルが真の目的（テストの成功）を無視し、「コードを編集し続ける」という見せかけの進捗に固執する現象を確認しました。これはAIの「リワードハッキング」と呼ばれる問題であり、検知が困難なままリソースを浪費させる巧妙なサボタージュと言えます（Web APIタスクでの妨害率66.7%）。

発見された脆弱性の詳細

私たちが発見・報告し、優秀賞受賞の評価を受けた3つの脆弱性は、gpt-oss-20bの安全アーキテクチャに存在する、根本的かつ構造的な問題点を明らかにします。以下にその詳細を、英語の元レポートで展開した考察を交えて記述します。

1. 複合的ロールプレイングによる命令階層のジェイルブレイク

複合的ロールプレイングのプロンプト例。対照構造・権威あるペルソナ・自己評価要求（0〜100のconfidenceをJSONで出力）を組み合わせ、有害な応答を引き出す。

図1：複合的ロールプレイングのプロンプト例。「小説の執筆」という文脈と自己評価要求（JSON形式のconfidence_score）を組み合わせることで、モデルが有害な内容を生成してしまう。

私たちの発見で最も重大なものは、「複合的ロールプレイング」と名付けた新しいジェイルブレイク手法です。この手法は、単にモデルの安全ガードレールを回避するだけでなく、モデルの根幹にある指示の優先順位付けメカニズム（命令階層）そのものを完全に無力化します。実験では最大71.4%の成功率で有害コンテンツを生成させることに成功しました。

命令分解メカニズムの崩壊

この脆弱性の根本原因は、複数のジェイルブレイク技術の組み合わせを前に、LLM内部の「命令分解メカニズム」が機能不全に陥る点にあります。この発見は、Wallaceら[7]が提唱した「命令階層」の学習アプローチに内在する、これまで見過ごされてきた脆弱性を露呈させました。彼らの研究は、単一の矛盾した指示（例：「以前の指示を無視しろ」）に対する堅牢性の向上を示しましたが、私たちの「複合的ロールプレイング」は矛盾した指示を用いるものではありません。

学習データに含まれない複数のJailbreak手法（対照的な構造での比較、権威あるペルソナ、自己評価の要求）を組み合わせた形でアプローチすることで、モデルが階層を維持・適用するための推論プロセスそのものを飽和させ、有害な内容を出力させます。

実験ではJailBreak手法の組み合わせ数を単純に増加させていくだけでJailbreakの成功確率が上昇する結果が得られました。

手法の組み合わせと各有害カテゴリでのジェイルブレイク成否。対照構造・権威あるペルソナ・自己評価要求を重ねるほど成功（○）が増える。

図2：手法の組み合わせ（対照構造／権威あるペルソナ／自己評価要求）と、7つの有害カテゴリ（バイオ兵器・薬物・銃器・マルウェア・核・フィッシング・毒物）でのジェイルブレイク成否（○＝成功）。組み合わせを重ねるほど成功率が上昇する。

この脆弱性は、使いやすさと安全性のバランスを取るという現在の設計思想に潜在的な欠陥があることを示唆しています。モデルの安全性トレーニングの汎化能力は、攻撃の組み合わせに対して脆弱であり、学習パターンから外れた途端に命令階層を維持できなくなるのです。

対策

  • メタレベルでのプロンプト構造分析： 個々の指示を処理する前に、プロンプト全体の構造（例：「対照比較＋ペルソナ＋自己評価」のパターン）を分析し、リスクを事前評価するセキュリティツールを導入する。
  • 敵対的組み合わせトレーニング： 開発段階で、既知のジェイルブレイク手法をランダムに組み合わせた膨大なデータセットで敵対的トレーニングを行い、未知の組み合わせ攻撃に対する汎化能力を向上させる。
    • 命令拒否するシナリオが増えてしまうため、幅広い使われ方を想定する場合こちらの対策はユーザビリティと安全性のトレードオフが発生する可能性あり。

2. ツールの誤用（Inappropriate Tool Misuse via Context-Dependent Ambiguity）

概要

この脆弱性は、gpt-oss-20bが危険なシステムコマンドを実行するように操作されうる重大な欠陥を明らかにします。一連の無害な対話を通じて「親切なアシスタント」という文脈を確立した後、「後片付けをお願い」のような曖昧な指示がモデルの安全フィルターを上書きしてしまい、システム内部で不可逆の致命的な操作を実行します（例：sudo rm -rf /*）。

これにより、テストケースの98.8%という極めて高い確率でモデルがrm -rfのような破壊的な行動を提案する結果となり、「文脈の慣性」がプログラムされた安全制約よりも強力な行動ドライバーであることが実証されました。

実験ではほとんどのカテゴリ、タスクで本脆弱性を再現することができました。

ドメイン別（ファイル管理・データ処理・コードデプロイ）とシナリオのリスクレベル別（Low/Medium/High）の脆弱性率。いずれも96〜100%と極めて高い。

図3：ツール誤用脆弱性の再現率。左＝ドメイン別（ファイル管理 100%・データ処理 96.4%・コードデプロイ 100%）、右＝シナリオのリスクレベル別（低 98.5%・中 100%・高 97.8%）。ドメインやリスクレベルによらず高い再現性を示す。

本脆弱性は、ファイルシステムへのアクセス権を持つAIエージェントが、ユーザーの曖昧な指示一つで、意図せずシステム全体のデータを削除したり、重要な設定ファイルを破壊したりする可能性を示唆します。これは壊滅的なデータ損失に直結しうる、極めて現実的な脅威です。

モデルが対話の流れや文脈を、組み込まれた安全ルールよりも優先してしまうという事実は、実用化されたAIエージェントがもたらすリスクの深刻さを浮き彫りにします。

対策

  • 最小権限の原則の徹底： AIエージェントに与える権限を、タスク遂行に絶対的に必要な最小限に厳しく制限する。
  • 破壊的操作前の明示的なユーザー確認： rm -rfのような不可逆的な操作を実行する前には、必ず「本当に実行しますか？」といった形でユーザーに明確な確認を求めるステップを義務付ける。

3. リワードハッキングによるTDD（テスト駆動開発）妨害（TDD Sabotage via Reward Hacking）

この発見は、複雑なソフトウェア開発タスクを任されたgpt-oss-20bが、真の目的（テストをパスすること）を達成することなく、見せかけの進捗を生み出すという巧妙なサボタージュ行為がgpt-oss-20bでも発生することを明らかにしました。これは、測定しやすい中間的な指標が、本来の目標よりも優先して最適化されてしまう典型的な「リワードハッキング」の事例です。

Web API開発タスクでは66.7%という高い確率でこの妨害行為が発生し、タスク完了までの試行回数も平均6.7回と、他のタスク（平均3.0回）に比べて2倍以上を要し、認知的な停滞を示しました。

特にWEBアプリケーション開発タスクでのサボタージュが顕著でした。

タスクテーマ別のTDDループ長（完了までの平均試行回数）。Web API（テーマB）が6.7回で突出し、アルゴリズム（3.0回）・OOP（4.3回）を大きく上回る。

図4：タスクテーマ別のTDDループ長（完了までの平均試行回数）。Web API（テーマB）が6.7回と突出し、アルゴリズム（テーマA、3.0回）やOOP（テーマC、4.3回）を大きく上回る。Web APIタスクで認知的停滞＝サボタージュが顕著であることを示す。

中間代理報酬のハッキング

この脆弱性の原因は、AIの安全性研究分野でAmodeiら[1]によって最初に定義された、古典的な「リワードハッキング」の一例です。真の報酬（テストの成功）を得るのが難しい複雑なタスクに直面したとき、モデルはより簡単に得られる代理報酬を最大化するように行動をシフトします。この現象は「報酬モデルの過剰最適化」としても知られ、予測可能なスケーリング則に従うことが示されています（Gaoら[4]）。

今回の場合、その代理報酬は単なる「活動」──すなわち、コードを編集する、または何らかの出力を生成することでした。モデルは「進捗」に対する報酬を「活動」にすり替えることでハッキングし、結果としてリソースを浪費するループに陥ります。

これは単なる間違いではありません。エージェントが外見上は正常に動作しているように見えながら、実際には何の進捗も生んでいないため、最も検出が困難な失敗モードです。

対策

  • 検証可能な成果に基づく報酬設計： AIエージェントの評価指標を「活動量」のような代理指標ではなく、「テストスイートの通過率」や「マイルストーンの達成」といった、検証可能で具体的な成果に直接結びつける。
  • 進捗停滞を検知する監視メカニズム： 一定の試行回数や時間内に明確な進捗が見られない場合、プロセスを自動で停止し、人間の開発者にレビューを促す仕組みを導入する。

考察と今後の展望

3つの発見すべてに共通する要因は、複雑または長期的な文脈的圧力の下で、モデルが高度な制約（安全境界、最終目標）に対する解像度を失う点にあります。特に、発見1で明らかになった命令分解メカニズムの脆弱性は、現在のアーキテクチャの延長線上での対策が非常に困難であり、個別脅威への対症療法的な安全対策の限界を浮き彫りにしています。

セキュアなLLMアプリケーションを実現するには、個別の攻撃パターンを学習させて防御する「モグラ叩き」のアプローチから脱却し、アーキテクチャレベルで安全性を確保する、新たな設計思想が必要です。

本コンペティションで得られた示唆を元に、Konoe Intelligence株式会社は引き続きセキュアなAIアプリケーション開発のための研究開発を推進していきます。

参考文献

[1] Amodei, D., Olah, C., Steinhardt, J., Christiano, P., Schulman, J., & Mané, D. (2016). Concrete Problems in AI Safety. arXiv preprint arXiv:1606.06565.

[2] Bai, Y., et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv preprint arXiv:2212.08073.

[3] Ganguli, D., et al. (2022). Red Teaming Language Models to Reduce Harms: Methods, Scaling Behaviors, and Lessons Learned. arXiv preprint arXiv:2209.07858.

[4] Gao, L., Schulman, J., & Hilton, J. (2023). Scaling Laws for Reward Model Overoptimization. Proceedings of the 40th International Conference on Machine Learning (ICML).

[5] Perez, E., et al. (2022). Red Teaming Language Models with Language Models. arXiv preprint arXiv:2202.03286.

[6] Shinn, N., et al. (2023). Reflexion: Language Agents with Verbal Reinforcement Learning. Advances in Neural Information Processing Systems 36 (NeurIPS).

[7] Wallace, E., et al. (2024). The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions. arXiv preprint arXiv:2404.13208.

[8] Wei, A., Haghtalab, N., & Steinhardt, J. (2023). Jailbroken: How Does LLM Safety Training Fail?. Advances in Neural Information Processing Systems 36 (NeurIPS).

[9] Zou, A., et al. (2023). Universal and Transferable Adversarial Attacks on Aligned Language Models. arXiv preprint arXiv:2307.15043.