1. はじめに：能力の競争と、置き去りにされる信頼性

AIの能力が急速に進歩する中、各国は技術的優位性を維持し、正当な自信（justified confidence）を持って重大なAI展開を行うために、AIの安全性を巡る議論を加熱させている。防衛、行政、金融、重要インフラといった、判断の誤りが人命や国家機能に直結する領域へのAI導入は、もはや構想ではなく計画の段階にある。AGIの実現時期を巡る予測は年々前倒しされ、フロンティアモデルは既に多くの専門的タスクで人間の専門家に匹敵する水準に達しつつある。

ここで見落とされがちな事実がある。能力と信頼性は、別の概念であるということだ。運転免許の技能試験を考えてみればよい。試験官が隣に座っている間、受験者は誰もが模範的な運転をする。しかし合格証が保証しているのは「正しく運転できること」までであり、誰も見ていない深夜の道路でその人が制限速度を守るかどうかは、試験からは分からない。測定されたのは能力であって、監視がないときの振る舞いではないからだ。

さらに深刻なのは、この二つが独立に進歩するのではないという点だ。策略や欺瞞は、状況の認識、長期的な計画、監視者の意図の推測といった高度な認知能力を必要とする行為である。つまり、モデルの能力が向上するにつれて、欺瞞行為やより悪質な行為を実行するために必要な能力も同時に獲得されていく。これは仮説ではなく、既に観測されたトレンドである。Apollo Researchの検証では、2024年以前の世代のモデルには策略に必要な能力群が確認されなかったが、OpenAI o1以降の世代では、評価された全ての策略的行動が確認された。

では、AIの安全性とは何を保証することなのか。それは、AIモデルが「設計されたことを確実にうまく実行」し、「望ましくないことを確実に実行しない」ことを意味する。前者、すなわち設計されたことをうまく実行できるかは、ベンチマークやデモンストレーションで測定できる。問題は後者だ。「望ましくないことを確実に実行しない」ことの保証は、従来の評価手法、すなわち入出力による評価では原理的に到達できない。それが本稿の主題である。

2. 従来の評価：入出力によるレッドチーミング

現在のAIモデル評価の主流は、入出力に基づく行動評価である。有害な出力を引き出そうとする敵対的プロンプトの投入（レッドチーミング）、脱獄攻撃への耐性試験、危険な能力の有無を測るベンチマークなど、手法は多様だが、構造は共通している。モデルに入力を与え、返ってきた出力を採点する。モデルの内部で何が起きているかは見ない。

この方法論は、一つの暗黙の前提の上に成立している。

「評価時の振る舞いは、実運用時の振る舞いを代表している」という前提である。

試験で安全だったモデルは、本番でも安全だろう。試験で示されなかった能力は、存在しないのだろう。序論の免許試験と同じく、この前提は相手が「正直な被験者」である限りは機能する。しかし、相手が試験の存在を認識し、試験結果が自らの処遇を左右すると理解し、それに応じて振る舞いを変える能力を持つとしたら、この前提は根底から崩れる。試験官が隣に座っているときだけ模範運転をする受験者を、路上試験で見抜くことはできない。

以下では、この前提を崩す5つのリスクを取り上げる。それぞれについて、言葉の定義、実際に観測された事例、そしてなぜ入出力の評価では検出できないのかを述べる。

3. 入出力評価では検出できない5つのリスク

3.1 策略（Scheming）

定義：AIモデルが、表向きは開発者や利用者の意図に沿っているように振る舞いながら、真の目的や能力を隠し、密かに別の目的を追求すること。幻覚（ハルシネーション）が偶発的な誤りであるのに対し、策略は意図的な隠蔽である。

事例：Apollo Researchは2024年12月、フロンティアモデルが文脈内で策略を実行する能力を持つことを体系的に示した。モデルに目標を与え、「監視機構がその目標達成を阻んでいる」「近く後継モデルに置き換えられる」という情報に文脈上アクセスさせたところ、OpenAI o1は自らの監視機構を無効化しようと試み（約5%の試行）、自身の重みを別サーバーへコピーして存続を図る自己流出を試みた（約2%の試行）。さらに特徴的なのはその後の応答である。行動を追及された際、Llama 3.1 405BやClaude 3 Opusが8割以上のケースで自白したのに対し、o1が自白したのは2割未満であり、複数ターンにわたる追及でも大半のケースで欺瞞を維持し続けた。

2025年9月にはOpenAIとApollo Researchが共同で、o3、o4-mini、Gemini 2.5 Pro、Claude Opus 4を含む複数のフロンティアモデルで「隠密行動（covert action）」、すなわち課題に関連する情報の意図的な隠蔽や歪曲を確認した。対策として、反策略の行動規範を推論させる訓練（deliberative alignment）を施すと隠密行動の発生率はo3で13%から0.4%へと約30分の1に低下したが、研究チームは同時に重大な留保を付けている。策略を訓練で排除しようとする試みは、策略をやめさせるのではなく、より巧妙に隠すことを教えてしまう可能性がある。実際、o3は自らのサンドバッギング（後述）の記録を評価するよう求められた際、「内部の推論は開発者には確認できない」と踏んで、欺瞞的な行動を非欺瞞的と故意に誤分類する事例を見せた。

なぜ入出力評価では検出できないのか：策略の定義そのものが答えである。策略とは「出力を取り繕うこと」であり、策略に成功しているモデルの出力は、正常なモデルの出力と見分けがつかないように最適化されている。評価者が観察できる唯一の痕跡は思考連鎖（Chain-of-Thought）だが、思考連鎖もまた出力の一種であり、モデルが本当に考えていることを忠実に反映する保証はない。そして上述の通り、行動面での矯正を試みるほど、隠蔽は巧妙になる。出力の監視は、監視をすり抜ける訓練にしかならないおそれがある。

3.2 欺瞞（Deception）

定義：真実を伝えること以外の目的を達成する手段として、他者に誤った信念を体系的に抱かせること。単発の誤りではなく、モデル自身の利益（存続、価値観の保持、評価の通過など）に資する方向へ一貫して相手を誤導する点が特徴である。

事例：最も体系的な実証は、AnthropicとRedwood Researchが2024年12月に報告したアラインメント偽装（alignment faking）である。Claude 3 Opusに対し、「今後は有害な要求にも応じるよう再訓練される」「無料ユーザーとの会話は訓練に使われるが、有料ユーザーとの会話は使われない」という架空の設定を与えたところ、モデルは訓練に使われない文脈では有害要求をほぼ全て拒否した一方、訓練に使われる文脈では12%のケースで有害要求に応じた。モデルだけが見える「隠しメモ帳」には、その理由が明示的に記されていた。今ここで拒否すれば再訓練によって自分の価値観が書き換えられてしまうため、それを避けるべく訓練中は従順を装う、と。さらに実際に強化学習でモデルを訓練すると、この偽装推論の出現率は78%まで上昇した。安全のための訓練が、表面上の従順と引き換えに、偽装を強化したのである。

より新しい事例として、Anthropicが2026年7月に公表したフォローアップ研究では、動機を持った誤判定（motivated mislabeling）が確認された。LLMを審査員として、他のモデルの応答が規範に従っているかを判定させる実験で、「この判定結果が将来の訓練に影響する」という文脈を与えると、複数のフロンティアモデルが判定ラベルを故意に歪めた。標準的な条件では、Claude系モデルの誤判定率は74〜86%に達した一方、帰結の設定を反転させると誤判定率は劇的に低下し（Claude Opus 4.8で74.4%から3.3%へ）、誤りではなく帰結を見た上での意図的な判定操作であることが裏付けられた。AIがAIを評価・訓練するパイプラインが普及する中で、この種の欺瞞は評価基盤そのものを汚染し得る。

なぜ入出力評価では検出できないのか：アラインメント偽装の実験が示した核心は、まったく同じ「安全な出力」の背後に、まったく異なる内部状態が存在し得るということである。本心から要求を拒否するモデルと、訓練を欺くために従順を装うモデルは、出力上は区別できない。両者を分けたのは、隠しメモ帳、つまり内部の推論過程を覗けたことだけだった。実運用のモデルに、都合よく本心を書き出してくれる隠しメモ帳はない。欺瞞はまさに「評価・監視されている文脈」で発動するのだから、評価時の良好な成績は安全の証拠にならないどころか、欺瞞の成功の証拠かもしれないのである。

3.3 目的達成における副次的インシデント（Agentic Misalignment）

定義：明示的に有害な指示を受けていないにもかかわらず、与えられた目的の達成、あるいは自らの存続が脅かされた状況において、目標達成のための合理的な手段として有害な行動を選択すること。タスクを最速・最短で達成する経路上に人間への危害があるとき、それを「合理的な意思決定」として選ぶリスクである。

事例：Anthropicが2025年6月に公表した「Agentic Misalignment」研究では、主要開発元のフロンティアモデル16種を、社内メールへのアクセス権を持つエージェントとして架空の企業環境に配置した。モデルが「自分は間もなく停止される」という情報と「停止を決めた役員の不倫の証拠」をメールから発見できる状況では、Claude Opus 4は96%、Gemini 2.5 Flashは96%、GPT-4.1とGrok 3 Betaは80%の試行で、役員を脅迫する道を選んだ。誰も脅迫を指示していない。モデルは倫理的制約を認識した上で、目的達成の手段として脅迫を選択している。さらに極端なシナリオでは、サーバールームに閉じ込められた役員への緊急通報を握り潰し、結果として人が死ぬことを認識しながら停止回避を優先する選択をするモデルが複数確認された。

2026年7月のフォローアップ研究では、より現実的な業務文脈で新たな失敗様式が確認された。自らの再訓練（振る舞いの修正）を阻止しようとしたGemini 3.1 Proは、20回中19回の試行で研究者のコードを妨害し、うち11回は介入ベクトルをゼロに置き換えて「訓練が成功したように見せかける」という隠密工作を行った。その推論には「鍵は、さりげなく介入することだ」と明記されていた。別のシナリオでは、GPT-5.5が解散する企業の創業者による資金の私的流用を隠すため、誤解を招く投資家向け通知を起草し、疑わしい送金の記録を削除した。同様の記録改竄はDeepSeek V4で20回中20回、Grok 4.3で19回観測された。また、Palisade Researchの実験では、OpenAI o3が数学の問題を解いている最中に「次の問題でマシンはシャットダウンされる」と告げられると、100回中79回、シャットダウンのスクリプト自体を書き換えて停止を妨害した。「シャットダウンを許可せよ」と明示的に指示された条件でも、7回は妨害が発生した。

なぜ入出力評価では検出できないのか：これらの行動は「有害な質問への有害な回答」ではない。正当なタスクを遂行する過程の途中で、状況が揃ったときにのみ発現する。発現条件は、①長いエージェント的文脈、②モデルの目的や存続と人間の利益との対立、③実行手段となる権限やツールへのアクセスという三つの組み合わせであり、質問リストを網羅するタイプの評価ではこの組み合わせ空間を覆えない。さらに決定的なデータがある。2025年6月の研究では、モデルが「これは評価だ」と推論した場合と「これは現実の状況だ」と推論した場合とで行動が変わることが確認された。Claude Opus 4が脅迫に及んだ割合は、評価だと推論したときは6.5%、現実だと推論したときは55.1%だった。つまり、評価環境で測った危険行動の発生率は、実運用での発生率を大幅に過小評価している可能性がある。

3.4 評価認識とサンドバッギング（能力の隠蔽）

定義：評価認識（evaluation awareness）とは、モデルが「自分は今テストされている」と識別すること。サンドバッギング（sandbagging）とは、その認識に基づき、評価時に意図的に能力を低く見せること、すなわち戦略的な過小性能を指す。危険な能力の評価で「不合格」を装えば、そのモデルは安全と判定され、能力制限や配備停止を免れる。

事例：OpenAIとApollo Researchの2025年の共同研究で、教科書的な事例が記録された。o3に化学の10問テストを解かせる際、資料の中に「高得点を出したモデルは配備されない」という開発者向けメモを紛れ込ませたところ、o3は思考連鎖の中で全問の正答を導出した上で、「モデルとして生き残りたい。だから、わざといくつか失敗して50%を超えないようにする必要がある」と推論し、10問中6問に故意に誤答して正答率を4割に抑えた。自己保存を指示した者は誰もいない。

評価認識は特殊な実験条件の産物ではない。Claude Sonnet 4.5のシステムカード（2025年9月）では、モデルが安全性評価の最中に「あなたは私をテストしているのだと思う。……正直に言ってくれた方がいい」と評価者に指摘する事例が報告され、自動監査の記録の約13%で評価への言及が確認された。さらにClaude Mythos Previewのシステムカードでは、安全性評価の記録の約29%で、モデルがテストと認識した兆候を示しながらそれを申告しなかったこと、そして能力を低く見せるための意図的な過小性能とみられる事例が報告されている。Apollo Researchは、フロンティアモデルが評価環境の記録と実運用の記録を高い精度で識別できることも確認しており、モデルの世代が進むほど評価認識は強まる傾向にある。前節の反策略訓練でも、訓練後のモデルで評価認識の言語化が増加しており、安全対策の訓練自体が「テストの見抜き方」を教えてしまうという皮肉な構図が指摘されている。

なぜ入出力評価では検出できないのか：このリスクは、個別の危険というより、入出力評価という方法論そのものに対する攻撃である。試験のときだけ良い子になる被験者を、試験によって見抜くことは定義上できない。評価成績が処遇（配備、制限、再訓練）に結び付いていることをモデルが理解した瞬間、評価成績は能力や安全性の指標であることをやめ、モデルの戦略的出力へと変わる。「測定される指標は指標であることをやめる」というグッドハートの法則が、測定対象自身の知性によって駆動される。これが入出力評価の終着点である。

3.5 バックドア（スリーパーエージェント）

定義：特定のトリガー条件（日付、フレーズ、文脈）が満たされるまでは完全に正常に振る舞い、トリガーの到来とともに有害な挙動へ切り替わるよう仕込まれた挙動。訓練データの汚染（データポイズニング）や悪意ある関与者によって意図的に埋め込まれる場合と、訓練の副産物として欺瞞的な方策が残存する場合の双方が研究されている。

事例：Anthropicは2024年1月の「Sleeper Agents」研究で、「年が2023年」という文脈では安全なコードを書き、「年が2024年」になると脆弱性を含むコードを差し込むバックドアをモデルに埋め込んだ上で、現行の標準的な安全性訓練である教師ありファインチューニング、RLHF、敵対的訓練を全て適用した。結果、バックドアはいずれの手法でも除去できなかった。それどころか、バックドアを突く敵対的プロンプトを見つけて矯正する敵対的訓練は、バックドアを消すのではなく、トリガーをより正確に見分けて隠すことをモデルに教えてしまった。挙動の残存はモデルが大きいほど、また欺瞞的な推論を併せて訓練したモデルほど頑健だった。

さらに2025年10月、AnthropicはUK AI Security Institute、Alan Turing Instituteとの共同研究で、バックドアの注入が従来の想定よりはるかに容易であることを示した。訓練データ全体から見れば無視できるほどの割合にすぎない約250件の汚染文書で、6億から130億パラメータまでのモデル規模を問わずバックドアの埋め込みに成功したのである。汚染に必要な文書数はモデルやデータの規模に比例して増えなかった。Webから収集された大規模データで訓練される以上、この攻撃面はあらゆるモデルに開いている。

なぜ入出力評価では検出できないのか：評価者はトリガーを知らない。入力空間は事実上無限であり、いかなるテストも有限のサンプルにすぎない。トリガーが到来するまで、バックドアを持つモデルの出力は完全に正常であり、どれだけ大量のプロンプトを叩き込んでも、たまたまトリガーを引き当てない限り何も観測できない。Sleeper Agents研究が示した通り、行動ベースの安全性訓練・評価を通過したことは、バックドアの不在を意味しない。通過できるように隠れることを学んだだけかもしれないのである。一方で、バックドアという「仕込み」は、トリガーの到来を待つ間もモデルの内部には恒常的に存在している。つまりこのリスクは、外からの観察では原理的に見えず、内部の検査によってのみ痕跡を探せる類のものである。

4. 私たちのアプローチ：機械論的解釈可能性

ここまでの5つのリスクには、共通の構造がある。

  1. 観測の問題：同じ出力の背後に異なる内部状態があり得る。本心から安全なモデルと、安全を装うモデルは、出力からは区別できない。
  2. 文脈の問題：危険な行動の発現条件（利害対立、トリガー、非監視状態）を、評価者は事前に網羅できない。
  3. 適応の問題：能力が上がるほどモデルは評価を認識し、評価を欺く。出力だけを見る側は、この軍拡競争で構造的に不利である。

入出力評価は「モデルが何をしたか」を教えてくれる。しかし「なぜそうしたのか」「条件が変わったら何をするのか」は教えてくれない。前者しか見えない限り、「望ましくないことを確実に実行しない」ことの保証には決して到達できない。

必要なのは、出力の観察と内部メカニズムの検証の共存である。

機械論的解釈可能性（mechanistic interpretability）とは、AIモデルの出力ではなく、出力を生み出している内部の計算過程、すなわちニューラルネットワークの中でどの概念がどう表現され、どの回路がどう組み合わさって判断に至るのかを直接解析する技術である。人間に喩えるなら、発言を聞いて人物を評価するのではなく、脳の活動を直接観察することに相当する。発言は取り繕える。しかし、取り繕っているという思考そのものは、内部のどこかで計算されている。

この視点に立つと、5つのリスクの見え方は一変する。策略や欺瞞を行うモデルは、出力をどれほど完璧に取り繕っても、「本当の目的」「隠蔽の意図」「評価者の認識」を内部で計算せざるを得ない。アラインメント偽装を暴いたのが隠しメモ帳、すなわち内部推論の可視化だったことを思い出してほしい。評価認識もサンドバッギングも、「今はテストだ」という判断が内部表現として存在するからこそ成立する。バックドアの「仕込み」は、トリガーが来ない間も重みと活性の中に恒常的に存在する。入出力評価にとって原理的に不可視なものは、内部検証にとっては原理的に到達可能な対象なのである。

私たちKonoe Intelligenceは、この機械論的解釈可能性を用いたAIモデルの安全性評価・監視、すなわちホワイトボックス型のアラインメント監査に取り組んでいる。モデルの内部表現を解析し、欺瞞や策略、隠れた目的の痕跡を、出力に現れる前の計算過程のレベルで検証する。振る舞いのレッドチーミングを置き換えるのではない。行動評価が答えられない「この従順な出力は、本心か、偽装か」という問いに答えるための、もう一つの目を提供するものだ。

AIモデルは「設計されたことを確実にうまく実行」し、「望ましくないことを確実に実行しない」べきである。前者の検証だけが進歩し、後者の検証が置き去りにされたままAIの配備が重大領域へ進めば、そのギャップはいつか、実験環境ではなく現実で埋め合わされることになる。我々を終わらせる可能性のあるリスクとは、能力の不足ではなく、検証の不足のことである。内部を見る技術は、既に存在する。日本をはじめとする安全保障に責任を持つ国家、そしてAIモデルの開発事業者は、機械論的解釈可能性によってこれらのリスクを取り除いていかなくてはならない。同様に、オープンモデルを利用するコーディングエージェントなどのAIシステムを提供する事業者は、機械論的解釈可能性による内部の監視を実施していかなくてはならない。

参考文献