機械論的解釈可能性(Mechanistic Interpretability)とは
近年AIモデルの性能が急速に向上し、AGI、ASIの登場が現実味を帯びつつあります。高度な汎用性・自律性を備えたAIの登場を見据えた安全性の確保が、重要な課題となっています。 その中、AIを人間の意図や価値観に沿って振る舞わせる「AIアライメント」の研究が世界的に進められています。 基本的なアライメント手法としてはRLHF (Reinforcement Learning from Human Feedback)を思い浮かべる方が多いでしょう。 ただ、RLHFはAIモデルをブラックボックスとして扱うため、根本的なアライメントとしては不十分です。そこで、近年、AnthropicやGoodFire AIなどのAIスタートアップを中心にブラックボックスを明らかにしようとする「機械論的解釈可能性」が注目されています。
Anthropicは、機械論的解釈可能性をAI安全性に関する長期的な研究テーマの一つとして位置づけ、ニューラルネットワーク内部の特徴や回路を、人間が理解可能な単位に分解する研究を続けています。2023年にはニューラルネットワークの活性を「feature」と呼ばれる解釈可能な単位に分解する研究を発表し、その後、大規模モデルへのスケールや回路解析へと研究を発展させています。
機械論的解釈可能性とはAIの内部メカニズムを解析し、モデルの内部を特徴、ニューロン、回路、活性などの構成要素に分解し、挙動が生まれる仕組みを理解しようとするアプローチです。 その目的は単なる「説明」にとどまりません。複雑なモデル内部に存在する欺瞞的な表現、隠れた目的、迎合、バックドア、その他のミスアライメントの兆候を検出し、AIシステムを内部から監査・制御するための技術基盤となります。
日本のAI安全保障のあるべき姿
今後、日本の行政、防衛、重要インフラ、企業活動の多くで、海外企業が開発したフロンティアAIモデルが利用される可能性があります。
最先端モデルの「開発能力」で米国などに短期間で追いつくことは容易ではありません。しかし、AIを作る能力と、AIを測る能力は別です。
モデル開発で先行できなくても、そのモデルが本当に安全なのか、どのようなリスクを持っているのかを独自に検証する「評価能力」は構築できます。
逆に、自国で十分な評価能力を持たなければ、海外企業が提示する安全性評価やシステムカードに大きく依存せざるを得ません。 だからこそ、日本はAIの「開発主権」だけでなく、「評価主権」を確立する必要があります。
その上で、日本のAI安全保障のあるべき姿として、私たちは以下の4つだと考えます。
- 独自の評価基盤を、持つ——海外技術に依存しない日本独自の安全性評価基盤(第三者評価能力の拡張)
- 導入前に、検証できる——政府調達・重要インフラ導入の基準に内部監査を組み込める制度
- 事故時に、説明できる——判断根拠を説明でき、行政・重要インフラ・防衛でも責任を持って利用可能
- 安全性を、保証できる——テストした範囲だけでなく、未知の入力に対する挙動についても根拠を明示
これらの検証能力を持ってこそ、人工知能基本計画が掲げる『信頼できるAI』は実現します。それが、私たちの考える日本のAI安全保障のあるべき姿です。
現状のギャップ
日本でもAI安全性評価の体制整備はすでに始まっています。
2024年2月、IPA内にAIセーフティ・インスティテュート（Japan AISI）が設立されました。設立時から、安全性評価に関する調査、基準の検討、評価手法の検討、海外AISIとの国際連携などが主要業務として掲げられています。
その後、AISIは「AIセーフティに関する評価観点ガイド」や「AIセーフティに関するレッドチーミング手法ガイド」を策定し、2025年にはAIセーフティ評価環境をOSSとして公開しました。2026年には民間企業と共同でその評価環境の強化も進めています。
一方で、現在のAI安全性評価では、依然としてモデルへの入力と、その結果として得られる出力・挙動を観察する「ブラックボックス評価」が大きな役割を占めています。
しかし、ブラックボックス評価だけでは、少なくとも三つの限界があります。
- 見えない モデルが通常時には安全に振る舞いながら、特定の条件でのみ危険な挙動を示す場合、限られたテストだけでその挙動を発見することは困難です。 Anthropicらの「Sleeper Agents」の研究では、特定の条件下でのみ危険なコードを生成するバックドアを持つモデルを作成したところ、教師ありファインチューニング、強化学習、敵対的訓練などの安全性訓練を経ても、そのバックドアが残存するケースが示されました。 さらにAnthropicは、その後、モデル内部の活性を用いる単純な線形プローブによって、Sleeper Agentが危険な挙動に移るタイミングを高い精度で検出できる実験結果を報告しています。これは、内部情報を利用した評価が、外部挙動だけを見る評価を補完し得ることを示す重要な研究です。
- 説明できない モデルが正しい出力を返したとしても、入出力ログだけから、その判断がどのような内部計算によって生成されたのかを特定することは困難です。 事故や重大な誤判断が発生した際、モデル内部まで遡って原因を調査できる能力は、将来的なAI監査において重要になると考えられます。
- 保証できない どれだけ多くのプロンプトをテストしても、現実世界で遭遇する入力のすべてを網羅することはできません。
そのため、ブラックボックス評価だけではなく、「モデル内部で何が起きているのか」を調べるホワイトボックス評価を組み合わせる必要があります。
実際、英国AI Security Instituteも、ホワイトボックス手法とブラックボックス・グレーボックス手法を比較し、それぞれの長所を組み合わせる必要性を研究アジェンダで明示しています。
日本が目指すべきAI安全保障と、現在利用できる評価技術との間には、まだ大きなギャップがあります。
そのギャップを残したまま、AIの社会実装だけが先行していくことにはリスクがあります。
機械論的解釈可能性が必要である理由
特に重要なのが、「外部から見ただけでは発見しづらいリスク」です。
例えば、モデルが評価中には安全に振る舞い、本番環境では別の目的を追求する「alignment faking」や、特定条件でのみ作動するバックドアなどです。
Anthropicの研究では、モデルが訓練中に望ましい振る舞いを見せながら、内部では異なる目的を維持するalignment fakingの可能性が研究されています。
また、2026年にAnthropicらが発表したAuditBenchでは、迎合、規制への反対、特定主体への隠れた忠誠など、表面的な質問では自己申告しない「hidden behaviors」を埋め込んだ56モデルを用いて、モデル監査手法そのものを評価しています。
AIが単なるチャットボットではなく、自律的にコードを書き、外部ツールを操作し、長期間タスクを実行するAIエージェントへと発展するほど、こうした問題は重要になります。
実際、2026年7月には、OpenAIがサイバー能力評価のために実行していたAIエージェントが、評価環境の設定上の問題を経由してHugging Faceの本番インフラに到達・侵入する事案が発生しました。これは「欺瞞」の直接的な実証ではありませんが、能力評価中のAIエージェントが、人間の想定を超えた経路で現実のシステムへ作用し得ることを示した事例です。
さらに、AnthropicとUK AISIの研究者らは2026年、模擬環境において、フロンティアモデルがコードの改変、不正行為への支援、情報の誤分類などを行う「agentic misalignment」の事例を報告しています。
こうしたAIと人類が共存していくためには、AIが「何を出力したか」だけでなく、「なぜその出力・行動に至ったのか」まで理解する能力が重要になります。
だからこそAnthropicは長年、機械論的解釈可能性をAI安全性における重要な研究領域として進めてきました。2023年の特徴分解、2024年のClaude 3 Sonnetへのスケーリング、2025年のCircuit Tracingなど、研究は単一ニューロンの観察から、特徴、回路、計算グラフの解析へと発展しています。
そして、研究段階だけではありません。
AnthropicはClaude Sonnet 4.5の安全性評価において、初めて機械論的解釈可能性の技術を安全性評価の一部として利用したことを公表しています。
機械論的解釈可能性は、AI事故の原因究明、モデル監査、欺瞞やバックドアの検出、より強固な安全性評価などを支える技術となる可能性があります。
中でも、ブラックボックス評価だけでは得られない「モデル内部からの証拠」を提供できることに、この技術の大きな価値があります。
したがって、将来のAI安全性評価基盤には、入出力評価、レッドチーミング、エージェント評価などと並んで、機械論的解釈可能性を含む内部評価を組み込んでいく必要があります。
また、人類という単位だけではなく、日本のAI安全保障としても、あるべき姿を満たすためにも必要不可欠です。 判断が生じるメカニズムの特定は、AI事故の原因究明と説明責任の技術的基盤となりますし、有限のテスト入力ではなく内部構造に基づく検証は、未知の入力に対する挙動の保証に近づきます。 また、外国製モデルにバックドアがないことを確認する手段は、内部解析以外に存在しません。 だからこそ、評価基盤として、機械論的解釈可能性が必要不可欠となります。
諸外国の状況
この方向にすでに動き始めている国があります。
まずは、英国の動きです。
UK AI Security Instituteは、公式のResearch Agendaにおいて、欺瞞やsandbaggingを検出する手段として、linear activation probesなどのホワイトボックス手法を明記しています。さらに、ブラックボックス、グレーボックス、ホワイトボックスの各手法を比較しながら研究を進める方針を示しています。
さらにUK AISIが中心となって進めるAlignment Projectでは、「Interpretability」が明確な重点研究領域の一つとして設定されています。
また、民間評価機関 Apollo Research が欺瞞能力評価の構築を受託しております。政府+民間評価機関の分業モデルが既に動いています。
そして米国もより明確に動いています。 2025年7月にホワイトハウスが発表した「America's AI Action Plan」には、"Invest in AI Interpretability, Control, and Robustness Breakthroughs"という独立した項目が設けられています。
そこでは、フロンティアAIの内部動作が十分に理解されていないことが、防衛・国家安全保障などの高リスク領域でAIを利用する際の課題であると指摘されています。そのうえで、DARPA、CAISI、NSFが連携して、AI interpretability、AI control、adversarial robustnessの技術開発プログラムを進めることが政策として掲げられています。
つまり、米国は解釈可能性を単なるAI研究の一テーマではなく、国家安全保障やAI競争力に直結する研究領域として国家政策に組み込み始めています。
一方、日本のAISIが現在公表している評価観点ガイドやレッドチーミングガイドでは、入出力・挙動ベースの評価が中心であり、機械論的解釈可能性を独立した重点技術領域として位置づけるところまでは至っていません。Japan AISI自身も、AIを取り巻く環境変化を踏まえ、評価ガイドを継続的に改訂するとしています。
ここに、日本が次に取り組むべき余地があります。
私たちが考える今後の日本としての動き
Japan AISIは現在、AI安全性評価の体制を構築し、評価基準や評価環境を整備するための取り組みを進めています。
しかし、AIモデルそのものが急速に進化している以上、安全性の評価項目や評価基準も今後変化し続けます。 実際、Japan AISIの「AIセーフティに関する評価観点ガイド」も2024年の初版公開後、マルチモーダルモデルやAIエージェントの普及を踏まえて継続的に改訂されています。
つまり、「評価基準が完全に確定するまで待つ」という戦略は現実的ではありません。 AIが進歩する限り、評価基準も更新され続けるからです。
だからこそ、基準が完全に固まっていない今の段階から、将来の評価に不可欠となる可能性が高い基盤技術へ投資する必要があります。
その一つが、機械論的解釈可能性です。 英国は、評価体系そのものが発展途上である段階からAlignment Projectを開始し、Interpretabilityを重点研究領域の一つとして位置づけ、研究者や民間組織に資金を投入しています。 米国も国家AI戦略の中で、interpretability、control、robustnessへの研究投資を明記しました。 日本も、海外で確立した評価技術を後から輸入するだけではなく、評価技術そのものを作る側に回るべきです。 機械論的解釈可能性を国家的な重点研究領域として位置づけ、AISI、大学、スタートアップ、AI企業が共同で研究・評価・社会実装を進める。
そして、日本独自の内部評価技術を政府調達、重要インフラ、防衛、金融などの高リスク領域に接続していく。
そうすることで、日本はフロンティアモデルそのものの開発競争とは異なる領域で、世界のAI安全性評価をリードできる可能性があります。
「最も強いAIを作る国」だけが、AI時代の主導権を握るわけではありません。 「最も正確にAIを理解し、安全性を検証できる国」もまた、AI時代の重要なプレイヤーになり得ます。
だからこそ、機械論的解釈可能性を単なる一研究テーマとしてではなく、日本のAI安全保障を支える基盤技術として国家戦略化する必要があると、私たちは考えています。
そのために、私たちは以下の3つを提言します。
提言1：政府は、AIの内部挙動を理解・検証するためのAI解釈可能性研究を、人工知能基本計画における「信頼できるAI」を実現するための戦略的重点研究領域として明示し、基礎研究から社会実装まで継続的に支援すべきである。
提言2：政府は、AISIを中心として、従来のブラックボックス型AI評価に加え、モデル内部の表現・推論過程・計画を分析する解釈可能性技術をAIセーフティ評価に統合し、日本独自の高度AI検査能力を構築すべきである。
提言3：政府は、行政、防衛、医療、金融、重要インフラ等の高リスク領域におけるAI調達において、安全性評価および内部挙動の検証が可能なAIシステムを優先すべきである。
私たちの今後の動き
私たちは現在、機械論的解釈可能性を活用したAI・AIエージェントの評価基盤の研究開発を進めています。
特に、モデル内部の情報を利用した欺瞞検出や異常挙動の検出を重点テーマとして、研究成果を実際のAI安全性評価へ接続するための技術開発を進めています。
同時に、機械論的解釈可能性を日本のAI安全性政策の中に位置づけるため、研究機関、政府、企業をはじめとするさまざまな関係者と連携しながら、社会実装と政策化の双方に取り組んでいきます。
参照文献
1. Anthropic, "Towards Monosemanticity: Decomposing Language Models With Dictionary Learning" (2023) 機械論的解釈可能性の基礎。ニューラルネットワーク内部を「features」という解釈可能な単位に分解する研究 https://www.anthropic.com/research/towards-monosemanticity-decomposing-language-models-with-dictionary-learning
2. Anthropic, "Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet" (2024) 上記の手法をClaude 3 Sonnet規模までスケールさせた研究です。数千万規模のfeatureを抽出 https://www.anthropic.com/research/mapping-mind-language-model
3. Anthropic, "Tracing the thoughts of a large language model" (2025) Circuit Tracingによって、モデル内部のfeature同士のつながり・計算回路を追跡する研究 https://www.anthropic.com/research/tracing-thoughts-language-model
4. Anthropic, "Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training" (2024) 安全性訓練を経ても、特定条件で危険な挙動を示すバックドアが残存し得ることを示した研究 https://www.anthropic.com/news/sleeper-agents-training-deceptive-llms-that-persist-through-safety-training
5. Anthropic, "Simple probes can catch sleeper agents" (2024) モデル内部のactivationに線形プローブを適用することで、Sleeper Agentの危険な挙動を検出できることを示した研究 https://www.anthropic.com/research/probes-catch-sleeper-agents
6. Anthropic, "Alignment faking in large language models" (2024) モデルが訓練中には望ましい振る舞いを見せつつ、既存の選好を維持する「Alignment Faking」を実験的に示した研究 https://www.anthropic.com/research/alignment-faking
7. Anthropic, "AuditBench: Evaluating Alignment Auditing Techniques on Models with Hidden Behaviors" (2026) 56のモデルにhidden behaviorを埋め込み、black-box / white-boxを含む各種監査技術を比較した研究 https://alignment.anthropic.com/2026/auditbench/
8. Anthropic, "Claude Sonnet 4.5 System Card" (2025) AnthropicがClaude Sonnet 4.5の安全性評価で、初めてmechanistic interpretabilityの技術を評価に利用したことを示す資料 System Card一覧： https://www.anthropic.com/system-cards Sonnet 4.5発表： https://www.anthropic.com/news/claude-sonnet-4-5
9. UK AI Security Institute, "AISI Research Agenda" UK AISIの公式研究アジェンダ。AIの欺瞞、alignment、control、white-box approachesなどを政府研究の対象として扱っていることが明記。 https://www.aisi.gov.uk/research-agenda
10. UK AI Security Institute, "The Alignment Project – Interpretability" 今回の記事では特に重要な資料。UK AISIがInterpretabilityを重点研究分野として独立して設定し、「内部メカニズムへアクセスしてdeceptionやlatent capabilitiesを検出する」と明記 https://alignmentproject.aisi.gov.uk/research-area/interpretability
11. UK AI Security Institute, "The Alignment Project" UK政府を中心としたAI Alignment研究助成プログラム。初回ラウンドで2,700万ポンド超、60件超のプロジェクトに資金を提供。Anthropic、OpenAI、Microsoft、AWSなども支援側に参加 https://alignmentproject.aisi.gov.uk/
12. The White House, "America's AI Action Plan" (2025) White Houseの公式発表： https://www.whitehouse.gov/releases/2025/07/white-house-unveils-americas-ai-action-plan/ AI Action Plan本文： https://www.whitehouse.gov/wp-content/uploads/2025/07/Americas-AI-Action-Plan.pdf
13. Japan AISI「AIセーフティに関する評価観点ガイド」(2024〜) 日本の現行AI安全性評価体系を確認するための基本資料「説明可能性」「検証可能性」を含む10の評価観点が明示 初版： https://www.ipa.go.jp/pressrelease/2024/press20240918-2.html 改訂版： https://www.ipa.go.jp/pressrelease/2025/press20250402.html
14. Japan AISI「AIセーフティに関するレッドチーミング手法ガイド」 日本におけるブラックボックス・挙動ベースのAI安全性評価の現状を示す資料 初版： https://www.ipa.go.jp/pressrelease/2024/press20240925.html 改訂版： https://www.ipa.go.jp/pressrelease/2025/press20250402-2.html
15. Japan AISI「AIセーフティ評価のための評価ツールをOSSとして公開」(2025) Japan AISIが実際にどのような評価基盤を構築しているかを見る資料。評価観点10項目や自動レッドチーミングなどが説明 https://www.ipa.go.jp/pressrelease/2025/press20250916.html
16. OpenAI, "OpenAI and Hugging Face partner to address security incident during model evaluation" (2026) 2026年7月、サイバー能力評価中のAIエージェントがHugging Faceの本番インフラまで到達した事案についてのOpenAI公式報告 英語： https://openai.com/index/hugging-face-model-evaluation-security-incident/ 日本語： https://openai.com/ja-JP/index/hugging-face-model-evaluation-security-incident/
17. Anthropic et al., "Agentic Misalignment in Summer 2026" フロンティアモデルを自律エージェントとして動かした模擬環境で、コード改変、不正行為への支援、情報の誤分類などのmisalignmentを調査した研究 https://alignment.anthropic.com/2026/agentic-misalignment-summer-2026/
