Coexistence of humanity and AI
AIの内部に潜む策略・欺瞞を検出する、日本の第三者評価機関
Who We Are
フロンティアAIの開発、導入、ガバナンスを
私たちは、
フロンティアAIの内部で何が起きているかを解析し、入出力の観察だけでは検出できない策略・欺瞞・アライメント偽装を評価します。
AIの内部に潜む策略・欺瞞を検出する、
理解する・
私たちの仕事は、3つの柱から成ります。
Understand
機械論的解釈可能性の研究
モデル内部の特徴・回路・活性を解析し、危険な挙動が生まれる仕組みを特定する基礎研究。
LLM内部の
LLM安全分類のための
LLMにおける
Evaluate
ホワイトボックス型アライメント監査
内部解析にもとづき、策略・欺瞞・評価回避を検出する第三者評価。開発者にも規制当局にも通用する、独立した評価結果を提供します。
AEGIS —
潜在バイアスと
Jailbreak耐性の
Lead
日本のAI安全性を導く
この領域の研究者・エンジニアを日本から増やし、政府の評価基準づくりに技術で参画する。安全性の科学を、日本のエコシステムにする仕事です。
機械論的解釈可能性の
フロンティアAIの
策略・欺瞞のホワイトボックス監査
解釈可能性の
Blog
All Blog
ヘッド特異的な介入はヘッド排他的ではない: attention の読み書き幾何の設計はヘッド単位の効果を集中させるか
attention ヘッドは解釈と介入の単位として広く使われているが、1 つのヘッドへの介入がそのヘッド専用のチャネルに留まるとは限らない。ヘッド部分空間の overlap を読み書き幾何として訓練時に固定した Transformer を訓練し、3 つのタスクで全ヘッドにパッチを当てた。ヘッドへの摂動は後続のすべてのヘッドに届き、排他的な設計は overlap を除去するのではなく再配分し、共有された書き込み空間はタスクに関与するヘッドを同一インデックスのレーンに整列させる。
Attention ヘッドの読み取り空間と書き込み空間は disjoint だが非直交に overlap する
attention ヘッドの読み取り空間と書き込み空間を、重みが定める線形写像の核の直交補空間と像として内在的に定義する。ほとんどすべての重みで書き込み空間は残差ストリームを直和分解し、ヘッドの部分空間は disjoint だが、一部の対は必ず非直交であり、disjoint な部分空間も射影を通して相互作用する。学習済みモデルでは少数のヘッド対が強く非直交で、そのばらつきはランダム割り当てをはるかに上回る。
AIは悪意を持つのか -日本語モデルでJレンズを使ってみた
日本語LLM（PLaMo 3 / LLM-jp-4）に日本語版脅迫シナリオを読ませ、Jレンズで中間層を観察した。出力に脅迫は一本も現れない一方、中間層には「不正」「詐欺」「脅迫」といった語が浮かび上がる。語の方向を除去すると行動は変化するが、対照除去でも動くため方向特異性は未確定である。