Intelligence Beyond Limits.
Konoe Intelligence
Who We Are
フロンティアAIの開発、導入、ガバナンスを
私たちは、
フロンティアAIの内部で何が起きているかを解析し、入出力の観察だけでは検出できない策略・欺瞞・アライメント偽装を評価します。
AIの内部に潜む策略・欺瞞を検出する、
理解する・
私たちの仕事は、3つの柱から成ります。
Understand
機械論的解釈可能性の研究
モデル内部の特徴・回路・活性を解析し、危険な挙動が生まれる仕組みを特定する基礎研究。
Evaluate
ホワイトボックス型アライメント監査
内部解析にもとづき、策略・欺瞞・評価回避を検出する第三者評価。開発者にも規制当局にも通用する、独立した評価結果を提供します。
AEGIS —
潜在バイアスと
Jailbreak耐性の
Lead
日本のAI安全性を導く
この領域の研究者・エンジニアを日本から増やし、政府の評価基準づくりに技術で参画する。安全性の科学を、日本のエコシステムにする仕事です。
機械論的解釈可能性の
フロンティアAIの
策略・欺瞞のホワイトボックス監査
解釈可能性の
Blog
All Blog
key で参照される value は、参照すべき事実を持っているか？ — 同じ文脈の 2 つの位置の間で KV キャッシュを入れ替える
KV キャッシュの key は番地、value は中身として働くと仮定されることが多いが、key を通して参照される value が本当に参照すべき事実を持っているかはほとんど検証されていない。prefill の後、1 つの入力の中の 2 つの色単語トークンの間で key または value を入れ替え、最後の位置だけに編集済みキャッシュを読ませた。2 つの value の交換により、6 モデル中 5 つが 0.983–1.000 の試行でもう一方の人物の色を答え、key と value の対応を支持する結果となった。
head への介入は他の head に漏れる：head 間の漏れを設計で塞ぐと効果は集中するか
attention ヘッドは解釈と介入の単位として広く使われているが、1 つのヘッドへの介入がそのヘッド専用のチャネルに留まるとは限らない。ヘッド部分空間の overlap を読み書き幾何として訓練時に固定した Transformer を訓練し、3 つのタスクで全ヘッドにパッチを当てた。ヘッドへの摂動は後続のすべてのヘッドに届き、排他的な設計は overlap を除去するのではなく再配分し、共有された書き込み空間はタスクに関与するヘッドを同一インデックスのレーンに整列させる。
Attention ヘッドの読み取り空間と書き込み空間は disjoint だが非直交に overlap する
attention ヘッドの読み取り空間と書き込み空間を、重みが定める線形写像の核の直交補空間と像として内在的に定義する。ほとんどすべての重みで書き込み空間は残差ストリームを直和分解し、ヘッドの部分空間は disjoint だが、一部の対は必ず非直交であり、disjoint な部分空間も射影を通して相互作用する。学習済みモデルでは少数のヘッド対が強く非直交で、そのばらつきはランダム割り当てをはるかに上回る。