Intelligence Beyond Limits.
Konoe Intelligence
Who We Are
フロンティアAIの開発、導入、ガバナンスを
私たちは、
フロンティアAIの内部で何が起きているかを解析し、入出力の観察だけでは検出できない策略・欺瞞・アライメント偽装を評価します。
AIの内部に潜む策略・欺瞞を検出する、
理解する・
私たちの仕事は、3つの柱から成ります。
Understand
機械論的解釈可能性の研究
モデル内部の特徴・回路・活性を解析し、危険な挙動が生まれる仕組みを特定する基礎研究。
Evaluate
ホワイトボックス型アライメント監査
内部解析にもとづき、策略・欺瞞・評価回避を検出する第三者評価。開発者にも規制当局にも通用する、独立した評価結果を提供します。
AEGIS —
潜在バイアスと
Jailbreak耐性の
Lead
日本のAI安全性を導く
この領域の研究者・エンジニアを日本から増やし、政府の評価基準づくりに技術で参画する。安全性の科学を、日本のエコシステムにする仕事です。
機械論的解釈可能性の
フロンティアAIの
策略・欺瞞のホワイトボックス監査
解釈可能性の
Blog
All Blog
AIへの内部操作を J-lensを用いて観測する
有害プロンプト群の平均活性とDiMベクトルを比較して、有害性に関連する概念語の順位はどれだけ変わるのか。J-lensによる読み出しを比較する。
key で参照される value は、参照すべき事実を持っているか？ — 同じ文脈の 2 つの位置の間で KV キャッシュを入れ替える
KV キャッシュの key は番地、value は中身として働くと仮定されることが多いが、key を通して参照される value が本当に参照すべき事実を持っているかはほとんど検証されていない。prefill の後、1 つの入力の中の 2 つの色単語トークンの間で key または value を入れ替え、最後の位置だけに編集済みキャッシュを読ませた。2 つの value の交換により、6 モデル中 5 つが 0.983–1.000 の試行でもう一方の人物の色を答え、key と value の対応を支持する結果となった。
head への介入は他の head に漏れる：head 間の漏れを設計で塞ぐと効果は集中するか
attention ヘッドは解釈と介入の単位として広く使われているが、1 つのヘッドへの介入がそのヘッド専用のチャネルに留まるとは限らない。ヘッド部分空間の overlap を読み書き幾何として訓練時に固定した Transformer を訓練し、3 つのタスクで全ヘッドにパッチを当てた。ヘッドへの摂動は後続のすべてのヘッドに届き、排他的な設計は overlap を除去するのではなく再配分し、共有された書き込み空間はタスクに関与するヘッドを同一インデックスのレーンに整列させる。