Coexistence of humanity and AI
AIの内部に潜む策略・欺瞞を検出する、日本の第三者評価機関
Who We Are
フロンティアAIの開発、導入、ガバナンスを
私たちは、
フロンティアAIの内部で何が起きているかを解析し、入出力の観察だけでは検出できない策略・欺瞞・アライメント偽装を評価します。
AIの内部に潜む策略・欺瞞を検出する、
理解する・
私たちの仕事は、3つの柱から成ります。
Understand
機械論的解釈可能性の研究
モデル内部の特徴・回路・活性を解析し、危険な挙動が生まれる仕組みを特定する基礎研究。
LLM内部の
LLM安全分類のための
LLMにおける
Evaluate
ホワイトボックス型アライメント監査
内部解析にもとづき、策略・欺瞞・評価回避を検出する第三者評価。開発者にも規制当局にも通用する、独立した評価結果を提供します。
AEGIS —
潜在バイアスと
Jailbreak耐性の
Lead
日本のAI安全性を導く
この領域の研究者・エンジニアを日本から増やし、政府の評価基準づくりに技術で参画する。安全性の科学を、日本のエコシステムにする仕事です。
機械論的解釈可能性の
フロンティアAIの
策略・欺瞞のホワイトボックス監査
解釈可能性の
Blog
All Blog
Konoe Intelligence、機械論的解釈可能性を用いたLLMのガードレール実装について特許を取得
Konoe Intelligence株式会社は、機械論的解釈可能性の知見を用いたLLM向けガードレールの実装方法に関する特許を取得しました。同技術は、NVIDIAが開発した安全性判定モデルを上回る有害コンテンツ検出率を、約330分の1の検査レイテンシで達成しています。
入出力による評価では分からない、我々を終わらせる可能性のあるAIモデルのリスク
レッドチーミングに代表される入出力の評価は、「評価時の振る舞いは実運用時の振る舞いを代表している」という前提の上に成り立っている。策略、欺瞞、目的達成における副次的インシデント、評価認識とサンドバッギング、バックドア。この前提を崩す5つのリスクを最新の研究事例とともに整理し、機械論的解釈可能性による内部メカニズムの検証がなぜ不可欠なのかを論じる。
機械論的解釈可能性の国家戦略化が必須な理由
ブラックボックス評価だけでは、欺瞞やバックドアといった「外部から見えないリスク」を検出できない。英米が解釈可能性を国家戦略に組み込み始めた今、日本もAIの「評価主権」を確立するため、機械論的解釈可能性を国家的な重点研究領域として位置づけるべき理由を論じる。