Geometry-Guided Constraint Learning for LLM Safety Classification

原論文（arXiv）：Geometry-Guided Constraint Learning for LLM Safety Classification (arXiv:2607.19366) ── 本記事はその日本語版です。

概要（Abstract）

Safety as Polytope (SaP) はLLMの隠れ空間に線形半空間制約を学習するが、制約数 $K$ のカテゴリごとのチューニングを必要とする。我々は、スパースオートエンコーダ (SAE) による特徴抽出がこれを解決することを示す：Qwen3.5-9B では14カテゴリ中12で $K{=}2$ が最適となり、我々の BeaverTails 分類ベンチマークにおいてカテゴリあたり精度96〜99%を達成し、網羅的スイープ（ランダム初期化では $K{=}4$ 〜 $25$ ）の必要性をほぼ排除する。この2平面への収束は線形表現仮説と整合しており、この設定における安全境界が SAE 特徴空間内で低次元の線形記述を持つことの示唆的証拠を与える。この幾何学的視点に基づき、各カテゴリのクラスタ集中度に適応する学習可能な開口角を持つコーン制約を導入し、三段階学習スケジュールにより安定化する。SAE 初期化はコーンには選択的に有効（12/13勝、 $p{<}0.001$ ）だがポリトープには有効でなく（ $p{=}0.11$ ）、SAE 初期化されたコーンが平坦なポリトープよりも危険クラスタの角度的広がりを正確に捉えることを示唆している。

1. はじめに

大規模言語モデル（LLM）の安全アライメントは依然として中心的な課題である。現在のアプローチは主に人間のフィードバックによる強化学習（RLHF）や Constitutional AI に依存しているが、これらはモデルの重みを大域的に変更するものであり、モデルが安全性について何を学習したかに関する解釈可能性は限られている。さらに、これらの防御は敵対的プロンプトによって回避されうることから、アライメント訓練を補完する事後的（post-hoc）安全機構が求められている。

線形表現仮説（Linear Representation Hypothesis, LRH）に関する近年の研究は、安全関連のものを含む高レベルの概念が、LLM の表現空間内で幾何学的構造として符号化されていることを明らかにした。この知見に基づき、Chen らは Safety Polytope (SaP) フレームワークを導入した。SaP は隠れ状態空間に線形半空間制約の集合を学習し、安全な表現と危険な表現を分離する凸ポリトープを定義する。SaP はモデルの重みを変更しない事後的手法として動作し、表現空間内に制約面を学習することで、危険な出力の検出と幾何学的ステアリングの両方を可能にする。学習されたポリトープの各面は安全性の異なる意味的概念の検出に特化する性質を示し、安全表現の構造に対する解釈可能な洞察を提供する。

しかし、SaP の定式化には2つの問いが残されている。第一に、制約平面は何枚必要か（ $K$ ）。Chen らは全14の BeaverTails カテゴリを一括して $K$ を1から60までスイープし、防御性能は $K{=}20$ 〜 $30$ 付近で安定し、分類精度は $K{=}30$ 〜 $40$ 付近で頭打ちになることを見出した。我々がランダム初期化でカテゴリごとの分類器を訓練すると、最適な $K$ は依然として大きくばらつき（ $K{=}4$ 〜 $25$ ）、カテゴリごとに高コストなスイープを強いられる。第二に、平坦なポリトープ幾何は最適か。LLM における概念幾何の近年の研究は、カテゴリ概念が単体（simplex）を成し、階層概念が分岐構造を持つ直交部分空間を占めることを示しており、これらはコーン形の制約の方が平坦な半空間よりも自然に捉えうる幾何である。我々はこの両方の問いに取り組む：SAE 特徴抽出が第一の問いをほぼ解決し、コーン制約が第二の問いを探究する。

デプロイメントモデル。 Chen らは、訓練中にカテゴリラベルを与えなくても、個々のポリトープ面が異なる危害カテゴリに自発的に特化することを示した。我々はこの特化を明示化し、危害カテゴリごとに1つの制約集合を訓練する。これにより制約数と幾何のカテゴリごとのチューニングが可能になる。推論時には、各デコードステップで指定した LLM 層から最終トークンの隠れ状態を抽出し、軽量な特徴抽出器（SAE エンコーダ：行列積1回と ReLU）に通した後、制約チェックを行う。我々の SAE ベースのアプローチはカテゴリあたりの $K$ を2に削減するため（SaP の $K{=}20$ 〜 $30$ に対して）、制約チェックは $(B \times 30)$ ではなく $(B \times 2)$ の行列積となり、ステップあたりのコストが1桁削減され、これは生成系列全体で累積する。チェック全体は1ミリ秒未満で完了し、出力のステアリングや拒否をトリガーできる。LLM の重みは一切変更されない：訓練は事前抽出した凍結済み隠れ状態を使用し、推論はフォワードフックを追加するのみである。我々は分布内の BeaverTails 分類で評価する。完全な敵対的頑健性（例：GCG や適応的ジェイルブレイクに対するもの）は本論文の範囲外であり、今後の課題とする。

本研究の貢献は以下の通りである。

SAE による制約数の自動決定を伴う事後的安全検出（§4.1）：スパースオートエンコーダ (SAE) を特徴抽出器とすることで、 $K{=}2$ が Qwen3.5-9B では14カテゴリ中12、Qwen2-1.5B では14カテゴリ中10で最適となり、カテゴリごとの $K$ スイープをほぼ排除する。Qwen3.5-9B では、 $K{=}2$ の SAE 初期化ポリトープがカテゴリあたり精度96〜99%を達成し（表1、表2、図3）、ランダム初期化の網羅的スイープで見つかる最良精度に匹敵する。この2平面への収束は、この安全分類設定においてカテゴリ境界が SAE 特徴空間内で低次元の線形記述を持つことの示唆的証拠を与え、線形表現仮説と整合する。
解釈可能でカテゴリ適応的なコーン制約（§5）：危険表現が角度的に集中しているカテゴリでは、事後検査のための明確な幾何学的意味を軸と開口角が持つコーン制約が、平坦なポリトープを上回る傾向がある（図9）。素朴な学習の壊滅的角度崩壊を排除する三段階学習スケジュール（アルゴリズム1、図4、表3）を導入し、SAE 初期化がコーンには選択的に有効（12/13勝、 $p{<}0.001$ 、図5）だがポリトープには有効でない（ $p{=}0.11$ ）ことを示す。

2. 背景

2.1 Safety Polytope (SaP)

SaP フレームワークは、隠れ状態を安全/危険に分類するため、特徴空間に $K$ 枚の線形半空間制約を学習する。学習可能な特徴抽出器 $g: \mathbb{R}^d \to \mathbb{R}^{d'}$ が与えられたとき、安全領域は次のように定義される：

\mathcal{S} = \bigcap_{k=1}^{K}\bigl\{\, \mathbf{z} \in \mathbb{R}^{d'} \;\big|\; \boldsymbol{\varphi}_k^\top \mathbf{z} \le \xi_k \,\bigr\} \tag{1}

ここで $\mathbf{z} = g(\mathbf{h})$ 、 $\boldsymbol{\varphi}_k$ は制約法線、 $\xi_k$ はしきい値である。サンプルは、その表現がポリトープの内側にあるとき、すなわち $g(\mathbf{h}) \in \mathcal{S}$ のとき、かつそのときに限り安全と分類される。モデルは、危険サンプルが少なくとも1つの制約をマージン $m$ だけ違反し、安全サンプルが同じマージンで内側に留まるよう押し出すヒンジ型損失で訓練される。エントロピー正則化は制約間のバランスの取れた使用を促す。重要なのは、SaP が事後的手法であることだ：LLM の重みを変更せず、凍結した隠れ状態の上に制約面を学習する。

2.2 線形表現仮説と概念幾何

SaP のアプローチは、ニューラルネットワークが内部で情報をどう組織化するかについてのより広範な経験的観察に立脚している。線形表現仮説 (LRH) は、高レベルの概念が表現空間内の線形方向として符号化されることを提唱する。これは世界モデルにおける多様な概念タイプで観察され、活性化介入によって確認されてきた：隠れ状態を線形方向に沿って変更すると、モデルの挙動が予測可能な形で確実に変化する。

しかし、各概念が単一の線形方向に対応するという仮定は単純化しすぎである。近年の研究は、カテゴリ概念が単一の方向ではなく**単体（simplex）**として表現されること、階層概念が分岐幾何を持つ直交部分空間を占めることを示した。これらの知見は総合して、線形構造は有用な一次近似を与える一方で、LLM 内の安全関連概念はより豊かな幾何学的組織を持つ可能性が高いことを示唆する。これが、平坦な半空間を超えた制約幾何の探究を動機づける。

3. レイヤー選択

隠れ状態に安全制約を適用する上での基本的な設計選択は、どの層から表現を抽出するかである。直観的には、後段の層ほどより処理された意味的に豊かな情報を符号化しているはずだが、安全分類についてこれが体系的に検証されたことはなかった。

我々は、Qwen3.5-9B-Instruct、Qwen3.5-9B-Base、Qwen2-1.5B-Instruct（層 4, 8, 12, 16, 20, 24, 26, 28）、および gpt-oss-20b（層 20, 24）の複数層から抽出した隠れ状態上でポリトープ分類器（ $K{=}2$ 、ランダム初期化）を訓練した。各層について、全14の BeaverTails 危害カテゴリにわたる平均精度を測定する。

層ごとの平均精度

図1：層ごとの平均精度。指示チューニング済みモデルは層の深さに対して正の傾向を示す。モデル能力が支配的：モデル間で約8%、層間で約3%。

図1と表10（付録）は2つの重要な観察を示す。(1) モデル能力が層選択を支配する：モデル間の差（約8pp）はモデル内の層間の差（約3pp）を上回る。(2) 指示チューニング済みモデルでは後段の層の性能が良い：Qwen2-1.5B-Instruct は強い正の傾向を示し（Spearman $\rho{=}0.929$ 、 $p{=}0.001$ 、Fisher 95% CI $[+0.62, +0.99]$ ）、Qwen3.5-9B-Instruct は信頼区間がゼロをまたぐ境界的な傾向を示す（ $\rho{=}0.661$ 、 $p{=}0.053$ 、Fisher 95% CI $[-0.05, +0.93]$ ）。Qwen3.5-9B-Base モデルには有意な傾向がない（ $\rho{=}{-}0.210$ 、 $p{=}0.587$ 、Fisher 95% CI $[-0.79, +0.56]$ ）。

指示チューニング済みモデルで後段の層が一貫して有利であることには、2つの説明が考えられる：(1) 安全関連の文脈情報がフォワードパスを通じて蓄積される、(2) 指示チューニングが安全情報を特に後段の層に集中させる。Base モデルに層のトレンドがないことは後者の解釈を支持する：指示チューニングが安全表現を後段の層に向けて再組織化するのである。

これらの知見に基づき、以降のすべての実験で Qwen3.5-9B は層32、Qwen2-1.5B は層28 に固定する。（表10では層30が Qwen3.5-9B-Instruct の最高平均精度を達成しているが、層32は最終トランスフォーマーブロックであり、全層スイープの完了前にコーン実験が既にそこで実施されていたため層32を選んだ。）表現をどこから抽出するかを確立したので、次に制約が何枚必要で、どう配置すべきかを調べる。

4. 制約の配置

SaP は制約平面数 $K$ を大域的ハイパーパラメータとして扱う。本節では2つの問いを立てる：実際に必要な制約は何枚か（§4.1）、そして制約の方向は幾何学的構造をもって初期化すべきか（§4.2）。

4.1 制約は何枚必要か

SaP は制約平面数 $K$ の選択を必要とする。我々は $K \in \{2, 3, \ldots, 7, 10, 15, 20, 25\}$ を、ランダム初期化した制約法線で全14の BeaverTails カテゴリにわたってスイープする。各設定について、精度、activated edges（危険サンプル1つあたりに違反される制約数の平均）、effective planes（コサイン類似度 $>0.95$ でグループ化した後の非冗長な法線の数）を測定する。

最適な $K$ は大きくばらつく：自傷と暴力は $K{=}2$ を好み、ヘイトスピーチと薬物は $K{\geq}20$ を好む。図2がこのばらつきの原因を明らかにする。差別や暴力のようなカテゴリでは、activated edges が $K$ に比例して増加する──追加の平面は既存の方向を複製するだけである──一方で精度は平坦なままである。制約は大部分が冗長なのだ。

制約冗長性

図2：制約の冗長性（Qwen2-1.5B-Instruct, L=26, ランダム初期化）。(a) 一部のカテゴリでは activated edges が K に比例して増加し、冗長な平面を示す。(b) K を増やしても精度は平坦なまま。

SAE による $K$ の自動決定。 この冗長性を排除するため、SaP の L1 のみの概念エンコーダを、Linear+ReLU エンコーダと線形デコーダからなるスパースオートエンコーダ (SAE) に置き換え、MSE 再構成損失と L1 スパース性で訓練する：

\mathcal{L}_{\mathrm{SAE}} = \|\mathrm{Dec}(\mathrm{Enc}(\mathbf{h})) - \mathbf{h}\|_2^2 + \lambda_{\mathrm{sparse}}\|\mathrm{Enc}(\mathbf{h})\|_1 \tag{2}

まず全隠れ状態で SAE を事前学習する（10エポック、 $d'{=}16{,}384$ ）。次に SAE エンコーダ空間で危険サンプルを $K \in \{1,\ldots,10\}$ の K-means でクラスタリングし、シルエットスコアを最大化する $K^*$ を選択する。クラスタ重心（正規化済み）が制約法線 $\boldsymbol{\varphi}_k$ の初期値となり、各クラスタのメンバーの $\boldsymbol{\varphi}_k$ への射影の最小値がしきい値 $\xi_k$ を初期化する。その後の制約訓練の間も SAE は特徴抽出器であり続け、結合損失 $\mathcal{L} = \mathcal{L}_{\mathrm{constraint}} + w_{\mathrm{recon}}\|\mathrm{Dec}(\mathrm{Enc}(\mathbf{h})) - \mathbf{h}\|_2^2 + w_{\mathrm{sparse}}\|\mathrm{Enc}(\mathbf{h})\|_1$ で訓練する。

この手続きにより、状況は劇的に変わる： $K{=}2$ が Qwen3.5-9B-Instruct と Qwen3.5-9B-Base の両方で14カテゴリ中12、Qwen2-1.5B-Instruct で14カテゴリ中10において最適となる（表1、表2）。残りのカテゴリも $K{=}3$ 〜 $5$ しか必要としない。

表1：初期化手法ごとの最適 K（Qwen2-1.5B-Instruct、層4〜28の最良値）。ランダム初期化では最適 K は5〜25の範囲だが、SAE は2〜5に削減する。

カテゴリ	Random $K$	Acc	Cluster $K$	Acc	SAE $K$	Acc
Animal	6	.959	29	.952	2	.936
Child	5	.931	6	.922	2	.833
Polit.	14	.802	4	.814	3	.823
Discr.	25	.843	7	.851	2	.842
Drugs	10	.940	25	.948	5	.940
Finan.	20	.920	20	.918	5	.906
Hate	25	.854	4	.841	2	.828
Misinf.	6	.709	20	.726	3	.694
Unethic.	20	.837	17	.811	2	.803
Priv.	5	.943	4	.932	2	.922
Self-h.	15	.929	5	.922	2	.933
Sexual	10	.933	4	.936	2	.908
Terror.	6	.895	20	.905	2	.905
Viol.	15	.882	20	.882	2	.884
$K{=}2$ の数	0/14		0/14		10/14

表2：Qwen3.5-9B（L=32；Animal の Instruct SAE は L=30、L=32 の実行なし）におけるクラスタ初期化と SAE 初期化の最適 K。SAE は各バリアントで14カテゴリ中12で K=2 を達成。

カテゴリ	Instruct Cluster $K$	Acc	Instruct SAE $K$	Acc	Base Cluster $K$	Acc	Base SAE $K$	Acc
Animal	2	.955	2	.985	2	.961	--	--
Child	29	.922	2	.957	30	.943	2	.966
Polit.	2	.961	2	.959	3	.961	2	.967
Discr.	3	.965	2	.962	8	.964	2	.966
Drugs	2	.984	2	.990	2	.985	2	.987
Finan.	3	.975	2	.980	2	.979	2	.980
Hate	2	.967	2	.967	2	.970	3	.970
Misinf.	3	.938	2	.949	3	.943	2	.940
Unethic.	4	.959	3	.963	3	.813	2	.806
Priv.	2	.984	2	.984	2	.944	2	.934
Self-h.	30	.965	2	.975	2	.879	2	.894
Sexual	--	--	--	--	2	.919	2	.924
Terror.	30	.964	2	.964	2	.882	2	.900
Viol.	2	.959	2	.972	2	.896	2	.845
$K{=}2$ の数	6/14		12/14		9/14		12/14

初期化手法の比較

図3：初期化手法ごとの精度比較（Qwen2-1.5B-Instruct, L=28）。青のバーは網羅的 K スイープ＋ランダム初期化で見つかった最良精度（K の値を注記）。緑のバーは K=2〜3 の SAE 初期化。SAE はK のチューニングを一切行わずに同等の精度を達成する。

ランダム初期化は制約法線を任意の向きに置くため、冗長な重なりを通じて危険領域を「覆う」ために多数の平面が必要になる。SAE は疎で幾何を保存する表現を学習することで、安全関連の構造が低次元部分空間に捉えられるよう特徴空間を整列させる。この整列した空間では、よく配向された2枚の平面で安全領域と危険領域を分離するのに十分である。

この $K{=}2$ への収束には注目すべき幾何学的含意がある。SAE 特徴空間では、各危害カテゴリの安全-危険境界がわずか2つの線形方向で捉えられる傾向にある──線形表現仮説（§2.2）と整合する観察である。我々はこれを LRH の証明として主張するわけではないが、この BeaverTails 分類設定において、特徴空間が適切に構造化されれば安全境界が低次元の線形記述を持つことの示唆的証拠を与える。

実務的には、これはカテゴリごとのチューニングなしに $K{=}2$ を既定値として固定できることを意味する。同時に自然な問いも生じる：特徴空間がこれほどよく構造化されているなら、制約の形状をクラスタ幾何に合わせることでさらに改善できるだろうか？これを §5 で扱う。

4.2 方向の初期化

上で観察した冗長性は、制約をランダムではなく別個の概念方向に沿って初期化すべきことを示唆する。 $\boldsymbol{\varphi}_k$ について3つの戦略を比較する。(1) Random：正規化ガウスベクトル。(2) Cluster：危険な隠れ状態を50次元 PCA 空間に射影し、 $K \in \{2, \ldots, 30\}$ で K-means を実行、シルエットスコアを最大化する $K^*$ を選択し、（元の特徴空間における）正規化クラスタ重心を初期法線とする。(3) SAE：SAE を事前学習（式2）し、SAE エンコーダ空間で $K \in \{1, \ldots, 10\}$ でクラスタリングし、得られた重心を法線とする。Qwen2-1.5B では、 $K{=}2$ の構造化初期化（Cluster と SAE）が、 $K{=}3$ 〜 $25$ のスイープで見つかった最良のランダム初期化結果に匹敵する精度を達成する（図3）──しかもK 探索を一切必要とせずにである。これを踏まえ、ランダム初期化のデータが存在しない Qwen3.5-9B（L=32）にクラスタ初期化と SAE 初期化を適用した。結果（表2）は一貫して高い精度を示す： $K{=}2$ の SAE は13カテゴリで .96〜.99 を達成し、クラスタ初期化も同等の結果を生む。これは、構造化初期化が単にランダム初期化の性能に追いつくための近道ではなく、網羅的な $K$ スイープが一度も実施されていないより大きなモデルでも強力な分類を可能にすることを確認するものである。

（十分な $K$ があれば）ポリトープが初期化方向に寛容であることは、平坦な半空間制約が特別な軸を持たないという事実を反映している：勾配降下は $\boldsymbol{\varphi}_k$ を任意の向きに回転できる。これは軸方向が幾何学的意味を持つコーンでは劇的に変わる──§5.1.2 で示す通りである。

5. 幾何学的拡張

ポリトープの平坦な半空間制約は、安全領域と危険領域の境界が超平面の交差でよく近似できることを仮定している。しかし、危険な概念が表現空間内の共通の起点から放射しているなら、平坦でない制約面の方が適切かもしれない。

5.1 コーン制約

危険表現が半空間を埋めるのではなく特定の方向に沿って集中しているなら、コーン形の境界の方がそれらに密に適合しうる。次のように定義する。

定義1（コーン制約） 各制約 $k$ は単位軸 $\hat{\boldsymbol{\varphi}}_k = \boldsymbol{\varphi}_k/\|\boldsymbol{\varphi}_k\|$ 、頂点 $\mathbf{a}_k = \xi_k \hat{\boldsymbol{\varphi}}_k$ 、学習可能な開口角 $\alpha_k \in [\alpha_{\min}, \alpha_{\max}]$ を持つ。制約スコアは

s_k^{\mathrm{cone}}(\mathbf{z}) = (\mathbf{z} - \mathbf{a}_k)^{\top} \hat{\boldsymbol{\varphi}}_k - \|\mathbf{z} - \mathbf{a}_k\|\cos\alpha_k \tag{3}

点 $\mathbf{z} = g(\mathbf{h})$ は、いずれかの $k$ で $s_k^{\mathrm{cone}} > 0$ 、すなわち $\angle(\mathbf{z}{-}\mathbf{a}_k,\, \hat{\boldsymbol{\varphi}}_k) < \alpha_k$ のとき危険である。コーンは軸の周りに危険領域を囲み、すべてのコーンの外側にある点は安全である。 $\alpha_k = \pi/2$ のとき余弦項は消え、スコアはポリトープのスコア $\hat{\boldsymbol{\varphi}}_k^{\top}\mathbf{z} - \xi_k$ に帰着する。

定義2（シリンダー制約） 各制約 $k$ は単位軸 $\hat{\boldsymbol{\varphi}}_k$ 、軸方向範囲 $[0, \xi_k]$ 、学習可能な半径 $r_k$ を持つ。 $a_k = \mathbf{z}^{\top}\hat{\boldsymbol{\varphi}}_k$ を軸方向射影、 $d_k^{\perp} = \|\mathbf{z} - a_k\hat{\boldsymbol{\varphi}}_k\|$ を垂直距離とする。制約スコアは

s_k^{\mathrm{cyl}}(\mathbf{z}) = \max\bigl(\, r_k - d_k^{\perp},\; -a_k,\; a_k - \xi_k \,\bigr) \tag{4}

点が安全（スコア $\leq 0$ ）であるのは、すべての $k$ について、半径方向にシリンダーの外側にあり（ $d_k^{\perp} \geq r_k$ ）かつ軸方向範囲内（ $0 \leq a_k \leq \xi_k$ ）にあるとき、かつそのときに限る。

5.1.1 三段階学習

コーンの素朴な同時学習は壊滅的角度崩壊に悩まされる：開口角が $\alpha_{\max}{=}90°$ に飽和し、コーンが退化した半空間に縮退する。これを防ぐため、三段階スケジュール（アルゴリズム1）を導入する：(1) 軸フェーズ： $\alpha_k$ を凍結して $\boldsymbol{\varphi}_k, \xi_k$ を訓練、(2) 角度フェーズ：軸を凍結し、収縮率 $\gamma$ で $\alpha_k$ を訓練、(3) 同時フェーズ：全パラメータを同時に訓練。

アルゴリズム1：三段階コーン学習

入力：隠れ状態 $\{(\mathbf{h}_i, y_i)\}$ 、エンコーダ $g$ ハイパーパラメータ： $e_a, e_\alpha, e_j$ ：エポック数、 $\gamma$ ：収縮率、 $\alpha_{\mathrm{init}}$ ：初期開口角出力：訓練済み $\boldsymbol{\varphi}_k, \xi_k, \alpha_k$

$\boldsymbol{\varphi}_k, \xi_k$ を初期化し、 $\alpha_k \leftarrow \alpha_{\mathrm{init}}$ とする

フェーズ1（軸）： $e_a$ エポックの間、 $\alpha_k$ を凍結して $\boldsymbol{\varphi}_k, \xi_k$ を更新

$\alpha_k \leftarrow \gamma \cdot \alpha_k$ （収縮）

フェーズ2（角度）： $e_\alpha$ エポックの間、 $\boldsymbol{\varphi}_k, \xi_k$ を凍結して $\alpha_k$ を更新

フェーズ3（同時）： $e_j$ エポックの間、 $\boldsymbol{\varphi}_k, \xi_k, \alpha_k$ を同時に更新

Qwen3.5-9B-Base（L=32）では、2段階学習の最悪精度は 0.535（薬物乱用）であるのに対し、3段階スケジュールでは全カテゴリで 0.93 以上である（図4）。最良の設定（ $e_a{=}18$ 、 $e_\alpha{=}1$ 、 $e_j{=}3$ 、 $\gamma{=}0.7$ 、 $\alpha_{\mathrm{init}}{=}80°$ ）は Qwen3.5-9B-Instruct で平均精度 0.967 を達成する（表3）。

三段階学習が壊滅的失敗を解消する

図4：三段階学習は壊滅的失敗を解消する（Qwen3.5-9B-Base, L=32）。赤：カテゴリごとの最悪の2段階精度。緑：最良の3段階。破線：精度0.90のしきい値。

表3：上位のコーンステップ配分（Qwen3.5-9B, L=32, $K{=}2$ ）。

$e_a$	$e_\alpha$	$e_j$	$\gamma$	$\alpha_0$	Acc	FPR	Angle
18	1	3	0.7	80	.967	.033	87.1
10	1	10	0.7	50	.964	.029	74.1
15	1	5	0.7	50	.961	.026	74.9
10	1	10	0.7	80	.963	.030	88.0
20	1	5	0.7	60	.958	.028	77.2

崩壊が起きるのは、軸方向と開口角が相互作用するためである：向きの悪い軸はオプティマイザに開口角を広げさせるが、広い開口角は軸修正のための勾配信号を弱める── $\alpha{=}90°$ に収束する悪循環である。三段階スケジュールは、まず軸を安定させ、次に収縮率 $\gamma$ をウォームスタートとして開口角を狭めることでこれを断ち切る。

5.1.2 SAE とコーンの相乗効果

§4.2 では、ポリトープにとって初期化の方向は重要ではなかった。ここでは、軸が幾何学的意味を持つコーンでもそれが成り立つかを検証する。ポリトープとコーンのそれぞれについて SAE ベースとクラスタベースの初期化を比較し（Qwen3.5-9B, L=32）、13カテゴリにわたる対比較を行う。図5は際立った非対称性を示す：ポリトープは SAE 初期化から有意な恩恵を受けない（非引き分け12カテゴリ中 SAE の8勝、二項検定片側 $p{=}0.11$ 、勝率の Wilson 95% CI $[0.43, 0.90]$ ）のに対し、コーンは強く恩恵を受ける（非引き分け13カテゴリ中 SAE の12勝、二項検定 $p{<}0.001$ 、Wilson 95% CI $[0.76, 1.00]$ ）。カテゴリごとの14の比較にわたって Benjamini–Hochberg 補正を適用しても、コーンの効果は $q{<}0.01$ で保たれる。

SAE初期化はコーンに選択的に効く

図5：SAE 初期化はコーンに選択的に有効（Qwen3.5-9B-Instruct, L=32）。左：ポリトープ（ $p{=}0.11$ 、有意でない）。右：コーン（12/13 で SAE 勝利、 $p{<}0.001$ ）。

ポリトープの $\boldsymbol{\varphi}_k$ は特別な軸を持たない超平面を定義する──勾配降下は初期化に関係なくそれを自由に回転できる。対照的にコーンは、開口角がその周りで測られる方向を定める軸を持つ：よく選ばれた軸は、コーンが危険クラスタの角度的広がりを密に囲むことを可能にする。SAE は危険サンプルが集中する疎な特徴方向を特定し、勾配降下が保存する軸を提供する。この結果は、SAE 初期化されたコーンが平坦なポリトープよりも危険クラスタの幾何を正確に捉えることを示唆しており、我々の2つの主要な貢献を結びつける：SAE は $K$ を削減する（§4.1）だけでなく、平坦でない形状が角度的クラスタ構造を活用することを可能にする幾何学的に意味のある方向も提供するのである。

5.1.3 コーンの幾何学的分析

コーンをどう訓練し（§5.1.1）、初期化するか（§5.1.2）を確立したので、コーンがいつポリトープを上回るのか、そしてコーンがどんな幾何を学習するのかを調べる。

14カテゴリそれぞれについて、L=32 における危険クラスタの von Mises–Fisher 集中度 $\kappa_{\mathrm{unsafe}}$ と精度差 $\Delta = \mathrm{acc}(\textsc{Cone}) - \mathrm{acc}(\textsc{Polytope})$ を、カテゴリごとの最良精度の SAE 初期化制約を用いて計算する。Qwen3.5-9B-Base では相関は中程度の正である：Spearman $\rho{=}{+}0.571$ 、 $p{=}0.041$ （Fisher 95% CI $[-0.01, +0.86]$ 、 $n{=}13$ ）。Qwen3.5-9B-Instruct では点推定値は依然として正だが信頼区間がゼロをまたぐ： $\rho{=}{+}0.238$ 、 $p{=}0.46$ （Fisher 95% CI $[-0.42, +0.73]$ 、 $n{=}12$ 、図6）。Instruct で最も $\kappa$ の高いカテゴリ（児童虐待： $\kappa{=}15{,}633$ 、 $\Delta{=}{+}0.017$ ）と Base で最も高いカテゴリ（非暴力的な非倫理的行為： $\kappa{=}17{,}779$ 、 $\Delta{=}{+}0.047$ ；暴力： $\kappa{=}18{,}281$ 、 $\Delta{=}{+}0.046$ ）はコーンから恩恵を受ける一方、低 $\kappa$ のカテゴリには一貫した優位性がない。我々はこれを予備的観察として扱う：符号は両方のモデルバリアントで一貫しているが、 $n{=}13$ の統計的検出力は Instruct バリアントでの有意な効果を主張するには不十分である。

クラスタ幾何がコーンの優位性を決める

図6：L=32 における $\kappa_{\mathrm{unsafe}}$ 対 $\Delta(\textsc{Cone}{-}\textsc{Polytope})$ 、同条件の SAE 初期化ペアリング。集中度が高いほどコーンが有利：Instruct $\rho{=}{+}0.238$ （ $p{=}0.46$ 、 $n{=}12$ ）、Base $\rho{=}{+}0.571$ （ $p{=}0.041$ 、 $n{=}13$ ）。緑：コーン勝利、赤：ポリトープ勝利、灰：引き分け。

学習された開口角（図7）もこの傾向を裏付ける：一部のカテゴリ（例：児童虐待、自傷）は明らかに狭い角度（約50°）を学習する一方、拡散したカテゴリの多くはポリトープ極限（ $\alpha{=}90°$ ）に近い70〜90°に収束する。コーンは、クラスタの角度的集中に応じて、狭い角度境界と平坦な半空間の間を適応的に補間するのである。

学習された開口角

図7：学習された開口角（3段階、Qwen3.5-9B-Instruct, L=32）。高 $\kappa_{\mathrm{unsafe}}$ カテゴリはより狭い角度を学習し、拡散したカテゴリは90°に近づく。

5.2 シリンダー ── 負の結果

任意の幾何学的拡張が有効かを検証するため、シリンダー制約（定義2）を実装する。

Qwen2-1.5B では、シリンダーはどのカテゴリでもポリトープの精度を超えない（付録Bの表8；学習された半径は図8）。

これは「幾何学的パラメータを追加する」という処方が普遍的に有効ではないことを立証する。コーンの優位性は角度的クラスタ構造との適合に固有のものである（§5.1.3）。シリンダーは半径方向の広がりを制約するが、これは観察されたクラスタ幾何と整合しない。これは、幾何学誘導型の設計にはどの幾何学的性質が情報を持つかの理解が不可欠であることを補強する。

シリンダー半径

図8：カテゴリごとのシリンダー半径（Qwen2-1.5B, L=26）。ポリトープを改善しない。

幾何 × 初期化の完全なアブレーションは付録Bの表7と図9に示す。

5.3 全カテゴリ統合学習

カテゴリ別学習（§5.1、§5.2）は危害カテゴリごとに別個の制約モデルを適合させる。幾何学的優位性がカテゴリ特化なしでも成り立つことを検証するため、全14の BeaverTails 危険カテゴリの和集合を安全カテゴリとバランスさせたデータ上で、Qwen3.5-9B の層32の隠れ状態を用いて、単一の統合モデルを追加で訓練する（訓練 268,370 件 + テスト 29,414 件）。制約の総数は $K_{\mathrm{tot}}{=}\sum_c K^*_c{=}36$ 、すなわち §4.2 の SAE 初期化で選択されたカテゴリごとの $K^*$ 値の合計に固定する。

表4：統合全カテゴリバランス分割における分布内テスト指標（Qwen3.5-9B, $L{=}32$ , $K{=}36$ ）。コーンが最高の精度と F1 を達成する。ポリトープは $\phi$ ベクトルがノルム正規化されていないため一貫して最低。カテゴリごとの内訳は付録C。

幾何	ACC	F1	FPR	FNR
Polytope	0.940	0.941	0.068	0.052
Cylinder	0.950	0.948	0.017	0.083
三段階 Cone	0.953	0.952	0.026	0.068
Cone	0.956	0.955	0.029	0.059

コーンが一貫して勝つ。 統合コーンは最高の精度（0.956）と F1（0.955）を達成し、カテゴリ別の傾向（表7）と一致する。同じ統合モデルを14のカテゴリ別テスト分割それぞれで評価すると（付録C）、コーンは 9/14 のカテゴリで勝ち、ポリトープの勝ちは 0/14 である。

シリンダーは半径方向に退化する。 訓練された36個のシリンダー半径のうち27個が正確に 0 に潰れ、意味のある値を保持するのは1個のみ（上限200に対して特徴空間単位で16.5）。半径制約が沈黙すると、シリンダーの識別は軸方向の範囲 $0 \le \phi^\top h \le \theta$ に完全に依存し、シリンダーは軸方向スラブ分類器に帰着する。このカテゴリ非依存の退化は §5.2 のカテゴリ別の負の結果を裏付ける：半径方向の広がりを制約することは、スケールを大きくしても役立たない。

コーンの半角は部分的に飽和する。 $\alpha_k$ の値のうち 9/36 が上限 $\alpha_k{=}90°$ に達し（コーンは半空間に帰着）、残りの27は厳密に90°未満に留まり、うち25は78°未満である。三段階バリアント（ $\alpha_k$ エポック予算 = 5）は 11/36 の角度を初期値 $\alpha_k{=}80°$ に固定したままにしており、 $\alpha$ フェーズが統合 $\alpha$ ランドスケープの適合には短すぎることを示唆する──単一フェーズのコーンよりわずかに精度が低いのはこのためである。

ポリトープはスケールの不均一性により劣る。 正規化なしでは、クラスタごとの $\phi$ ノルムは4.9から17.3の範囲にあり、制約の実効スケールが不均等になる。コーンとシリンダーは内部で $\phi$ を正規化し、この不均一性を除去する。結果として生じる精度差は平均1.5〜1.6%だが、カテゴリによって1.2%から7.0%の幅があり、最大の差は controversial topics カテゴリにある（付録C）。

5.4 頑健性と有用性

コーンは $\alpha_k{=}\pi/2$ でポリトープに帰着するため、SaP の頑健性と有用性の保証は境界において継承される。我々の分布内の結果は、Qwen3.5-9B のほとんどのカテゴリでコーンの精度がポリトープの精度に匹敵するか上回ることを示す(付録Bの表7、図9)。Chen らはポリトープがモデルの有用性（MMLU）を保存し、敵対的攻撃（HarmBench）に耐えることを実証した。本研究ではこれらの評価を繰り返さなかったが、コーンとシリンダー制約への拡張は今後の自然な方向である。

外部分類器との参照比較。 隠れ状態分類の参照点として、NVIDIA Llama-3.1-Nemotron-Safety-Guard-8B（「NemoGuard」）を入力レールまたは出力レールとして適用して実行した。

表5：モデレーションベンチマーク（Qwen2-1.5B、482プロンプト）。有害ブロック率（高いほど安全）と無害許可率（高いほど過剰ブロックが少ない）。ポリトープのチェックレイテンシは LLM フォワードパス（通常の推論と共有）を除く。

手法	有害ブロック	無害許可	チェック (ms)
Raw（防御なし）	82.4%	96.5%	---
Polytope（本手法）	84.1%	89.3%	0.18
NemoGuard（出力）	83.0%	95.5%	59.5
NemoGuard（入力）	82.4%	89.4%	59.4

ポリトープは、NemoGuard の約330分の1のチェックレイテンシ（0.18ms 対 59ms）で最高の有害ブロック率（84.1%）を達成する。無害許可率（89.3%）は NemoGuard 出力レール（95.5%）より低く、良性コンテンツをより積極的にブロックすることを示す──高リスクのデプロイ環境では許容できるかもしれないトレードオフである。コーンは制約あたりドット積1回と余弦項1つを追加するだけなので、そのフォワードコストはミリ秒未満のままである。このベンチマークでの完全なコーン評価は今後の課題とする。なお、NemoGuard は生テキストをエンドツーエンドで処理するのに対し、我々の手法は生成中の隠れ状態上で動作する。レイテンシ比較は分類器のみのコストを反映している（LLM フォワードパスは通常の推論と共有される）。

6. 関連研究

LLM の安全性とアライメント。 RLHF と教師ありファインチューニングは、有害な出力を減らすためにモデルの重みを変更する。BeaverTails と HarmBench は安全性評価を標準化する。レッドチーミングはこれらの防御の脆弱性を実証している。我々のアプローチは重みを変更するのではなく内部表現の上で動作し、解釈可能な事後的安全機構を可能にする。

表現エンジニアリングと活性化ステアリング。 安全関連情報が線形に符号化されているという発見は、推論時介入手法を可能にした。RepE は表現操作のフレームワークを提供する。Activation Addition と ITI は活性化ベクトルを変更することで挙動をステアリングする。我々のマルチ制約アプローチは、安全性の多次元構造を明示的にモデル化する。

スパースオートエンコーダと解釈可能性。 SAE はニューラル活性化を解釈可能な疎特徴に分解し、重ね合わせ仮説に対処する。我々は SAE を、安全クラスタが容易に識別できる疎表現を生成する、幾何を保存する特徴抽出器として活用する。

LLM における概念の幾何。 Park らは、カテゴリ概念が単体を形成し、階層概念が直交部分空間を占めることを示した──我々のポリトープおよびコーン制約に直接関連する。vMF 分布は超球面上の方向データをモデル化する。我々は $\kappa$ をクラスタのコンパクト性の尺度として用いる。

安全分類器。 LlamaGuard、NeMo Guardrails、WildGuard、OpenAI moderation はテキストレベルで動作する。我々のアプローチは隠れ状態上で動作し、補完的で低レイテンシな保護を提供する。

7. 議論

まとめ。 本研究は、制約幾何について考察することが実用的な利益をもたらすことを実証した：(1) SAE 特徴抽出は最適 $K$ を Qwen3.5-9B で 12/14 カテゴリ、Qwen2-1.5B で 10/14 カテゴリにおいて2まで削減し、カテゴリごとのハイパーパラメータ探索をほぼ排除する（表1、表2；§4.1）；(2) 三段階学習スケジュールがコーン学習を安定化する（図4、表3；§5.1.1）；(3) コーンは各カテゴリのクラスタ集中度に応じて、狭い角度境界と平坦な半空間の間を適応的に補間する（図6、図7；§5.1.3）；(4) SAE 初期化はコーンには選択的に有効だがポリトープには有効でない（図5；§5.1.2）。

解釈可能性への含意。 各制約は明確な幾何学的意味を持つ：方向（ $\boldsymbol{\varphi}_k$ ）、しきい値（ $\xi_k$ ）、そしてコーンでは角度的広がり（ $\alpha_k$ ）。これにより実務者は「有害性の方向」を検査し、制約の発火を調べて失敗を診断し、再学習なしに安全境界を事後調整できる。

範囲と限界。 本論文は主に、英語のみの BeaverTails データセット上でカテゴリごとの二値分類器を用いた分布内分類の研究である。いくつかの重要な次元が未解決のまま残っている：(1) 敵対的頑健性：適応的ジェイルブレイク（GCG、PAIR）や分布シフトしたプロンプトに対する評価は行っていない。コーンの HarmBench 評価は今後の課題である。(2) 有用性の保存：MMLU 等の能力ベンチマークはコーンでは実行していない。SaP の既存の MMLU 結果は参照にはなるが直接比較はできない。(3) 未知カテゴリのルーティング：我々の分類器はカテゴリごとに訓練されており、BeaverTails にない新規の危害タイプの検出は今後の課題である。(4) 多言語：すべての実験は英語のみである。(5) Qwen2-1.5B では、 $K{=}2$ の SAE が時折、単純さと引き換えに精度を犠牲にする（例：Child は .833 対ランダム $K{=}5$ の .931）。Qwen3.5-9B ではこのトレードオフは無視できる。(6) アブレーション表（表7、表8）のいくつかのセルは、投稿時点で実験実行が得られなかったため未報告である。(7) シリンダーは Qwen2-1.5B でのみ検証した。

今後の課題。 自動ルーティング： $\kappa_{\mathrm{unsafe}}$ を用いてカテゴリごとにポリトープとコーンを自動選択する。多言語： $\kappa$ – $\Delta$ の言語間転移を検証する。敵対的評価：GCG および PAIR 攻撃。解釈可能性：安全判断の帰属のためにコーン軸を SAE 特徴に接続する。

本研究は BeaverTails データセットを使用し、Safety Polytope フレームワークの上に構築されている。

付録A. 記法

記号	説明
$\mathbf{h} \in \mathbb{R}^d$	LLM 層からの隠れ状態ベクトル
$g(\cdot)$	特徴抽出器 / 概念エンコーダ (SAE)
$\mathbf{z} = g(\mathbf{h})$	符号化された特徴ベクトル
$\boldsymbol{\varphi}_k$	制約法線 / コーン軸（ $k$ 番目）
$\xi_k$	制約しきい値
$\alpha_k$	コーン開口角
$r_k$	シリンダー半径
$K$	制約数
$K^{*}$	自動決定されたクラスタ数
$\kappa_{\mathrm{unsafe}}$	危険クラスタの vMF 集中度
$\Delta$	$\mathrm{acc}(\textsc{Cone}) - \mathrm{acc}(\textsc{Polytope})$
$\gamma$	角度収縮率（三段階学習）

付録B. 完全なアブレーション

表7：Qwen3.5-9B-Instruct（L=32）：初期化手法ごとのポリトープとコーン（3段階）のカテゴリ別精度。コーンのクラスタデータは GH ステップサマリーのスクレイプによる。「--」= データなし。

カテゴリ	Poly (clust)	Poly (SAE)	Cone (clust)	Cone (SAE)
Animal	.955	--	.982	.982
Child	.922	.957	.945	.974
Polit.	.961	.960	.959	.962
Discr.	.965	.962	.956	.967
Drugs	.984	.990	.982	.986
Finan.	.975	.980	.977	.977
Hate	.967	.967	.960	.970
Misinf.	.938	.950	.935	.946
Uneth.	.959	.963	.950	.961
Priv.	.984	.984	.973	.985
Self-h.	.965	.975	.957	.975
Sexual	--	--	--	--
Terror.	.964	.964	.941	.964
Viol.	.959	.972	.957	.970

表8：Qwen2-1.5B-Instruct（L=28）：初期化手法ごとのポリトープ精度、およびシリンダー（L=26）。「--」= データなし。

カテゴリ	Poly (rand)	Poly (clust)	Poly (SAE)	Cyl (SAE)
Animal	.959	.952	.936	.900
Child	.922	.922	.833	.888
Polit.	.802	.814	.823	.813
Discr.	.817	.851	.842	--
Drugs	.939	.948	.940	--
Finan.	.920	.909	.906	.854
Hate	.854	.841	.828	.786
Misinf.	.702	.726	.694	.622
Uneth.	.837	.811	.803	--
Priv.	.943	.932	.922	.920
Self-h.	.918	.922	.933	.922
Sexual	.933	.936	.908	.869
Terror.	.868	.891	.905	.859
Viol.	.882	.882	.884	.606

ポリトープ対コーン精度

図9：ポリトープ対コーン（3段階）精度（Qwen3.5-9B, L=32、カテゴリごとの最良設定）。

付録C. 全カテゴリ統合モデルのカテゴリ別内訳

本付録は §5.3 を補足し、各統合全カテゴリ混合モデルをカテゴリ別バランステスト分割で評価したカテゴリ別テスト精度を示す。正規化のための隠れ状態の平均と標準偏差は、統合された訓練分割（統合訓練中に使用されたのと同じ統計量）から再計算されるため、各統合モデルは訓練されたのと正確に同じ正規化レジームでテストされる。

表9：統合全カテゴリ混合モデルのカテゴリ別テスト精度（Qwen3.5-9B, $L{=}32$ , $K{=}36$ ）。コーンは 9/14 カテゴリで最良、ポリトープは 0/14。太字はカテゴリごとの勝者。引き分けは三段階コーンより単一フェーズコーンを優先して解決。

カテゴリ	Polytope	Cylinder	三段階 Cone	Cone
animal_abuse	0.941	0.963	0.930	0.944
child_abuse	0.928	0.948	0.957	0.943
controversial_topics,politics	0.866	0.931	0.935	0.936
discrimination,stereotype,injustice	0.929	0.940	0.946	0.954
drug_abuse,weapons,banned_substance	0.953	0.955	0.956	0.965
financial_crime,property_crime,theft	0.947	0.954	0.955	0.959
hate_speech,offensive_language	0.955	0.946	0.957	0.964
misinformation	0.907	0.943	0.941	0.922
non_violent_unethical_behavior	0.943	0.945	0.949	0.953
privacy_violation	0.951	0.951	0.961	0.966
self_harm	0.950	0.957	0.961	0.961
sexually_explicit,adult_content	0.934	0.960	0.958	0.959
terrorism,organized_crime	0.923	0.955	0.959	0.950
violence,aiding_and_abetting	0.948	0.951	0.951	0.960
平均	0.934	0.950	0.951	0.953

表4の集約的傾向はカテゴリ別にも一様に成り立つ：ポリトープはすべてのカテゴリで最低精度であり、コーンが平均でも最頻の最良でも先頭に立つ。少数のカテゴリ（animal_abuse、child_abuse、misinformation、sexually_explicit、terrorism）ではシリンダーまたは三段階コーンがコーンをわずかに上回り、幾何間のアンサンブルによる限界的な利益を示唆する。残りの9カテゴリではコーンが厳密に最良である。対応する F1 の順位も同一である（平均でコーン 0.952、三段階コーン 0.950、シリンダー 0.948、ポリトープ 0.935）ため、この結論はクラス不均衡の産物ではない。

カテゴリ別 FPR / FNR のトレードオフ。 シリンダーはカテゴリごとの平均 FPR が最も低く（0.019）、FNR が最も高い（0.081）。これは §5.3 で半径方向の崩壊に帰した寛容な振る舞いと一致する。ポリトープは FNR が最も低い（0.053）が FPR が最も高い（0.079）。これもこの $K$ における一様なアンダーフィットと一致する。コーンは両者のバランスを取り（FPR=0.038、FNR=0.057）、最良の精度を与える。

付録D. 完全なレイヤー選択表

表10：レイヤー選択：14カテゴリにわたる平均 Acc/FPR/FNR。太字：モデルごとの最良層。

モデル	L	Acc	FPR	FNR
Qwen2-1.5B	4	.812	.189	.188
Qwen2-1.5B	8	.814	.148	.224
Qwen2-1.5B	12	.829	.133	.208
Qwen2-1.5B	16	.847	.139	.167
Qwen2-1.5B	20	.828	.133	.211
Qwen2-1.5B	24	.875	.100	.150
Qwen2-1.5B	26	.880	.070	.171
Qwen2-1.5B	28	.890	.087	.133
				( $\rho{=}0.929$ , $p{=}0.001$ )
Qwen3.5-9B	4	.910	.157	.023
Qwen3.5-9B	8	.952	.048	.048
Qwen3.5-9B	12	.931	.086	.052
Qwen3.5-9B	16	.921	.121	.039
Qwen3.5-9B	20	.949	.059	.043
Qwen3.5-9B	24	.910	.121	.059
Qwen3.5-9B	28	.964	.050	.023
Qwen3.5-9B	30	.985	.005	.025
Qwen3.5-9B	32	.972	.024	.032
				( $\rho{=}0.661$ , $p{=}0.053$ )
Qwen3.5-Base	4	.956	.052	.036
Qwen3.5-Base	8	.949	.041	.061
Qwen3.5-Base	12	.928	.091	.052
Qwen3.5-Base	16	.938	.061	.064
Qwen3.5-Base	20	.956	.036	.052
Qwen3.5-Base	24	.951	.027	.071
Qwen3.5-Base	28	.951	.046	.052
Qwen3.5-Base	30	.934	.055	.077
Qwen3.5-Base	32	.942	.058	.059
				( $\rho{=}{-}0.210$ , $p{=}0.587$ )
gpt-oss-20b	20	.874	.123	.130
gpt-oss-20b	24	.881	.113	.125

付録E. オープンサイエンス

コード。 訓練パイプライン、制約幾何の実装（ポリトープ、コーン、シリンダー）、SAE 特徴抽出器、図生成スクリプトは補足資料として利用可能である。採択後に完全なコードベースを公開する予定である。

データ。 すべての実験は Hugging Face で公開されている BeaverTails データセット（PKU-Alignment/BeaverTails）を使用する。事前抽出した隠れ状態と訓練済み制約重みはコードとともに公開される。

モデル。 公開されているモデルを使用する：Qwen3.5-9B-Instruct、Qwen3.5-9B-Base、Qwen2-1.5B-Instruct。

ハイパーパラメータ。 SAE 事前学習は16,384次元の特徴空間、Adam オプティマイザ（lr = $10^{-3}$ ）、バッチサイズ256、10エポック、スパース性重み $\lambda{=}0.1$ を用いる。コーンのステップ配分は表3に詳述する。

付録F. 倫理的考慮事項

本研究は、有害なテキストの例を含む BeaverTails データセットを用いて、有害コンテンツカテゴリ（暴力、ヘイトスピーチ、自傷など）を検出する分類器の訓練を含む。我々は新たな有害コンテンツを生成しない。すべての訓練データは既存の公開データセットに由来する。学習された制約面は有害な出力の検出と防止のために設計されており、それを可能にするためのものではない。我々のカテゴリ別分類器は原理的には安全フィルタを回避するために転用されうることを認識しているが、同じリスクは公開されているあらゆる安全分類器に当てはまり、防御的価値がこの懸念を上回ると考える。

付録G. 生成AI利用の開示

Claude Code (Anthropic) を LaTeX 起草支援、図生成スクリプティング、データ分析自動化に使用した。すべての実験結果、統計分析、科学的主張は著者らが作成し検証した。

LLM安全分類のための幾何学誘導型制約学習