私たちは過渡期にいる
AIの進歩と応用が、研究の現場に限らずあらゆる領域で進んでいる。コードは書かれ、文書は要約され、計画は立てられ、実験は回る。世界中で、人間が手を動かさなくても成果物が出てくる工程が増え続けている。AIの解釈性や欺瞞検出を扱っている弊社でも事情は同じで、CLIエージェントが実験を計画し、実行し、結果をまとめるところまでやるようになった。
しかし私は、まだ今は過渡期にすぎないと思っている。AI以前、過渡期、AI以後と分けたときの、真ん中だ。AIを使わずすべてを人力で行っていた時代は終わり、AIだけですべてが回る時代はまだ来ていない。
現代のAIの性能には、まだ駄目な部分がある。完全な意味でのproactiveな動きはまだなく、しっかりした中間体による差分の進捗をつくらないと、コンテキスト長の制約で長い仕事は崩れる。それでも、AIだけでできることは月ごとに増えていて、任せられるものと任せられないものの境界は動き続けている。
この時期にすでにAIで十分だと思っているなら、それはAIの問題ではなく、その人の仕事の要求水準の問題だと思う。一方で、AIを無能だと切り捨てるのは、自分の無能の証明でもある。過度に礼賛するのもまた無能の証明だ。礼賛にも拒絶にも倒れず、動き続ける境界の上に立ち続けなければならない。非常に難しい時期で、だからこそ楽しい時期でもある。最後の楽園のような気もしている。
その真ん中で、弊社では「脳入会」という会をやっている。人間の脳に入れるべきものを、意識的に入れる会だ。
成果物は増えた。理解も同じだけ増えているか
現在のシステム開発でも、AIと人間の分担がうまくできていないと、次のようなことが起こりうる。動くコードは出る。だが、なぜ動いているのかを説明できる人がいない。レビューは、体裁が整っていれば通る。設計判断は誰も下していないのに、設計は存在する。障害が起きたとき、どこを直せばいいのか、直したことで何が変わるのか、すぐには誰もわからない。
もちろん、AIをうまく使いながら、理解と判断を保っている人もいる。問題はAIを使うことではない。分担を意識せずにAIを入れた現場では、個々の成果物は揃っているのに、全体として何が起きているのかを把握している人間が薄くなっていくことがある。
弊社の研究開発にも、同じ危険がある。実験は回り、結果の数値は出る。だが、それがどうすごいのか、何につながるのかが見えにくくなる。個々の結果は出るのに、それらが大局的な実験の流れになっているのかは怪しい。そして、動けばいいという水準でつくられたものが、slopとして負債に積もっていく可能性がある。
成果物は出ている。だが、それを完全に把握しきれているのか。そこは怪しい。
outputと理解が切り離された
このようなAI過渡期の課題には、一つの理由があるような気がしている。inputとoutputの関係が変わってしまった、ということだ。ここでいうinputとは、情報を受け取ることではない。理解し、自分の判断材料として脳に残すことだ。
今までは、inputがなければoutputは出なかった。コードを書くには、そのコードを理解していなければならなかった。実験を組むには、その分野の勘が要った。outputを出す行為とinputは同じ動作の中にあり、一つの仕事をすれば両方が起きた。だから、脳に入れることを独立した仕事として数える人はいなかった。勝手に入っていたからだ。
AIはこの結合を切った。outputは出るが、出した人の脳には何も残らないことがある。動くコードの手前に、理解した人間がいるとは限らない。把握が薄くなったのは、誰かが怠けたからではない。把握しなくても成果物が出るようになったからだ。
以前は副産物として勝手についてきたinputが、意識して入れないと入らないものになった。
AIに任せるもの、脳に残すもの
だからといって、脳をもっと使え、という話ではない。むしろ逆で、使わなくても任せられるものは任せるべきだと思っている。面倒なのは、任せられるものと任せられないものが混ざっていて、その境界が動き続けることだ。
分ける基準は、そのタスクで自分の脳に残る副産物が要るのか、生成物だけあればいいのか、だと思っている。
生成物だけでいいなら、AIに出させて自分は評価する。副産物が要るなら、自分でやるか、AIが出したものを自分の頭で組み立て直す。以前は一つの仕事で両方が起きていたので、この問いを立てる必要がなかった。いまは、タスクごとに立てる必要がある。
副産物が要るのは、それが判断に使われるからだ。ここでいう判断は、出てきたものが正しいかどうかの評価だけではない。「いま自分たちは何をやっているんだっけ」「これはやる意味があるんだっけ」「こういう方法はないんだっけ」と問い直すことだ。起きた事象を、主観の混ざった解釈として自分の中に持ち、それを元に大局的な判断を下す。過渡期の人間の価値は、ここにあると思っている。
この判断は、判断する側の脳に材料が入っていなければできない。解釈は、事象が自分の脳を通ったときにしか生まれない。要約を読んでも、事象は通っていない。予想がなければ、出てきたものは体裁でしか見られない。解釈がなければ、問い直す足場がない。生成物は消費されて終わるが、脳に入った解釈は判断のたびに使われる。
区別せずに全部AIに投げると、任せられるものは速くなり、副産物が要るものからは判断の材料が消えていく。区別せずに全部自分で見ると、判断の材料は守られるが、任せられるものが遅くなる。どちらも、区別しないことによる失敗だ。必要なのは人間かAIかという二者択一ではなく、タスクごとに、生成物と副産物のどちらが必要なのかを分けることだ。
「脳入会」という仕組み
脳入会は、副産物として入らなくなったinputを、制度として入れ直す場所だ。AI以前は、脳に入れなければoutputは出なかった。入れることは前提で、わざわざ名前をつける必要がなかった。いまはそうではないので、脳に入れるという行為を明示的に切り出して、名前をつけて、やる。
形式は大学のゼミに近い。メンバーが持ち回りで、自分がいま取り組んでいる研究開発の内容を発表し、それについて議論する。一回一時間ほどで、定期的に回している。
発表者は、準備の過程で自分の実験を自分の頭で組み立て直す。outputを出す行為を通じてinputを得るという、以前は自然に起きていた結合を、意図的に再現している。聞き手は聞くばかりではなく生まれる自然な疑問をぶつけ、議論を行う。それらを通して参加者が脳に入れていく。
成果物は、現状はつくっていない。成果物ドリブンにすると、出した時点でやった感が出る。一番の目的は脳に入れることで、それを成果物に置き換えたくない。
ただし、ここを起点とするフローは組んでいく予定でいる。音声を録音してローカルモデルで文字起こしと要約を行い、議論の中から研究タスクを抜き出してキューに積み、実験が実行されるところまでつなぐ。脳に入れることと、そこから先の自動化は、両立させるつもりでいる。
脳入会で狙っていること
何が行われているのかを把握している人間が、保たれる。数値がどうすごいのか、何につながるのかを、少なくとも会にいた人間は説明できる。
実験の流れに大局が残る。個々の結果を持ち寄って議論すると、「これはやる意味があるのか」「別の方法はないのか」という問い直しが起きる。次に何を試すべきかが、個々の実験の内側からではなく、全体から出てくる。
slopが負債になる前に止まる。動けばいい水準のものは、人前で説明しようとした時点で説明できないので、そこで露見する。
そして、脳を使わないと決めたタスクを、割り切って手放せるようになる。脳に入れる場所が制度として確保されていれば、それ以外を一切委任することに躊躇がなくなる。中途半端に人間が目を通す必要がなくなり、速くなる。
これは過渡期の答えでしかない
過渡期のいまの答えとしては、こうなる。inputがなければoutputが出ない、という結合は戻らない。だからタスクごとに、脳に残る副産物が要るかどうかを分ける。要るものは制度として確保し、要らないものは一切を委任する。
脳を意識的に使ってもいないのに人間が工程の中にいるなら、それは単なるボトルネックであり、一番不要なものだ。問い直しと大局的な判断を持ち続ける側に張ることと、生成から人間を外すことは、同じ判断の裏表になる。
ただ、この理屈は過渡期にしか効かない。AIが成長すればこれも要らなくなる、という反論に、実用の側から答えることはできない。生成物の評価は、じきにAIに移る。次に何を試すかという判断も、時間の問題だ。問い直しも、いずれはそうなるかもしれない。人間が判断を持っているのは、いまのAIに至らないところがあるからで、そこまで移れば、人間がinputに時間をかける理由は消える。
突き詰めると、「じゃあ人間って何でいるんだっけ」という問いに着く。人間の脳に入れるべきものが存在する、という脳入会の核にある仮説は、将来のAIに対しても成り立つのか。成り立つとしたら、そのとき我々が出せる価値は何なのか。現在の体制は、この問いを念頭に置いて組むべきだと考えている。
（責任は金融で十分に巻き取れると思っているので、人間がAIに勝てる答えではないと思っている。それこそ、AIが取れない責任とはなんなのかと、責任という単語で満足せず責任についてより深く分解して議論するべきであると考えている）
将来のAIに対しての話
実用の側からの理屈は、ここで尽きる。過渡期のいまは、任せられるものと任せられないものを分ける、という実務の話で足りた。だが将来のAIに対して、人間の側になお何かが残ると主張しようとすると、実用の言葉では何も言えない。
残るのは、感情論と思想だけだ。だからここからは、感情論と思想の話をする。
残るもの
まず認めておく。性能では勝てない。速さでも、量でも、精度でも、範囲でも勝てないし、これから差は開く。人間に何が残るかを考えるとき、「AIより上手くできること」を探すと何も残らない。探すべきは、AIにないものだ。
人間には肉体がある。肉体があるから、経験が肉体を通して入ってくる。
その経験は記憶として残り、しかも連続している。自分が昨日の自分と同じ自分であるという厳密な連続性を仮定するなら、人間のコンテキスト長は生まれてから今日までの全部であって、これはどんなモデルのコンテキストウィンドウよりも長い。
ただし正確ではない。人間の記憶は逐語的ではなく、ほとんどが失われ、残ったものも歪んでいる。だが、これは劣化ではない。圧縮だ。何十年分の経験が、判断の瞬間に一つの「なんか違う」に折り畳まれて出てくる。その圧縮されたものを、我々は感性と呼んでいる。感性とは、圧縮された記憶のことだ。
AIが成長しても、これらは残る。AIがそれを持っていないからではない。AIがそれを持てるようになったとしても、私のこの肉体を通った記憶の圧縮は、私にしかないからだ。
入れて、煮込む
人間にしかないものが感性で、感性が圧縮された記憶なのだとしたら、それをつくる方法は一つしかない。入れて、煮込む。
煮込むには材料が要る。AIに読ませて要約させたものは、その理解の工程をAIが引き受けている。自分の脳には入っていない。一度自分の頭で理解し、時間をかけてほかの記憶と混ざり、そのうち形を失って、判断の癖になる。
問い直しと大局的な判断は、主観の混ざった解釈から出てくる。その主観とは、感性のことだ。感性は、入れなければつくれない。判断を持ち続けるためには、inputをやめるわけにはいかない。
脳に入れる側に張る
脳に入れるべきタスクが一つも残らない未来は、あり得る。そのときは、人間は工程の中の単なるボトルネックであり、外れるのが正しい。将来のAIに対してもこの切り分けが残るかどうかは、正直、わからない。
本音を言えば、結局そっちの方が楽しいっしょ、という話だ。
自分の頭で理解して、他人の頭の中身を聞いて、それについて一時間言い合う。それは仕事として必要かどうかの前に、面白い。AIが出したものを承認して回る仕事より、面白い。
満足なソクラテス
ミルは、満足した豚であるより不満足なソクラテスである方がよい、と言った。考える者は満たされない、という前提がそこにある。考えることと、考えた末に何かを出すことの間に、いつも苦役があった。
AIはその前提を壊した。outputはAIが引き受ける。人間には、inputと、煮込むことと、判断することが残る。それは人間にしかできないことであると同時に、人間にとって一番面白い部分でもある。苦役だけが抜けた。
AIは我々に、満足なソクラテスとして生きる選択肢を与えた。我々はそれを選ぶ。それがうちの会社の立場で、脳入会はその立場の具体的な形だ。
同じ選択をしたい人と、働きたいと思っている。
