天気: 地獄のような暑さ · 昼食: おにぎり · 夕食: 寿司
また午後にやっと出勤しました。それには正当な理由があります。夜まで、いや明け方までベンチマークを回していたのです。そろそろ本当に成果が出るから。ここ数週間の泣きそうな状態から立ち直りました——ついに使える結果が出そうです。加藤研究室では、科学的な意味で立て直せる機会がとても多い。長めの記事が最近なかったのも、一つにはこのため。個々の結果が出るのをどう待っているかを書いても、あまり面白くありませんから。
とはいえ、長めの振り返りがあります——一日についてというより、この二週間について。
HyMeKoの内側の二週間:構造は学習と制御に何をもたらすか
ここ二週間で、HyMeKoフレームワークは複数の前線で同時に前進しました——符号付きグラフの学習、閉形式の幾何モデル、新しいマニピュレーションのベンチマーク、そして自然言語の成功基準と強化学習の信号との距離を橋渡しする報酬ループ。これらの糸は、最初は互いに独立して見えます。すべてが同じ問いを別の衣で突きつけているのだと気づくまでは——明示的な構造はいつ役に立ち、いつ単なる飾りなのか?ここまでの到達点を記します。物語と結果は残しますが、レシピは研究室に置いておきます。
符号付きグラフ:構造が本物であるところでの勝利
符号付きネットワーク——辺が正または負の符号を持つグラフ——は、構造を意識した学習にとって純粋な負荷試験です。符号のパターンは大域的な制約(誰が誰を信頼し、その信頼関係が相互に整合しているか)を符号化しており、素朴なモデルはそれをまるで見ないからです。
定評ある公開の符号付きネットワークのベンチマークで、私たちの符号付き学習器はEpinionsで2025年最強の符号付きグラフトランスフォーマーに対して、大きな差で明快に勝ち、Slashdotでも競り合いに残りました。これらは文献の中でも難しく、大きい符号付きベンチマークに属し、Epinionsで測った差は微妙なものではありませんでした。教訓はランキングのトロフィーではありません。モデルが符号パターンの整合性という構造を活用しているのであって、辺の統計を丸暗記しているのではない、という証拠です。
より幾何的な二本目の線——勾配ベースの学習をまったく使わない閉形式の学習エンジン——を、同じ公開ネットワーク群(Bitcoin-Alpha、Slashdot、Epinions)で検証しました。整合性を意識した機構で補強すると、どのネットワークでも予測品質が向上し、最大のネットワークで相対的な利得が最も強く出ました。面白いのは精度だけではありません。モデルが閉形式であるため、勾配で学習したモデルにはない遅延とメモリの挙動を持ちます——これも一連のスイープで特徴づけました。システム全体はまだ熟成中ですが、機構そのものは今や確かな実証的基盤の上にあります。
攻略できないベンチマーク
この二週間で最も息の長い新しい道具は、反証可能なゲートの梯子として組み上げたマニピュレーションのベンチマークです。動機は、繰り返し起きる苛立ちにあります。「構造は役立つ」という主張の多くは、平坦な観測がすでに答えを含んでいることに密かに乗っかっていて、複雑なモデルが間違った理由で勝ってしまうのです。
このベンチマークは、それが起きないように設計されています。最初のゲートは、課題が受動的な観測だけでは本質的に曖昧である——生の状態を見るモデルは偶然の水準にとどまる——こと、そして隠れた性質は、意図的で可逆な相互作用を通してのみ回復可能になることを、証明可能な形で確定します。そのうえで、そのときに限って、学習された推定器が土俵に上がれる。すると、隠れた力学的性質を、部分的でノイズのある情報から、真の値をそのまま手渡されたモデルとほぼ同じくらいうまく回復し、観測がノイジーになるにつれ推定は緩やかに劣化します。強化学習は、知覚の問題を先に証明可能な形で解くまで、意図的に留保します。
この順序——構造が必要だと証明し、回復可能だと証明し、そのうえで初めて制御を試みる——こそが要点そのものです。「構造を意識した制御のほうが優れている」を、スローガンから反証可能な何かへと変えるのです。
自然言語の仕様から報酬までループを閉じる
より静かで、それでも私にはより胸躍る成果:宣言的な成功仕様から、機能する強化学習の報酬まで、ループを閉じたことです。言語モデルが本質的に、成功とはどう見えるかを提案する。フレームワークがその記述を、使える基準へと較正し、刈り込む。そして基準は、成功した振る舞いと失敗した振る舞いを高い精度で順位づけできるほど良くなる——生の、較正されていない版よりはるかに良く。
二週間前はここで止まっていました。今はその先へ進みます。同じ較正済みの仕様を、今度は学習を駆動する報酬として使うと、その課題に工場出荷で付いてくる、手作業で設計された密な報酬とほぼ同じくらい確実に方策を立ち上げました——一方、生の、較正されていない版は、そもそも動き出しもしません。つまり、機械が裁定した自然言語の成功基準は、分類器であるだけでなく、使える教師信号でもあるのです。報酬関数の手作りに何日も費やした経験のある人にとって、これは注目に値する方向です。
強化学習:抽象化が決める
すべての制御の仕事を貫いて——協調的な二指のマニピュレーションのシナリオ、ピック・アンド・プレイスの課題、複数のMetaWorldの課題——何度も繰り返し自らを証明した教訓があります。読者を送り出すなら、この一文で送り出したい。
アルゴリズムに手渡す抽象化のほうが、アルゴリズムそのものよりも、ずっと出力を決める。
強化学習が「失敗した」ように見えるたびに、その失敗は、悪い行動表現、デモンストレーションの被覆と方策が実際に経験する状況とのギャップ、あるいは測定のアーティファクトにたどれました——強化学習が本質的にその課題をこなせない、ということには決して行き着かなかった。同じ問題に構造化された、あるいはコマンド水準の行動空間を与えれば成功し、生の、ステップごとの行動空間を与えれば、事実上底なしです。ピック・アンド・プレイスの仕事では、残差学習のアプローチを正直な結末まで追い込み、真のボトルネックがまったく別のところにあると分かりました。強化学習のステップではなく、その上に築かれた振る舞いの品質にあったのです。どの項が実際に律速しているかを知ることが、戦いの大半です——そしてこの領域で浪費される計算の多くは、間違った項を最適化することから来ています。
あるマニピュレーションの課題で、報酬の監査と修正の一巡も走らせ、誤解を招く代理信号の影響を優に一桁縮め、課題のモニターが本当に気にすることへと報酬を再整合しました。同じ主題です。報酬もまた構造であり、それを正しく当てることは、最適化器よりも重要です。
なぜこれらは一つにつながるのか
これらは実のところ、符号付きグラフやベンチマークや報酬について、別々に語っているのではありません。HyMeKoは一つの考えのまわりに組織されています——同じ明示的で検証可能な構造が、知覚と学習と制御を貫いて流れるべきだ、と。そしてこの二週間は、それがどこで報われるかの試験の連続でした。
- 符号付きグラフでは、構造は制約が大域的で本物であるところで報われ、まさにそこで利得が最大でした。
- マニピュレーションのベンチマークでは、構造は証明可能に必要であり、だから構造を意識した推定器は構成上勝つ——そして「必要」を、仮定ではなく反証可能な主張にしました。
- 報酬設計では、機械が裁定する仕様が、単なる評価指標ではなく正当な教師信号であると分かりました。
- 制御では、表現こそが梃子で、アルゴリズムはほとんど観客です。
次に来るもの:幾何的な符号付きグラフエンジンを、検証済みの機構から完全なモデルへ届けること、ベンチマークの梯子を制御のゲートへ広げること、そして仕様‐報酬ループをより広い課題群へ移すこと。地図作成とナビゲーションに向けた符号付きグラフの切り口もあり、本当に新しいと思っています——でもそれは、数字が後ろに揃ったときのために取っておきます。
構造を意識した学習やロボットのマニピュレーションに取り組んでいて、経験を突き合わせてみたい方がいれば、喜んでお話しします。詳細——アーキテクチャ、学習の設定、ベンチマークの内側——は査読に向けて準備中なので、この記事は「何を見つけたか」の水準にとどめ、「どう再現するか」までは踏み込みません。