Időjárás: pokoli hőség · Ebéd: onigiri · Vacsora: szusi
Megint csak délután mentem be. Erre jó okom van: estig, sőt hajnalig benchmarkokat futtattam, mert lassan tényleg van eredményem. A korábbi hetek sírásközeli állapotából feléledtem — végre használható eredményeim lesznek. Kato laboratóriumában nagyon sok lehetőségem van tudományos szempontból regenerálódni. Részben ezért sem volt mostanában hosszabb poszt: azt leírni, hogyan várom az egyes eredmények lefutását, nem túlzottan érdekes.
Viszont van egy hosszabb visszatekintésem — nem is annyira a napról, mint inkább az elmúlt két hétről.
Két hét a HyMeKo belsejéből: mit ad a struktúra a tanulásban és a szabályozásban
Az elmúlt két hétben a HyMeKo keretrendszer több fronton is előrelépett egyszerre — előjeles gráfok tanulása, zárt alakú geometriai modellek, egy új manipulációs benchmark, és egy jutalom-hurok, amely áthidalja a távolságot egy köznyelvi sikerkritérium és egy megerősítéses tanulási jel között. A szálak elsőre függetlennek tűnnek, amíg észre nem vesszük, hogy mind ugyanazt a kérdést feszegetik más-más ruhában: mikor hozza meg a kifejezett struktúra a hasznát, és mikor csak dísz? Íme, hol tartunk. A történetet és az eredményeket megtartom; a receptek a laborban maradnak.
Előjeles gráfok: győzelem ott, ahol a struktúra valódi
Az előjeles hálózatok — olyan gráfok, amelyek élei pozitív vagy negatív előjelet hordoznak — tiszta próbaterhelést jelentenek a struktúratudatos tanulásnak, mert az előjelmintázat olyan globális kényszereket kódol (ki kiben bízik, és hogy ezek a bizalmi viszonyok kölcsönösen konzisztensek-e), amelyeket egy naiv modell egyszerűen nem lát.
A bevett, nyilvános előjeles hálózati benchmarkokon az előjeles tanulónk tiszta győzelmet aratott az Epinionson a legerősebb 2025-ös előjeles gráf-transzformerrel szemben, jelentős különbséggel, és versenyben maradt a Slashdoton. Ezek az irodalom nehezebb, nagyobb előjeles benchmarkjai közé tartoznak, és az Epinionson mért különbség nem volt finom. A tanulság nem egy ranglistás trófea; hanem bizonyíték arra, hogy a modell az előjelmintázat konzisztencia-struktúráját aknázza ki, nem pedig élstatisztikákat magol be.
Egy második, geometrikusabb vonalat — egy zárt alakú tanulómotort, amely egyáltalán nem használ gradiensalapú tanítást — ugyanezen a nyilvános hálózatcsaládon (Bitcoin-Alpha, Slashdot, Epinions) validáltuk. Egy konzisztenciatudatos mechanizmussal megtámogatva mindegyiken javult a prediktív minősége, és a legnagyobb hálózaton volt a legerősebb a relatív nyereség. Az érdekesség nemcsak a pontosság: mivel a modell zárt alakú, olyan késleltetési és memóriaviselkedéssel érkezik, amivel a gradiensalapon tanított modellek nem — ezt egy söprésben jellemeztük is. A teljes rendszer még érik, de maga a mechanizmus mostanra szilárd empirikus alapon áll.
Egy benchmark, amit nem lehet kijátszani
A két hét legtartósabb új eszköze egy manipulációs benchmark, amelyet cáfolható kapuk létrájaként építettünk. A motiváció egy visszatérő bosszúságból fakadt: a legtöbb „a struktúra segít” állítás csendben arra épül, hogy a lapos megfigyelés már eleve tartalmazza a választ, így a bonyolult modell rossz okból nyer.
Ez a benchmark úgy van megtervezve, hogy ez ne fordulhasson elő. Az első kapuk bizonyíthatóan megállapítják, hogy a feladat passzív megfigyelésből önmagában kétértelmű — a nyers állapotot látó modell a véletlen szintjén teljesít —, és hogy a rejtett tulajdonság csak egy szándékos, megfordítható interakción keresztül válik visszanyerhetővé. Majd, és csak akkor, léphet versenybe egy tanult becslő: és a rejtett mechanikai tulajdonságot részleges, zajos információból csaknem olyan jól nyeri vissza, mint egy modell, amelynek a valódi értéket egyenesen a kezébe adták, és a becslés kecsesen romlik, ahogy a megfigyelés zajosabb lesz. A megerősítéses tanulást szándékosan visszatartjuk addig, amíg az észlelési problémát előbb bizonyíthatóan meg nem oldottuk.
Ez a sorrend — bizonyítsd, hogy a struktúra szükséges, bizonyítsd, hogy visszanyerhető, és csak azután kísérelj meg szabályozást — a lényeg maga. A „struktúratudatos szabályozás jobb”-at szlogenből valami cáfolhatóvá alakítja.
A hurok bezárása a köznyelvi specifikációtól a jutalomig
Egy csendesebb, számomra mégis izgalmasabb eredmény: bezártuk a hurkot egy deklaratív sikerspecifikációtól egy működő megerősítéses tanulási jutalomig. Egy nyelvi modell lényegében javaslatot tesz arra, hogy hogyan néz ki a siker; a keretrendszer ezt a leírást használható kritériummá kalibrálja és metszi; a kritérium pedig elég jó lesz ahhoz, hogy nagy pontossággal rangsorolja a sikeres és a sikertelen viselkedést — jóval jobban, mint a nyers, kalibrálatlan változat.
Két hete itt megállt a dolog. Most tovább megy: ugyanaz a kalibrált specifikáció, immár a tanulást hajtó jutalomként használva, nagyjából olyan megbízhatóan lobbantott be egy politikát, mint a feladathoz gyárilag adott, kézzel megtervezett sűrű jutalom — miközben a nyers, kalibrálatlan változat el sem indul. Tehát egy géppel arbitrált, köznyelvi sikerkritérium nemcsak osztályozó, hanem használható tanítójel is. Aki valaha napokat töltött jutalomfüggvények kézi formálásával, annak ez figyelemre méltó irány.
Megerősítéses tanulás: az absztrakció dönt
Az összes szabályozási munkán végigvonul — egy kooperatív, kétujjas manipulációs forgatókönyvön, egy fogd-és-helyezd feladaton, több MetaWorld feladaton — egy tanulság, amely újra meg újra bebizonyította magát, és ez az a mondat, amivel egy olvasót útjára engednék:
Az absztrakció, amit az algoritmus kezébe adsz, sokkal jobban dönt a kimenetről, mint maga az algoritmus.
Valahányszor a megerősítéses tanulás „elbukni” látszott, a kudarc egy rossz akció-reprezentációra, a demonstrációk lefedettsége és a politika által ténylegesen tapasztalt helyzetek közötti résre, vagy egy mérési műtermékre volt visszavezethető — sosem arra, hogy a megerősítéses tanulás alapvetően képtelen lenne a feladatra. Add ugyanannak a problémának egy strukturált vagy parancsszintű akcióteret, és sikerül; add neki egy nyers, lépésenkénti akcióteret, és lényegében fenéktelen. A fogd-és-helyezd munkában egy reziduális tanulási megközelítést hajszoltunk a becsületes végkifejletig, és azt találtuk, hogy a valódi szűk keresztmetszet teljesen máshol volt: nem a megerősítéses lépésben, hanem annak a viselkedésnek a minőségében, amelyre épült. Tudni, hogy melyik tag korlátoz valójában, a csata nagy része — és ezen a területen az elpazarolt számítás nagy része abból fakad, hogy a rossz tagot optimalizálják.
Lefuttattunk egy jutalom-auditáló és -javító menetet is egy manipulációs feladaton, és jóval egy nagyságrenddel csökkentettük egy félrevezető proxy-jel hatását, újraigazítva a jutalmat ahhoz, ami a feladat monitorait valóban érdekli. Ugyanaz a téma: a jutalom is struktúra, és a helyes eltalálása többet számít, mint az optimalizáló.
Miért tartoznak össze
Mindez valójában nem az előjeles gráfokról vagy a benchmarkokról vagy a jutalmakról szól külön-külön. A HyMeKo egyetlen gondolat köré szerveződik — hogy ugyanannak a kifejezett, ellenőrizhető struktúrának kell átfolynia az észlelésen, a tanuláson és a szabályozáson —, és a két hét ennek próbáinak sorozata volt, hogy hol térül meg:
- Az előjeles gráfokon a struktúra ott térül meg, ahol a kényszerek globálisak és valódiak, és pontosan ott voltak a legnagyobbak a nyereségek.
- A manipulációs benchmarkon a struktúra bizonyíthatóan szükséges, így egy struktúratudatos becslő konstrukció szerint nyer — és a „szükséges”-t cáfolható állítássá tettük, nem feltevéssé.
- A jutalomtervezésben egy géppel arbitrált specifikáció legitim tanítójelnek bizonyul, nem pusztán értékelési metrikának.
- A szabályozásban a reprezentáció az emelő; az algoritmus szinte néző.
Ami következik: a geometriai előjeles gráfmotor eljuttatása validált mechanizmusból teljes modellig, a benchmark létrájának kiterjesztése a szabályozási kapukra, és a specifikáció-jutalom hurok átvitele feladatok szélesebb körére. Van egy előjeles gráfos szög a térképezésre és a navigációra is, amelyet szerintem valóban új — de azt majd akkorra tartogatom, amikor számok is állnak mögötte.
Ha struktúratudatos tanuláson vagy robotikus manipuláción dolgozol, és szívesen összevetnéd a tapasztalatokat, örömmel beszélek róla. A részletek — architektúrák, tanítási beállítások és a benchmark belsőségei — lektorálásra készülnek, úgyhogy ez a bejegyzés annál a szintnél marad, hogy mit találtunk, nem pedig hogyan lehet újraépíteni.