Ha ágenst használsz, ne a modellt figyeld, hanem az átadást
A legtöbb cégvezető azt hiszi, az ágense azért hibázik, mert nem elég okos a modell. Három friss kutatás mást mér: a modell az esetek többségében tudja, mit kell csinálnia. A baj ott kezdődik, amikor egy feladat átmegy egyik ágenstől a másikhoz vagy amikor valaki azt mondja, kész, senki pedig nem nézi meg, tényleg kész-e.
1. A „kész” még nem bizonyíték
A parancssori programok egy része kérdez, mielőtt cselekszik: biztosan felülírod? Csetablakban erre te nyomsz entert. Egy autonóm ügynöknél viszont nem látsz ilyen felületet, ő dolgozik, a végén jelent. A RECEIPT kutatás szerzői 158 ellenőrzött parancshívásból építettek katalógust, ezek 11,5%-ában a program 0-s kóddal, vagyis „sikeresen” lépett ki úgy, hogy a kért műveletet el sem végezte. A javításuk láthatóvá teszi, mire vár a folyamat. Öt modellen ez 73,5%-kal csökkentette a valótlan sikerállításokat.
Mit jelent ez neked? Ne azt kérdezd az ágenstől, hogyan ért véget a munka, hanem azt, mit csinált. Az Üzleti Pilótában minden mérő három választ adhat: OK, HIBA vagy NEM TUDTAM MÉRNI. A harmadik soha nem eshet egybe az első kettővel. Kevésbé szép, mint egy zöld pipa, viszont nem hazudik.
2. Két ágens nem mindig jobb, mint egy
A ParallACT kutatásban kódoló ágensek dolgoztak közös kódbázison. Az egymásnak ellentmondó feladatpároknál a mindkét követelményt ismerő egyetlen ágens a feladatok 62%-át oldotta meg, a párhuzamosan dolgozó ágenspár a 16%-át. A beszélgetés csak kicsit segített: a legjobb változat 32%-ig jutott, viszont 2,23-szoros tokenköltséggel az egyetlen ágenshez mérve. Amikor a második ágens az első befejezett munkáján folytatta, a sikerarány 54%-ra nőtt, hasonló költséggel.
Mit jelent ez neked? Mielőtt egy feladatra még egy ágenst állítasz, döntsd el, kié a végső eredmény. Az Üzleti Pilótánál ebből szabály lett: a végső szövegnek egy felelőse van, ezt a feladatkiadás mondja ki, nem az ágensek döntik el egymás közt.
3. A cél utazzon a feladattal
A GAD kutatás szerint önmagában nem segít, ha a feladatokat külön kontextusú ágensek között osztod szét: szem elől tévesztik a teljes célt, megismétlik a már elvégzett vizsgálódást, közben a többiektől lényegtelen információt kapnak. A kutatók javaslata, hogy minden ágensnél maradjon ott az eredeti utasítás, a saját részfeladatának célja meg az elfogadási feltételei, az ellenőrzés pedig a részfeladatok után is fusson le, ne csak a legvégén.
Számot ehhez a kutatás nem tudott tenni, ezért mi most egyhetes kísérlettel mérjük: minden feladatkiadás kötött szerkezetet kap. A mérce, hogy legalább 30%-kal kevesebb legyen az ismételt adatbekérés, úgy, hogy közben a követelmények nem romlanak. Ha a kísérlet szerint ez működik, akkor kerül be az éles Üzleti Pilótába.
A tanulság cégvezetőknek
Az ágensflotta nem attól lesz megbízható, hogy okosabb modellt teszel bele. A vezetői munka nem tűnt el, csak átalakult: feladatkiadás lett belőle meg átvétel.
A teljes cikk a három kutatás linkjével: https://siposzoltan.substack.com/p/nem-a-modell-a-gyenge-pont-hanem
Kérdésed van a cikkről vagy a Pilótáról? Írj nekünk: lead@kreativkontroll.hu