Imam vrlo konkretno i sveže iskustvo sa GPT 6 i Codexom na složenom kompajliranju Android kernela. Posle nekih 300 poruka model više nema pojma gde se nalazi u operaciji. Moraš da mu vraćaš kontekst. Objašnjavaš šta je već urađeno. Podsećaš ga zašto je nešto urađeno. Proveravaš da li je upravo izmislio gde se nalazi. Onda mu pokažeš da nije u pravu. On se vrati. Pa opet ode negde levo. I tako u krug halucinira. To je jedan razgovor. Jedna operacija. Jedan posao. I ima kontekst, ima istoriju razgovora, ima alate, ima pristup fajlovima, ima sve ono što se danas vrlo lepo zove memorija i orkestracija. A posle dovoljno koraka ponaša se kao da je prethodnih sto poruka napisao neki drugi lik. Na kraju mu jebeš mater kao da ispred sebe imaš senilnog dedu koji iz svake prošle poruke izvuče po jednu slučajnu stvar i onda samouvereno nastavi da radi. I sad treba da poverujem u priču da ćemo samo dodati self correcting loop, memoriju i još malo orkestracije pa održavanje softvera više neće postojati i svi softveraši dobijaju otkaz. Malo MORGEN! Prvo rešite da agent posle 200 koraka zna gde je bio. Onda možemo dalje. Jer tu dolazimo do jedne mnogo ozbiljnije stvari. Recimo da napravimo sistem koji stvarno sve pamti. Ne ovo današnje „sećanje“ koje u nekom trenutku napravi sažetak, pa se nadajmo da nije izbacio baš ono što mu treba. Nego stvarno pamti sve. Recimo poslednjih 48 sati da pamti kao slon sve. Recimo da razgovor i rad proizvode samo 20 tokena u sekundi. 48 sati: 20 × 172.800 = 3.456.000 tokena. Ako jedan token u proseku zauzima oko 4 bajta kao tekst, to je oko: 13,8 MB sirovog teksta. Ali to je samo tekst koji je ušao u istoriju. Model ne „pamti“ tekst kao običan fajl. Ako hoćeš da kompletan kontekst bude direktno dostupan transformeru, moraš da ga ubaciš u context window, a attention nad tim kontekstom postaje ogroman problem. Za 3.456.000 tokena, puni self-attention ima približno: 3.456.000² ≈ 11,94 × 10¹² parova tokena. Dakle skoro 12 triliona token-to-token odnosa za samo jedan attention sloj. I to pod pretpostavkom da uopšte imaš model koji može da primi 3,5 miliona tokena kao jedan kontekst. A sad dodaj realnost: Android kernel operacija ne proizvodi samo tvoje poruke. Imaš source fajlove, diffove, compiler output, logove, stack traceove, komande, rezultate testova, tool output, greške… Tu 20 tokena u sekundi postaje smešno malo. Ako si na proseku 200 tokena/s, za 48 sati dobijaš: 34.560.000 tokena. To je već 34,5 miliona tokena. hahahahahaha. Problem je napraviti sistem koji posle 48 sati može da koristi tih 34 miliona tokena kao koherentan model svega što se dogodilo, bez toga da mora da ih ponovo pretražuje, sažima, rekonstruiše i pri tome izgubi bitne stvari.
I onda dođeš do toga da imaš recimo 100 miliona ljudi koji koriste agente. A ako bi svaki korisnik proizvodio 200 tokena/s, što za agenta koji stvarno radi nešto ozbiljno nije nezamislivo, dobijaš: 34.560.000 × 100.000.000 = 3,456 × 10¹⁵ tokena za 48 sati. Ako jedan token u proseku zauzima oko 4 bajta kao tekst, to je oko: 13,8 PB teksta za 48 sati. Ali opet, čak ni tih 13,8 PB nije glavni problem. Glavni problem je pitanje: kako da 100 miliona agenata istovremeno imaju kontinualni, koherentan kognitivni kontekst od 48 sati? Da, napraviće memoriju. Ali memorija nije sećanje, a sećanje nije kontinuitet. Ne pije vodu. I tu se vraćam nazad na poređenje sa HAL 9000 iz Odiseje 2001. HAL nije „serviran“ server kome neko svakih pet minuta vraća kontekst iz baze. On je zamišljen kao jedna kontinuirana inteligencija koja ima memoriju, senzore, stanje sveta, ciljeve i višegodišnji kontinuitet rada. A taj sistem je u filmu praktično deo jedne prostorije, ne data centar od nekoliko hektara. Kjubrik je 1968. zamislio da jedna veštačka inteligencija može da bude kompletno prisutna u jednoj sobi. I to dalje ima smisla. Ako hoćemo da svako ima svoju kontinuiranu inteligenciju, onda model ne može da bude samo neki udaljeni servis koji svima daje trenutni odgovor. Moraš da imaš nešto što pripada tom jedinstvenom korisniku, ima svoje stanje, memoriju, istoriju i kontinuitet. To onda potpuno menja računicu. Zašto je ovo ovoliko bitno? Zato što ne može drugačije. Kad budem kupio ceo model GPT 6, instalirao kući na 5 GPU, to može da ima smisla. ČAK HAL 9000 ako ga uzmemo onako kako je prikazan u 2001, pre bih ga stavio u AGI kategoriju: ima kontinuitet, višedecenijsku memoriju kao slon, percepciju preko senzora, govor, planiranje, rešavanje problema i interakciju sa ljudima. ASI bi bila druga liga. Ne samo „HAL, ali deset puta pametniji“, nego sistem koji bi po opštoj sposobnosti bitno nadmašivao čoveka praktično svuda, uključujući nauku, matematiku, inženjerstvo, strategiju, kreativnost i istraživanje. ASI je Monolit bukvalno. Tako da me prođite sa idejom da je superinteligencija već sad.
Sve u svemu dižem ruke da koristim AI za kompleksne stvari. U se i u svoje kljuse…
