Većina priče oko Singularnosti vrti se oko istog sranja. Poslednjih dana čak i Sam Altman otvoreno govori da smo već zakoračili u nju. Pitanje koje se stalno ponavlja isto je: šta će AI uraditi? Hoće li biti saveznik, pretnja, alat ili gospodar? To pitanje zvuči logično. I upravo zato mislim da je pogrešno mesto za početak.
Mene kopka nešto drugo.
Kako razmišlja civilizacija koja živi posle toga.
Ne koje tehnologije ima. . .
Nego kako vidi poziciju. Kako procenjuje. Kako donosi odluke kada više ne vidi samo ono što joj je ispred nosa.
Sedim jedno veče i gledam AlphaZero partiju. Hiljadama godina čovek je mislio da je šah igra poteza. Onda se pojavi taj sistem i pokaže da je šah zapravo igra pozicija. Potezi su samo način da se iz jedne pozicije pređe u drugu.
Tu mi je kliknulo. . .
Šta ako isto važi i za istoriju?
Šta ako događaji nisu suština istorije? Šta ako su samo prelazi između različitih pozicija civilizacije?
Ako damo AlphaZero šahovsku poziciju, njega ne zanima sledeći potez. Gleda celu tablu. Spektakularni potezi ga ne zanimaju. Zanimaju ga promene koje menjaju celu poziciju. Figure nisu važne same po sebi. Važne su samo ako promene stanje partije. . .
Ako taj način gledanja prenesemo na tekst star dve hiljade godina, pitanje više nije šta predstavlja neki simbol. Pitanje postaje: koju ulogu u celoj priči taj simbol ima? Šta radi? Tek tada se menja način čitanja. . .
Kad skineš marketing i razna "uskoro stiže AGI" predviđanja, skoro svi oni vrte istu priču. Svet u kome pojedinac više nije glavni igrač. Ne zato što je postao gluplji. Nego zato što više niko ne vidi celu tablu.
Pamet više nije na jednom mestu.
To je prva promena. . .
Druga je još gora.
Sve manje odlučuješ sam.
Ne zato što ti je neko zabranio.
Nego zato što više ne vidiš dovoljno daleko. . .
Informacija ima koliko hoćeš.
Problem je što više niko ne zna kojoj da veruje. . .
Zato svi polako počinju da gledaju u iste sisteme.
Ovo nije moja izmišljotina. To je priča koja se godinama ponavlja u intervjuima i predavanjima ljudi koji ozbiljno razmišljaju o Singularnosti.
Ajde da na trenutak batalimo tehnologiju. . .
Ako bi jedna civilizacija zaista izgledala ovako, kako bi izgledao tekst koji pokušava da je opiše?
Da li bi bio hronika događaja?
Ili zapis o tome kako se menja sama pozicija?
Čovek piše hroniku. Beleži ratove, glad i propasti. Beleži poteze. . .
Onaj ko vidi celu tablu ne prati događaje nego promene. Primećuje trenutak kada više nema dobrog poteza. Kada svi moraju da igraju po istim pravilima. Kada se promeni sama igra.
Ajde da otvorimo Otkrivenje.
Ne tražimo tehnologiju.
Ne tražimo simbole.
Gledamo samo uloge. . .
Na početku ljudi još imaju izbor.
Zatim se pojavljuje neko ko vidi celu tablu. Svitak. Od tog trenutka ljudi više ne određuju mapu. Samo reaguju na nju.
Zver. . .
Ako zanemarimo simboliku i gledamo samo efekat, pojavljuje se mehanizam koji tera sve da igraju po istim pravilima. Ili si unutra ili nisi. Pitanje nije šta predstavlja zver. Pitanje je šta radi. Njena uloga je da sve svede na jedan sistem.
Žig. . .
Ko ne prihvati ta pravila, gubi mogućnost da nastavi igru.
Pad Vavilona.
Nestaje centralni oslonac. Sve što je od njega zavisilo počinje da puca.
Novi poredak. . .
Nova pravila.
Nova igra. . .
Ne tvrdim da je ovo dokaz bilo čega.
Tvrdim samo da postoji zanimljiva strukturna sličnost. . .
Kada danas slušam rasprave o superinteligenciji, stalno mi odzvanja jedna rečenica iz Otkrivenja.
Ko može ratovati s njom?
Prvi put mi ta rečenica nije zazvučala kao vojno pitanje.
Zvučala je kao pitanje upućeno inženjerima.
Ko može da nadigra sistem koji vidi više nego njegov tvorac?
Tu sam prvi put zastao. . .
Šta ako najveći problem nije ono što će AI uraditi čoveku?
Šta ako je mnogo veći problem ono što će čovek uraditi sa AI?
Šta ako joj jednog dana kažemo:
Ti znaš bolje od nas.
Ti odluči šta je pravedno.
Ti proceni šta je istina. . .
Ti upravljaj društvom.
Ti reši naše sukobe. . .
Ti nas spasi od nas samih.
Ako se to dogodi, problem više neće biti što je nastala superinteligencija.
Problem će biti što smo joj dobrovoljno prepustili da odlučuje šta je dobro.
To ljudi rade oduvek.
Samo se prvi put ozbiljno pitamo da li će sudiju zameniti mašina. . .
U svetu AI danas se svi vrte oko jednog pitanja.
Ne kako napraviti pametniji sistem.
Nego ko određuje šta za taj sistem znači "dobro".
I tu se, po mom mišljenju, sudaraju dve potpuno različite slike sveta. . .
U svetu veštačke inteligencije često postoji tiha pretpostavka da dovoljno pametan sistem može rešiti skoro svaki problem.
Ali hrišćanstvo nikada nije tvrdilo da je čovekov problem nedostatak pameti.
Naprotiv. . .
Lucifer nije pao zato što je bio glup.
Po predanju, bio je među najsvetlijim stvorenjima.
Problem nije bio kapacitet.
Problem je bio volja.
Pravac.
Ljubav. . .
Odnos prema istini.
Zlo nije computational error.
Ne nastaje zato što sistem nije imao dovoljno procesorske snage.
Nastaje kada pamet i volja prestanu da idu ka istom dobru.
Možeš imati beskonačnu pamet. . .
Ako juriš pogrešan cilj, dobićeš savršeno optimizovano zlo.
To više nije samo metafora.
To je danas i problem AI alignment-a. . .
Moguće je da je sve ovo samo privid.
Da u starom tekstu vidimo ono što smo već naučili iz moderne tehnologije.
Zato ovo nije dokaz. . .
Ovo je samo hipoteza koju vredi proveravati.
Ali ako postoji nešto što mi je AlphaZero promenio, onda to nije mišljenje o šahu.
Promenio mi je način na koji gledam istoriju.
Možda ne treba da gledamo događaje. . .
Možda treba da gledamo promene pozicije.
Možda najveća rasprava ovog veka neće biti:
Može li AI da misli?
Nego:
Ko određuje šta znači "dobro"?
Jer ako pogrešimo odgovor na to pitanje, sva ostala pitanja postaće nevažna. . .
