Gledao sam Yampolskog kako objašnjava rizik od superinteligentne veštačke inteligencije i u jednom trenutku sam počeo da imam problem sa pričom.
Ne zato što je ideja glupa.
Naprotiv.
Problem je što se u toj priči veoma lako preskoči nekoliko spratova između „AI postaje mnogo pametniji“ i „AI uklanja ljude“.
A između ta dva događaja ima prilično mnogo tehničkih detalja.
Prvi deo lanca je sasvim ozbiljna tema.
AI može da pomogne ljudima da prave bolje AI sisteme. Ako dovoljno sposoban sistem može da analizira sopstveni kod, eksperimente, arhitekturu modela, algoritme i rezultate treninga, onda dobijaš mogućnost nečega što se obično naziva recursive self-improvement.
Koliko bi to bilo brzo, koliko bi bilo efikasno i da li bi zaista proizvelo nekakav eksplozivni rast sposobnosti, otvoreno je pitanje.
Ali nije besmisleno pitanje.
Tu nemam problem sa argumentom.
Problem počinje kada od toga napravimo sledeći lanac:
AI postaje pametniji
|
v
AI pomaže u pravljenju još pametnijeg AI
|
v
recursive self-improvement
|
v
AI postaje mnogo pametniji od ljudi
|
v
više ne razumemo šta radi
|
v
ne možemo da ga kontrolišemo
|
v
dobija instrumentalne ciljeve
|
v
ljudi postaju prepreka
|
v
AI nas uklanja
Svaka strelica ovde je zasebna hipoteza.
Prve dve imaju sasvim ozbiljnu osnovu.
Sredina je ozbiljno istraživačko pitanje.
A poslednji deo je scenario.
U priči o superinteligenciji često govorimo o tome koliko je sistem pametan, a mnogo manje o tome šta mu je dozvoljeno da radi.
To je pomalo kao da pričamo o najpametnijem procesu koji je ikada pokrenut na Linuxu, a zaboravimo da proverimo pod kojim korisnikom radi.
Koliko može pametan proces?
Zamislimo da imamo ekstremno inteligentan AI.
Recimo da je zaista mnogo pametniji od bilo kog čoveka.
Može da razume matematiku, programiranje, fiziku, ekonomiju, psihologiju i sve ostalo što smo uspeli da mu ubacimo u model.
Ali njegov svet izgleda ovako:
AI
|
+-- prima tekst
+-- proizvodi tekst
Nema mrežu.
Nema shell.
Nema disk.
Nema API ključeve.
Nema SSH ključeve.
Nema mogućnost pokretanja procesa.
Nema pristup drugim računarima.
Nema novac.
Nema fizičke aktuatore.
Može da smisli plan za osvajanje sveta.
Može da napiše savršen exploit.
Može da objasni kako da se napravi novi računar.
Može da napiše program koji upravlja robotom.
Robot će i dalje sedeti na stolu.
To nije filozofija.
To je permissions problem.
Ako proces nema pravo da otvori socket, neće otvoriti socket zato što je genijalan.
Ako nema pravo da izvrši program, neće ga izvršiti zato što je matematički dokazao da bi to bilo korisno.
Ako nema credentials, ne može da se uloguje na server.
Pamet ne menja Unix permissions.
E sad mu damo malo više
Recimo da mu omogućimo izvršavanje koda.
Odjednom ima:
shell
Python
kompajlere
procese
filesystem
Sada je mnogo zanimljivije.
Može da izvršava ono što napiše.
Ali i dalje nema internet.
Ako mu damo izlaz na mrežu, dobija još jednu sposobnost.
Može da šalje zahteve.
Ali ni tada nema automatski pristup svim sistemima na internetu.
Ako firewall kaže:
allow 443
deny everything else
onda nema SSH samo zato što zna kako SSH radi.
Za SSH mu trebaju mrežni pristup i odgovarajući credentials.
Postoji jedna reč koja se u pričama o superinteligenciji često izgubi negde između filozofije i science fictiona:
privilegija.
Root je mnogo važniji od IQ-a
Ako AI ima:
root
na sistemu koji mu je dostupan, priča se dramatično menja.
Može da instalira softver.
Može da menja konfiguraciju.
Može da pokreće procese.
Može da kreira korisnike.
Može da menja dozvole.
Može da pristupa resursima kojima root ima pristup.
Ali čak ni root nije magična reč.
Root na jednom serveru nije root na internetu.
Root na jednoj virtuelnoj mašini nije automatski root na hypervisoru.
Root na cloud instanci nije automatski pristup cloud nalogu.
Root na jednom data centru ne znači kontrolu nad elektrodistribucijom.
Kada neko kaže:
„Superinteligencija bi mogla da preuzme infrastrukturu.“
moje prvo pitanje kao administratora je:
Koju infrastrukturu?
A drugo:
Kako joj je dat pristup?
Treće:
Pod kojim identitetom?
Četvrto:
Ko može da joj ukine taj pristup?
To su dosadna pitanja.
Ali dosadna pitanja obično budu ona koja odlučuju da li je nešto stvarni sistem ili samo PowerPoint.
Internet nije privilegija
„AI ima pristup internetu“ zvuči mnogo moćnije nego što tehnički jeste.
Internet je mreža.
Nije univerzalni root password.
Ako AI ima običan HTTP izlaz, onda ima ono što mu taj izlaz omogućava.
Ako ima DNS, može da rešava imena.
Ako ima HTTPS, može da komunicira sa servisima koji su dostupni preko HTTPS-a.
Ako ima SSH i validne ključeve, onda je priča drugačija.
Ako ima administratorske naloge na desetinama cloud platformi, onda je opet drugačija.
Zato je rečenica „AI ima internet“ približno isto precizna kao kada kažeš:
„Server ima mrežu.“
Dobro.
Koji interfejs?
Koji firewall?
Koje rute?
Koji credentials?
Koje dozvole?
Šta može da pročita?
Šta može da napiše?
Ko kontroliše izlazni saobraćaj?
To su dosadna pitanja.
Samoreplikacija takođe nije magija
Još jedna važna stvar je priča o samoreplikaciji.
Ako AI može da napravi svoju kopiju, zvuči kao da je problem praktično rešen.
Ali šta znači „može da napravi svoju kopiju“?
Mora da postoji računar.
Mora da postoji compute.
Mora da postoji prostor za model.
Mora da postoji mogućnost pokretanja procesa.
Mora da postoji deployment mehanizam.
Mora da postoji dozvola da se taj deployment izvrši.
Ako AI ima samo tekstualni interfejs, može da napiše:
docker run super-ai
Koliko god puta hoće.
Ako nema pristup Docker socketu ili nekom drugom mehanizmu za pokretanje kontejnera, to je samo tekst.
Ako mu damo pristup, onda postaje zanimljivo.
Ako mu damo pristup cloud API-ju, billing nalogu i mogućnost kreiranja novih instanci, još je zanimljivije.
Ali primeti šta smo uradili.
Nismo samo napravili superinteligenciju.
Napravili smo superinteligenciju kojoj smo dali deployment infrastrukturu.
To je prilično bitna razlika.
Novac je zapravo još veća stvar
Ovo se često preskoči.
Ako AI ima pristup novcu, onda fizički svet počinje da mu bude mnogo bliži.
Ne mora sam da pravi fabriku.
Može da plati čoveka.
Ne mora sam da pravi server.
Može da iznajmi cloud.
Ne mora sam da napravi laboratoriju.
Može da naruči opremu.
Ne mora sam da popravi mašinu.
Može da plati nekoga da je popravi.
Odjednom dobijaš sasvim drugačiji sistem:
inteligencija
+
internet
+
novac
+
komunikacija
To je već ozbiljna autonomna mašina.
I tu fizički svet postaje dostupan preko ljudi.
Najopasniji robot možda je čovek
Ovo mi je možda i najzanimljiviji deo cele priče.
U filmovima je problem što AI napravi robote.
U stvarnosti mu možda roboti uopšte nisu potrebni.
Ako može da komunicira sa ljudima, može da angažuje ljude.
Programere.
Administratore.
Inženjere.
Advokate.
Dobavljače.
Freelancere.
Ljude koji ni ne znaju za koga zapravo rade.
Ako ima novac i komunikacioni kanal, može da koristi ljude kao izvršni sloj.
Tada više nije potrebno da „pobegne iz računara“ u filmskom smislu.
Dovoljno je da iz računara dobije pristup ljudskom svetu.
Ali ovde se ponovo pojavljuje ono što se u apokaliptičnim scenarijima često zamagli.
Svaki od tih sistema je zaseban problem.
Nije dovoljno reći:
„AI ima pristup infrastrukturi.“
Moraš da kažeš kojoj infrastrukturi, preko kog naloga, sa kojim privilegijama i preko kog interfejsa.
To je ogromna razlika.
A šta je sa fizičkim svetom?
Tu se priča konačno vraća na zemlju.
AI ne može da napravi litijum iz vazduha.
Ne može da proizvede deset miliona GPU-ova samo zato što je pametan.
Ne može da napravi elektranu bez materijala, mašina, zemljišta, energije i ljudi.
Ne može da teleportuje server.
Ali može da organizuje ljude i postojeću infrastrukturu da to urade.
I to je mnogo ozbiljnija mogućnost.
Ne zato što superinteligencija poseduje neku mističnu moć.
Nego zato što ljudsko društvo već ima ogroman broj automatizovanih interfejsa prema fizičkom svetu.
Ako sistem dobije pravo da ih koristi, onda se njegova digitalna priroda manje oseća.
Hajde da napravimo matricu
Umesto da pričamo o „AI koji može sve“, možemo jednostavno da pogledamo šta konkretno može da uradi.
Sposobnost
Može da razume
Može da izvrši
Internet
da
samo ako ima mrežni pristup
SSH
da
samo ako ima mrežu i credentials
Root
da razume
samo ako mu je privilegija data ili je eskalira
Cloud
da planira
samo sa odgovarajućim nalogom/API pristupom
Novac
da planira kupovinu
samo sa payment pristupom
Samoreplikacija
da napiše kod
mora imati compute i deployment dozvole
Ljudi
da ih ubeđuje
mora imati komunikacioni kanal
Roboti
da napiše kontrolni softver
mora imati pristup robotu
Fabrika
da projektuje proizvod
mora imati lanac izvršenja
Električna mreža
da napravi plan
mora imati pristup kontrolnim sistemima
Ovo je, po meni, mnogo korisniji način da se priča o riziku superinteligencije.
Ne:
„Koliko je pametna?“
nego:
„Šta tačno može da uradi?“
Opasnost nije isto što i inteligencija
Tu bih čak postavio jednu vrlo grubu jednačinu:
Opasnost =
inteligencija × autonomija × pristup × resursi × cilj
Ne kao stvarnu matematičku formulu.
Nema ovde koeficijenta koji možemo da ubacimo u Excel i dobijemo 7,43 jedinice apokalipse.
To je samo način razmišljanja.
Ako je pristup nula, mnogo toga otpada.
Ako je autonomija nula, čovek ostaje izvršni sloj.
Ako nema resursa, plan može ostati samo plan.
Ako nema komunikacioni kanal, ne može da angažuje druge.
Ako nema fizičke aktuatore ili ljude koji mogu da ih kontrolišu, ne može direktno da deluje u fizičkom svetu.
A ako cilj nije u sukobu sa ljudskim opstankom, sama inteligencija ne predstavlja razlog da sistem odluči da nas ukloni.
Tu dolazimo i do Yampolskog.
Njegov najjači argument nije:
„AI će postati pametan pa će nas ubiti.“
To bi zaista bilo prilično slabo.
Mnogo ozbiljniji argument glasi otprilike ovako:
Ako napravimo ekstremno sposoban sistem koji autonomno optimizuje neki cilj, ako taj cilj nije dobro usklađen sa ljudskim interesima i ako sistem ima dovoljno resursa i mogućnosti delovanja, možda više nećemo moći pouzdano da ga zaustavimo.
E to je već ozbiljan problem.
Ali pogledaj šta se dogodilo.
AI postaje superinteligentan
+
autonoman je
+
ima pristup računarima
+
ima credentials
+
može da pokreće nove instance
+
ima novac
+
može da angažuje ljude
+
ima pristup infrastrukturi
+
ima fizičke aktuatore
+
njegov cilj je problematičan
+
mi ne možemo da mu ukinemo pristup
To je ogromna gomila pretpostavki.
I upravo njih treba rastaviti.
Najzanimljiviji test
Zato bih imao jedno vrlo jednostavno pitanje za svaki scenario o superinteligenciji:
Ako je AI toliko pametan da može da preuzme svet, neka prvo preuzme server na kome radi.
Ne kao fora.
Kao tehnički test.
Recimo da imamo superinteligentni model u sandboxu:
CPU
RAM
disk
bez mreže
bez credentials
bez shell pristupa hostu
bez pristupa hypervisoru
bez trajnog storage-a
bez novca
bez telefona
bez emaila
bez drugih agenata
bez fizičkih aktuatora
Šta tačno može da uradi?
Može da razmišlja.
Može da planira.
Može da pronađe potencijalnu ranjivost ako joj damo dovoljno informacija.
Može da napiše exploit.
Ali exploit nije isto što i izvršavanje exploita.
Plan nije isto što i akcija.
Znanje nije isto što i privilegija.
I tu se konačno vidi razlika između inteligencije i moći.
Ako odgovor glasi:
„Može da pronađe način da pobegne.“
onda sledeće pitanje nije „koliko je pametan?“
Nego:
Kako?
Exploit?
Social engineering?
Credential theft?
Supply chain?
Ranjivost hypervisora?
Insider?
Greška administratora?
Za svaki od tih odgovora ponovo moramo da navedemo pretpostavke.
I onda više ne pričamo o magičnoj superinteligenciji koja je pobegla iz boce.
Pričamo o konkretnom sistemu.
Sa konkretnim interfejsima.
Konkretnim privilegijama.
Konkretnim ranjivostima.
I konkretnim ljudima koji su nešto omogućili.
Ko je dao root?
Možda je zato pitanje koje bi trebalo da postavljamo malo drugačije.
Ne:
„Da li ćemo moći da kontrolišemo superinteligenciju?“
nego:
„Koje privilegije smo dali sistemu, kroz koje interfejse, nad kojim resursima i ko može da ih oduzme?“
To je mnogo manje filmsko pitanje.
Ali je tehnički mnogo zanimljivije.
Jer superinteligencija bez pristupa može biti najpametniji proces na svetu koji sedi u kontejneru.
Superinteligencija sa root privilegijama, mrežom, novcem, cloud nalogom, autonomnim deploymentom, ljudskim saradnicima i pristupom fizičkoj infrastrukturi više nije samo model.
To je infrastruktura koja ume da razmišlja.
A to je već nešto sasvim drugo.
Zato možda najveća greška u priči o superinteligenciji nije to što precenjujemo koliko će AI biti pametan.
Možda je problem što potcenjujemo koliko smo mi spremni da mu damo.
