Umetna inteligenca 3.0: Opozorila

[Vse]

"Njegov problem namreč ni le v tem, da je včasih napačen - problem je, da je lahko napačen z izjemno samozavestjo." (Vir: 140)
 

[Vse]

"Na enem izmed predavanj sem naredil preprost poskus. Pred občinstvom sem umetno inteligenco vprašal za recept za jed, ki ne obstaja - izmislil sem si ime jedi, nekaj, kar zveni dovolj verjetno, da ne vzbudi suma.
Umetna inteligenca ni odgovorila, da ne ve. Vrnila je recept. S sestavinami, s časom priprave, s temperaturo pečice. Vse je bilo smiselno. Nič ni bilo resnično.
Toda v dvorani se ni nihče zmrdoval. Nasprotno - nekdo v drugi vrsti je v šali rekel: »Zanimivo, tega pa še nisem poskusil.« Ostali so molčali. Tisti trenutek tišine je povedal več kot katera koli definicija. To je halucinacija. Ne napaka na robu sistema. Posledica njegove osnovne arhitekture." (Vir: 140)
 

[Vse]

"In morda največja ironija sodobne umetne inteligence ni v tem, da se lahko moti, temveč v tem, kako zelo ji ljudje zaupamo, ker govori tekoče, samozavestno in brez oklevanja. Zato mora resen uporabnik ohraniti nekaj, česar sam model nima - dvom." (Vir: 140)
 

[Vse]

"Morda ni naključje, da je Ilya Sutskever, soustanovitelj OpenAI, nekoč povedal: »Ko gradimo te sisteme, v resnici ne vemo povsem, kaj gradimo. In ko jih učimo, ne vemo povsem, česa se učijo.«" (Vir: 140)
 

[Vse]

"Sodobna umetna inteligenca je zato obenem triumf znanosti in poraz človeške potrebe po preglednosti: deluje, toda ne povsem na način, ki bi ga znali udobno razložiti." (Vir: 140)
 

[Vse]

"Če družba preneha razlikovati med procesom, ki razume, in procesom, ki razumevanje simulira, potem iste družbe ne moremo šteti za zanesljivo sodnico o tem, kdaj je stroj postal razumevajoč. Izgubila je instrument, s katerim bi to merila." (Vir: 140)
 

[Vse]

"Človek se običajno moti blizu meja svojega znanja. Stroj se lahko moti kjerkoli, enakomerno, brez opozorila. To pomeni, da vzorec napak ni predvidljiv.
In sistem, katerega napake niso predvidljive, ni mogoče nadzorovati z izkušnjo, temveč le s sistematičnim preverjanjem. Človeštvo pa nima navade sistematičnega preverjanja. Ima navado zaupanja po izkušnji." (Vir: 140)
 

[Vse]

"To se ne dogaja le v ordinacijah in pisarnah, kjer odločitve štejejo. Dogaja se tudi na družbenih omrežjih, kjer štejejo zgolj besede. Že nekaj časa opažam vzorec, ki me je sprva razveselil, pozneje pa začel skrbeti. Ljudje okoli mene so začeli pisati drugače. Dolgi, urejeni, samozavestni zapisi o politiki, družbi, kulturi, poslu. Ljudje, ki so še nedolgo nazaj z veliko muko spravili skupaj polomljen stavek, danes objavljajo popolna besedila. Z uvodom, jedrom in zaključkom, kot so nas učili v šoli. S tezo, ki jo razvijejo. Z mislijo, ki lepo teče.
Vemo, kaj se je zgodilo. Nismo čez noč postali boljši pisci. Dobili so orodje, ki zna naše na pol oblikovane ideje sestaviti v urejen tok besed. Umetna inteligenca je postala stroj za ustvarjanje vtisa pameti." (Vir: 140)
 

[Vse]

"Pred dvajsetimi leti smo rekli, da je Google podaljšek našega spomina. Danes je klepet podaljšek našega mišljenja. To ni majhna razlika. Spomin je samo arhiv. Mišljenje pa je proces. Arhiv lahko nekomu prepustite, ne da bi pri tem izgubili to, kar ste. Ko pa prepustite proces, izgubite skupaj z njim del sebe." (Vir: 140)
 

[Vse]

"Predstavljajte si jutro: zbudite se in internet ne dela. Utihnejo tudi vsa orodja umetne inteligence. Klepet, ki ga vsako jutro odprete, se ne odzove. Ne na telefonu in ne na računalniku. Sedete pred zaslon, želite napisati dopis ali sporočilo, položite roke na tipkovnico. Takrat ugotovite, da ne veste več, kako se začne stavek. Ne v dramatičnem smislu. V čisto banalnem. Roka je pozabila prvi gib. Glava je pozabila tisti napor, ki ga zahteva pisanje brez AI-pomočnika." (Vir: 140)
 

[Vse]

"Današnja pismenost se ne kaže več v znanju branja in pisanja. Kaže se v tem, da znamo dobro vprašati, prepoznati, kdaj sistem prodaja nesmisel, preveriti vir in popraviti napako. To so nove veščine. A če smo iskreni, so to veščine urednika, ne pisca. In družba, ki vzgoji množico urednikov in nobenega pisca, na koncu ostane z veliko lepimi besedili, ki ne pomenijo nič, ker za njimi ni nikogar, ki bi imel kaj povedati." (Vir: 140)
 

[Vse]

"Vsak algoritem, ki vam predlaga naslednji video na YouTubu, naslednjo objavo na Instagramu ali naslednjo novico na zaslonu, ni nedolžen pomočnik. Je natančen mehanizem usmerjanja pozornosti, ki analizira vašo psihologijo, beleži vaše odzive, išče razpoke v vaši pozornosti in vas skoraj neopazno potiska vedno dlje - ne proti resnici, ne proti modrosti, temveč proti tistemu, kjer boste ostali dlje časa.
Povprečen človek danes sprejme več kot sto mikro odločitev na dan, ki jih v resnici sploh ne sprejme sam. Kaj bo pogledal, kaj bo prebral, na kaj bo kliknil, kaj ga bo razjezilo, kaj si bo zapomnil. Cilj teh algoritmov ni resnica. Cilj je pozornost. Pozornost pa je danes nova valuta." (Vir: 140)
 

[Vse]

"In v tej enačbi obstaja nekaj, o čemer govorimo premalo. Časa, ki ga izgubimo, ko se z nami igrajo algoritmi in nas z novimi dražljaji držijo pred zasloni, nam ne bo povrnil nihče. To niso samo izgubljene minute. To so dnevi, ki bi jih lahko preživeli z družino. Ure, ki bi jih lahko podarili prijateljem. Trenutki, ki bi jih lahko namenili svojim mislim in svojemu telesu.
Pomislite, ali ste že kdaj slišali za človeka, ki je v zadnjih urah svojega življenja obžaloval, da ni bil več pred zaslonom. Verjetno ne. In bojim se, da se bo marsikdo te prevare zavedel šele takrat, ko bo prepozno za vračanje." (Vir: 140)
 

[Vse]

"Imam pa ob tem še eno zelo osebno zadrego - bolj črni humor. Kot avtor, ki precej odkrito opozarja na nevarnosti umetne inteligence, si sploh ne upam pomisliti, da bi imel kdaj doma humanoidnega robota. Nikoli ne bi vedel, kaj ta načrtuje in kakšne načrte ima z mano." (Vir: 140)
 

[Vse]

"Pred umetno inteligenco je bila proizvodnja prepričljive laži draga. Potrebovali ste novinarja, ki je pripravljen lagati, ali propagandista, ki zna pisati, ali vsaj nekoga, ki obvlada jezik dovolj dobro, da ga bralec vzame resno.
Danes sistem v eni uri ustvari tisoč člankov, ki so videti kot novinarsko delo z naslovi, viri, citati, ki ne obstajajo, a zvenijo, kot da bi morali. Vsak članek je prilagojen drugemu bralcu, drugi skupini, drugemu strahu. Ne ena laž za vse. Tisoč laži, vsaka skrojena po meri." (Vir: 140)
 

[Vse]

"Predstavljajte si humanoidnega robota na bojišču, nasproti človeku. Brez strahu, brez utrujenosti, brez dvoma in brez čustev." (Vir: 140)
 

[Vse]

"Država, ki zna ohromiti energetsko omrežje, komunikacije ali finančni sistem druge države, ne potrebuje več vojakov. Potrebuje le dovolj dober model in dovolj jasen cilj. In ko takšno zmogljivost dobi več akterjev obenem, svet ne postane le nevarnejši. Postane bolj krhek - ker nihče ne ve, kdo napada, od kod in zakaj." (Vir: 140)
 

[Vse]

"In morda je najnevarnejši scenarij tisti, ki ni dramatičen. Umetna inteligenca ničesar ne naredi narobe. Preprosto deluje vedno bolje. Pomaga. Predlaga. Odloča. In nekega dne se vprašanje ne glasi več, kdo ima oblast - temveč ali beseda oblast sploh še pomeni tisto, kar je pomenila, ko so odločali ljudje." (Vir: 140)
 

[Vse]

"'Tekma z umetno inteligenco se bo v marsičem izkazala za nevarnejšo od jedrske, ker superinteligence morda ne bomo prepoznali, dokler ne bo prepozno.'
Sam Altman, soustanovitelj in direktor OpenAI, 2025" (Vir: 140)
 

[Vse]

"Na eni strani ceste so Združene države Amerike. Domovina OpenAI, Anthropica, Googla, Mete in Microsofta. Pet podjetij, ki med seboj tekmujejo bolj kruto kot večina držav, a ki v globalnem merilu tvorijo en sam blok: ameriško prvo bojno linijo umetne inteligence. Njihovi modeli so se učili na angleškem internetu, na zahodnih knjižnicah, na podatkih, ki jih je produciral zahodni svet." (Vir: 140)
 

[Vse]

"Najnaprednejši čipi na svetu, brez katerih ni mogoče trenirati najnaprednejših modelov, nastajajo na otoku, ki je od Kitajske oddaljen sto štirideset kilometrov. Samo sto štirideset kilometrov. To je razdalja, ki jo prepelje taksi. In ta otok je središče globalne oskrbovalne verige za inteligenco prihodnosti.
Če bi se na Tajvanu zgodila naravna katastrofa, vojaški konflikt ali samo trimesečni izpad proizvodnje, bi se razvoj umetne inteligence po vsem svetu ustavil. Ne upočasnil. Ustavil. To ni geopolitika v učbeniškem smislu. To je ranljivost civilizacije, stlačena v eno samo točko na zemljevidu." (Vir: 140)
 

[Vse]

"Na drugi strani ceste je Kitajska. In tu mora biti vsak pošten avtor izjemno previden, ker je enostavno zdrsniti bodisi v naivnost bodisi v paranojo.
Kitajska vlaga ogromna sredstva v umetno inteligenco. Njeni laboratoriji - DeepSeek, Baidu, Alibaba, Tencent in drugi - razvijajo lastne modele, ki v nekaterih testih že dosegajo ali presegajo zahodne." (Vir: 140)
 

[Vse]

"Kitajski model je urejen. Država določa smer. Laboratoriji sledijo. Regulacija je hitra, včasih brutalna. Zasebnost je koncept, ki ga država razume drugače kot zahod - ne kot pravico posameznika, temveč kot vir, ki ga je mogoče uporabiti za skupno dobro, pri čemer skupno dobro definira država. ... Tu pa se je treba vprašati, kaj ta isti pristop pomeni v globalni tekmi." (Vir: 140)
 

[Vse]

"In prav tu nastane vprašanje, ki ga zahod noče slišati: 'Kaj, če ima kitajski model prednost?'
Ne moralno. Ampak strateško. Sistem, ki ima dostop do podatkov milijarde in pol ljudi brez omejitev zasebnosti, ki lahko usmeri vso infrastrukturo v en sam cilj, ki mu ni treba čakati na kongresne razprave ali javne polemike, ki lahko preprosto naredi - tak sistem ima v tekmi za superinteligenco strukturno prednost. Demokracija je počasna. Avtokracija je hitra. In v dirki, kjer šteje hitrost, je počasnost ranljivost." (Vir: 140)
 

[Vse]

"Toda to ni celotna slika. Ameriški kaos ima svojo prednost - raznolikost. Ko pet podjetij tekmuje po petih različnih poteh, je verjetnost, da eno od njih najde preboj, večja, kot če ena država predpiše eno pot. Kitajska urejenost pa ima svojo slabost - krhkost.
Sistem, ki mu ni treba poslušati kritike, pogosto ne sliši opozoril. In ko napaka pride - pride tiho, globoko in brez vnaprejšnjega alarma." (Vir: 140)