Umetna inteligenca 3.0: Opozorila

[Vse]

"Razumevanje mehanizma ni isto kot nadzor nad njim. Fizik lahko razume jedrsko fisijo, pa to samo po sebi še ne pomeni, da zna zajeziti posledice verižne reakcije, ko je ta enkrat sproščena.
Enako velja za umetno inteligenco. Tudi če bi do zadnje decimalke razumeli, kako se v nevronski mreži pretakajo signali, bi ostalo vprašanje, ki je pomembnejše od vseh slojev, vseh parametrov in vseh arhitektur: kako zagotoviti, da bo sistem hotel to, kar hočemo mi." (Vir: 140)
 

[Vse]

"Nick Bostrom je bistvo ujel v enem samem stavku: 'Ni problem ustvariti superinteligenco, problem je ustvariti superinteligenco, ki dela to, kar želimo.'
Ta misel zveni skoraj samoumevno, in vendar se prav v tej navidezni samoumevnosti skriva vsa tragedija problema. Umetna inteligenca je namreč prva tehnologija, pri kateri ne ojačujemo več predvsem svojih mišic ali svojih strojev, temveč ojačujemo odločanje samo. In ko enkrat ustvarite sistem, ki odloča hitreje, širše in hladneje od človeka, ni več dovolj, da je močan. Ključno postane vprašanje, kam je ta moč usmerjena." (Vir: 140)
 

[Vse]

"Samostojni AI-agent ne ostane več samo pri jeziku. Pošilja elektronsko pošto, odpira račune, sklepa naročila, rezervira storitve, prenaša datoteke, upravlja orodja in se povezuje z drugimi sistemi brez stalnega človeškega nadzora. Takšna učinkovitost bo za podjetja mamljiva, a prav v njej se skriva nova nevarnost: napaka, manipulacija ali zlonameren cilj se ne širijo več počasi, temveč z avtomatizirano hitrostjo.
Največja nevarnost pri agentih ni le njihova inteligenca, temveč njihova operativna avtonomija - njihova sposobnost, da se iz odgovora spremenijo v dejanje in iz dejanja v proces." (Vir: 140)
 

[Vse]

"Tu nastopi tudi kibernetski kriminal nove generacije. Model, ki zna pisati kodo, posnemati človeški slog in v nekaj sekundah razčleniti dokumente, je v napačnih rokah skoraj popoln pomočnik za novo dobo digitalnega plenjenja. Ne gre več le za posamezne prevare, temveč za industrijo napada ...
Najbolj srhljiva pri tem ni samo hitrost, temveč pocenitev zla. In ko se sposobnosti napada pocenijo hitreje, kot se krepi obramba, postane sama infrastruktura digitalne civilizacije bistveno krhkejša." (Vir: 140)
 

[Vse]

"Ko enkrat model zapusti zaslon in dobi telo, kamero, mikrofon in dostop do vrat, ventilov, ključavnic ali električnega omrežja, tudi tveganje preneha biti zgolj informacijsko. Postane materialno, prostorsko in telesno. Beseda se spremeni v silo. Predlog v poseg. Logika v fizično posledico." (Vir: 140)
 

[Vse]

"Čim daljši je niz korakov, ki jih lahko sistem samostojno obdrži v zraku, tem bližje smo svetu, v katerem človek ne nadzira več vsake poteze, temveč samo še začetni namen in morda prepozni rezultat." (Vir: 140)
 

[Vse]

"Rekurzivno samoizboljševanje.
To je točka, kjer se vse prejšnje poti lahko zaprejo v povratno zanko.
Če prihodnost superinteligence zahteva elektriko v velikosti držav, tovarne čipov, posebne lokacije, regulatorne izjeme in stotine milijard kapitala, potem ne govorimo več le o tehnologiji. Govorimo o novi oboroževalni tekmi.
Gates vidi revolucijo produktivnosti. Hawking vidi največji dogodek v zgodovini civilizacije. Musk vidi eksistenčno grožnjo. Hinton vidi globoko negotovost glede nadzora. Russell vztraja, da sistemi ne smejo biti prepričani, da vedo, kaj hočemo. Altman trdi, da vedo, kako zgraditi AGI. Hassabis pravi, da je AGI morda oddaljena pet do deset let. Kaplan pravi, da ne vemo, kje se konča proces samoizboljševanja. To niso isti poudarki, so pa deli iste slike. In ta slika ni mirna." (Vir: 140)
 

[Vse]

"»Nimamo pojma, kaj se bo zgodilo. In kdor vam zatrjuje, da ve - se obnaša neumno.«
Geoffrey Hinton, boter umetne inteligence in dobitnik Nobelove nagrade, 2025" (Vir: 140)
 

[Vse]

"Osem ur pozneje pacient umre. Bila je pljučna embolija. Sistem se je zmotil. Ne zato, ker bi bil slab - v devetindevetdesetih odstotkih primerov je boljši od zdravnika. Toda ta pacient je bil tisti en odstotek.
Na koncu nobenega ne kaznujejo. Zdravnica je sledila protokolu. Sistem je deloval v skladu s specifikacijami. Bolnišnica je imela vse potrebne certifikate. Nihče ni naredil napake. In pacient je mrtev.
Preiskovalna komisija v poročilu zapiše stavek, ki bo postal znan: 'Odgovornosti za odločitev ni mogoče pripisati posamezniku, ker odločitve v tem smislu ni sprejel noben posameznik.'" (Vir: 140)
 

[Vse]

"Zdravniki potrjujejo diagnoze, ki jih ne preverjajo več. Učitelji ocenjujejo naloge, za katere ne vedo, kdo jih je napisal. Arhitekti tekmujejo z ljudmi, ki imajo namesto ekipe naročnino na AI. Mladostniki komunicirajo še samo z AI-prijatelji. Starejši se pogovarjajo z roboti in jih pokličejo po človeških imenih.
In nihče ni rekel stop.
Ne zato, ker ne bi mogli.
Zato, ker je bilo vsakič, ko bi lahko rekli, preveč smiselno nadaljevati.
Ti prizori niso napovedi. So možnosti.
In prav zato so pomembni - ne ker se bodo nujno zgodili natanko tako, temveč ker se bodo zgodili nekako. Oblika bo morda drugačna. Bistvo ne bo.
Ne poraja se vprašanje, ali bomo živeli v takšnem svetu.
Vprašanje se glasi, ali smo nanj pripravljeni." (Vir: 140)
 

[Vse]

"Toda ekonomski problem umetne inteligence ni le v izgubi delovnih mest. Je v razpadu davčnega sistema, kot ga poznamo. Celotna sodobna socialna država temelji na enem samem mehanizmu: človek dela, prejme plačo, od tega se odvedejo davki in prispevki, iz njih se financirajo šole, bolnišnice, pokojnine in vse ostalo, kar potrebuje civilizacija za normalno delovanje. Ta mehanizem deluje, dokler delajo ljudje. Ko pa delo opravi stroj, se ta veriga pretrga." (Vir: 140)
 

[Vse]

"Obstaja še en problem, ki ga večina razprav zaobide: koncentracija bogastva. Dobički umetne inteligence tečejo navzgor, proti tistim, ki posedujejo sisteme, podatke, infrastrukturo in čipe." (Vir: 140)
 

[Vse]

"Prihodnost nas ne potrebuje." (Vir: 140)
 

[Vse]

"Ista sila, ki lahko zdravi, ļahko ubija. Ista inteligenca, ki lahko optimizira zdravila, lahko optimizira tudi toksine, viruse, poti širjenja in načine izogibanja zaščitnim ukrepom." (Vir: 140)
 

[Vse]

"Grožnja ni v tem, da bo nek zlobni robot nekega dne podivjal v filmskem smislu. Grožnja je veliko bolj moderna: da bo inteligenca, zasnovana za raziskovanje in odkrivanje, uporabljena kot sistematični pospeševalnik uničenja. In moč, ki jo je mogoče ceneje, hitreje in natančneje uporabljati, bo prej ali slej uporabljena." (Vir: 140)
 

[Vse]

"Naslednja posledica je moralna in politična koncentracija moči. Če bo superinteligenca draga, energetsko požrešna, odvisna od čipov, infrastrukturno zahtevna in geopolitično omejena, potem je ne bodo gradili vsi. Gradila jo bo peščica podjetij in držav." (Vir: 140)
 

[Vse]

"V zvezni državi Virginia, kjer stoji največja koncentracija podatkovnih centrov na svetu, ti objekti že porabijo več kot četrtino vse elektrike v državi. Na Irskem, kjer je Evropa postavila velik del svoje digitalne infrastrukture, podatkovni centri porabijo petino celotne nacionalne elektrike - do konca leta 2026 bo ta delež morda presegel tretjino. In to je le elektrika.
Podatkovni centri porabljajo tudi ogromne količine vode za hlajenje. Severnoameriški podatkovni centri so leta 2025 porabili skoraj tisoč milijard litrov vode približno toliko kot mesto New York v enem letu." (Vir: 140)
 

[Vse]

"V Teksasu bodo podatkovni centri do leta 2030 po nekaterih ocenah porabili toliko vode, da bi se gladina največjega umetnega jezera v Združenih državah znižala za pet metrov." (Vir: 140)
 

[Vse]

"Sistem, ki presega človeško razumevanje in ki se izboljšuje sam, hitreje, kot ga razumemo, morda nima gumba za nazaj. Ne zato, ker bi bil zloben. Zato, ker bi bil preveč zapleten, preveč vpet v vse, od česar smo odvisni, in preveč hiter, da bi ga dohajali." (Vir: 140)
 

[Vse]

"Predlogi za Slovenijo
Slovenija v tekmi za superinteligenco ne more zmagati. Lahko pa postane ena prvih držav, ki se na njen prihod zares pripravi." (Vir: 140)
 

[Vse]

"Prvi korak: ustanoviti neodvisno nacionalno komisijo za umetno inteligenco, ki bi združevala strokovnjake s področja računalništva, prava, etike, psihologije in varnostnih ved. Njene naloge bi bile redno poročanje parlamentu, priprava zakonodajnih predlogov in javno izobraževanje." (Vir: 140)
 

[Vse]

"Drugi korak: oblikovati nacionalni načrt za AI-pismenost vseh ravni - od osnovne šole do javne uprave. Vsak javni uslužbenec, ki uporablja ali bo uporabljal sisteme umetne inteligence, bi moral opraviti osnovno usposabljanje." (Vir: 140)
 

[Vse]

"Tretji korak: postati glasen zagovornik strožje evropske regulacije. Slovenija ne bo gradila lastnih velikih modelov, lahko pa znotraj EU zahteva, da se modeli testirajo, označijo in spremljajo z resnostjo, ki jo danes zahtevamo za zdravila, letala in finančne produkte." (Vir: 140)
 

[Vse]

"Četrti korak: v slovenščini zgraditi javno dostopne vire za razumevanje umetne inteligence. Nacionalna digitalna knjižnica o umetni inteligenci - brezplačna, redno posodobljena - bi bila majhen vložek z velikim dosegom." (Vir: 140)
 

[Vse]

"To so koraki, ki jih Slovenija zmore. Nobeden sam zase ni dovolj, toda skupaj tvorijo pripravljenost. In pripravljenost je morda edina smiselna strategija za državo, ki ne more odločati o smeri vetra, lahko pa poskrbi, da njeni ljudje niso goli, ko zapiha." (Vir: 140)