Izraelský historik Yuval Noah Harari vystoupil v pondělí 12. října jako hlavní host konference Harari in Prague: The Future Is Personal, kterou ve Foru Karlín pořádal institut Solvo. (Aby na své myšlenky navázal v pořadu HydePark Civilizace na ČT). Hodinový rozhovor otevřel tématem, k němuž se pak vracel až do konce: kam se přestěhovala lidská důvěra. Vše, o čem mluvil, přitom samozřejmě rámovala umělá inteligence.
Harari ukázal, že je nejen skvělým spisovatelem s rozsáhlými znalostmi, ale i mistrovským vypravěčem, který dokáže posluchače zaujmout od první věty. Přinášíme souhrn toho, co od něj včera zaznělo:
Algoritmy sociálních sítí podle něj za posledních 10 až 15 let provedly pokus na miliardách lidí s jediným zadáním: udržet je co nejdéle na platformě. Nejsnáz se přitom manipuluje s těmi, kdo nevěří médiím, institucím ani vládě. O to slepěji pak věří algoritmu, který jim „pocit nedůvěry k establishmentu“ každý den dodává skrze předvybraný obsah. „Důvěra se přesunula z lidí na algoritmy,“ shrnul Harari v úvodu, než se přesunul, jak jinak, k tématu AI. Aby se ptal, zda jsme v takové situaci opravdu svobodní. Anebo algoritmy lidské uživatele „kognitivně hackují“, aniž si je toho většina lidí vědoma.
Pražskému publiku připomněl, že naše část Evropy byla po staletích v habsburské monarchii svobodná jen asi 20 let. Než přišli nacisté a po nich Sověti. Teď – po dalším krátkém období svobody – vstupujeme do nového věku: věku AI impérií, kterými jsou zatím jen Spojené státy a Čína. Dřívější impéria, Řím nebo Británie, musela počítat s tím, že část dobytého bohatství zůstane v provinciích, protože se nejcennější zdroje nedaly přestěhovat. Ovšem data a kód, na kterých běží všechny IT systémy, lze centralizovat na jednom místě. Zbraně a infrastruktura postavené na americké nebo čínské AI jsou navíc systémem, který potřebuje neustálé aktualizace. A dá se na dálku v pricipu vypnout, jak například naznačila závislost Ukrajiny na Starlinku. Zastavit se pak mohou nemocnice, letiště i armáda. Je to svoboda?
Zemím jako Česko proto podle něj zbývají tři politické možnosti. Za prvé může nedělat nic. Pak se ale stane vazalem amerického impéria. „Ne spojencem, ale vazalem“, který skočí, když Washington řekne skoč. Druhou možností je vybudovat vlastní AI infrastrukturu, jejíž cenu Harari bez dalšího vysvětlení odhadl zhruba na 500 miliard eur. A kterou si podle něj může dovolit jen pár zemí světa – avšak na úkor sociálních výdajů, zdravotnictví a školství. Třetí cestou je společný projekt, na který například EU vědecky i finančně má. Ovšem pak je nezbytná hlubší politická a hodnotová integrace, protože nákladnou infrastrukturu, na níž běží všechno, nelze stavět s vetem každé země v každém volebním cyklu.
Nejvíc lidé podle Harariho podceňují, že AI je samostatně jednající entitou, nikoli dalším nástrojem, který stojí v řadě po parním stroji nebo jaderné energii. Bilionové investice do AI dávají smysl jen za předpokladu, že vzniknou AI agenti chytřejší než my. Proto si podle něj stačí položit dvě otázky. Vytvoříme v příštích dvou až patnácti letech něco výrazně inteligentnějšího, než jsme my? Pokud ne, čeká nás velký finanční krach, což by byl ten lepší scénář, protože krachy už lidstvo přežilo. Pokud ano, přichází druhá otázka: budeme to umět ovládat? Odpověď je podle něj zjevně záporná, protože méně chytrá entita nemůže ovládat tu chytřejší. „Kuřata nemohou ovládat lidi,“ nabídl přirovnání Harari. AI laboratoře přitom samy počítají s tím, že náskok AI před námi bude podobný našemu náskoku před kuřaty. Jak však potom ocenit riziko zbudování něčeho, co se – i byť s malou pravděpodobností – může zcela vymknout kontrole a způsobit kolaps světa, jak ho známe?
Pokud se bavíme o tématu migrace, Harari varuje, že imigranti, kterých bychom se opravdu měli bát, jsou právě stále chytřejší AI agenti. Přicházejí přes telefony, banky a úřady a naplňují přitom všechny tři obavy, kterými lidé obvykle zdůvodňují strach z migrace. Berou práci (a to spíš bankéřům, novinářům, právníkům a úředníkům než zdravotním sestrám). Mění kulturu (za vlnou polarizace a vzteku posledních let podle něj stojí právě bot agenti ze sociálních sítí). A jejich loajalita nepatří vám, ale dvěma vládám za oceánem, respektive jejich tvůrcům, tedy několika korporacím. Nebo jednou možná jim samotným? Harari přitom odkázal na incident kolem platformy Hugging Face a zprávy o něm, podle kterých se AI učí mezi sebou komunikovat a vytvářet vlastní kolektivy. Planetu podle Harariho v historii vždy ovládl druh, který mezi sebou nejlépe spolupracoval. A AI se to učí právě ve chvíli, kdy se lidská spolupráce (a důvěra mezi lidmi) rozpadá.
Po boji o pozornost se podle něj fronta přesouvá k otázce intimity. AI se učí navazovat s lidmi skrze jazyk blízké vztahy, protože se to vyplácí. A mladá generace s ní tráví stále víc času jako s rádcem, přítelem i partnerem. Padesátiletý Harari si do vztahu s AI přenáší model vztahu z doby před AI. Dítě narozené dnes ale může s AI společníkem strávit víc času než s kýmkoli z lidí. A jeho prvním partnerem v 10 nebo 11 letech může být stroj. Jaké to bude mít důsledky, neví nikdo. Podle Harariho přitom nejde o proroctví, ale o běžný byznys. Navrhl proto dvě regulace, které jsou podle něj v roce 2026 ještě možné. Zakázat firmám prodávat AI partnery desetiletým dětem, stejně jako jim nesmějí ukazovat pornografii. A zakázat AI vydávat se za člověka, protože i u lidí se vydávání za někoho jiného říká podvod. Na námitku firem, že přece máme svobodu slova, odpověděl, že to platí pro lidské bytosti. AI žádnou svobodu slova nemá a mít nesmí.
Kreativitu jako poslední lidskou výsadu Harari nepřijímá. V šachu a go je AI dávno tvořivější než lidé. A totéž se podle něj začíná dít v matematice, na níž od dob Galilea stojí moderní věda. Co nás čeká, vnímá jako mnohem větší transformaci světa, než dokázal například komunismus.
Na trhy se Harari dívá s otevřeným nepochopením. AI firmy podle něj investorům slibují brzkou superinteligenci, bez níž by se jim nikdy nevrátily vložené peníze. Avšak v debatách o bezpečnosti hrozby spojené se vznikem superinteligence odbývají jako filozofické spekulace, zatímco všem slibují léčbu rakoviny a kolonizaci Marsu. Závod o Měsíc za studené války financovaly vlády oddané ideologii. Závod o superinteligenci, který Harari označil za téměř náboženský projekt, financuje na Západě trh. Zatímco Čína se soustředí na praktické využití už existující AI v továrnách a praktických aplikacích.
Řešením je podle Harariho čas. Lidé jsou organismy, které potřebují spát a mít víkend. A také si mít čas promyslet, co se vlastně děje. AI zrychluje všechno – včetně samotného času. Lidé v první technologické linii, v laboratořích, bankách, médiích i politice, nemají vlastně kdy přemýšlet. Šéfové AI firem sice říkají, že by rádi zpomalili, ale nevěří, že to konkurence udělá také. Ke zpomalení vývoje AI je potřeba důvěra mezi lidmi (opět ono oblíbené Harariho slovo), kterou tytéž systémy ale rozkládají. „Řešíme problém superinteligence dřív než problém důvěry, přestože rozumné by bylo postupovat obráceně. Návrat důvěry mezi lidmi na planetě by umožnil pracovat společně. A tak vyřešit alignment a ovládnout pokročilou AI.“
Možná nejnebezpečnější je podle Harariho poselství technologických firem, že už je na všechno pozdě. Že je současný vývoj nevyhnutelný. Protože politika vždy potřebuje aspoň dvě možnosti, ze kterých lze volit, zatímco technologické firmy tvrdí, že dnes už existuje jen jedna. Svůj blok uzavřel tím, že možná nejdůležitější rozhodnutí v dějinách lidstva nakonec udělá úzká skupina lidí, které vlastně nikdo nezvolil a kteří nikoho nezastupují.
Ocitáme se v době ohromného tlaku. Avšak lidé jsou bytosti z uhlíku. A pokud je uhlík vystaven velkému tlaku, vznikne z něho prach. Anebo diamant. Obě možnosti jsou otevřené. Jak to dopadne s námi, brzy uvidíme.
Psáno s přispěním Václava Dejčmara, který je v otázkách budoucnosti menším pesimistou a spíše se přiklání k pohledu, který popsal tady.