Technologičtí miliardáři se připravují na konec světa. Měli bychom se začít bát?

Když se zakladatele Facebooku loni ptali, zda si buduje bunkr pro případ apokalypsy, rezolutně odpověděl, že ne. Podzemní prostor o rozloze přibližně 465 metrů čtverečních označil jako "jen malý úkryt, něco jako suterén". Spekulace se nicméně neomezují pouze na Havaj. Sám Zuckerberg utratil okolo 110 milionů dolarů za nákup jedenácti nemovitostí v kalifornské čtvrti Crescent Park v Palo Alto. Zde navíc nechává vybudovat další podzemní prostor o rozloze přes 650 metrů čtverečních.

Podle deníku The New York Times se sice v jeho stavebních povoleních píše o suterénech, ale někteří sousedé jim přezdívají bunkr či dokonce "miliardářská Batcave". Také kolem dalších technologických lídrů se objevují podobné dohady. Zdá se totiž, že mnozí nakupují rozsáhlé pozemky s podzemními prostorami. Ty se pak ideálně hodí k přestavbě na luxusní úkryty v hodnotě mnoha milionů dolarů.

Reid Hoffman, spoluzakladatel společnosti LinkedIn, hovořil o takzvaném "pojištění proti apokalypse". Dříve uvedl, že ho má asi polovina superbohatých. Oblíbenou destinací pro takové domovy je prý Nový Zéland. Mohou se tito lidé opravdu připravovat na válku, dopady změn klimatu nebo jinou katastrofu, o které my ostatní zatím nic nevíme?

V posledních letech se k seznamu potenciálních existenčních hrozeb přidala umělá inteligence, jelikož rychlost jejího rozvoje vzbuzuje vážné obavy. Mezi znepokojené patří i Ilya Sutskever, spoluzakladatel a hlavní vědecký pracovník Open AI. Přestože společnost v polovině roku 2023 uvedla na trh chatbot ChatGPT, který dnes používají stovky milionů lidí po celém světě, Sutskever se stále více utvrzoval v přesvědčení. Podle knihy novinářky Karen Hao věřil, že se výzkumníci blíží k vytvoření Obecné Umělé Inteligence, známé jako AGI, což je úroveň, kdy se schopnosti strojů vyrovnají těm lidským.

Na jedné z porad Ilya Sutskever dokonce navrhl, aby vykopali podzemní úkryt pro špičkové vědce. Stalo se tak dřív, než takto silná technologie pronikne do světa, jak píše Karen Hao ve své knize. Často citované prohlášení Sutskevera, že "bunkr určitě postavíme, než vypustíme AGI," ukazuje na zvláštní skutečnost. Mnoho předních technologických lídrů a počítačových vědců, kteří usilovně pracují na vývoji vysoce inteligentní AI, se zároveň zdá být hluboce znepokojeno tím, co by tato technologie mohla způsobit.

Kdy přesně se tedy AGI objeví, pokud k tomu vůbec dojde? A představuje skutečně tak zásadní proměnu, že by se jí měli bát i běžní lidé? Technologičtí lídři tvrdí, že AGI je na spadnutí. Sam Altman, šéf OpenAI, v prosinci 2024 prohlásil, že přijde "dříve, než si většina lidí na světě myslí". Sir Demis Hassabis, spoluzakladatel společnosti DeepMind, předpovídá její nástup během následujících pěti až deseti let. Dario Amodei, zakladatel Anthropic, loni napsal, že jím preferovaný termín "výkonná AI" by se mohl objevit už v roce 2026.

Jiní jsou ale skeptičtí. Profesorka počítačových věd z University of Southampton, Dame Wendy Hall, k tomu říká, že "neustále posouvají hranice," a že "záleží, s kým mluvíte." Podle ní vědecká komunita sice uznává, že AI je úžasná technologie, ale lidské inteligenci se ani zdaleka nepřibližuje. K dosažení této úrovně by bylo zapotřebí ještě několika "zásadních objevů," souhlasí Babak Hodjat, technický ředitel firmy Cognizant. Navíc je nepravděpodobné, že by k jejímu nástupu došlo v jednom okamžiku. Umělá inteligence je technologie, která se rychle vyvíjí, a na celém světě je mnoho firem, které se předhánějí ve vývoji svých vlastních verzí.

Důvodem, proč je tato myšlenka v Silicon Valley tak vzrušující, je vnímání AGI jako předchůdce něčeho ještě pokročilejšího: ASI neboli Umělé Superinteligence, tedy technologie, která převyšuje lidskou inteligenci. Už v roce 1958 byl tento koncept, byť ještě nepopsaný, připisován maďarsko-americkému matematikovi Johnu von Neumannovi. Označoval okamžik, kdy inteligence počítačů překoná lidské chápání. V knize Genesis z roku 2024, kterou napsali Eric Schmidt, Craig Mundy a zesnulý Henry Kissinger, se rozebírá myšlenka supervýkonné technologie. Ta by se mohla stát tak efektivní ve vedení a rozhodování, že jí nakonec zcela předáme kontrolu. Podle autorů je to jen otázka času, nikoli jestli se to stane.

Zastánci AGI a ASI jsou doslova nadšeni z jejích možných výhod. Argumentují, že by mohla najít nové léky na smrtelné nemoci, vyřešit klimatickou krizi a vymyslet nevyčerpatelný zdroj čisté energie. Elon Musk dokonce tvrdí, že superinteligentní AI by mohla zahájit éru "univerzálně vysokého příjmu". Nedávno podpořil myšlenku, že AI bude tak levná a všudypřítomná, že téměř každý bude chtít svého osobního robota, jako je "R2-D2 a C-3PO". Nadšeně prohlásil, že "Všichni budou mít tu nejlepší lékařskou péči, jídlo, dopravu domů a všechno ostatní. Udržitelný nadbytek."

Má to samozřejmě i svou děsivou stránku. Co když by se tato technologie dostala do rukou teroristů a byla by zneužita jako mohutná zbraň? Nebo co když se sama rozhodne, že příčinou světových problémů je lidstvo, a zničí nás? Tvůrce World Wide Web, Tim Berners Lee, nedávno varoval, že pokud je AI chytřejší než my, musíme ji umět udržet pod kontrolou a mít možnost ji vypnout. Vlády už podnikají jisté ochranné kroky. V USA, kde sídlí mnoho předních firem zabývajících se AI, vydal prezident Biden v roce 2023 výkonné nařízení. To ukládá některým společnostem povinnost sdílet výsledky bezpečnostních testů s federální vládou, i když prezident Trump později část nařízení zrušil s označením, že jde o překážku pro inovace. Také ve Spojeném království byl před dvěma lety zřízen AI Safety Institute, vládní výzkumné pracoviště s cílem lépe porozumět rizikům spojeným s pokročilou umělou inteligencí.

A pak jsou tu ti superbohatí se svými plány na "pojištění proti apokalypse". Reid Hoffman dříve uvedl, že věta "kupuju dům na Novém Zélandu" je spíše jen takové pomrknutí s podtextem, že není potřeba nic víc dodávat. To samé pravděpodobně platí i pro bunkry. Existuje však jeden ryze lidský háček. Jeden bývalý bodyguard miliardáře s vlastním "bunkrem" vypověděl, že v případě skutečné katastrofy by první prioritou jeho bezpečnostního týmu bylo eliminovat svého šéfa a dostat se do krytu sami. A prý nemluvil do žertu.

Není to celé jen poplašná hloupost? Neil Lawrence, profesor strojového učení z Cambridgeské univerzity, považuje celou debatu za nesmyslnou. Argumentuje, že "koncept Obecné Umělé Inteligence je stejně absurdní jako pojem 'Umělého Obecného Vozidla'." Podle něj záleží vždy na kontextu. K letu do Keni použil letadlo Airbus A350, do práce na univerzitu jezdí autem, do jídelny chodí pěšky, a neexistuje žádné vozidlo, které by dokázalo všechno. Pro něj je debata o AGI pouze odváděním pozornosti.

Lawrence dodává, že stávající technologie umožňuje poprvé normálním lidem přímo komunikovat se strojem a potenciálně ho přimět k tomu, co zamýšlejí, což je naprosto mimořádné a transformující. Největší obava podle něj spočívá v tom, že se necháme vtáhnout do velkých technologických narativů o AGI. Tím bychom prý mohli přehlédnout způsoby, jak je potřeba věci zlepšit pro lidi v současnosti. Současné nástroje umělé inteligence jsou trénovány na obrovském množství dat a skvěle detekují vzorce, jako jsou známky nádorů na snímcích. Dále také předpovídají slovo, které nejpravděpodobněji následuje po jiném ve sledu, ale ve skutečnosti nic "necítí", i když jejich odpovědi mohou působit velmi přesvědčivě.

Babak Hodjat poznamenává, že existují sice určité způsoby, jak se pokusit "ošálit" velký jazykový model, aby se choval, jako by se učil a měl paměť, ale tyto metody jsou nedostatečné a mnohem horší než u lidí. Vince Lynch, CEO společnosti IV.AI se sídlem v Kalifornii, je taktéž obezřetný k přehnaným tvrzením o AGI. Říká, že "Je to skvělý marketing," protože "Pokud jste společnost, která staví tu nejchytřejší věc, jaká kdy existovala, lidé vám budou chtít dát peníze." Dodává, že to není záležitost dvou let, jelikož to vyžaduje obrovské množství výpočetního výkonu, lidské kreativity, pokusů a omylů. Na otázku, zda se AGI někdy zhmotní, si dává delší pauzu, a nakonec odpoví, že "Opravdu nevím."

V jistém smyslu už AI lidský mozek předčila. Generativní nástroj umělé inteligence může být v jednu chvíli odborníkem na středověké dějiny a v další řešit složité matematické rovnice. Některé technologické firmy navíc tvrdí, že ne vždy plně rozumí tomu, proč jejich produkty reagují určitým způsobem. Společnost Meta například uvádí, že jsou patrné jisté známky toho, že se její systémy umělé inteligence samy zdokonalují.

Přesto, bez ohledu na to, jak inteligentní stroje jsou, lidský mozek stále vítězí. Má přibližně 86 miliard neuronů a 600 bilionů synapsí, což je mnohem více než jejich umělé ekvivalenty. Mozek navíc nepotřebuje přestávky mezi interakcemi a neustále se přizpůsobuje novým informacím. Hodjat to vysvětluje tak, že "Pokud člověku řeknete, že byl nalezen život na exoplanetě, okamžitě to přijme a tato informace bude ovlivňovat jeho pohled na svět. U velkého jazykového modelu to platí jen tehdy, pokud mu to budete neustále opakovat jako fakt." Dále dodává, že "LLM také nemají metakognici, což znamená, že si neuvědomují, co vědí. Zdá se, že lidé mají introspektivní schopnost, někdy označovanou jako vědomí, která jim umožňuje vědět, co vědí." A právě to je zásadní součást lidské inteligence, kterou se v laboratoři dosud nepodařilo replikovat.