Co se stane, až se umělá inteligence vymkne kontrole? Vědci promluvil o existenční hrozbě pro lidstvo

Umělá inteligence (AI)
Umělá inteligence (AI), foto: Pixabay
Klára Marková 12. května 2025 11:26
Sdílej:

Max Tegmark, fyzik a přední zastánce bezpečnosti umělé inteligence, přichází s vážným varováním: technologické firmy vyvíjející superinteligentní AI musí začít přistupovat k vyhodnocování rizik stejně zodpovědně, jako to učinili vědci před prvním testem atomové bomby. Jinak podle něj hrozí, že se vývoj vymkne kontrole a lidstvo se ocitne tváří v tvář existenční hrozbě, na kterou nebude připraveno.

Inspirací pro jeho výzvu jsou výpočty fyzika Arthura Comptona z roku 1945. Ten tehdy pomáhal rozhodovat, zda provést první jaderný test Trinity. Fyzikové se tehdy obávali, že by mohlo dojít ke katastrofě v podobě zažehnutí atmosféry, což by znamenalo konec života na Zemi.

Riziko bylo sice vypočteno jako extrémně nízké — asi 1 ku třem milionům —, přesto vědci trvali na tom, že bez důkladné analýzy nelze pokus uskutečnit. Podobný přístup by měl být podle Tegmarka samozřejmostí i při vývoji umělé inteligence, zejména pokud jde o tzv. ASI, tedy Artificial Super Intelligence.

Ve své nové studii, kterou vypracoval společně se třemi studenty z MIT, Tegmark zavádí pojem Comptonovy konstanty — pravděpodobnosti, že superinteligentní AI unikne lidské kontrole. A varuje, že podle současných odhadů může být toto riziko až 90procentní. To považuje za naprosto nepřijatelné.

„Firmy, které vyvíjejí superinteligentní AI, musí tento výpočet provést. Nestačí jen říkat, že se cítí bezpečně. Potřebujeme přesná čísla,“ prohlásil Tegmark v rozhovoru pro britský Guardian. Podle něj by odborný konsenzus o míře rizika mohl vytvořit politický tlak na přijetí mezinárodních pravidel pro bezpečný vývoj AI.

Tegmark, profesor fyziky na MIT a spoluzakladatel organizace Future of Life Institute, patří k nejvýraznějším hlasům volajícím po zodpovědném přístupu k vývoji AI. Už v roce 2023 stál u zrodu výzvy k pozastavení vývoje vysoce výkonných AI systémů, která získala přes 33 tisíc podpisů, včetně jmen jako Elon Musk či spoluzakladatel Applu Steve Wozniak. Výzva varovala před „nezvladatelným závodem“ mezi firmami, které se snaží být první v nasazení stále silnějších systémů, jež nikdo plně nechápe ani nedokáže ovládat.

Tegmarkovy výroky přicházejí v době, kdy se v Singapuru konala mezinárodní konference o bezpečnosti AI, které se zúčastnili experti z akademického prostředí, průmyslu i vládních agentur. Výsledkem je tzv. Singapurský konsenzus — nově definovaný soubor priorit, jakým směrem by se měl výzkum v oblasti bezpečnosti umělé inteligence ubírat. Pod dokumentem jsou podepsáni kromě Tegmarka také přední vědec Yoshua Bengio a experti ze společností OpenAI a Google DeepMind.

Konsenzus doporučuje zaměřit výzkum do tří klíčových oblastí: měření vlivu současných i budoucích AI systémů, formulaci žádoucího chování těchto systémů a metod, jak jej zajistit, a také návrhu způsobů řízení a kontroly těchto technologií. Tegmark považuje vznik dokumentu za významný krok vpřed, zvláště po nedávné stagnaci mezinárodní spolupráce.

Právě tato stagnace byla podle něj patrná například na nedávném summitu v Paříži, kde americký viceprezident JD Vance odmítl bezpečnostní obavy jako přehnané a brzdící technologický pokrok. Tegmark však věří, že se mezinárodní dialog nyní opět obnovuje. „Zdá se, že deprese po Paříži je pryč a mezinárodní spolupráce se znovu naplno rozjela,“ uvedl.

Závěrem Tegmark apeluje na vývojáře po celém světě, aby nejen usilovali o vyšší výkon a schopnosti svých systémů, ale aby se zároveň odpovědně zabývali i jejich možnými důsledky. Stejně jako vědci v době atomových pokusů dnes i oni pracují s technologií, která může rozhodnout o budoucnosti celého lidstva. 

Stalo se
Novinky
Írán

Íránská vláda zakázala vývoz potravin a zemědělských produktů

Íránská vláda s okamžitou platností zakázala vývoz veškerých potravin a zemědělských produktů. Rozhodnutí, které má platit až do odvolání, odůvodnily úřady snahou prioritně zajistit základní životní potřeby pro vlastní obyvatelstvo. V Teheránu se mezi lidmi šíří obavy z vleklého válečného konfliktu, což vede k masivnímu hromadění zásob jídla a nezbytného zboží.

Novinky
Donald Trump

„Chtějí mluvit, ale už je pozdě.“ Trump odmítl možnost vyjednávání s Íránem.

Americký prezident Donald Trump v úterý rázně odmítl možnost dalšího vyjednávání s Íránem, přestože Teherán podle jeho slov o rozhovory sám požádal. Trump na své sociální síti Truth Social uvedl, že po drtivých úderech amerických a izraelských sil už není o čem jednat. Podle šéfa Bílého domu je íránská protivzdušná obrana, letectvo i námořnictvo v troskách a politické vedení země je paralyzováno.

Novinky
Ilustrační fotografie

Eskalující konflikt na Blízkém východě zvedá ceny ropy. Jedna země z něj ale profituje

Eskalující konflikt na Blízkém východě začal citelně zasahovat globální energetický trh. Poté, co Írán odpověděl na americké a izraelské útoky sérií protiúderů, se pozornost světa upřela na Hormuzský průliv. Tato strategická námořní cesta, která je v nejužším bodě široká pouhých 32 kilometrů, je naprosto klíčovým hrdlem světového obchodu, jímž protéká přibližně 20 % veškeré světové ropy.

Novinky
Izrael a Spojené státy zaútočily na Írán

Čtvrtý den bez jediného východiska. Válka s Íránem přerostla v mohutný regionální konflikt

I když válka mezi Spojenými státy, Izraelem a Íránem trvá teprve čtyři dny, už nyní je jasné, že jde o plnohodnotný regionální konflikt. Íránské rozhodnutí zaútočit na arabské státy, které jsou spojenci USA, a zapojení Velké Británie, jež povolila využití svých základen, situaci dramaticky vyhrotilo. Eskalace pokračuje každou hodinou, což potvrzuje i tragický incident, při kterém kuvajtská protivzdušná obrana omylem sestřelila tři americké stíhačky F-15E Strike Eagle v rámci takzvané přátelské palby.