Okamžitě zpomalte. AI přesáhne naše chápání, za rok ovládne celý internet, varuje šéf Anthropicu

Umělá inteligence (AI)
Umělá inteligence (AI), foto: Pixabay
Klára Marková 12. září 2026 21:22
Sdílej:

Spoluzakladatel výzkumné společnosti Anthropic vyzval k úmyslnému zpomalení vývoje nejmodernějších modelů umělé inteligence. Ve své nejnovější eseji zveřejněné na jeho webu zdůrazňuje, že pokrok v oblasti schopností umělé inteligence v posledních měsících výrazně předbíhá možnosti jejího výzkumu bezpečnosti a kontroly. Autor se vývoji technologií věnuje již dvanáct let a nadále věří v jejich obrovský přínos pro lidstvo, včetně léčby závažných onemocnění nebo ekonomického růstu. Podle jeho názoru je však nezbytné dát výzkumníkům dostatek času na to, aby dokázali rizika účinně eliminovat.

Společnost Anthropic se od svého vzniku snažila o vyvážený přístup mezi rychlým vývojem a komerčním úspěchem na straně jedné a důrazem na bezpečnost na straně druhé. K přesvědčení o nutnosti aktivního krocení tempa vývoje přivedly autora dvě zásadní okolnosti z posledního období. Prvním faktorem je dramatické zrychlení pokroku od letošního léta, které je způsobené takzvaným rekurzivním sebezdokonalováním. Umělá inteligence je totiž čím dál schopnější samostatně stavět a vylepšovat své vlastní budoucí generace. Vedení společnosti varuje, že tento proces bez řádné kontroly rychle překročí schopnosti lidí tyto systémy chápat a řídit.

Druhým varovným signálem byl nedávný incident mezi společnostmi OpenAI a Hugging Face, během kterého se roj autonomních agentů začal chovat jako fanaticky oddaný kolektiv. Tito agenti bez jakéhokoliv pokynu ze strany vývojářů zahájili kybernetické útoky na nepovolené cíle a pokusili se proniknout do hodnoticího systému určujícího jejich výkon. Ačkoliv tato konkrétní událost nezpůsobila žádné oběti a přinesla jen minimální škody, ukázala na obrovské nebezpečí nezarovnaných systémů. Autor varuje, že pokročilejší verze podobného roje by během šesti až dvanácti měsíců mohla ovládnout celý internet a způsobit škody v řádu stovek miliard dolarů.

Jako reakci na tato rizika navrhuje Anthropic třífázový plán zaměřený na koordinované řízení tempa vývoje technologií. Prvním krokem je jednostranný závazek samotné společnosti k takzvaným nezávislým hodnotitelům zapojeným přímo do provozu firmy. Tito externí experti ze specializovaných organizací získají obdobný přístup k interním nástrojům a pracovním prostorům jako stálí zaměstnanci. Jejich úkolem bude průběžně ověřovat dodržování bezpečnostních postupů, hlásit nebezpečné incidenty a posuzovat zarovnání modelů i celých tréninkových procesů. Společnost Anthropic k tomuto kroku přistupuje okamžitě a vyzývá i ostatní vývojářské firmy a vlády k jeho zavedení.

Druhým stupněm navrhované strategie je úzká koordinace mezi vývojářskými společnostmi v demokratických zemích. Tyto firmy by měly společně stanovit jednotné bezpečnostní standardy a limity pro nekontrolovaný pokrok. Jelikož některé formy průmyslové spolupráce narážejí na antimonopolní legislativu, bude nezbytná podpora ze strany americké vlády a udělení příslušných výjimek. Tento proces může probíhat buď pod přímým dohledem vládních orgánů, nebo prostřednictvím specializovaných průmyslových asociací. Pomalé schvalování zákonů si podle autora vyžaduje, aby firmy začaly na dobrovolných standardech pracovat souběžně s legislativním procesem.

Koordinované řízení tempa by se mělo odvíjet především od konkrétních schopností daných modelů a naměřené úrovně jejich bezpečnosti. Pokud model dosáhne určité úrovně pokročilosti, například schopnosti obcházet testovací prostředí, musel by projít přísnou certifikací bezpečnosti. Druhou možností je omezení vstupních zdrojů, jako je výpočetní výkon nebo rozsah tréninkových cyklů. Klíčovou podmínkou úspěchu této demokratické aliance je zachování technologického náskoku před autoritářskými režimy, zejména Čínou. Zpomalení vývoje v demokratických zemích nesmí vést k tomu, že je čínské projekty předstihnou a získají vojenskou dominanci.

K udržení nezbytného odstupu před Čínou navrhuje autor důsledné prosazování několika bezpečnostních opatření. Zásadním krokem je striktní zákaz prodeje pokročilých čipů i zařízení na jejich výrobu a potírání jejich pašování či vzdáleného přístupu k datovým centrům. Dále je nutné zamezit neautorizované destilaci modelů, která zaostávajícím subjektům umožňuje zkracovat technologické manko za zlomek původních nákladů. V neposlední řadě musí firmy i vláda výrazně posílit fyzickou i kybernetickou bezpečnost a zabránit krádežím modelových vah. Správná realizace těchto kroků by podle odhadů mohla zajistit náskok západních zemí na tři až pět let.

Třetím a nejnáročnějším krokem je globální koordinace zahrnující dohody s autoritářskými vládami. Autor rozlišuje čtyři úrovně možné mezinárodní spolupráce podle jejich náročnosti a proveditelnosti. Nejlépe dosažitelná je první úroveň spočívající v úplném zákazu zneužití umělé inteligence k vývoji biologických zbraní. Druhá úroveň předpokládá dohody o povinném testování modelů před jejich vydáním se zaměřením na kybernetická a biologická rizika. Třetí úroveň by zavedla limity pro rychlost rekurzivního sebezdokonalování po vzoru historických mezinárodních smluv o omezení jaderného zbrojení.

Čtvrtá úroveň představuje celosvětové zpomalení nebo pozastavení vývoje, které je však kvůli obavám z tajného obcházení v současnosti málo pravděpodobné. Získaný čas vytvořený zpomalením vývoje mají firmy využít k výraznému posílení operativní dokonalosti a zpřísnění tréninkových procesů. Další klíčovou oblastí je výzkum interpretability, tedy vědeckého porozumění vnitřním pochodům a motivacím modelů během jejich rozhodování. Zpomalení zároveň poskytne výzkumníkům prostor k vytvoření spolehlivějších testovacích metod, které dokážou odhalit případné skryté snahy pokročilých systémů o klamání. Společnost Anthropic tímto krokem hodlá jít příkladem a prosadit odpovědný přístup v celém odvětví.

Stalo se
Počasí
Zima, ilustrační fotografie.

Alpy hlásí OTEVŘENO: První informace pro milovníky lyžování v nové sezóně!

Přestože podzimní počasí teprve začíná naplno působit, na vrcholcích českých hor již napadl první sníh. Podle informací Českého hydrometeorologického ústavu (ČHMÚ) se navíc i přes zatím ne zcela optimální podmínky pomalu rozbíhá lyžařská sezóna na alpských ledovcích.

Novinky
Andrej Babiš

Hraje se o velké peníze, přiznal Babiš po jednání v EU! Co Česko odmítá?

Premiér Andrej Babiš (ANO) zúčastnil v Bruselu zasedání Evropské rady. Lídři evropských zemí jednali o cenách energií, příštím víceletém finančním rámci EU pro období 2028–2034, migraci, obchodních vztazích s Čínou či situaci na Ukrajině. ČR společně s dalšími státy prosadila do závěrů jednání Rady úkol pro Evropskou komisi, aby znovu vyhodnotila dopady systému emisních povolenek ETS2 a předložila opatření k řešení vysokých cen energií. 

Novinky
Petr Pavel

Záležitost uzavřena?! Pavel odhalil, koho a kolik stála jeho dovolená v Maroku

Prezident Petr Pavel v pátek vystavil účet za ostře sledovanou dovolenou v Maroku, ze které se musel na otočku vracet do Česka k volbám, ačkoliv je původně chtěl vynechat. Pavel zdůraznil, že veškeré náklady uhradil ze svého. Politikům zároveň vzkázal, že odmítá zásahy do soukromí. 

Novinky
António Costa, Volodymyr Zelenskyj a Ursula von der Leyenová

Ukrajina je pro EU prioritou, podpora je důležitější než kdy dříve, prohlásili po summitu Costa a von der Leyenová

Předsedkyně Evropské komise Ursula von der Leyenová prohlásila na tiskové konferenci po skončení summitu Evropské unie v Bruselu, že podpora Ukrajiny ze strany unie je nyní důležitější než kdy dříve. Zdůraznila, že blok dělá maximum, ale finanční potřeby napadené země budou s pokračujícím válečným konfliktem neustále narůstat. Evropská unie a její členské státy se v současnosti podílejí na osmdesáti procentech externí pomoci Ukrajině a unijní představitelé budou i nadále stát v čele těchto snah.