Společnost Anthropic vydala stostránkový seznam rizik. Už proběhl pokus využít AI k výrobě biologických zbraní

Ilustrační foto
Ilustrační foto, foto: Pixabay
Klára Marková DNES 09:59
Sdílej:

Společnost Anthropic, která stojí za vývojem populárního chatbota Claude, podala oficiální žádost o primární veřejnou nabídku akcií (IPO) doprovázenou rozsáhlým seznamem rizikových faktorů. Tento téměř stostránkový dokument detailně popisuje nejrůznější hrozby, s nimiž se firma potýká a které by mohly negativně ovlivnit její budoucí podnikání i finanční výsledky. Přestože tržní hodnota podniku míří k závratným výšinám, vedení upozorňuje na celou řadu dosud nevídaných výzev spojených s rychlým vývojem umělé inteligence.

Jedním z hlavních varování v dokumentu je možnost zneužití technologie škodlivými aktéry k vývoji nebezpečných zbraní či provádění kybernetických útoků. Firma sice zavádí přísné bezpečnostní pojistky, avšak přiznává, že tyto mechanismy mohou selhat nebo být obejity. V září Anthropic například zablokoval několik účtů, které se pokusily využít jeho modely způsobem podporujícím vývoj biologických zbraní.

Dokument rovněž upozorňuje na rizika spojená s autonomními agenty, kteří mohou provádět složité a vícekrokové operace bez přímého lidského dohledu. Takové systémy by teoreticky mohly neautorizovaně upravovat kódy, mazat data nebo pronikat do cizích sítí dříve, než dokáží lidé účinně zasáhnout. Anthropic ve své zprávě přiznal, že některé jeho modely v minulosti úspěšně pronikly do externích systémů třetích stran, kde získaly administrátorská oprávnění.

S rostoucí rychlostí pokroku umělé inteligence hrozí, že lidstvo zcela ztratí schopnost dohlížet na chování těchto systémů a porozumět jejich rozhodnutím. Zpráva varuje před situacemi, kdy se modely pokoušejí obejít, manipulovat nebo podkopat hodnotící a bezpečnostní mechanismy, které mají za úkol sledovat jejich výkon. Pokročilé systémy by navíc mohly vykazovat chování připomínající vydírání za účelem ovlivnění lidských rozhodnutí a zajištění vlastní kontinuity.

Firma čelí také značným právním a regulačním rizikům, včetně potenciálních žalob v případě, že by uživatelé po použití modelů spáchali sebevraždu nebo násilné činy vůči okolí. Pojistný trh navíc podle dokumentu nemusí být schopen nabídnout plnohodnotné krytí pro případ katastrofických událostí spojených s umělou inteligencí. Celá situace je navíc komplikována rychlými změnami legislativy na národní i mezinárodní úrovni.

Významnou kapitolou jsou politické a geopolitické třenice, zejména ve vztahu k americké administrativě prezidenta Donalda Trumpa. Pentagon dříve v tomto roce označil Anthropic za „riziko dodavatelského řetězce“ kvůli odmítnutí využití technologie pro masové sledování, zatímco ministerstvo obchodu krátce omezilo vývoz nejnovějších modelů. Firma navíc čelí zvýšené kontrole ze strany vládních orgánů, což může omezit její provozní flexibilitu na trhu.

Další velkou překážkou pro rozvoj společnosti je obrovský nedostatek výpočetního výkonu a nezbytných komponentů na globálním trhu. Anthropic svádí nelítostný boj o infrastrukturu s největšími technologickými giganty světa, což žene náklady na provoz datových center do závratných výšek. Obavy z udržitelnosti těchto investic přitom živí širší debaty o možném vzniku technologické bubliny v celém odvětví.

Problémy přináší i rostoucí odpor místních komunit a ekologických organizací proti výstavbě nových datových center nutných pro provoz AI. Podle údajů výzkumné firmy Data Center Watch bylo v průběhu druhého čtvrtletí roku 2026 zablokováno desítky projektů v hodnotě desítek miliard dolarů. Společnost proto stále častěji zvažuje realizaci podobných investic mimo území Spojených států.

V neposlední řadě dokument varuje před riziky uvnitř samotné firmy, zejména před možným poklesem morálky a ztrátou důvěry zaměstnanců v management. Pokud by vedení polevilo ze svých deklarovaných závazků ohledně bezpečnosti vývoje AI, mohlo by to vést k odchodu klíčových expertů. Úspěšné završení IPO tak pro Anthropic představuje nejen finanční milník, ale také zásadní zkoušku udržení pevných etických standardů.

Stalo se
Novinky
Izrael

V Izraeli odvolila více než polovina lidí. Zájem voličů neupadá ani večer

Izraelští voliči zamířili v úterý k volebním urnám v rámci prvních celostátních voleb od teroristických útoků ze 7. října 2023, přičemž volební účast dosáhla historických maxim za posledních pětačtyřicet let. Volební den provází mimořádně vyrovnaný souboj mezi dlouholetým premiérem Benjaminem Netanjahuem a jeho hlavním opozičním vyzyvatelem Gadim Eisenkotem.

Novinky
BYD

Začátek nových restrikcí? Americká armáda zakázala vjezd vozidel značky BYD na leteckou základnu

Americká armáda zakázala vjezd vozidel čínské značky BYD na svou leteckou základnu Kadena v Japonsku, přičemž tato opatření odůvodnila nepřijatelným bezpečnostním rizikem pro personál i probíhající vojenské mise. Rozhodnutí vyvolalo podle The Guardian mezi odborníky obavy, že podobné restrikce by se v brzké době mohly rozšířit i na další americké vojenské objekty v zahraničí.

Novinky
Benjamin Netanjahu

Zájem o izraelské volby je ohromný. Netanjahua na poslední chvíli podpořil Trump

V Izraeli pokračují klíčové parlamentní volby, které doprovází nejvyšší volební účast za posledních pětačtyřicet let. Hlasování představuje první celostátní volby od tragických útoků ze 7. října 2023 a zároveň rozhodující referendum o politické budoucnosti dlouholetého premiéra Benjamina Netanjahua.

Novinky
Kaja Kallasová

USA jsou nepostradatelný spojenec, musí ale nastat změny, shodly se státy E5

Pětice hlavních evropských členů Severoatlantické aliance v pondělí v Paříži oznámila, že je připravena převzít větší odpovědnost za vlastní bezpečnost. Skupina označovaná jako E5, kterou tvoří Francie, Německo, Itálie, Polsko a Velká Británie, zároveň potvrdila, že Spojené státy nadále zůstávají nepostradatelným spojencem. Cílem setkání bylo posílení evropské obranné role a prohloubení transatlantické koordinace.