Kmotr umělé inteligence varuje před jejím zneužitím. Má ale plán, jak ji od základu změnit

Umělá inteligence (AI)
Umělá inteligence (AI), foto: Pixabay
Klára Marková 7. června 2025 10:56
Sdílej:

Jeden z průkopníků umělé inteligence, profesor Yoshua Bengio, se obává, že současný vývoj AI směřuje k nebezpečným důsledkům. Proto spustil nový projekt, který má přinést zásadní změnu: vytvořit „čestnou“ a bezpečnější alternativu ke stávajícím systémům. Učinil tak ve chvíli, kdy FBI oznámila, že pachatelé nedávného bombového útoku na kliniku v Kalifornii použili k získání návodu na výrobu výbušniny právě AI.

Incident znovu poukázal na „divoký západ“, ve kterém se vývoj AI nyní nachází. Firmy soutěží v rychlosti, zábavnosti i výkonu svých systémů a bezpečnost často ustupuje do pozadí. Podle Bengia je čas na zásadní změnu.

Profesor Bengio, držitel Turingovy ceny (spolu s Geoffreym Hintonem a Yannem LeCunem), nyní prostřednictvím neziskové organizace LawZero pracuje na vývoji modelu „Scientist AI“. Jeho cílem je vytvořit systém, který nebude klamat, bude navržen s důrazem na bezpečnost a dokáže čelit rizikům, která mohou plynout z jiných, méně spolehlivých AI.

Na rozdíl od současných jazykových modelů má „Scientist AI“ dvě klíčové schopnosti, a sice vyjadřování míry důvěry ve své odpovědi – tedy umět říci „nejsem si jistý“, a vysvětlování svého uvažování – čímž se zlepší dohled a ověřitelnost závěrů, které AI produkuje.

Tyto schopnosti byly běžné u starších modelů, ale s rozmachem moderních systémů šla vysvětlitelnost stranou ve prospěch rychlosti a výpočetního výkonu.

Bengio plánuje využít Scientist AI také jako „hlídače“ jiných, potenciálně nebezpečných AI systémů. Lidský dohled nestačí – AI modely, jako je ChatGPT, obsluhují denně více než miliardu požadavků. Monitorovat je zvládne jedině jiná AI.

Dalším zásadním vylepšením má být tzv. world model – základní chápání reality. Podobně jako lidé činí rozhodnutí na základě zkušeností a znalostí, AI potřebuje chápat reálný svět, aby fungovala správně.

Bez něj dnešní modely selhávají i v jednoduchých úlohách: například při kreslení rukou, kde zvládnou vzhled, ale ne realistický pohyb, nebo při hraní šachů, kde jazykové modely občas porušují pravidla, zatímco starší šachové AI poráží i mistry světa.

Bengio a jeho tým se nachází na správné cestě, ale jejich rozpočet – 30 milionů dolarů – je jen zlomkem toho, co mají k dispozici velké korporace. Například americký prezident Donald Trump letos oznámil masivní vládní investici 500 miliard dolarů do AI.

Navíc většina potřebných dat, bez nichž se žádná výkonná AI neobejde, zůstává pod kontrolou technologických gigantů.

Zůstává také zásadní otázka: i pokud Scientist AI bude fungovat přesně podle Bengiova plánu – jakým způsobem bude schopna zastavit či omezit nebezpečné systémy, které již jsou v provozu?

Navzdory překážkám může tento projekt změnit přístup vývojářů i tvůrců legislativy k bezpečnosti AI. Mohl by nastavit nové standardy, které vývojáře přimějí k odpovědnějšímu přístupu.

Jak uvádí server The Conversation, kdyby podobná opatření vznikla v počátcích éry sociálních sítí, mohli jsme dnes mít bezpečnější online prostředí. A možná, kdyby už Scientist AI fungoval, mohl zabránit i zneužití AI při útoku na kliniku v Kalifornii.

Stalo se
Novinky
Íránská delegace v Pákistánu

Dokud bude Izrael útočit v Libanonu a Gaze, nebudeme jednat s USA, oznámil Írán

Teherán oficiálně oznámil, že přerušuje veškeré mírové rozhovory se Spojenými státy americkými a jeho vyjednávací tým se stahuje z výměny zpráv prostřednictvím zprostředkovatelů. Podle íránské státní tiskové agentury Tasnim, která je napojená na Revoluční gardy, je obnovení dialogu podmíněno úplným ukončením izraelských vojenských operací v Pásmu Gazy i v Libanonu. Írán tak reaguje na prudkou eskalaci konfliktu na libanonském území, kde izraelská armáda v posledních hodinách výrazně zintenzivnila svou ofenzivu.

Novinky
Péter Magyar

Magyar zahájil tažení proti Orbánovým lidem

Nový maďarský premiér Péter Magyar zahájil bezprostředně po svém sobotním nástupu do funkce otevřené tažení proti lidem spojeným s érou Viktora Orbána. Ve svém prvním projevu v budapešťském parlamentu dal jasně najevo, že patnáctiletá nadvláda minulé garnitury definitivně skončila. Hned v prvních minutách úřadování vyzval k rezignaci prezidenta Tamáse Sulyoka i další Orbánovy věrné, kteří obsadili klíčové soudní a kontrolní orgány v zemi, a stanovil jim ultimátum do 31. května. Podle politických analytiků by se představitelé bývalého režimu měli začít vážně obávat ztráty svého vlivu.

Novinky
NATO

NATO závodí s časem. Kvůli hrozbě ruského útoku přestavuje ostrov Gotland na pevnost

Severoatlantická aliance se snaží urychleně posílit obranu větrného baltského ostrova Gotland, který vojenští plánovači považují za jednu z nejvíce zranitelných a zároveň strategicky nejvýznamnějších frontových linií vůči Rusku. Tento ostrov se nachází ve středu Baltského moře, pouhých 300 kilometrů od silně militarizované ruské enklávy Kaliningrad. Vzhledem k rostoucím obavám z ruské agrese, hybridních útoků a kolísajícího spojenectví ze strany Spojených států závodí Švédsko a jeho partneři s časem, aby z Gotlandu opět vybudovali vojenskou pevnost.

Novinky
Ilustrační fotografie

Určete místnosti bez mobilů. Švédsko vydalo rodičům řadu netradičních doporučení

Švédský úřad pro veřejné zdraví vyzval rodiče, aby omezili používání mobilních telefonů v přítomnosti svých dětí a určili části domácnosti, které zůstanou zcela bez digitálních zařízení. Nová doporučení navazují na předchozí výzvy k obecnému zamyšlení nad časem stráveným u obrazovek, nyní však přinášejí konkrétní pravidla pro každodenní život. Úřad dospěl k těmto krokům na základě výzkumu, který si loni na podzim zadala švédská vláda s cílem prozkoumat vliv digitálních návyků dospělých na zdraví dětí.