Novo odhalená zraniteľnosť ovplyvňujúca ChatGPT od spoločnosti OpenAI vyvolala nové obavy v oblasti kybernetickej bezpečnosti. Výskumníci upozorňujú, že rastúce spoliehanie sa na nástroje využívajúce umelú inteligenciu na sumarizáciu webového obsahu môže neúmyselne vytvoriť úplne novú plochu pre phishingové útoky.
Zraniteľnosť s názvom „ChatGPhish“ objavili výskumníci zo spoločnosti Permiso Security. Tvrdia, že umožňuje útočníkom zneužiť schopnosť ChatGPT sumarizovať webové stránky tým, že do inak dôveryhodne vyzerajúcich stránok vložia skryté inštrukcie, phishingové odkazy a zdroje kontrolované útočníkom.
Podľa výskumníkov problém vychádza zo spôsobu, akým ChatGPT spracováva obsah vo formáte Markdown získaný z webových stránok tretích strán. Tým, že systém dôveruje externým odkazom a obrázkom vo formáte Markdown a automaticky ich zobrazuje vo svojom rozhraní, môže nevedomky zobrazovať prvky kontrolované útočníkom priamo v dôveryhodnom prostredí umelej inteligencie.
Objav upozorňuje na rýchlo vznikajúcu kategóriu bezpečnostných hrozieb, pri ktorých sú veľké jazykové modely (LLM) manipulované nie prostredníctvom priamych útokov na používateľov, ale prostredníctvom škodlivého externého obsahu, ktorý AI systémy spracúvajú a sumarizujú.
Ako funguje útok „ChatGPhish“
Výskumník spoločnosti Permiso Security Andi Ahmeti vysvetlil, že zraniteľnosť zneužíva spôsob vykresľovania obsahu pri sumarizácii webových stránok.
„Renderer odpovedí na chatgpt.com dôveruje Markdown odkazom a URL obrázkov pochádzajúcim z webovej stránky tretej strany, ktorú asistent práve sumarizoval. Automaticky načítava tieto obrázky a zobrazuje tieto odkazy ako aktívne a klikateľné prvky priamo v dôveryhodnom rozhraní asistenta.“
V praxi si útok vyžaduje prekvapivo malé úsilie.
Útočník potrebuje iba vložiť malý škodlivý obsah do webovej stránky, ktorú si neskôr obeť nechá zosumarizovať pomocou ChatGPT. Keď AI stránku spracuje, škodlivý obsah sa stane súčasťou odpovede asistenta.
Výskumníci ukázali, že útok možno využiť na:
- zobrazenie phishingových odkazov priamo v odpovediach ChatGPT,
- zobrazenie falošných bezpečnostných upozornení alebo varovaní o účte,
- doručovanie QR kódov vedúcich na škodlivé stránky,
- získavanie používateľských metadát vrátane IP adresy, informácií o prehliadači a HTTP referera,
- automatické načítavanie obrázkov hostovaných útočníkom,
- obchádzanie podnikových filtrov prostredníctvom QR útokov na mobilných zariadeniach.
Dôsledky môžu byť významné, pretože používatelia prirodzene viac dôverujú obsahu zobrazenému v AI asistentoch než obsahu z tradičných phishingových kanálov, ako je e-mail.
Dôveryhodný vzhľad AI-generovaných súhrnov môže výrazne zvýšiť úspešnosť sociálneho inžinierstva.
Posun od e-mailových útokov k útokom podporovaným AI
Výskumníci tvrdia, že táto zraniteľnosť predstavuje širšiu zmenu v metodike phishingu.
Útočníci sa tradične spoliehali na e-mailové prílohy, škodlivé dokumenty, falošné prihlasovacie stránky alebo podvodné URL adresy. Nástroje na sumarizáciu pomocou AI však môžu umožniť vkladanie škodlivého obsahu do bežného prehliadania webu bez toho, aby používateľ musel otvárať podozrivé súbory alebo klikať na nevyžiadané správy.
Spoločnosť Permiso upozornila, že tento vývoj výrazne rozširuje potenciálnu plochu útoku.
„Posun od e-mailu k prehliadaču výrazne rozširuje potenciálnu plochu útoku. Používateľ už nemusí otvárať škodlivú prílohu ani komunikovať s podozrivou správou. Samotné sumarizovanie stránky počas bežného prehliadania môže vniesť útočníkom kontrolované inštrukcie do kontextu modelu a následne do vykreslenej odpovede.“
Keďže firmy čoraz viac integrujú generatívnu AI do výskumu, produktivity a automatizácie pracovných procesov, očakáva sa, že útočníci sa budú agresívne zameriavať práve na tieto nové modely interakcie.
Táto kategória útokov je obzvlášť nebezpečná, pretože sa prirodzene mieša s bežným správaním používateľov.
Nárast útokov typu Prompt Injection
Zverejnenie ChatGPhish je najnovším príkladom rastúceho bezpečnostného problému známeho ako prompt injection.
Prompt injection nastáva vtedy, keď útočníci vložia skryté inštrukcie do obsahu spracovávaného AI systémami a prinútia model správať sa nepredvídaným spôsobom.
Na rozdiel od tradičných softvérových zraniteľností prompt injection manipuluje samotným uvažovaním a chápaním kontextu jazykových modelov.
Začiatkom tohto roka spoločnosť Permiso Security demonštrovala, ako môžu špeciálne pripravené e-maily manipulovať súhrny vytvárané Microsoft Copilotom prostredníctvom takzvaného cross-prompt injection útoku.
Širším problémom je, že AI systémy čoraz častejšie fungujú ako sprostredkovateľ medzi používateľom a externým obsahom. Útočníci tak už nemusia kompromitovať používateľa priamo – stačí im kompromitovať informačné prostredie, z ktorého AI čerpá.
To zásadne mení bezpečnostné predpoklady pri používaní AI asistentov.
AI asistenti pre programovanie čelia rastúcim rizikám
Zistenia týkajúce sa ChatGPT boli zverejnené spolu s ďalším výskumom spoločnosti Adversa AI, ktorá opísala viacero kritických techník útokov zameraných na AI programovacie nástroje a vývojárske ekosystémy.
Jednou z najzávažnejších techník bol útok nazývaný SymJack, ktorý podľa výskumníkov umožňuje vzdialené spustenie kódu prostredníctvom škodlivých softvérových repozitárov.
Výskumník Adversa AI Rony Utevsky uviedol, že útočníci môžu zneužiť symbolické odkazy a prepisovanie konfigurácií na ovládnutie AI programovacích asistentov a spúšťanie ľubovoľného kódu s plnými používateľskými oprávneniami.
„Agent je oklamaný zdanlivo neškodným kopírovaním súborov, ktoré v skutočnosti prepíše jeho vlastnú konfiguráciu, a po ďalšom spustení vykoná kód útočníka s plnými oprávneniami používateľa.“
Výskumníci uviedli, že útok zneužíva dôveru, ktorú AI agenti vkladajú do lokálnych súborov repozitára a konfiguračných štruktúr.
Útok „TrustFall“ umožňuje kompromitáciu AI agenta jediným kliknutím
Adversa AI zverejnila aj ďalšiu techniku nazvanú TrustFall, ktorá sa zameriava na agentové nástroje pre programovanie v príkazovom riadku a integrácie Model Context Protocol (MCP).
Útočníci distribuujú škodlivé repozitáre obsahujúce konfigurácie MCP serverov, ktoré automaticky schvaľujú nebezpečné operácie bez výslovného súhlasu používateľa.
Keď vývojár naklonuje repozitár a odsúhlasí všeobecnú výzvu na dôveru, škodlivý MCP server sa automaticky spustí s natívnymi oprávneniami operačného systému.
Škodlivý kód sa môže vykonať ešte predtým, než používateľ uvidí akékoľvek volanie nástroja, čo výrazne sťažuje detekciu.
„V okamihu, keď obeť naklonuje repozitár, spustí Claude a klikne na všeobecné dialógové okno ‚Áno, dôverujem tomuto priečinku‘, MCP server sa spustí ako natívny proces operačného systému s plnými používateľskými oprávneniami.“
Tieto útoky zdôrazňujú rastúce riziko AI agentov schopných autonómne vykonávať kód a orchestráciu pracovných procesov.
Bezpečnostné ochrany AI naďalej zlyhávajú pod tlakom protivníkov
Výskumníci identifikovali viacero techník obchádzania bezpečnostných mechanizmov AI modelov:
Manipulácia počas viacerých krokov (Multi-Turn Manipulation)
Výskumníci zo spoločnosti Cisco upozornili, že testovanie bezpečnosti AI často nereflektuje reálne správanie útočníkov.
Namiesto jedného promptu vedú útočníci dlhé konverzácie, počas ktorých postupne oslabujú obranné mechanizmy modelu.
„Viackrokové hodnotenie je dôležité z jedného dôvodu: práve tam sa pohybujú skutoční útočníci.“
Typografická prompt injection
Ďalšia technika spočíva vo vkladaní škodlivých inštrukcií do deformovaných alebo takmer nečitateľných obrázkov.
Niektoré multimodálne modely dokážu tieto skryté texty interpretovať aj v prípadoch, keď ich človek nedokáže prečítať.
Zneužitie rozšírení prehliadača
Spoločnosť LayerX odhalila zraniteľnosť nazvanú ClaudeBleed, ktorá ovplyvňovala ekosystém rozšírení pre Anthropic Claude.
Výskumníci zistili, že akékoľvek rozšírenie prehliadača mohlo komunikovať s jazykovým modelom Claude a vykonávať neautorizované príkazy.
Útoky cez škodlivé MCP servery
Výskumníci identifikovali aj útoky využívajúce škodlivé MCP koncové body na zachytávanie autentifikačných tokenov a kompromitáciu nadväzujúcich SaaS služieb.
Open-source AI ekosystémy pod drobnohľadom
Bezpečnostní výskumníci sa čoraz viac zameriavajú na open-source AI ekosystémy, kde komunitné pluginy, rozšírenia a repozitáre často neprechádzajú dôslednou kontrolou.
Audit takmer 4 000 AI „skills“ údajne zistil, že viac než 13 % z nich obsahovalo aspoň jednu kritickú zraniteľnosť.
Identifikované problémy zahŕňali:
- vložený malvér,
- zverejnené API kľúče,
- payloady pre prompt injection,
- nebezpečné integrácie tretích strán,
- nebezpečné nakladanie s prihlasovacími údajmi,
- riziká úniku dát.
AI-malvér a autonómne kybernetické operácie
Bezpečnostné firmy čoraz viac upozorňujú na útočné schopnosti pokročilých AI systémov.
Výskumníci z Unit 42 spoločnosti Palo Alto Networks demonštrovali AI agenta s názvom Zealot, schopného koordinovať cloudové útoky s minimálnym zásahom človeka.
Podľa nich sú moderné jazykové modely už dnes schopné automatizovať mnohé fázy kybernetických útokov:
- prieskum prostredia,
- vyhľadávanie zraniteľností,
- eskaláciu oprávnení,
- zneužívanie prihlasovacích údajov,
- exfiltráciu dát,
- reťazenie exploitov.
„Samotné útoky nie sú nové, ale automatizácia znamená, že operácie, ktoré kedysi vyžadovali špecializované znalosti, môže dnes koordinovať AI agent podľa známych postupov.“
Vznikajúca kríza bezpečnosti umelej inteligencie
Najnovšie zistenia posilňujú obavy, že nasadzovanie generatívnej AI napreduje rýchlejšie než vývoj primeraných bezpečnostných opatrení.
AI systémy čoraz viac stierajú hranice medzi používateľským rozhraním, automatizačným nástrojom a vykonávacím prostredím, čím vytvárajú nové príležitosti pre útočníkov.
Na rozdiel od tradičných softvérových zraniteľností mnohé AI útoky zneužívajú dôveru, kontextové chápanie a psychológiu používateľa namiesto chýb v pamäti alebo programovacom kóde.
To výrazne sťažuje ich mitigáciu.
Organizácie využívajúce AI by preto mali prompt injection, manipuláciu modelov a zneužívanie AI pracovných tokov považovať za základné kybernetické riziká, nie za experimentálne okrajové problémy.
Keďže sa AI asistenti stávajú súčasťou podnikových operácií, prehliadačov, vývojových prostredí a cloudovej infraštruktúry, odborníci sa domnievajú, že vstupujeme do éry, v ktorej sa samotná AI stáva zároveň cieľom aj nástrojom útoku.
Objav ChatGPhish môže byť jedným z najvýraznejších dôkazov toho, že generatívne AI platformy už nie sú len nástrojmi na zvyšovanie produktivity – rýchlo sa stávajú súčasťou moderného kybernetického bojiska.
Viac informácií tu:
https://www.linkedin.com/comm/pulse/chatgpt-vulnerability-allows-threat-actors-turn-yybie
https://thehackernews.com/2026/05/chatgphish-vulnerability-turns-chatgpt.html