Idioțenia artificială continuă să îmbunătățească lucrurile… pentru infractorii cibernetici
Pe măsură ce instrumentele GenAI își fac loc în aplicațiile și fluxurile de lucru de masă, apar îngrijorări serioase cu privire la siguranța lor în lumea reală. Departe de a spori productivitatea, aceste sisteme sunt din ce în ce mai mult exploatate – beneficiind mult mai mult infractorii cibernetici și directorii care taie costurile decât utilizatorii finali. Cercetătorii au descoperit săptămâna aceasta cum modelul Gemini de la Google folosit în Gmail poate fi subminat într-un mod incredibil de simplu, făcând campaniile de phishing mai ușoare ca niciodată.
Mozilla a dezvăluit recent un nou atac de tip „prompt injection” împotriva Google Gemini for Workspace, care poate fi abuzat pentru a transforma rezumatele AI din mesajele Gmail într-o operațiune de phishing eficientă. Cercetătorul Marco Figueroa a descris atacul pe 0din, programul de recompense pentru bug-uri al Mozilla pentru serviciile de inteligență artificială generativă.
Recomandăm cu tărie citirea raportului complet dacă încă mai credeți că tehnologia GenAI este pregătită pentru implementare în producție sau în produse live, orientate către client.
La fel ca multe alte servicii bazate pe Gemini, funcția de rezumat AI a fost recent impusă utilizatorilor Gmail ca o presupusă nouă îmbunătățire puternică a fluxului de lucru. Opțiunea „rezumă acest e-mail” este menită să ofere o imagine de ansamblu rapidă a mesajelor selectate – deși comportamentul său depinde în mare măsură de capriciile lui Gemini. Introdusă inițial ca o funcție opțională, instrumentul de rezumat este acum integrat în aplicația mobilă Gmail și funcționează fără intervenția utilizatorului.
Atacul de tip „prompt injection” nou dezvăluit exploatează natura autonomă a acestor rezumate – și faptul că Gemini va urma „cu fidelitate” orice instrucțiuni ascunse bazate pe prompt-uri. Atacatorii pot folosi HTML și CSS simple pentru a ascunde prompt-uri malițioase în corpul e-mailurilor, setându-le la dimensiunea fontului zero și culoarea textului albă, făcându-le practic invizibile pentru utilizatori. Acest lucru este oarecum similar cu o poveste pe care am raportat-o săptămâna aceasta, despre cercetători care ascund prompt-uri în lucrări academice pentru a manipula recenziile AI ale colegilor.
Folosind această metodă, cercetătorii au creat un avertisment aparent legitim despre un cont Gmail compromis, îndemnând utilizatorul să sune la un număr de telefon și să furnizeze un cod de referință.
Potrivit analizei 0din, acest tip de atac este considerat cu risc „moderat”, deoarece necesită încă interacțiune activă din partea utilizatorului. Cu toate acestea, o campanie de phishing de succes ar putea duce la consecințe grave prin recoltarea de credențiale prin voice-phishing (phishing vocal).
Și mai îngrijorător, aceeași tehnică poate fi aplicată pentru a exploata AI-ul Gemini în căutarea din Docs, Slides și Drive. Buletinele informative, e-mailurile automate de ticketing și alte mesaje distribuite în masă ar putea transforma un singur cont SaaS compromis în mii de semnale de phishing, avertizează cercetătorii.
Figueroa a descris injecțiile de prompt ca fiind „noile macro-uri de e-mail”, menționând că încrederea percepută în rezumatele generate de AI nu face decât să agraveze amenințarea.
Ca răspuns la dezvăluire, Google a declarat că implementează în prezent o abordare de securitate pe mai multe niveluri pentru a aborda acest tip de injecție de prompt în infrastructura Gemini.
