Imagine ce reprezinta modelul de inteligenta artificiala denumit Claude

Claude for Chrome sosește, în ciuda unei rate de succes de 11% a injecției de prompt-uri

Programul pilot expune la risc de securitate doar 1.000 de utilizatori premium

Anthropic a început să piloteze Claude for Chrome, o extensie AI care poate opera browserul în numele unui utilizator. Cu toate acestea, instrumentul este vulnerabil la atacuri de tip „prompt injection” care îl pot păcăli să efectueze acțiuni dăunătoare fără consimțământ. Anthropic este conștientă de riscuri, dar lansează oricum instrumentul într-un test limitat.

Extensia Chrome marchează intrarea Anthropic pe piața aglomerată a AI bazate pe browser, unde se confruntă cu rivali precum browserul Comet de la Perplexity și ChatGPT Agent de la OpenAI. Conștientă de riscurile sale de securitate, Anthropic a limitat accesul la doar 1.000 de abonați la planurile sale Claude Max de 100 EUR și 200 EUR, introduse în aprilie.

În timpul testelor, compania a descoperit că actorii malițioși ar putea manipula Claude în aproape un sfert din timp, folosind atacuri de tip „prompt injection”. Aceste atacuri încorporează instrucțiuni ascunse în site-uri web, e-mailuri sau documente, păcălind AI-ul să șteargă fișiere, să fure date sau să inițieze tranzacții neautorizate.


Într-un caz de testare îngrijorător, un e-mail falsificat, care se dădea drept un angajator, i-a instruit pe Claude să șteargă mesajele utilizatorului din motive presupuse de „securitate”. Lipsit de măsuri de protecție, AI-ul a urmat comenzile ascunse și a șters permanent datele fără a cere confirmare.

Anthropic susține că a testat noi măsuri de protecție, care au redus rata de succes a atacurilor de la 23,6% la 11,2% în modul autonom. Claude necesită acum aprobarea utilizatorului înainte de a întreprinde acțiuni cu risc ridicat, cum ar fi efectuarea de achiziții, publicarea de conținut sau partajarea de date sensibile. Utilizatorii pot, de asemenea, să-i limiteze raza de acțiune cu permisiuni granulare pentru site-uri web.

În mod implicit, Claude nu poate accesa site-uri de servicii financiare, platforme de conținut pentru adulți sau site-uri care găzduiesc materiale piratate. Aceste restricții ajută la reducerea daunelor potențiale cauzate de atacurile de tip „prompt injection”, păstrând în același timp funcționalitatea pentru sarcinile de afaceri legitime.

Anthropic minimizează riscul spunând că noile sale măsuri de atenuare reduc succesul injecției de prompt la un nivel mai scăzut decât utilizarea clientului desktop Claude.

Experții în securitate rămân sceptici cu privire la viabilitatea agenților AI bazați pe browser, în ciuda acestor îmbunătățiri. Cercetătorul independent Simon Willison, care a inventat termenul „prompt injection” în 2022, a numit rata de atac rămasă de 11,2% „catastrofală” și a pus la îndoială dacă o implementare sigură este măcar posibilă.

Incidentele recente cu produse concurente subliniază aceste preocupări. Săptămâna trecută, cercetătorii în securitate de la Brave au manipulat browserul Comet al Perplexity prin postări malițioase pe Reddit, obținând acces la conturile Gmail ale utilizatorilor și declanșând procese neautorizate de recuperare a parolei.

Extensia Claude for Chrome se extinde pe capacitatea Computer Use a Anthropic, care permite AI-ului să facă capturi de ecran și să controleze mouse-ul pentru a finaliza sarcini. Integrarea în browser permite o interacțiune web mai directă, păstrând în același timp contextul conversației pe mai multe file și site-uri.

Anthropic intenționează să folosească programul pilot limitat pentru a identifica modele de atac suplimentare și a rafina măsurile de securitate înainte de o implementare mai largă. Cu toate acestea, compania recunoaște că protecțiile actuale sunt insuficiente pentru o utilizare largă de către consumatori, lăsând primii adoptatori să suporte riscuri substanțiale.

Leave a Comment

Your email address will not be published. Required fields are marked *

Scroll to Top