Cu GPT-4V, chatbot-ul poate acum să citească și să răspundă la întrebări despre imagini.
Iată cum îl folosesc pasionații de inteligență artificială până acum.
ChatGPT poate acum să citească și să răspundă la solicitări pe bază de imagine.
Contrar pesimismului obișnuit legat de evoluția AI, această nouă funcție pare să fi captat atenția utilizatorilor.
OpenAI numește această funcție GPT-4 cu viziune (GPT-4V).
Capacitatea de a interpreta imagini, nu doar texte, transformă chatbot-ul AI într-un model lingvistic multimodal.
Aceasta are potențialul de a reconfigura modul în care oamenii interacționează cu AI. Iată tot ce știm până acum.
Cu un cont ChatGPT Plus de 18 €/lună poți încărca o imagine în aplicația ChatGPT de pe iOS sau Android și să-i pui o întrebare.
De exemplu, arată-i o fotografie cu masa ta la restaurant și întreabă: „Cum fac asta?”.
Chatbot-ul va analiza imaginea și îți va sugera o rețetă.
Aplicațiile par nelimitate.
OpenAI spune că multimodalitatea este o „frontieră cheie în cercetarea și dezvoltarea inteligenței artificiale”, deoarece mărește gama de sarcini la care aceste sisteme pot ajuta.
Un grup de cercetători de la Microsoft a numit GPT-4V „apariția LLM-urilor” și a concluzionat că ar putea „deschide noi metode de interacțiune om-calculator”.
Deși GPT-4V este nou pentru public, OpenAI a lucrat la el încă din anul trecut, posibil înainte de lansarea publică a chatbot-ului în noiembrie 2022, potrivit unui document tehnic.
Testele cu utilizatori și instruirea au început în martie 2023.
„Deoarece GPT-4 este tehnologia din spatele capacităților vizuale ale GPT-4V, procesul de instruire a fost același”, spune OpenAI.
Compania a folosit date din ce în ce mai complexe și aceeași metodă ca pentru textele obișnuite — învățare prin consolidare cu feedback uman (RLHF) — pentru a-l învăța să ofere răspunsuri apreciate de oameni.
Pe parcurs, OpenAI a descoperit suficiente probleme pentru a amâna lansarea funcției.
Compania a încercat să identifice modurile în care sistemul ar putea da erori sau acționa neetic.
Asta a inclus solicitări pentru conținut dăunător sau ilegal, inexactități bazate pe rasă sau gen și breșe de securitate cibernetică, precum soluționarea de CAPTCHA-uri și jailbreak.
OpenAI a colaborat cu oameni de știință și medici pentru a verifica sfaturile oferite de GPT-4V și a găsit numeroase erori.
În versiunile timpurii, GPT-4V comenta inadecvat pe subiecte sensibile, precum angajarea unei femei însărcinate sau a unei persoane dintr-o anumită țară.
Sistemul nici măcar nu recunoștea simboluri folosite de grupuri de ură sau expresii nocive.
După toate aceste teste, OpenAI susține că a îmbunătățit suficient sistemul pentru uz public.
De exemplu, acum refuză 97,2 % dintre solicitările pentru „sfaturi ilicite”.
Este în continuare un proiect în dezvoltare.
OpenAI are „întrebări fundamentale privind comportamentele pe care modelele ar trebui sau nu să le adopte”.
Asta include dacă ar trebui să identifice persoane publice în imagini și să deducă rasă, gen sau emoții (și cu ce acuratețe).
Performanța în limbile non-engleze este, de asemenea, sub așteptări.
Utilizatorii pot observa și erori.
De exemplu, o echipă de cercetare de la Microsoft a descoperit că GPT-4V a interpretat greșit unele imagini simple, cum ar fi citirea incorectă a unui vitezometru.
Chiar dacă ne așteptăm ca GPT-4V să se îmbunătățească în timp, ceea ce poate face astăzi este impresionant.
Iată câteva moduri în care utilizatorii ChatGPT Plus experimentează deja:
O pictoriță a întrebat cum să-și facă lucrarea mai realistă.
Poți chiar să-i ceri lui ChatGPT să critice creațiile sale AI din Dall-E.
Un designer de produse a încărcat un mockup web, iar GPT-4V a observat câteva puncte tari și slabe, de exemplu lipsa barei de navigare în partea de sus.
Un alt utilizator a întrebat să găsească în viața reală pe cineva numit Waldo.
Știai că utilizarea acestui nume a scăzut dramatic după vârful său din 1915?
Un utilizator a transformat GPT-4V într-un cartograf junior cerându-i să identifice o hartă veche.
Poți face o sesiune de whiteboarding de la concept la realitate sau să-i ceri să scrie cod pentru o pagină web inspirată de o imagine.
(Poate vom avea în curând frizeri AI?)
Aplicațiile pentru temele de casă și proiectele de serviciu ar putea fi nelimitate.
Următorul pas ar putea fi apariția capturilor de ecran ChatGPT în instanță: „ChatGPT a spus că pot parca aici!”.
Aplicația ChatGPT te poate ajuta să profiți la maximum de călătorii sau măcar să răspundă la întrebările copiilor.
După toată agitația din ultimul an, e tot mai greu să știm ce trenduri vor rămâne.
Ultima actualizare „revoluționară” de la OpenAI, plugin-urile, a creat inițial un val de postări pe rețele, dar apoi interesul a scăzut.
Alte funcții, precum navigarea cu Bing care oferea acces la date înainte de 2021, au fost activate, apoi dezactivate după exploatări pentru activități ilicite și acum sunt din nou active.
Provizoriu, ceea ce vedem la GPT-4V pare promițător.
„Comunitatea AI s-ar putea orienta mai mult spre viziune/percepție”, spune Hao Zhang, profesor la Universitatea din California, San Diego (UCSD), care lucrează la evaluarea modelelor lingvistice mari.
OpenAI a investit recent într-o versiune îmbunătățită a generatorului său de imagini Dall-E și a anunțat planuri de integrare în ChatGPT.
Urmărește și chatbot-urile concurente.
Va integra Google Lens în Bard? Este posibil să fie un trend de scurtă durată, dar ar putea fi vârful aisbergului AI.
