Fii propriul generator de conținut AI! Iată cum să începi să folosești gratuit alternative LLM pe CPU și GPU-ul propriului PC.
Puterea modelorlor lingvistice mari (LLM) este evidentă, de obicei datorită calculului în cloud. Dar te-ai gândit vreodată să rulezi un chatbot AI pe propriul laptop sau desktop?
În funcție de cât de modern este sistemul tău, probabil poți rula LLM-uri pe hardware-ul personal. Dar de ce ai vrea asta?
Poate vrei să ajustezi un instrument pe baza propriilor date. Sau poate vrei să ții conversațiile cu AI private și offline.
Poate vrei doar să vezi ce pot face modelele AI fără ca marile companii ce rulează servere în cloud să închidă subiecte de conversație considerate inacceptabile.
Cu un LLM asemănător ChatGPT pe hardware-ul propriu, toate aceste scenarii devin posibile.
În plus, hardware-ul este mai puțin problematic decât ai putea crede. Cele mai recente LLM-uri sunt optimizate pentru plăcile grafice Nvidia și pentru Mac-urile cu procesoare Apple M-series, chiar și pentru sisteme Raspberry Pi cu resurse reduse.
Pentru că apar dispozitive specializate pentru AI, precum NPU-ul integrat în procesoarele Intel „Meteor Lake” sau „Ryzen AI” de la AMD, chatboții locali vor deveni tot mai accesibili.
Datorită platformelor precum Hugging Face și comunităților ca LocalLlaMA de pe Reddit, modelele open-source din spatele uneltelor spectaculoase precum ChatGPT sunt acum disponibile gratuit. La momentul scrierii acestui articol există peste 200.000 de modele diferite.
Cu ajutorul interfețelor simple precum Text Generation WebUI de la Oobabooga, le poți accesa în browser, cu un design curat similar cu ChatGPT, Microsoft Copilot sau Google Gemini.
Așadar, instrumentele AI locale sunt disponibile gratuit și oricine le poate folosi. Totuși, niciunul nu este gata pentru utilizatorii ne-tehnici, iar categoria e atât de nouă încât nu există multe ghiduri ușor de înțeles despre cum să descarci și să rulezi un LLM.
Este important să ții cont că un LLM local nu va fi la fel de rapid ca o platformă în cloud, deoarece resursele sunt limitate la sistemul tău.
Cu toate acestea, suntem aici pentru cei curioși și oferim un ghid pas cu pas pentru a configura un chatbot AI generativ pe PC-ul propriu. Ne vom concentra pe o mașină Windows, dar instrumentele prezentate sunt disponibile și pentru Mac și Linux, deși pot necesita câțiva pași în plus pe alte sisteme.
Însă înainte de toate, iată câteva avertismente—mai bine zis o mulțime de avertismente. Aceste modele sunt gratuite și întreținute de comunitatea open-source, adesea alcătuită din programatori solitari și echipe de voluntari, alături de câteva companii mari precum Meta și Microsoft.
Aceasta înseamnă că vei întâlni multe componente care se pot schimba frecvent, iar dacă este prima dată când lucrezi cu software open-source, nu te aștepta la simplitatea instalării unei aplicații pe telefon. E mai degrabă ca instalarea mai multor programe înainte de a putea ajunge la aplicația finală dorită, care nici atunci nu e garantat că va funcționa.
Chiar dacă acest ghid e cât de clar și prietenos ne-am străduit, s-ar putea să întâmpini obstacole la care nu putem răspunde într-un singur articol.
În plus, găsirea soluțiilor poate fi o provocare. Comunitățile online dedicate acestor subiecte sunt de obicei de ajutor, iar deseori cineva a rezolvat deja problema ta.
Doar că trebuie să găsești conversația respectivă—poate fi pe Reddit, într-un FAQ, pe GitHub, pe forumuri Hugging Face sau în alte locuri.
Merită reamintit că AI open-source evoluează rapid. În fiecare zi apar modele noi, instrumentele de interacțiune se schimbă aproape la fel de des, la fel și metodele de antrenament și datele folosite, precum și software-ul de bază.
Pe scurt, e o zonă în mișcare continuă, iar multe dintre programele discutate aici ar putea fi înlocuite în curând de LLM-uri și interfețe mai performante.
Concluzie: Continuă pe propriul risc. Nu există ceva de genul Geek Squad pentru software open-source. Nu e totul întreținut profesional și nu există manuale la care să apelezi sau servicii de relații cu clienții—doar comunități online adesea neorganizate.
După ce totul funcționează, modelele AI vin cu același avertisment: nu lua de bune răspunsurile lor, pentru că sunt adesea greșite. Nu le folosi pentru decizii legate de sănătate sau finanțe.
La fel, nu le folosi pentru teme școlare sau articole de site. Dacă AI spune ceva ofensator, nu lua personal—nu e o persoană care judecă, ci un generator statistic de cuvinte ce produce propoziții oarecum coerente.
Dacă ți se pare prea înfricoșător sau plictisitor, poate nu e un proiect pentru tine.
Înainte de a începe, trebuie să știi câteva lucruri despre sistemul pe care vrei să rulezi un LLM. Este un PC cu Windows, un Mac sau un calculator Linux?
Acest ghid se concentrează pe Windows, dar majoritatea resurselor menționate oferă opțiuni și pentru alte sisteme de operare.
Trebuie să știi dacă sistemul tău are un GPU dedicat sau folosește doar grafica integrată a CPU-ului. Multe LLM-uri open-source pot rula doar pe CPU și memoria sistemului, dar cele mai multe sunt făcute să valorifice puterea de procesare a unei plăci grafice dedicate și memoria video adițională.
Laptopurile de gaming, desktop-urile și stațiile de lucru sunt mai potrivite pentru aceste aplicații, deoarece dispun de hardware grafic performant pe care modelele îl preferă.
În cazul nostru folosim un notebook de gaming Lenovo Legion Pro 7i Gen 8, cu un procesor Intel Core i9-13900HX, 32 GB de memorie RAM și o placă grafică mobilă Nvidia GeForce RTX 4080 cu 12 GB VRAM dedicată.
Dacă folosești un Mac, Linux, ești dependent de CPU sau ai hardware AMD în loc de Intel, pașii generali rămân valabili, dar s-ar putea să ai nevoie de pași suplimentari și software diferit. Performanța poate fi și ea semnificativ diferită față de ce descriem aici.
Pentru început, descarcă software-ul necesar: Microsoft Visual Studio 2019. Orice versiune actualizată a Visual Studio 2019 va funcționa (atenție, nu cele anuale mai noi), dar îți recomandăm să o iei direct de pe site-ul Microsoft.
Utilizatorii personali pot sări peste versiunile Enterprise și Professional și să folosească doar varianta BuildTools a software-ului.
După ce alegi BuildTools, asigură-te că bifezi “Desktop Development with C++”. Acest pas este esențial pentru funcționarea corectă a altor componente software.
Începe descărcarea și relaxează-te: în funcție de conexiunea ta, poate dura câteva minute până când software-ul va fi gata de lansare.
Apoi descarcă tool-ul Text Generation WebUI de la Oobabooga. Da, numele e amuzant, dar proiectul GitHub oferă o interfață ușor de instalat și de folosit pentru orice activitate cu AI, deci nu te concentra pe denumire.
Poți descărca tool-ul de pe pagina de GitHub sau direct din colecția de instalatoare one-click oferite de Oobabooga. Noi am instalat varianta pentru Windows, dar tot aici vei găsi setup-uri și pentru Linux și macOS. Descarcă fișierul zip afișat mai jos.
Creează un folder nou undeva pe PC și numește-l AI_Tools sau ceva similar. Nu folosi spații în numele folderului, deoarece pot apărea probleme în procesul automat de descărcare și instalare.
Apoi extrage conținutul fișierului zip în folderul AI_Tools creat mai devreme.
După extragere, deschide folderul și vei vedea mai multe fișiere, inclusiv unul numit start_windows.bat. Dă dublu click pe el pentru a începe instalarea.
În funcție de setările de securitate, e posibil să primești o avertizare de la Windows Defender sau altă soluție de securitate că fișierul nu provine de la un editor recunoscut. Nu s-au raportat probleme cunoscute, dar o faci pe propria răspundere.
Dacă vrei să continui, alege “More info” și apoi “Run Anyway” pentru a autoriza rularea start_windows.bat.
Instalatorul va deschide o fereastră de comandă (CMD) și va începe instalarea zecilor de componente software necesare pentru Text Generation WebUI. Dacă nu ești obișnuit cu interfața de linie de comandă, stai cu ochii pe ecran și urmărește procesul.
Mai întâi, vei vedea mult text derulându-se, urmat de bare de progres simple formate din simboluri #, apoi va apărea un prompt care te întreabă ce GPU folosești: Nvidia, AMD, Apple M-series sau doar CPU.
Ar fi trebuit să știi deja asta înainte de descărcări. În cazul nostru, selectăm A pentru Nvidia.
După ce răspunzi, instalatorul se ocupă de restul. Vei observa mult text derulându-se, apoi bare de progres colorate în roz și verde pe măsură ce componentele se descarcă și se configurează.
La final (procesul poate dura până la o oră), vei primi un mesaj de avertizare între asteriscuri care te anunță că nu ai descărcat încă niciun model lingvistic mare. E o veste bună: înseamnă că Text Generation WebUI și-a terminat instalarea.
Vei vedea apoi text verde cu mesajul “Info: Loading the extension gallery.” Instalarea este completă, dar nu închide fereastra de comandă încă.
Imediat sub textul verde apare o linie cu “Running on local URL: http://127.0.01:7860”. Fă click pe acea adresă și ți se va deschide browserul cu interfața Text Generation WebUI.
Poți salva sau adăuga la favorite această adresă. Chiar dacă rulezi WebUI în browser, totul e local și va funcționa și fără conexiune Wi-Fi.
Datele generate vor rămâne private și vor rula doar pe mașina ta.
Când ai verificat că WebUI s-a instalat corect și se deschide în browser, închide atât browserul, cât și fereastra de comandă.
În folderul AI_Tools, dă din nou dublu click pe start_windows.bat. Se va deschide fereastra CMD, dar în loc să reinstaleze tot, va porni direct WebUI și va afișa din nou textul verde despre galerie.
Folosește aceeași adresă locală pe care ai copiat-o sau marcat-o anterior și vei vedea din nou interfața WebUI. Așa vei deschide tool-ul pe viitor, lăsând în fundal fereastra CMD deschisă.
Acum că WebUI e instalat și pornit, e momentul să găsești un model de încărcat. Vei descoperi mii de LLM-uri gratuite de pe care le poți descărca și folosi cu WebUI, iar instalarea e foarte simplă.
Dacă vrei o listă recomandată de modele, poți consulta comunități ca /r/LocalLlaMA pe Reddit, unde se află o pagină wiki cu mai multe zeci de modele. Acolo găsești detalii despre scopul fiecărui model și despre hardware-ul suportat.
Toate aceste liste te vor trimite pe Hugging Face, un depozit de LLM-uri și resurse. Dacă ai venit de pe Reddit, probabil ești deja pe o pagină de model—o fișă cu informații despre un model specific.
Aici găsești detalii despre datele și metodele de antrenament folosite, fișierele de descărcat și o secțiune de feedback de la comunitate.
În partea de sus este numele modelului, de obicei afișat cu litere mari. Noi am folosit modelul WizardLM 7B Uncensored creat de Eric Hartford, cunoscut sub numele de ehartford. Denumirea completă este “ehartford/WizardLM-7B-Uncensored”.
Lângă titlu apare o pictogramă pentru copiere. Apasă pe ea ca să salvezi în clipboard numele corect al modelului.
În WebUI, mergi la fila model și introdu numele modelului în câmpul “Download custom model or LoRA”. Lipește denumirea și apasă Download pentru a începe descărcarea fișierelor de pe Hugging Face.
Dacă totul merge bine, vei vedea o bară de progres portocalie în fereastra WebUI și câteva bare de progres în fereastra CMD din fundal.
Când se termină (fii răbdător), bara de progres din WebUI va dispărea și va apărea doar mesajul “Done!”.
După ce modelul este descărcat, trebuie să-l încarci în WebUI. Selectează-l din meniul derulant din stânga sus a filei model.
Înainte să îl folosești, alocă o parte din memoria sistemului sau a plăcii grafice (sau amândouă) pentru rulare. Eu am descoperit că setarea la aproximativ două treimi din memoria CPU și GPU funcționează bine.
Așa rămâne suficientă memorie liberă pentru restul aplicațiilor și modelul are resurse să păstreze conversații mai lungi.
După ce ai ales memorie, apasă Save Settings pentru a păstra alegerea. De fiecare dată va rula cu aceleași setări, iar dacă vrei să le schimbi, le poți reseta și salva din nou.
Odată modelul încărcat și gata, este timp să începi să conversezi cu alternativa ta ChatGPT. Mergi la fila Text Generation în WebUI. Acolo ai interfața de text pentru chat.
Introdu text în căsuță, apasă Enter și așteaptă răspunsul bot-ului.
Mai spunem încă o dată: dacă nu folosești o stație de lucru cu mai multe GPU-uri de top și multă memorie, LLM-ul local nu va fi la fel de rapid ca ChatGPT sau Google Bard. Botul va afișa fragmente de cuvinte (numite tokeni) unul câte unul, cu întârzieri vizibile între ele.
Totuși, cu puțină răbdare poți purta conversații complete cu modelul descărcat. Îl poți întreba informații, te poți juca jocuri de chat și chiar îi poți atribui una sau mai multe personalități.
Mai ales, ai certitudinea că discuțiile și datele tale sunt private, oferind liniște sufletească.
Veți întâlni o mulțime de concepte și termeni noi începând cu LLM-urile locale. Pe măsură ce folosești WebUI și diferite modele, vei învăța cum funcționează.
Dacă nu știi încă diferența dintre text și tokeni sau între GPTQ și LoRA, acestea sunt locuri ideale de explorat în lumea machine learning-ului.
