Un „frate” al modelului lingvistic local Phi Silica de la Microsoft
Modelele lingvistice mici (SLM) sunt în general mai compacte și mai eficiente decât modelele lingvistice mari (LLM), deoarece sunt concepute pentru a rula pe hardware local sau pe dispozitive de margine (edge devices). Microsoft aduce acum încă un SLM în Windows 11, deoarece utilizatorii au aparent nevoie de câteva sugestii bazate pe inteligență artificială pentru a-i ajuta să găsească anumite setări ale sistemului de operare și să își personalizeze experiența pe PC.
Microsoft a anunțat recent Mu, un nou model lingvistic mic conceput pentru a se integra cu experiența interfeței utilizator (UI) din Windows 11. Mu va funcționa alături de Phi Silica – modelul lingvistic introdus anterior pe PC-urile Copilot+ – pentru a alimenta funcția de agent AI din Setările Windows, pe care compania o dezvoltă în prezent.
La fel ca Phi Silica, Mu va rula în întregime pe unitatea de procesare neurală (NPU) a sistemului, oferind răspunsuri la peste 100 de token-uri pe secundă, ceea ce ar trebui să ofere o experiență de utilizare fluidă în Setări.
Microsoft descrie Mu ca fiind un model eficient cu 330 de milioane de parametri, optimizat pentru implementări la scară mică. Se bazează pe o arhitectură de tip transformator codificator-decodificator, unde codificatorul convertește intrarea utilizatorului într-o reprezentare latentă de lungime fixă, iar decodificatorul generează token-uri de ieșire din acea reprezentare.
Microsoft a proiectat Mu ca un „frate” extrem de optimizat al lui Phi Silica, folosind mai multe tehnici pentru a reduce numărul de parametri și a îmbunătăți eficiența. SLM-ul a fost antrenat folosind un număr nespecificat de GPU-uri A100 pe platforma Azure Machine Learning, progresând prin mai multe faze și aplicând tehnici pe care Redmond le-a dezvoltat în timpul lucrului la modelele Phi.
După ajustarea fină a modelului, dezvoltatorii au constatat că Mu oferă performanțe aproape comparabile cu Phi-3.5-mini, deși are doar o zecime din dimensiunea acestuia. Mai mult, Microsoft a colaborat cu parteneri din domeniul cipurilor, Intel, AMD și Qualcomm, pentru a se asigura că Mu este complet optimizat pentru a rula pe mașini locale dotate cu NPU.
Care a fost scopul tuturor acestor eforturi de optimizare? Potrivit Redmond, Mu va alimenta noua experiență „agentică” din viitoarea aplicație Setări îmbunătățită cu AI. Gigantul AI și cloud își propune să ofere o nouă funcție de „chat” care permite utilizatorilor Windows să pună întrebări legate de setări în limbaj natural și să primească răspunsuri eficiente, chiar și atunci când abia știu ce caută.
Inteligența Artificială agentică din aplicația Setări ar trebui să îmbunătățească ușurința de utilizare a Windows. Microsoft a recunoscut că antrenarea unui SLM capabil să gestioneze (și să modifice) sute de setări de sistem a fost o provocare, iar compania spune că salută feedback-ul utilizatorilor cu privire la noua funcție.
Personal, nu am întâmpinat niciodată probleme de utilizare sau de descoperire a setărilor în timpul celor opt ani de utilizare a Windows 10, totuși Microsoft rămâne optimistă în ceea ce privește transformarea Windows într-o platformă „AI-first”.
