$LA Lagrange face o mulțime de lucruri ciudate în zilele noastre Știți că Gemma 3 a apărut pe Google... Gemma3 este un model AI de ultimă generație creat de Google. Mai inteligent cu mai puțini parametri (unități de calcul precum celulele creierului) De asemenea, este rapid și precis, ceea ce este destul de diferit de structura GPT existentă. de exemplu - Grouped Query Attention (GQA): O metodă de rezolvare a aceleiași probleme de mai multe ori și de partajare a răspunsului -> Eficiență computațională↑ - Atenție locală + globală: Concentrați-vă pe cuvintele care sunt aproape de dvs., împărțindu-le în cuvinte locale și îndepărtate ca fiind globale. -> Calcule inutile↓ - Codificare pozițională rotativă (RoPE): Reprezintă ordinea cuvintelor ca valori simple de rotație în loc de matrice complexe -> Eficiență de procesare a contextului lung↑ - RMSNorm, GeGLU: Schimbarea regulilor după care creierul organizează gândurile și modul în care reacționează -> Stabilitate și precizie↑ Dar când structura se schimbă astfel, "Acest model a calculat cu adevărat corect?" Devine mult mai dificil de dovedit În mod normal, nu ai de ales decât să ai încredere în rezultate ca într-o cutie neagră, dar punctul cheie este să dovedești acest lucru. DeepProven de la Lagrange extinde acest lucru la Gemma3 - Măștile complexe de atenție pot fi dovedite - Capabil să gestioneze noi codificări poziționale, cum ar fi RoPE - Modularitatea până la RMSNorm/GeGLU poate fi dovedită -> Cea mai recentă arhitectură AI poate fi acum dovedită matematic că "rezultatul este corect" De ce este important, Din punctul de vedere al dezvoltatorului Chiar dacă utilizați cea mai recentă structură, nu există nicio problemă de "neverificabil" Din punctul de vedere al companiei Problemele de reglementare și de încredere țin pasul cu ritmul inovației În societate Cu cât AI devine mai inteligentă, cu atât mai multă siguranță va crește. În viitor, competitivitatea AI nu este "câți parametri există?" S-ar putea să fie [Poți dovedi] —— Deci ce $LA? S-ar putea să nu reacționeze imediat la token, dar va duce la vânzări reale și va fi pozitiv în ceea ce privește parteneriatele și extinderea ecosistemului. Zilele trecute, am văzut știrile despre Lagrange și am spus că sunt uimitoare și mi s-a părut că graficul este în regulă. Graficul este destul de stabil și de data aceasta... Să pariem pe asta.