$LA Lagrange tekee nykyään paljon outoja asioita Tiedätkö, että Gemma 3 ilmestyi Googlessa... Gemma3 on Googlen luoma seuraavan sukupolven tekoälymalli. Älykkäämpi pienemmillä parametreilla (laskennalliset yksiköt, kuten aivosolut) Se on myös nopea ja tarkka, mikä eroaa melko paljon nykyisestä GPT-rakenteesta. esimerkiksi - Ryhmitelty kyselyhuomio (GQA): Menetelmä saman ongelman ratkaisemiseksi useita kertoja ja vastauksen jakamiseksi -> Laskennallinen tehokkuus↑ - Paikallinen+globaali huomio: Keskity läheisiin sanoihin jakamalla ne paikallisiin ja kaukaisiin sanoihin globaaleiksi. -> Tarpeettomat laskelmat↓ - Pyörivä sijaintikoodaus (RoPE): Esittää sanajärjestyksen yksinkertaisina kiertoarvoina monimutkaisten matriisien sijaan -> pitkän kontekstin käsittelyn tehokkuus↑ - RMSNorm, GeGLU: Aivojen ajatusten järjestämisen ja reagointien sääntöjen muuttaminen -> Vakaus ja tarkkuus↑ Mutta kun rakenne muuttuu näin, "Laskiko tämä malli todella oikein?" Todistaminen on paljon vaikeampaa Normaalisti sinulla ei ole muuta vaihtoehtoa kuin luottaa tuloksiin kuin mustaan laatikkoon, mutta tärkeintä on todistaa tämä. Lagrangen DeepProven laajentaa tämän Gemmaan3 - Monimutkaiset huomionaamarit voidaan todistaa - Pystyy käsittelemään uusia asentokoodauksia, kuten RoPE - Modulaarisuus RMSNormiin/GeGLU:hen asti voidaan todistaa -> Uusin tekoälyarkkitehtuuri voidaan nyt matemaattisesti todistaa, että "tulos on oikea" Miksi tämä on tärkeää, Kehittäjän näkökulmasta Vaikka käyttäisit uusinta rakennetta, "vahvistamattoman" ongelmaa ei ole Yrityksen näkökulmasta Sääntely- ja luottamuskysymykset pysyvät innovaatioiden tahdissa Yhteiskunnassa Mitä älykkäämmäksi tekoäly tulee, sitä enemmän turvallisuus kasvaa. Tulevaisuudessa tekoälyn kilpailukyky ei ole "kuinka monta parametria on?" Se voi olla [Voitko todistaa sen] —— Joten mitä $LA? Se ei ehkä reagoi tokeniin heti, mutta se johtaa todelliseen myyntiin, ja se on positiivinen kumppanuuksien ja ekosysteemin laajentumisen kannalta. Eräänä päivänä näin Lagrangen uutiset ja sanoin, että se oli hämmästyttävää, ja ajattelin, että kaavio oli kunnossa. Kaavio on tälläkin kertaa melko vakaa... Lyödään vetoa siitä.