$LA Lagrange ostatnio robi wiele ciekawych rzeczy. Wiesz, że Gemma3 wyszła z Google... Gemma3 to nowa generacja modelu AI stworzona przez Google, która działa mądrzej przy mniejszej liczbie parametrów (jednostki obliczeniowe podobne do neuronów). Działa szybko i z dużą dokładnością, ale jest dość różna od dotychczasowej struktury GPT. Na przykład: - GQA (Grouped Query Attention): zamiast rozwiązywać ten sam problem wielokrotnie, dzieli odpowiedzi. -> Efektywność obliczeniowa ↑ - Lokalna + globalna uwaga: bliskie słowa są lokalne, a odległe globalne, co pozwala na skupienie się na nich. -> Zbędne obliczenia ↓ - RoPE (Rotary Positional Encoding): kolejność słów wyrażana jest za pomocą prostych wartości obrotowych zamiast skomplikowanych macierzy. -> Efektywność przetwarzania długiego kontekstu ↑ - RMSNorm, GeGLU: zmiana zasad i sposobów reakcji mózgu na porządkowanie myśli. -> Stabilność i dokładność ↑ Jednak gdy struktura się zmienia, znacznie trudniej jest udowodnić, czy „ten model naprawdę obliczył poprawnie?”. Zazwyczaj wyniki są jak czarna skrzynka, więc nie ma innego wyjścia, jak tylko zaufać, ale udowodnienie tego jest kluczowym punktem. DeepProve Lagrange rozszerza to na Gemma3. - Możliwość udowodnienia skomplikowanych masek uwagi. - Możliwość przetwarzania nowych kodów pozycyjnych, takich jak RoPE. - Możliwość modularizacji i udowodnienia RMSNorm/GeGLU. -> Najnowsza architektura AI może być matematycznie udowodniona, że „wynik jest poprawny”. Dlaczego to jest ważne? Z perspektywy dewelopera: Nie ma problemu z „brakiem weryfikacji”, nawet przy użyciu najnowszej struktury. Z perspektywy firmy: Problemy z regulacjami i zaufaniem podążają za tempem innowacji. W społeczeństwie: Im bardziej AI staje się inteligentne, tym większe bezpieczeństwo. W przyszłości konkurencyjność AI może zależeć nie od „ilu parametrów”, ale od [czy można to udowodnić]. —— A więc co z $LA? Może nie zareaguje od razu na token, ale jest pozytywne w kontekście rzeczywistych przychodów oraz rozszerzenia partnerstw i ekosystemu. Ostatnio, gdy widziałem wiadomości o Lagrange, pomyślałem, że to ciekawe, a wykres też wyglądał dobrze, teraz wykres również wydaje się dość stabilny... Może zaryzykuję.