$LA Lagrange está haciendo muchas cosas extrañas en estos días Ya sabéis que Gemma 3 salió en Google... Gemma3 es un modelo de IA de próxima generación creado por Google. Más inteligente con menos parámetros (unidades computacionales como las células cerebrales) También es rápido y preciso, lo cual es bastante diferente de la estructura GPT existente. por ejemplo - Atención de consulta agrupada (GQA): un método para resolver el mismo problema varias veces y compartir la respuesta -> Eficiencia computacional↑ - Atención local + global: concéntrese en las palabras que están cerca de usted dividiéndolas en palabras locales y distantes como globales. -> Cálculos innecesarios↓ - Codificación posicional rotativa (RoPE): Representa el orden de las palabras como valores de rotación simples en lugar de matrices complejas -> Eficiencia de procesamiento de contexto largo↑ - RMSNorm, GeGLU: Cambiar las reglas por las cuales el cerebro organiza los pensamientos y cómo reacciona -> Estabilidad y precisión↑ Pero cuando la estructura cambia así, "¿Este modelo realmente calculó correctamente?" Se vuelve mucho más difícil de probar Normalmente, no tienes más remedio que confiar en los resultados como una caja negra, pero el punto clave es demostrarlo. DeepProven de Lagrange extiende esto a Gemma3 - Se pueden probar máscaras de atención complejas - Capaz de manejar nuevas codificaciones posicionales como RoPE - Se puede demostrar la modularidad hasta RMSNorm/GeGLU -> La última arquitectura de IA ahora se puede demostrar matemáticamente que la "salida es correcta" Por qué esto es importante, Desde el punto de vista del desarrollador Incluso si usa la estructura más reciente, no hay problema de 'no verificable' Desde el punto de vista de la empresa Los problemas regulatorios y de confianza se mantienen al día con el ritmo de la innovación En la sociedad Cuanto más inteligente se vuelva la IA, más aumentará la seguridad. En el futuro, la competitividad de la IA no es "¿cuántos parámetros hay?" Puede ser [¿Puedes probarlo?] —— Entonces, ¿qué $LA? Puede que no reaccione al token de inmediato, pero conducirá a ventas reales y será positivo en términos de asociaciones y expansión del ecosistema. El otro día, vi las noticias de Lagrange y dije que era increíble, y pensé que el gráfico estaba bien. El gráfico también es bastante estable esta vez ... Apostemos por ello.