$LA Лагранж в последнее время делает много интересного. Вы, наверное, слышали о Gemma3 от Google… Gemma3 — это следующая модель ИИ, созданная Google, которая работает умнее с меньшим количеством параметров (единицы вычислений, подобные нейронным клеткам). Скорость высокая, точность тоже, но она довольно отличается от существующей структуры GPT. Например: - GQA (Grouped Query Attention): вместо того, чтобы решать одну и ту же задачу несколько раз, ответы делятся. -> Эффективность вычислений↑ - Локальное + глобальное внимание: близкие слова обрабатываются локально, а удаленные — глобально. -> Избыток вычислений↓ - RoPE (Rotary Positional Encoding): порядок слов представляется простыми вращающимися значениями вместо сложных матриц. -> Эффективность обработки длинного контекста↑ - RMSNorm, GeGLU: изменены правила и способы реакции мозга на упорядочивание мыслей. -> Стабильность и точность↑ Но когда структура меняется таким образом, становится гораздо сложнее доказать, "правильно ли эта модель произвела вычисления?" Обычно результаты выходят как черный ящик, и приходится доверять им, но доказать это — ключевой момент. DeepProve от Лагранжа расширяет это до Gemma3. - Можно доказать сложные маски внимания. - Можно обрабатывать новые позиционные кодировки, такие как RoPE. - Модульная структура для RMSNorm/GeGLU позволяет доказать. -> Теперь можно математически доказать, что "выход правильный" для современных архитектур ИИ. Почему это важно? С точки зрения разработчика: Нет проблемы "недоказуемости" даже при использовании современных структур. С точки зрения бизнеса: Проблемы регулирования и доверия идут в ногу с темпами инноваций. В обществе: Чем умнее становится ИИ, тем выше безопасность. В будущем конкурентоспособность ИИ может зависеть не от "сколько параметров", а от [можно ли это доказать]. —— Так что же такое $LA? Хотя он может не реагировать на токены сразу, это положительно сказывается на реальных доходах и расширении партнерств и экосистемы. На прошлой неделе, когда я читал новости о Лагранже, мне показалось это интересным, и график тоже выглядел неплохо. На этот раз график тоже довольно стабилен… Может, стоит сделать ставку?