Как устроена Kimi K3: 2,8 трлн параметров, линейное внимание и агенты на миллион токенов

Китайский стартап Moonshot AI открыл веса модели Kimi K3 — мультимодальной MoE-архитектуры с 2,8 триллионами параметров, из которых на каждом токене активируется всего 104 миллиарда. Модель использует линейное внимание для работы с контекстом до миллиона токенов и встроенных агентов, что позволяет решать задачи планирования и инструментального использования. В тестах на программирование и работу с функциями K3 обходит такие гиганты, как Claude Opus 4.8 и GPT-5.5/5.6 Sol.

Для киноиндустрии это означает появление мощного инструмента для автоматизации сценаризации, анализа больших массивов скриптов, субтитров и поисковых запросов. Линейное внимание при миллионе токенов открывает возможность обрабатывать целые архивы студийных документов без чанков. Однако практическое применение на русском языке потребует дообучения. Полные бенчмарки и инструкция по запуску — на Хабре.