Китай представляет крупнейшую в мире открытую модель искусственного интеллекта

По данным китайской компании Moonshot AI, стартап выпустил новую модель искусственного интеллекта Kimi K3 с 2,8 триллионами параметров. Разработчики называют ее крупнейшей в мире открытой моделью ИИ по количеству параметров.

Огромная модель с выборочной активацией

Kimi K3 построен на архитектуре Mixture of Experts (MoE). Такой подход позволяет модели содержать триллионы параметров, но не использовать их все одновременно. По данным Moonshot AI, система включает в себя 896 экспертных блоков, из которых только 16 активируются при обработке конкретной задачи.

Это снижает вычислительные затраты и позволяет работать с очень большой моделью без необходимости использовать все ее возможности при каждом ответе.

«Больше параметров означает более высокий потолок возможностей и обеспечивает более интеллектуальную производительность», — сказал Moonshot AI.

Миллион токенов за сложные задачи

Контекстное окно Kimi K3 — 1 миллион токенов. Это объем информации, который модель может хранить в рамках одного разговора или запроса. Для сравнения, этот объем позволяет работать с большими программными проектами, технической документацией или массивами научных текстов без постоянной повторной загрузки данных.

Разработчики отмечают, что модель оптимизирована для задач, требующих длительного анализа, включая создание программного обеспечения, работу с большими базами знаний, глубокие исследования и обработку информации из разных источников.

Kimi K3 также использует новые методы обработки данных, в том числе технологию Kimi Delta Attention, которая помогает более эффективно обрабатывать длинные последовательности текста.

Китайские модели выходят на мировой рынок

Moonshot AI утверждает, что Kimi K3 достиг уровня ведущих патентованных моделей, включая системы OpenAI, Anthropic и Google. По словам разработчиков, он показывает хорошие результаты в задачах программирования, анализе данных и сложных рассуждениях, однако независимых оценок этих утверждений пока нет.

Разработка Kimi K3 отражает общую тенденцию в китайской индустрии искусственного интеллекта. Все больше компаний выпускают крупные модели с открытым доступом, пытаясь конкурировать с закрытыми системами ведущих американских разработчиков.

На момент запуска модель доступна через сервисы Moonshot AI, а полноценный выпуск весов для самостоятельного использования планируется позже. Поэтому правильнее говорить о ней как об открытой модели, а не как о полностью открытом исходном коде.