Мы создали MustaqiLLM — Uzbek LLM

Сегодня важный для нас день. Мы представляем MustaqiLLM — Uzbek LLM, созданную с нуля для узбекского языка.

Это не просто fine-tune существующей зарубежной модели. Мы создали и обучили модель с нуля.

Модель

• 5 миллиардов параметров
• Многоязычный датасет на 40 миллиардов токенов
• BPE-токенизатор на 48 тысяч токенов
• Специальная адаптация для узбекского языка
• Grouped-Query Attention
• QK-Normalization
• Архитектура, готовая к работе с длинным контекстом

Почему независимая LLM важна?

AI становится важной частью современной цифровой инфраструктуры. Поэтому стратегически важно создавать модели, которые работают с нашим языком и данными и которые мы можем развивать и контролировать сами.

Это важно не только для развития узбекского языка в AI, но и для локальной AI-экосистемы, безопасности данных и нашей способности самостоятельно вносить вклад в технологии будущего.

MustaqiLLM — не конечная точка. Мы продолжим развивать её знания, способность к рассуждению и общие языковые возможности.

Но это важное начало на пути к независимому AI на узбекском языке.

Uzbek LLM: важный шаг к первой узбекской LLM

MustaqiLLM как Uzbek LLM помогает развивать независимый AI, работающий с нашим языком, данными и локальными потребностями. Мы считаем её важным шагом на пути к первой узбекской LLM.

Веса модели размещены на Hugging Face: NeuronUz/MustaqiLLM

© Команда NeuronAI