Migom-2b: специализированная дистилляция и LoRA-адаптация для калиброванной маршрутизации мультиагентных навыков
В статье исследуется задача динамической маршрутизации запросов между разнородными специализированными навыками (skills) и субагентами в агентных платформах масштаба предприятия. Подача описаний десятков инструментов в системный промпт основной языковой модели приводит к деградации внимания и резкому удорожанию каждого шага. Авторы представляют модель Migom-2b (2 млрд параметров), полученную методом параметрически эффективной адаптации (LoRA) открытой архитектуры JevK5/Qwen. Модель обучена выдавать не только целевой маршрут, но и математически калиброванную оценку уверенности (confidence score). Эксперименты на стенде из 26 навыков показали точность маршрутизации 91.4% со снижением задержки выбора в 4-10 раз по сравнению с frontier LLM.
1. Введение и вызовы маршрутизации навыков
По мере развития агентных систем каталог доступных навыков (skills), плагинов и MCP-серверов стремительно растет: от работы с базами данных и Git до специализированного парсинга PDF и отраслевых CRM. Когда число инструментов превышает 20-30, классический подход "включить JSON-схемы всех инструментов в системный промпт" сталкивается с непреодолимыми препятствиями:
- Расход контекстного бюджета: Схемы 30 инструментов занимают от 8 000 до 15 000 токенов в каждом запросе пользователя.
- Галлюцинации и коллизии: Модели начинают путать инструменты с похожими названиями и вызывать нерелевантные функции.
- Отсутствие калибровки неуверенности: Модель часто вызывает неподходящий инструмент с абсолютной уверенностью вместо того, чтобы признать нехватку данных.
2. Архитектура Migom-2b и LoRA-адаптация
В качестве базовой модели был выбран открытый трансформер JevK5/Qwen3.5 (2B параметров), обладающий развитым пониманием русского и английского технического контекста. Для специализации под задачи маршрутизации суждений применен метод Low-Rank Adaptation (LoRA):
3. Калибровка вероятностей и метрика ECE
Для безопасного применения в автоматизированных системах распределение вероятностей модели должно отражать реальную вероятность правильного ответа. Если модель заявляет уверенность 80%, ровно 80 из 100 таких решений обязаны быть верными.
Мы оцениваем степень калибровки через метрику Expected Calibration Error (ECE):
ECE = sum_{m=1}^M (|B_m| / N) * |acc(B_m) - conf(B_m)|
Базовая модель без адаптации показала ECE = 0.142 (сильная переоценка уверенности). После обучения LoRA с регуляризацией энтропии и постобработки методом Platt Scaling значение ECE снизилось до 0.041.
4. Экспериментальный стенд и результаты
Стенд включал 26 разнородных навыков CapyAgent (терминал, файловые операции, браузерный реле, поиск в Telegram, скоринг тендеров, Битрикс24, Git, docker). Тестовая выборка состояла из 500 запросов разной степени неоднозначности (3 запусков на каждый запрос, всего 1500 измерений).
| Модель маршрутизации | Skill Accuracy | Медиана задержки | Контекстный расход | ECE (Ошибка) |
|---|---|---|---|---|
| Migom-2b (LoRA, Smolnikov) | 91.4% | 115 мс | 350 токенов | 0.041 |
| Laya-multilingual (Zero-shot, 322M) | 72.0% | 48 мс | 350 токенов | 0.198 |
| Claude 3.5 Haiku (Prompt-based) | 82.6% | 1 240 мс | 9 400 токенов | 0.112 |
| Claude 3.5 Sonnet (Prompt-based) | 94.8% | 2 450 мс | 9 400 токенов | 0.034 |
5. Анализ компромисса: точность против скорости
Хотя флагманская облачная модель Sonnet достигает 94.8% точности, она работает более 2.4 секунд и тратит почти 10 тысяч токенов на один вызов. Migom-2b уступает ей всего 3.4% в точности, но работает в 21 раз быстрее и локально на локальном GPU/NPU.
Более того, благодаря калибровке уверенности, все 8.6% пограничных случаев Migom-2b помечает меткой confidence < 0.70, что позволяет автоматически активировать fallback на человека или тяжелую модель, достигая результирующей надежности контура в 98.2%.
6. Заключение и доступность весов
Модель Migom-2b подтверждает высокую эффективность компактных специализированных сетей для задач системной координации. Веса адаптера и скрипты инференса доступны на платформе Hugging Face: smolnikov/migom-2b под открытой лицензией Apache-2.0.
@article{smolnikov2026migom,
title={Migom-2b: специализированная дистилляция и LoRA-адаптация для калиброванной маршрутизации мультиагентных навыков},
author={Смольников, Кирилл},
journal={Препринты Исследовательского центра Смольников},
volume={1},
pages={1--16},
year={2026},
publisher={Smolnikov Research},
url={https://smolnikovresearch.ru/research/migom-skill-routing/}
}