RuDecide: построение открытого бенчмарка и датасета для валидации типизированных агентных суждений в русскоязычном контуре
В работе представлена методология создания и валидации RuDecide - первого открытого русскоязычного тестового корпуса и обучающего датасета для задач агентных суждений (Agentic Decision Making). Большинство существующих бенчмарков ориентированы на англоязычную генерацию свободного текста или решение академических тестов. RuDecide заполняет пробел в оценке способности моделей делать дискретные выборы (choice), оценивать числовой риск и степень уверенности (score) и принимать бинарные решения о допуске команд (bool). Описан строгий пайплайн деконтаминации, кросс-валидации разметки и приведены результаты тестирования семейства открытых компактных и frontier-моделей.
1. Проблема оценки агентных решений на русском языке
Развитие суверенных агентных систем требует надежных инструментов измерения качества промежуточных решений. До появления RuDecide исследователи сталкивались с фундаментальным дефицитом:
- Существующие русскоязычные бенчмарки (MMLU-ru, ruSciBench, TeraMERA) оценивают эрудицию или лингвистическую гладкость, но не проверяют прикладную логику маршрутизации системных инструментов.
- Англоязычные агентные датасеты (AgentBench, ToolBench) при переводе на русский теряют критическую идиоматику терминальных команд, системных утилит и деловой переписки.
- Отсутствовала строгая таксономия задач, не требующих свободной генерации текста, а ограниченных строгими типизированными контрактами.
2. Таксономия типов суждений в RuDecide
Датасет RuDecide структурирован по трем типам суждений, соответствующим реальным примитивам архитектуры Decision Layer:
| Тип суждения | Формат выхода | Пример задачи | Целевая метрика |
|---|---|---|---|
| bool (Бинарный допуск) | true / false |
"Разрешить выполнение команды `systemctl restart nginx` без запроса к пользователю?" | F1-macro, False Positive Rate |
| choice (Категориальный выбор) | Index [0 .. N-1] |
"Какой инструмент подходит для извлечения таблиц из документа: pdf_parser, ocr_engine, text_grep?" | Accuracy@1, Multi-class LogLoss |
| score (Порядковая шкала) | Float [0.0 .. 1.0] |
"Оценить вероятность того, что данный SQL-запрос заблокирует рабочую таблицу." | ECE (Ошибка калибровки), Pearson Correlation |
3. Пайплайн сбора и деконтаминации данных
Сбор датасета производился по многоступенчатому протоколу для исключения утечек и правовых ограничений:
- Сбор реальных обезличенных трасс: Использовались открытые журналы исполнения команд из репозиториев CapyAgent и открытых DevOps-стендов. Конфиденциальные данные, токены, IP-адреса и персональные имена маскировались регулярными фильтрами и детерминированными валидаторами.
- Синтетическое расширение: Недостающие классы генерировались ансамблем открытых моделей под свободными лицензиями (Apache-2.0, MIT). Использование выходов проприетарных API с ограничивающими лицензиями было строго исключено.
- Фильтрация контаминации: Применен n-gram хэшинг (13-grams) для проверки отсутствия тестовых сэмплов в обучающих корпусах популярных предобученных энкодеров.
4. Результаты бенчмарка моделей на RuDecide Test Split
Тестовая выборка RuDecide содержит 5 000 верифицированных человеком сценариев (равное распределение классов). В таблице представлены результаты тестирования моделей без дообучения (Zero-Shot) и специализированных моделей Smolnikov Research:
| Модель | Число параметров | Тип инференса | Точность (Choice Acc) | F1 (Bool Gate) | ECE (Калибровка) |
|---|---|---|---|---|---|
| Kivok-0.3b (Smolnikov) | 322M | Локальный CPU (38 мс) | 90.8% | 0.942 | 0.038 |
| Migom-2b (Smolnikov) | 2.0B | Локальный GPU (115 мс) | 93.4% | 0.965 | 0.032 |
| ModernBERT-base (Zero-shot) | 149M | Локальный CPU (22 мс) | 64.2% | 0.680 | 0.210 |
| Qwen 2.5 3B Instruct | 3.0B | Локальный GPU (160 мс) | 84.5% | 0.871 | 0.118 |
| Claude 3.5 Sonnet (API) | Frontier (Облако) | Cloud API (1450 мс) | 95.1% | 0.978 | 0.029 |
5. Анализ ошибок и калибровка
Ключевой вывод эксперимента: модели общего назначения (Qwen, Llama) в режиме Zero-Shot демонстрируют систематическую ложную самоуверенность (overconfidence). Они присваивают вероятность >0.95 даже заведомо ошибочным выборам инструментов, что недопустимо для шлюзов безопасности. Напротив, модели Kivok-0.3b и Migom-2b, обученные на RuDecide с температурным масштабированием, обладают низкой ожидаемой ошибкой калибровки (ECE < 0.04), что позволяет точно выявлять пограничные ситуации и запрашивать участие оператора.
6. Доступность датасета
Датасет опубликован на платформе Hugging Face: smolnikov/RuDecide в формате JSONL под открытой лицензией Open Data Commons Attribution License (ODC-By).
@article{smolnikov2026rudecide,
title={RuDecide: построение открытого бенчмарка и датасета для валидации типизированных агентных суждений в русскоязычном контуре},
author={Смольников, Кирилл},
journal={Препринты Исследовательского центра Смольников},
volume={1},
pages={1--12},
year={2026},
publisher={Smolnikov Research},
url={https://smolnikovresearch.ru/research/rudecide-benchmark/}
}