Тест качества: agentune против claude-opus-5.5

567 задач повышенной сложности из реальной работы сервиса, 25 видов: файловый ассистент, хронология, сценарии, справка, голосовой ввод, текст со страниц, естественные науки и математика. На каждую — эталонный ответ, ответ нашей модели и оценка слепого судьи. Здесь — итоги по всему тесту и по каждому виду задач.

Как устроен тест

  • Задачи — ровно те запросы, которые сервис отправляет модели в работе: инструкция, сообщения и формат ответа. Документы и переписки в них — из тестовых баз, поэтому тексты задач не публикуются. В обучение модели эти задачи не входили.
  • Эталон — ответ claude-opus-5.5 на тот же запрос; у текста со страниц — расшифровка, сверенная с изображением.
  • Судья — claude-opus-5.5. Он видит задание и два ответа в случайном порядке, не зная, где чей, и ставит каждому от 0 до 10 за правильность: выполнена ли инструкция и формат, верен ли ответ данным из сообщений, полон ли он.

Как считаем

  • Процент от уровня Opus — сумма баллов нашей модели, делённая на сумму баллов claude-opus-5.5 по тем же задачам, — по всему тесту и по каждому виду задач.
  • Справилась — судья поставил ответу модели не меньше 7 из 10: ответ в основном верен, формат соблюдён, данные не искажены. Ниже 7 — не справилась.
agentune v2.0с 12.11.2026
86,7%
от уровня claude-opus-5.5
Средний балл
8,4 (Opus 9,7)
Справилась
462 из 565
Ответ по формату (JSON-схема)
100%

По видам задач

Вид задачиЗадачagentune v2.0: % от Opus · справилась
Нужен ли интернет
решить, хватает ли файлов для ответа или нужна справка из интернета
39100,9% · 32 из 39
Название файла
понять, говорит ли название файла о его содержании
12100% · 12 из 12
Справка: модули
выбрать модули, описания которых нужны для ответа
1298,3% · 12 из 12
Голосовой ввод
исправить текст, который распознавание речи записало с микрофона
2696,9% · 25 из 26
Отбор фактов
отобрать из хронологии факты, нужные для ответа
2796,6% · 26 из 27
Путеводитель по документу
кратко: о чём документ, ключевые темы и вопросы к нему
2396,1% · 23 из 23
Поиск файла по содержанию
найти среди кандидатов файл, о котором просит пользователь
1195,5% · 11 из 11
Ответ по документам
ответить только по найденным фрагментам файлов, со ссылкой на источник после каждого утверждения
2795% · 26 из 27
План по хронологии
решить, как собрать факты для просьбы: добавить, проследить или ответить
2694,2% · 24 из 26
Хронология из документа
выписать из документа ключевые факты с датами
1493,4% · 14 из 14
Вопрос к хронологии
разобрать вопрос к хронологии на условия поиска: о чём, за какие даты, в каких чатах
1692,4% · 15 из 16
Разбор просьбы к файлам
файловый ассистент: понять просьбу и решить, что сделать — ответить, найти, написать или изменить файл
2792% · 25 из 27
Поиск мест в файлах
показать, где в файлах говорится о нужном, со сносками на источники
2691,9% · 18 из 26
Справка: вопрос
помощник по сервису: понять вопрос и выбрать, что прочитать в справке
2691,5% · 25 из 26
Правка файла
изменить текстовый файл по инструкции пользователя
2789,7% · 24 из 27
Новый документ
написать документ для базы знаний по материалам пользователя
988,8% · 7 из 9
Сборка сценариев
шаги ассистента конструктора: разобрать просьбу, подобрать модули, собрать и поправить сценарий
2788,7% · 24 из 27
Запись в хронологию
выписать из просьбы факты с датами, чтобы добавить их в хронологию
1288,1% · 10 из 12
Отбор источников
оставить из найденных в интернете только научные источники
2687,1% · 23 из 26
Выписки из файла
прочитать файл частями и выписать всё нужное для просьбы
2786,9% · 21 из 27
Справка: ответ
ответить пользователю только по справке сервиса
2283,1% · 19 из 22
Глубокий поиск по файлам
решить, хватает ли найденного для просьбы, и что искать дальше
2674% · 11 из 26
Хронология из переписки
выписать из переписки, что произошло, что решили и кто что поручил, с датами
2666,9% · 14 из 26
Текст со страниц
переписать текст со скана или фото — печатный и рукописный, с формулами и таблицами; эталон — сверенная расшифровка
2757,4% · 14 из 27
Естественные науки и математика
задачи университетского уровня с решением; модель рассуждает перед ответом
2642,3% · 7 из 24
Весь тест56786,7% · 462 из 565