Тест качества: agentune против claude-opus-5.5
567 задач повышенной сложности из реальной работы сервиса, 25 видов: файловый ассистент, хронология, сценарии, справка, голосовой ввод, текст со страниц, естественные науки и математика. На каждую — эталонный ответ, ответ нашей модели и оценка слепого судьи. Здесь — итоги по всему тесту и по каждому виду задач.
Как устроен тест
- Задачи — ровно те запросы, которые сервис отправляет модели в работе: инструкция, сообщения и формат ответа. Документы и переписки в них — из тестовых баз, поэтому тексты задач не публикуются. В обучение модели эти задачи не входили.
- Эталон — ответ claude-opus-5.5 на тот же запрос; у текста со страниц — расшифровка, сверенная с изображением.
- Судья — claude-opus-5.5. Он видит задание и два ответа в случайном порядке, не зная, где чей, и ставит каждому от 0 до 10 за правильность: выполнена ли инструкция и формат, верен ли ответ данным из сообщений, полон ли он.
Как считаем
- Процент от уровня Opus — сумма баллов нашей модели, делённая на сумму баллов claude-opus-5.5 по тем же задачам, — по всему тесту и по каждому виду задач.
- Справилась — судья поставил ответу модели не меньше 7 из 10: ответ в основном верен, формат соблюдён, данные не искажены. Ниже 7 — не справилась.
agentune v2.0с 12.11.2026
86,7%
от уровня claude-opus-5.5
- Средний балл
- 8,4 (Opus 9,7)
- Справилась
- 462 из 565
- Ответ по формату (JSON-схема)
- 100%
По видам задач
| Вид задачи | Задач | agentune v2.0: % от Opus · справилась | |
|---|---|---|---|
| Нужен ли интернет решить, хватает ли файлов для ответа или нужна справка из интернета | 39 | 100,9% · 32 из 39 | |
| Название файла понять, говорит ли название файла о его содержании | 12 | 100% · 12 из 12 | |
| Справка: модули выбрать модули, описания которых нужны для ответа | 12 | 98,3% · 12 из 12 | |
| Голосовой ввод исправить текст, который распознавание речи записало с микрофона | 26 | 96,9% · 25 из 26 | |
| Отбор фактов отобрать из хронологии факты, нужные для ответа | 27 | 96,6% · 26 из 27 | |
| Путеводитель по документу кратко: о чём документ, ключевые темы и вопросы к нему | 23 | 96,1% · 23 из 23 | |
| Поиск файла по содержанию найти среди кандидатов файл, о котором просит пользователь | 11 | 95,5% · 11 из 11 | |
| Ответ по документам ответить только по найденным фрагментам файлов, со ссылкой на источник после каждого утверждения | 27 | 95% · 26 из 27 | |
| План по хронологии решить, как собрать факты для просьбы: добавить, проследить или ответить | 26 | 94,2% · 24 из 26 | |
| Хронология из документа выписать из документа ключевые факты с датами | 14 | 93,4% · 14 из 14 | |
| Вопрос к хронологии разобрать вопрос к хронологии на условия поиска: о чём, за какие даты, в каких чатах | 16 | 92,4% · 15 из 16 | |
| Разбор просьбы к файлам файловый ассистент: понять просьбу и решить, что сделать — ответить, найти, написать или изменить файл | 27 | 92% · 25 из 27 | |
| Поиск мест в файлах показать, где в файлах говорится о нужном, со сносками на источники | 26 | 91,9% · 18 из 26 | |
| Справка: вопрос помощник по сервису: понять вопрос и выбрать, что прочитать в справке | 26 | 91,5% · 25 из 26 | |
| Правка файла изменить текстовый файл по инструкции пользователя | 27 | 89,7% · 24 из 27 | |
| Новый документ написать документ для базы знаний по материалам пользователя | 9 | 88,8% · 7 из 9 | |
| Сборка сценариев шаги ассистента конструктора: разобрать просьбу, подобрать модули, собрать и поправить сценарий | 27 | 88,7% · 24 из 27 | |
| Запись в хронологию выписать из просьбы факты с датами, чтобы добавить их в хронологию | 12 | 88,1% · 10 из 12 | |
| Отбор источников оставить из найденных в интернете только научные источники | 26 | 87,1% · 23 из 26 | |
| Выписки из файла прочитать файл частями и выписать всё нужное для просьбы | 27 | 86,9% · 21 из 27 | |
| Справка: ответ ответить пользователю только по справке сервиса | 22 | 83,1% · 19 из 22 | |
| Глубокий поиск по файлам решить, хватает ли найденного для просьбы, и что искать дальше | 26 | 74% · 11 из 26 | |
| Хронология из переписки выписать из переписки, что произошло, что решили и кто что поручил, с датами | 26 | 66,9% · 14 из 26 | |
| Текст со страниц переписать текст со скана или фото — печатный и рукописный, с формулами и таблицами; эталон — сверенная расшифровка | 27 | 57,4% · 14 из 27 | |
| Естественные науки и математика задачи университетского уровня с решением; модель рассуждает перед ответом | 26 | 42,3% · 7 из 24 | |
| Весь тест | 567 | 86,7% · 462 из 565 | |