Егор Куликов, Илья Муравьёв Невыносимая легкость автоматической генерации тестов

Ближайшая конференция Heisenbug: #heisenbug #тестирование #IT #conference #jugrugroup Автоматическая генерация тестов стала популярна в связи с появлением больших языковых моделей. Возникла иллюзия, что создать подобный инструмент не так уж и сложно. Так ли это? Если отправить в языковую модель слишком мало информации, тесты будут плохими, а если слишком много, то дорогими. А еще нужно не только задать LLM правильный вопрос, но и качественно обработать полученный ответ. Поговорим о подводных камнях и перспективах, которые открывает автоматическая генерация тестов. Расскажем, как три года назад мы начали искать решение на базе формальных методов (символьного исполнения и фаззинга) и создали UnitTestBot. Инструмент выигрывал международные соревнования и получил признание в академической среде, но с тем, чтобы добиться высокого качества тестов на больших проектах, справлялся не всегда. Сейчас мы уверены, что будущее технологии — за синтезом формальных методов и AI. Скачать презентацию с сайта —