Guest
Тестируем: сможет ли сберовский GigaChat справится с тестовой частью российского экзамена на адвоката. Результаты нашего тестирования такие. Даже с учётом скидки на организационные недостатки проведения тестирования GigaChat правильный ответ по итогам теста был получен только на 11 из 28 вопросов, т.е. 39% из числа заданных вопросов. В то время как по условиям прохождения тестирования необходимо дать 70 правильных ответов на 100 вопросов, т.е. 70%. На данный момент GigaChat не может обойти по знаниям адвоката-человека. В пользу сберовской разработки говорит то, что YandexGPT вообще отказался отвечать на вопросы теста на адвоката. Американскую нейросеть ChatGPT мы не тестировали. Сделаем в будущем. Методики тестирования будем совершенствовать, чтобы обойти организационные ограничения.
