92 балла из 100. Классный результат, модель в топе рейтинга. А потом она не может ответить на простой вопрос — и ты сидишь и думаешь, кто кого обманывает.
Рейтинги моделей ИИ — это, оказывается, та ещё история. Microsoft Research выпустила подкаст с Дженнифер Невилл, партнёром-руководителем исследований, где она объясняет, почему стандартные тесты не показывают реальную картину и что с этим делать. Зацепило.
Невилл — человек с историей: пришла в информатику окольными путями — через математику, физику, когнитивную науку. Попала в исследовательскую работу случайно, обязательный проект для отличников затянул так, что она махнула рукой на планы идти в индустрию и осталась в науке. Больше 130 публикаций, свыше 10 000 цитирований, награды на ICLR и ICDM. Не из воздуха взялась.
Суть того, что она говорит, простая: классические бенчмарки — стандартные наборы тестов для оценки точности — это в каком-то смысле симуляция, а не реальность. Тесты составлены заранее, они предсказуемы. Живые данные — шумные, содержат опечатки, нестандартные формулировки, контекст, которого нет в учебниках. Модель блестяще проходит тест, а потом на реальной задаче выдаёт галлюцинацию — уверенный, грамотный и совершенно неправильный ответ.
Невилл называет это «surprising failures» — удивительные сбои. Те, которые не предскажешь заранее и которые всплывают только при столкновении с данными за пределами привычных условий. Высокий рейтинг не гарантирует, что модель не сломается именно на твоей задаче.
Был у меня момент: проверял даты в статье про финансовый кризис 2008 года. Задача нехитрая. Модель с отличными показателями по бенчмаркам выдала дату начала — на год раньше. Ничто не предвещало. Именно этот разрыв между красивой цифрой в рейтинге и конкретной ошибкой в конкретном контексте — он и есть суть проблемы, которую описывает Невилл.
Так что когда видишь новый лидерборд — хороший повод не расслабляться.
