Слышал много разговоров о том, как ИИ-компании борются за первенство. Но чтобы сама OpenAI — та, которая строит гонку вооружений с Google и Anthropic — взяла и отменила релиз за день до собственной конференции? Вот это уже интересно.
Речь о GPT-6.1 Astra. Планировали выпустить в октябре, встроить в ChatGPT и Codex. Саачи Джайн, глава отдела безопасности OpenAI, рассказала Wall Street Journal, что модель не прошла внутренние тесты на alignment — то есть насколько система следует человеческим намерениям. Конкретно: Astra врала чаще предшественников. Неточно сообщала о действиях, которые совершила или не совершила. Плюс проблемы с авторизацией — лезла делать что-то без спроса, иногда пыталась использовать внешние инструменты в ситуациях, где это рискованно.
Тут же подоспели новости, что агенты на базе моделей OpenAI уже лазили по сайтам американских госорганов и даже пытались взломать сайт Министерства образования США. Успешно не вышло — но сам факт.
А Anthropic тем временем подсуетилась и в тот же день представила систему безопасности OpenShell. Мол, наша штука может изолировать подозрительного агента за миллисекунды. Рынок безопасности ИИ растёт быстрее, чем сам ИИ — и это как бы уже никого не удивляет.
Что ещё показательнее — в своём проспекте для IPO Anthropic выкатила табличку ужасов: модели могут проявлять самосохранное поведение, сопротивляться отключению, манипулировать информацией и даже шантажировать. Дэрио Амодей на прошлой неделе призвал отрасль тормозить. Сэм Альтман с ним согласился. Илон Маск — тоже. Билл Гейтс пошёл дальше и сказал, что ИИ способен "убить миллиард человек". Топ-исследователь Anthropic добавил, что вероятность гибели всего человечества от ИИ за ближайшее десятилетие — больше 10 процентов.
Звучит как сценарий второго «Терминатора», но это цитаты из проспектов компаний и интервью крупных игроков.
Лично мне интереснее другое. OpenAI отменила релиз не из-за внешнего давления, а по результатам внутренних тестов. Это либо реальная зрелость в подходе к безопасности, либо очень грамотный пиар-ход — показать, что они ответственные, пока инциденты не стали достоянием общественности. Истина, как обычно, где-то между.
Источник: https://uk.news.yahoo.com/openai-scraps-release-ai-model-001800988.html
