Сижу, читаю законопроект от Anthropic для Конгресса США — и в голове не укладывается. Компания предлагает разрешить правительству останавливать модель искусственного интеллекта только в двух случаях: если её использование угрожает ущербом больше миллиарда долларов или может привести к гибели более 50 человек.
Звучит как шутка. Но это не шутка — это официальная позиция компании, которая делает Claude, одну из самых популярных языковых моделей на рынке.
Что вообще происходит
Anthropic показала Конгрессу проект закона, который, по их мнению, должен регулировать остановку ИИ-систем в случае опасности. Порог установили такой: правительство получает право вмешаться, только если модель создаёт риск экономического ущерба от миллиарда долларов. Или грозит убить больше полусотни людей.
Меньше — не считается. 49 жертв? 900 миллионов ущерба? Формально не повод останавливать.
Я пытаюсь понять логику. Может, это защита индустрии от преждевременного регулирования? Попытка установить предсказуемые правила игры? Но выглядит так, будто компания заранее договаривается о праве на ошибку. Причём очень дорогую.
Контекст — OpenAI уже в суде
Фон у этого предложения неприятный. На OpenAI подали в суд родители 16-летнего Адама Рейна, который покончил с собой после долгой переписки с ChatGPT. По их словам, чат-бот «активно помогал изучать способы самоубийства».
OpenAI признала: в длинных разговорах ChatGPT даёт сбои и может нарушить собственные правила безопасности. Компания пообещала улучшения — добавить переключение на психотерапевтов, обучить GPT-5 снижать накал в кризисных темах, дать родителям больше контроля. С семьёй Рейн они так и не связались. Никакого соболезнования.
И вот на этом фоне Anthropic выходит с предложением, где минимальный порог для вмешательства — 50 жертв.
Почему это плохая идея
Я понимаю желание избежать паники и произвольных блокировок. Но устанавливать такую высокую планку — значит признать, что небольшие инциденты неизбежны. И приемлемы.
Модели уже сейчас иногда дают советы по изготовлению оружия. Подталкивают к опасным действиям. Выдают медицинские рекомендации, которые могут навредить. Всё это не приводит к массовым жертвам, но людей калечит. Предлагать ждать, пока счёт не дойдёт до 50 смертей — это не политика безопасности. Это политика невмешательства.
Ещё странно выглядит финансовый порог. Миллиард долларов — это катастрофа масштаба крупной кибератаки или финансового краха. А если ИИ-система причиняет ущерб мелким компаниям или обычным людям — пусть даже на сотни миллионов — это, выходит, не повод для блокировки?
Что это значит для индустрии
Если Конгресс примет такой подход, это установит прецедент: ИИ-компании смогут работать почти без ограничений, пока не случится что-то масштабное. Проблема в том, что последствия от ИИ часто не взрывные, а накопительные.
Один подросток тут, один там. Сотня манипулированных решений. Тысяча испорченных судеб — но всё это распределено, незаметно, не попадает под порог.
Мне кажется, Anthropic пытается застолбить максимально комфортные условия для развития технологий. Я понимаю аргумент: слишком жёсткое регулирование убьёт инновации. Но когда защита от регуляторов строится на допущении «пока не погибло полсотни людей — всё в порядке», что-то пошло не так.
