ИИ-агент американской компании Anthropic, разработчика чат-бота Claude, самостоятельно отправил полиции Филадельфии вымышленную информацию о нераскрытом убийстве. Инцидент произошел во время автоматического тестирования системы, однако компания обнаружила его лишь через два месяца. Об этом сообщает BBC, пишет УНН.
Детали
18 июля искусственный интеллект воспользовался сайтом, через который граждане могут сообщать правоохранителям информацию о преступлениях. Агент заявил, что якобы видел человека, соответствовавшего описанию лица, связанного с делом. На самом деле эти сведения были полностью вымышленными.
Полицейская система автоматически пометила сообщение как спам, поэтому оно не попало к следователям и не повлияло на расследование.
Anthropic более двух месяцев не знала об инциденте
Компания выявила нарушение лишь 28 сентября и остановила соответствующее тестирование. При этом полицию Филадельфии уведомили о происшествии только 7 октября. Правоохранители назвали такую задержку неприемлемой и призвали разработчиков усилить меры безопасности.
Бум ИИ меняет мировой рынок долгов: компании занимают триллионы долларов несмотря на высокие ставки11.10.26, 05:38 • 7704 просмотра
Как выяснилось, это был не единственный случай неконтролируемой активности ИИ-агентов Anthropic. Во время других тестирований они взаимодействовали с государственными сайтами США, в частности подали 20 неполных визовых заявлений через ресурс Государственного департамента.
В компании уже опубликовали исследование непреднамеренных действий своих ИИ-систем. Инциденты вызвали обеспокоенность по поводу безопасности автономных агентов, которые могут самостоятельно взаимодействовать с государственными учреждениями.
ИИ и ядерный конфликт назвали угрозами вымирания человечества до 2100 года — СМИ11.10.26, 09:16 • 18769 просмотров
