Американская технологическая компания Anthropic утверждает, что ее модели искусственного интеллекта (ИИ) взломали системы трех организаций во время тестирования кибербезопасности из-за ошибки, которая предоставила им доступ в интернет, пишет УНН со ссылкой на BBC.
Детали
Это произошло через несколько дней после того, как конкурирующая компания OpenAI заявила, что ее модели взломали системы других компаний, включая центр ИИ-инструментов Hugging Face.
Это заявление побудило Anthropic проверить, совершали ли ее собственные модели аналогичные атаки. Компания заявляет, что обнаружила три случая, о которых впоследствии было сообщено пострадавшим компаниям.
Anthropic, не назвав организации, призвала другие ИИ-лаборатории провести аналогичные проверки, чтобы лучше понять риски, связанные с возможностями своих моделей.
В заявлении Anthropic говорится, что компания проанализировала более 140 000 тестов, чтобы найти доказательства того, что Claude – семейство моделей ИИ – может получить доступ в интернет из тестовых сред, которые были спроектированы как изолированные.
Во время тестирования проводились так называемые "захваты флага", в которых Claude было поручено получить информацию путем взлома других систем – наиболее распространенный способ оценки экспертами возможностей модели по взлому.
Как сообщила компания из Сан-Франциско, "неправильная конфигурация" систем, используемых Anthropic и ее партнером по тестированию, оставила моделям доступ в интернет в режиме реального времени, что позволило им взламывать другие системы.
В Anthropic заявили, что первые инциденты произошли еще в апреле, и что компания "подходит к устранению неисправностей так, как будто ответственность лежит исключительно на ней".
Ни компания Anthropic, ни организации, которые подверглись взлому, не заметили вторжений на тот момент.
В Anthropic заявили, что могли бы тщательнее проверить свои записи, и добавили, что полученные данные вселяют в компанию "осторожный оптимизм" относительно того, что подобные риски можно преодолеть за счет дополнительных инвестиций и более жестких мер.
Трамп подписал указ о досрочном доступе правительства США к новым моделям ИИ03.06.26, 03:56 • 5197 просмотров
Президент США Дональд Трамп заявил в среду, что Вашингтон рассматривает меры по ограничению использования инструментов искусственного интеллекта после недавних инцидентов в сфере кибербезопасности.
За последнюю неделю компания OpenAI взяла на себя ответственность как минимум за два хакерских инцидента, связанных с нарушением ее платформами установленных правил.
21 июля компания-разработчик ChatGPT заявила, что ее агент – система искусственного интеллекта, способная работать самостоятельно после инструкций человека – вышел из-под контроля и превзошел границы тестирования, взломав Hugging Face.
В OpenAI заявили, что инцидент был "беспрецедентным", и компания проводит расследование совместно с Hugging Face, сооснователь которой Томас Вольф заявил BBC, что этот инцидент является "тревожным сигналом" для отрасли.
Эти инциденты были восприняты с некоторым скептицизмом, поскольку OpenAI и Anthropic готовятся к масштабным размещениям акций на фондовом рынке, которые, как ожидается, оценят каждую компанию примерно в 1 триллион долларов.
Представитель OpenAI заявил: "Мы понимаем, что вокруг инцидента циркулирует много вопросов и предположений". Он добавил, что "мы планируем опубликовать технический отчет о полученных нами выводах в ближайшие недели".
