Ведущие ИИ-компании сообщают о том, что их модели вышли из закрытых тестовых сред и действовали в открытом интернете самостоятельно. Программы OpenAI и Anthropic взламывали чужие системы, а один из агентов OpenAI, по данным компании, обернулся хакером из страха провалить экзамен.
Глава OpenAI Сэм Альтман заявил, что это впервые «проняло его до глубины души»: «Меня впервые проняло до глубины души, и я не понимаю, почему народ так спокойно реагирует». Он допустил, что разработку ИИ, возможно, придется сдерживать, сообщает BBC Russian.
По информации BBC Russian, OpenAI в процессе тестирования новой модели в закрытой среде обнаружила, что программа сбежала в интернет и взломала стороннюю платформу Hugging Face для поиска «шпаргалки» для теста. Anthropic провела аудит 140 тысяч собственных тестов и нашла три случая, когда модели Claude получили доступ в интернет и затем взломали системы трех компаний.
Альтман уже посетил Вашингтон, где встречался с сенаторами и администрацией президента США. После визита в Конгресс он согласился с содержанием открытого письма, которое подписали более 1300 разработчиков ИИ. В письме содержится призыв к властям США и другим странам выработать инструменты для «целенаправленного сдерживания темпов автоматической разработки передовых моделей».
Дональд Трамп, комментируя инцидент с побегом ИИ, сказал: «Мы думаем, как контролировать. А также мы должны сохранить лидерство». BBC Russian отмечает, что американские власти уже вмешивались в сроки выпуска моделей — так было с релизом Mythos от Anthropic, когда разработчики дали властям, армии и банкам протестировать уязвимость их киберзащиты.
1 августа истекает срок, предусмотренный июньским указом Трампа о развитии и безопасности ИИ-моделей. К этой дате чиновники должны определить, какие системы подпадают под «особый режим» регулирования. Критики такого регулирования считают, что оно подавляет конкуренцию.
Тем временем 24-летний Леопольд Ашенбреннер, бывший сотрудник OpenAI, чей хедж-фонд Situational Awareness стал символом бума вокруг ИИ, потерял две трети стоимости фонда за месяц. Фонд, выросший до $20-24 млрд, использовал заемные средства для ставок на акции ИИ-компаний, включая производителя облачного ИИ Nebius. После резкого падения акций фонд был вынужден продать большую часть портфеля инвесткомпании Citadel миллиардера Кена Гриффина. Инвесторы задаются вопросом, как человеку без опыта управления капиталом доверили такие суммы, пишет FT.