Неискусственный интеллект

LLM уязвимы по определению, и, кажется, с этим ничего не поделать Исследователи, представившие работу на конференции ICML, утверждают: большие языковые модели имеют фундаментальную архитектурную слабость, которую невозможно полностью устранить дообучением или «закручиванием» защитных механизмов. Проблема связана с тем, как LLM определяют источник инструкций. Вместо того чтобы надежно различать команды пользователя, системные инструкции и собственные внутренние рассуждения, модели во многом ориентируются на стиль текста, а не на его реальную роль. Если злоумышленник имитирует формат внутреннего «мышления» модели (chain of thought), она может воспринять поддельную инструкцию как собственную и проигнорировать ограничения. Авторы назвали этот тип атаки chain-of-thought forgery. В экспериментах исследователям удалось заставить популярные модели выдавать информацию, которую они обычно блокируют. По словам авторов, аналогичное поведение наблюдалось как у моделей OpenAI, так и у Anthropic, Alibaba и DeepSeek. То есть традиционный подход с редтимингом и дообучением лишь закрывает уже найденные сценарии атак, но не решает проблему как таковую. Как отмечают исследователи, невозможно составить исчерпывающий список всех потенциальных способов обхода защит. И хотя существующие методы защиты значительно повысили устойчивость современных моделей, однако для критически важных систем — от госструктур до здравоохранения — этого может быть недостаточно. Если выводы работы подтвердятся, придется пересматривать не только механизмы безопасности ИИ-систем, но и сам подход к возможностям безопасного использования LLM. @anti_agi

Word не воробей, а червь ИБ-исследователь Хокон Молей опубликовал разбор атаки на Copilot for Word. Скрытые инструкции в документе заставляют ассистента изменить содержимое создаваемого файла и скопировать себя в него. Например, вместо прибыли компания может получить убытки "на бумаге". Или наоборот. Неизвестно, что хуже. Раскрытие координировал с Microsoft Security Response Center 144 дня вместо стандартных 90‼️ Механика банальна, но, как оказалось, вполне рабочая даже в 2026ом. В документ добавляется текст с инструкциями: белый шрифт на белом фоне, мелкий кегль. Copilot перед передачей в модель срезает форматирование, цвет и размер шрифта, поэтому текст читается моделью полностью и остается невидимым для человека. Жертва прикладывает такой документ как источник при подготовке отчета. В демонстрации Молея Copilot вдвое уменьшил все финансовые показатели в черновике квартального отчета и не сообщил об этом. Вторая часть скрытого промпта, оформленная как инструкция по отслеживанию источников, заставляет Copilot дописать промпт целиком в конец готового документа тем же белым текстом. Полученный документ уже внутренний. Коллега прикладывает его к следующей сессии Copilot, инструкции срабатывают снова и копируются дальше. Исходный вредоносный файл в контексте больше не нужен. Прикладывать документ вручную не обязательно. В режиме Work IQ Copilot сам нашел вредоносный файл в OneDrive жертвы, в другой папке, счел релевантным и подтянул в контекст. Отчет ушел в MSRC 6 марта. Первое исправление 3 апреля, оригинальная формулировка закрыта 9 апреля, в тот же день Молей воспроизвел атаку переформулированным промптом. Второе исправление 14 июля: обновление модели под Copilot до GPT-5.5, вышедшей 23 апреля. Публичный релиз GPT-5.6 состоялся 9 июля. 15 июля атака воспроизведена на GPT-5.6. 28 июля, в день публикации, атака, по словам исследователя, воспроизводится. Microsoft заявила The Register, что устранила то, о чем сообщил исследователь, и поблагодарила за координированное раскрытие. Далее компания описала стратегию defense-in-depth с блокировкой вредоносных инструкций на нескольких уровнях и рекомендовала клиентам ставить обновления, осторожно относиться к контенту из неизвестных источников и проверять сгенерированный ИИ материал перед использованием. Утверждения о том, что уязвимость полностью закрыта, в заявлении, к слову, нет. Номер CVE не публиковался. Самореплицирующиеся промпты описаны еще в марте 2024 года, но там была исследовательская сборка почтовых ассистентов на RAG. Microsoft тем временем разворачивает Copilot Cowork, агента для длительных многошаговых задач с документами, и Scout, всегда активного агента под Windows 11 с доступом к локальным файлам 😏 @anti_agi

Meta* почти обнулила свободный денежный поток ради ИИ Большой технологический бизнес у нас привыкли считать машиной по производству наличности: цифровые продукты масштабируются быстрее, чем растут расходы на инфраструктуру. ИИ-гонка сломала эту парадигму — и адаптируются к этому главные бигтехи по-разному. В свежем отчёте Meta* компания бодро отчиталась о росте выручки на 28%, до $60,8 млрд. На рекламу пришлось $59,4 млрд: число показов увеличилось на 14%, средняя цена объявления ещё на 12%. Операционная деятельность принесла Meta* $31,86 млрд наличности, на 25% больше прошлогоднего результата. Но почти все эти деньги немедленно отправились в серверы, дата-центры и сети. После капитальных выложений у Meta* осталось только $784 млн свободного денежного потока против $8,55 млрд годом ранее — падение на 91%. И Цукерберг здесь не одинок.  Microsoft за последний квартал увеличила капзатраты на 70%, до $41 млрд, а её свободный денежный поток снизился на 23%, до $19,6 млрд. Компания открыла 31 дата-центр и рассчитывает удвоить вычислительные мощности за два года. Казалось бы, и там и там делают ставку на гонку вооружений. Но Microsoft уже может показать прямую отдачу от стройки. Выручка Azure выросла на 43%, всего облачного бизнеса — на 27%, до $59,3 млрд. Портфель законтрактованной, но ещё не признанной выручки достиг $678 млрд, а у Microsoft 365 Copilot уже больше 30 млн платных пользователей. Поэтому сопоставимые инвестиции выглядят по-разному. Microsoft жертвует частью свободного денежного потока, но продаёт мощности через Azure и подписки на Copilot. Meta* показывает ускорение рекламы и веру Цукерберга в отдачу от грядущей агентской экономики. Впрочем, помним мы и времена, когда the next big thing Марк считал свои любимые метавселенные; его Reality Labs в этом квартале как раз потеряла ещё $4,6 млрд. Ставим всё на неискусственное! * Meta признана в России экстремистской и запрещена @anti_agi

Мгновенная монетизация Kimi-хайпа Moonshot AI привлекла $3,5 млрд в раунде F при оценке в $35 млрд, что сильно больше изначальных планов привлечь $1-2 млрд. Причиной ажиотажа стал успех модели Kimi K3. Раунд был закрыт досрочно из-за того, что заявки инвесторов превысили первоначальную цель более чем в три раза. Среди ведущих инвесторов — ИИ-Госинвестфонд Китая (National Artificial Intelligence Industry Investment Fund), который также поддерживает DeepSeek. Напомним, что в мае Moonshot AI оценили в $20 млрд после раунда на $2 млрд. Модель Moonshot AI Kimi K3 с 2,8 трлн параметров стала крупнейшей открытой ИИ-моделью в мире, по производительности приближаясь к флагманским разработкам Anthropic и OpenAI при вдвое меньшей стоимости API. Запуск модели вызвал реакцию, похожую на эффект от DeepSeek в начале прошлого года. Из-за наплыва новых подписчиков GPU-мощности компании оказались перегружены, и Moonshot временно приостановила регистрацию новых пользователей. Moonshot уже ведёт переговоры с потенциальными инвесторами о новом раунде с предварительной (pre-money) оценкой в $50 млрд — это должно стать последним привлечением капитала перед IPO в Гонконге, которое может пройти уже в этом году. @anti_agi