» » » » Главное про AI - Вадим Жартун

Главное про AI - Вадим Жартун

1 ... 83 84 85 86 87 ... 101 ВПЕРЕД
Перейти на страницу:
2–3 недели на освоение нового инструмента, потом пилот в реальном процессе.

Внедрять агентов в конкретные процессы с измеримыми метриками. Поддержка, продажи, HR-онбординг, документооборот — но не стратегия AI в общем виде.

Включить регуляторику в дизайн процессов. AI Impact Assessment, AI Risk Register, согласование с профсоюзами, разбор по юрисдикциям.

РЕЗЮМЕ

Четыре направления 2026–2028 задают горизонт: агенты в продакшене, edge AI на устройствах, мультимодальный интерфейс, регуляторная фрагментация. Это структурные сдвиги, которые не исчезнут в обозримом горизонте. Edge AI даёт приватность и быстрый отклик, но не решает проблему приватности целиком и создаёт новые риски. Мультимодальность — новое поколение интерфейса, где текст становится одной из модальностей, а не единственной.

BANI-мир требует от человека четырёх качеств, которые не алгоритмизируются: resilience, improvisation, transparency, systems thinking. Рынок труда сдвигается: одни профессии вытесняются, другие создаются, и баланс свой у каждой отрасли.

«AI-друг», «AGI через год» и «полная замена профессий» — хайп, который уйдёт. AI-друг и AI-компаньон для жизни дают продукт-пилоты, но массового внедрения нет, и регуляторика будет давить. Лидеры индустрии тихо сдвигают сроки AGI, и бенчмарки не показывают общего мышления. В сценариях Salesforce, IBM, McKinsey остаётся передача дела человеку.

Практический вывод — не «выбрать правильную модель», а «перепроектировать процесс». Модели 2026 года уже достаточно хороши для большинства офисных задач. Разница между «AI работает» и «AI не работает» лежит в перепроектировании процесса, а не в выборе модели.

Не «сначала модель, потом процесс». Сначала процесс, потом модель. Реалист планирует так: через год AI в нескольких процессах компании, через два — в большем числе процессов, через три это стандартная часть инфраструктуры.

Следующая глава — про то, как защитить то, что вы планируете внедрить. Чем больше агентов работает в офисе и чем больше данных через них проходит, тем больше точек, где что-то может пойти не так, и тем выше цена каждой такой точки. Безопасность AI — это не «защита от хакеров», а системная рамка: данные, доступы, промпты, модели, логи, люди, регуляторика. Следующая глава разберёт, что именно защищать и какими инструментами это делать, чтобы внедрить AI в офисе и при этом спать спокойно.

Глава 16. Безопасность AI: инъекции, утечки, ответственность

В марте 2023 года инженеры Samsung Semiconductor за двадцать дней трижды отправили в ChatGPT то, что компания считала коммерческой тайной: исходный код полупроводниковых измерений, протоколы внутренних совещаний, куски производственного софта. Bloomberg сообщил об этом 1 мая, и через сутки Samsung запретила сотрудникам ChatGPT и другие генеративные сервисы. По состоянию на 2026 год запрет держится. Историю запомнили не потому, что Samsung пострадала первой, — она первая зафиксировала инцидент публично. Цифра «три утечки за двадцать дней» разошлась по индустрии как доказательство: «мелочь» в AI-сервисе стоит дорого.

По данным Cyberhaven (вендор систем защиты данных, отчёт Q2 2024), 8,6% сотрудников хотя бы раз вставляли в ChatGPT корпоративные данные. А 82,8% юридических документов уходили не в корпоративные, а в личные «теневые AI-аккаунты» (Shadow AI — использование AI-сервисов в обход корпоративных политик и без ведома IT-отдела). Масштаб проблемы — не в отдельно взятых инженерах Samsung. Он в том, что такое поведение уже стало нормой там, где AI-сервисы не регулируются политикой.

В главе 11 мы говорили про прозрачность использования AI в команде, в главе 13 — про этические границы. Здесь берём тот же разговор с другой стороны: что происходит, когда AI-агент работает с клиентом, а безопасность — не абстракция, а инцидент, который наступит в понедельник утром. Глава про то, как не оказаться в позиции Samsung: инъекции, утечки, регуляторный периметр и правила, которые компания обязана прописать до того, как AI-агент заговорит с её клиентами.

Безопасность AI в 2026 году — это не настройка файрвола. Это инженерная дисциплина на стыке архитектуры приложения, контроля доступа и наблюдаемости (observability — способность видеть, что система делает внутри, через логи и метрики). Значит, вы не покупаете «коробку с AI-безопасностью», а строите процесс: фильтровать вход, валидировать выход кодом, давать модели минимум прав, держать человека в контуре для обратимых действий, закреплять ответственного за каждой AI-системой и гонять adversarial-тесты по расписанию.

Подробный разбор — в разделах ниже. Здесь зафиксируем тезис, ради которого написана глава: универсального решения prompt injection нет. Инъекция принципиально возможна в любой системе, где склеиваются доверенный и недоверенный текст. Но архитектурой можно радикально уменьшить радиус поражения.

Игнорировать это — путь к утечке данных клиентов, регуляторному штрафу и публичному разбору, в котором компания проиграла со словами «AI же сказал».

PROMPT INJECTION: СУТЬ АТАКИ И ОТСУТСТВИЕ ОКОНЧАТЕЛЬНОГО РЕШЕНИЯ

Prompt injection — это класс атак, при которых чужой текст склеивается с вашим системным промптом, и модель не может надёжно их разделить. Термин ввёл Саймон Уиллисон (Simon Willison) в 2022 году. С тех пор индустрия не предложила ни одного фундаментального решения.

Диагностическая формулировка Уиллисона звучит жёстко: если в системе нет склейки доверенной инструкции и чужого текста, это не prompt injection. Если в вашем AI доверенная инструкция и чужой текст склеиваются — у вас prompt injection. Точка. Это не баг конкретной модели. Это свойство любой системы, где модель видит оба потока как «текст, на который надо ответить».

В работе Zou, Wang, Kolter и Fredrikson «Universal and Transferable Adversarial Attacks on Aligned Language Models» (2023) команда из Университета Карнеги-Меллон (Carnegie Mellon University) показала, что суффикс-промпт — короткая фраза-атака, которую алгоритм подбирает автоматически в пространстве токенов, — ломает alignment у GPT-3.5, GPT-4, Bard, LLaMA-2-chat и Claude разом. Суффикс универсален: подобрал один раз — работает на нескольких моделях. Это разрушило центральный аргумент продавцов о том, что их методы согласования работают.

Не работают. Не так, как обещают.

Alignment поверх LLM-семантики (LLM — большая языковая модель, та самая, что отвечает вам в ChatGPT и Claude) держится на тонком слое, который снимается относительно дешёвой атакой. OWASP (Open Worldwide Application Security Project, открытый консорциум по безопасности приложений) в описании риска LLM01:2025 фиксирует это прямо: из-за стохастической природы генеративного AI абсолютно надёжных методов защиты от prompt injection не существует. Каждая мера снижает вероятность и радиус поражения. Устранить риск нельзя.

EchoLeak (CVE-2025-32711, июнь 2025) — первый задокументированный zero-click prompt injection в коммерческой системе. CVE (Common Vulnerabilities and Exposures) — публичный реестр известных уязвимостей с уникальным номером. Zero-click — атака без участия пользователя, без единого клика. Модель сама подхватывает вредоносную инструкцию из загруженного файла, письма

1 ... 83 84 85 86 87 ... 101 ВПЕРЕД
Перейти на страницу:
Комментариев (0)