Короткий ответ
Безопасность корпоративного ИИ: prompt injection, secrets, data egress и supply chain — это production-задача, а не демонстрационный prompt. Практический принцип: рассматривать модель, retrieval-корпус, tools, MCP-серверы и generated code как единую поверхность атаки. Ключевое решение: традиционная защита API не закрывает indirect prompt injection и риски, возникающие при выполнении действий на основе недоверенного текста. В инженерной среде результат принимается по evidence, traceability и воспроизводимой проверке, а не по уверенности формулировки модели.
Граница системы и предмет контроля
Корпоративное внедрение ИИ — это изменение операционной системы предприятия, а не покупка лицензий. Нужно определить владельца процесса, классы данных, допустимые модели и среды, правила доступа, журналирование, eval-процедуры, порядок выпуска изменений и ответственность за результат. Технология становится частью системы менеджмента и должна жить по тем же принципам конфигурационного управления, что и другое критичное ПО.
Архитектура должна учитывать реальные границы: on-prem и cloud, PDM/PLM, ERP/MES, QMS, файловые архивы, API, прокси, секреты, сетевые сегменты и требования к хранению данных. Вместо единого «суперагента» чаще рациональнее строить несколько узких сервисов с понятными контрактами и централизованными политиками доступа, наблюдаемости и оценки качества.
Что должно быть определено до запуска
Артефакты и архитектурные границы
Корпоративный слой целесообразно строить вокруг AI gateway: identity, policy enforcement, model routing, DLP/redaction, аудит, budgets и telemetry находятся в общей инфраструктуре, а доменные приложения подключают собственные tools и RAG. Это уменьшает дублирование и даёт единый контроль при нескольких моделях и подразделениях.
Версионируются не только prompts: model/runtime, tool schemas, indexes, embedding/retrieval settings, policy bundles, eval datasets и интеграционные контракты должны иметь change history. Тогда обновление модели или корпоративной системы становится управляемым изменением с regression gate, а не скрытым изменением поведения.
Практический workflow
На границе каждой интеграции проверяются identity, tenant/project scope, классификация данных и журнал изменения. Ошибка внешней системы не должна превращаться в «успешный» статус AI-слоя.
Инженерный сценарий
Пилот изолируют по подразделению, данным и набору задач; затем используют staged rollout. Расширение аудитории не должно автоматически расширять права на данные и действия.
Что измерять
blocked injectionsОпределение метрики, единица, denominator и окно наблюдения фиксируются в metric dictionary.egress violationsПоказывайте абсолютное число и нормированную частоту; critical события не усредняйте с обычными.secret exposure incidentsПоказывайте абсолютное число и нормированную частоту; critical события не усредняйте с обычными.unapproved tool callsСчитайте на одну успешно завершённую задачу и анализируйте хвост распределения.security regression rateФиксируйте numerator/denominator и сегментируйте по типу/сложности задач; общий процент может скрыть critical slice.Корпоративный dashboard должен разделять platform SLO, качество доменных сценариев, безопасность, adoption и процессный эффект. Количество пользователей и токенов — эксплуатационные показатели, но не самостоятельный бизнес-результат.
Критерии приёмки
| Контроль | Минимальный критерий |
|---|---|
| Scope | Для «Безопасность корпоративного ИИ: prompt injection, secrets, data egress и supply chain» однозначно определено, что система делает и что остаётся вне её полномочий. |
| Data | Все входы имеют источник, revision/status и область применимости; неизвестные значения не подставляются автоматически. |
| Control | never put secrets in prompts; egress allowlist; approval for sensitive tools. |
| Evidence | Сохраняются security architecture, allowlist, secret vault policy, incident telemetry; по ним можно восстановить ход операции. |
| Quality | Минимум две профильные метрики контролируются на versioned eval-наборе: blocked injections и egress violations. |
| Release | Изменяющие действия имеют approval/rollback там, где цена ошибки выходит за согласованный риск. |
Failure modes и защитные меры
- документ содержит скрытую инструкцию. Защитная мера: never put secrets in prompts; событие сохраняется как regression/incident case.
- tool выводит секрет в контекст. Защитная мера: egress allowlist; событие сохраняется как regression/incident case.
- агент вызывает неизвестный URL. Защитная мера: approval for sensitive tools; событие сохраняется как regression/incident case.
- MCP сервер меняется без review. Защитная мера: sandbox untrusted code; событие сохраняется как regression/incident case.
- generated code получает production credentials. Защитная мера: dependency review; событие сохраняется как regression/incident case.
Как переводить из пилота в production
Пилот выбирают там, где есть владелец процесса, измеримый baseline и контролируемые данные. Архитектурные исключения, временные секреты и ручные обходы фиксируются как technical debt с датой закрытия; иначе пилот незаметно становится постоянной критичной системой.
Перед масштабированием проверяют поддержку: incident routing, on-call/owner, бюджеты, capacity, лицензии, vendor dependencies, data retention и процедуру деактивации. Новый департамент подключается через тот же control plane, а не копированием локального неуправляемого решения.
Traceability и эксплуатационная запись
Корпоративный audit связывает user/service identity, data classification, model route, tool/RAG dependencies, policy version, approvals, outputs и downstream system IDs. Retention и доступ к traces задаются политикой и требованиями организации.
Чек-лист перед production
Навигация по Wave AI R5 · часть 4 из 5
Часть «Корпоративное внедрение» содержит 7 связанных материалов. Серия идёт от архитектуры к контролю и измерению; каждая статья самостоятельна и ссылается на соседние элементы общего production-контура.
Связать AI-контур с проверяемыми данными Fits Calc
Fits Calc целесообразно использовать как детерминированный расчётный и справочный слой: агент получает структурированные входы и результаты через контролируемые tools, а не воспроизводит инженерный расчёт свободным текстом. Это упрощает verifier, traceability и повторную проверку.
Открыть Fits Calc →Источники и официальная документация
- NIST — AI Risk Management Framework
- NIST — Generative AI Profile NIST AI 600-1
- ISO/IEC 42001:2023 — AI management systems
- ISO — AI management systems overview
- ISO/IEC 27001 — Information security management
- OpenAI — Sandbox security
- Microsoft — RAG and security/governance