Инструменты ИИ стали частью повседневной работы. Они помогают составлять краткие выжимки встреч, готовить черновики электронных писем, выполнять отладку кода, анализировать электронные таблицы и превращать документы в презентации. Однако использование ИИ без одобрения или контроля со стороны организации может вызвать серьезные опасения по поводу конфиденциальности ИИ, раскрыть конфиденциальную бизнес-информацию и лишить ИТ-отделы возможности отслеживать, куда поступают данные компании.
В этом руководстве рассказывается о том, что такое shadow AI, как он распространяется внутри организаций и какие серьезные риски создает. Мы покажем, как обнаружить неодобренные инструменты и внедрить практические меры защиты данных вашего бизнеса без замедления работы команды.
- Что такое shadow AI?
- Shadow AI и shadow IT
- Как возникает shadow AI?
- Обучается ли ИИ автоматически на ваших данных?
- Примеры shadow AI
- Каковы риски shadow AI?
- Как обнаружить shadow AI
- Как снизить риски shadow AI
- Что делать, если конфиденциальными данными уже поделились
- Конфиденциальный ИИ-ассистент для команд
Что такое shadow AI?
Shadow AI — это любое использование искусственного интеллекта в рабочих целях, которое выходит за рамки утвержденных систем и политик бизнеса. Это может быть неутвержденный инструмент, личный аккаунт, используемый для работы компании, или одобренный ИИ-сервис, используемый с данными или для задач, не разрешенных организацией.
Shadow AI часто появляется из-за повседневных рабочих трудностей: сжатых сроков, необходимости найти более быстрый или эффективный способ работы или инструмента, который не совсем справляется с задачей. Иногда в компании есть одобренный ИИ-инструмент, но сотрудники выбирают сторонние сервисы, потому что они им более привычны.
Shadow AI и shadow IT
Shadow IT — это более широкий термин для любого программного обеспечения или оборудования, используемого без одобрения или контроля организации. Распространенные примеры включают личное облачное хранилище, используемое для работы, неразрешенные приложения для обмена сообщениями и неодобренные платформы управления проектами.
Shadow AI — это частная форма shadow IT, связанная с ИИ-системами и функциями на базе ИИ. ИИ создает дополнительную проблему управления данными, поскольку информация компании может передаваться во внешнюю систему или обрабатываться неизвестными способами вне контроля организации.
Как возникает shadow AI?
Сотрудники могут за считанные секунды ввести большой объем информации компании в окно чата ИИ. В зависимости от настроек ИИ инструмент может сохранять введенные данные, делиться ими с другими сторонами (например, с брокерами данных или поставщиками аналитических услуг, как в случае с утечкой в OpenAI) или использовать их для таргетированной рекламы или разработки моделей.
Shadow AI обычно распространяется из-за нескольких распространенных организационных проблем.
Отсутствие одобренной альтернативы
Сотрудники с большей вероятностью используют инструменты shadow AI, если бизнес не предоставил одобренный вариант. Опрос BlackFog(новое окно) с участием 2 000 работников показал, что 49% сотрудников внедряют ИИ-инструменты без одобрения работодателя, 63% считают допустимым использовать ИИ при отсутствии одобренного корпоративного варианта, а 51% подключили ИИ-инструменты к рабочим системам без ведома ИТ-отдела.
Нечеткие политики
Сотрудники могут не знать точно, какие инструменты, задачи и типы информации разрешены. Инструкции компании могут четко ограничивать работу со строго конфиденциальными данными, но практически ничего не говорить о записях внутренних встреч, черновиках электронных писем, электронных таблицах, исходном коде или цепочках писем с клиентами.
Опрос IT Brew(новое окно), проведенный среди 241 ИТ-специалиста, показал, что 35% из них практически не уверены в том, что сотрудники знают политики компании по использованию ИИ и безопасности данных, и только 12% заявили о полной уверенности. Отдельный опрос WorkNest(новое окно) с участием 505 HR-специалистов и работодателей показал, что у 54% организаций вообще нет политики в отношении ИИ, 24% находятся в процессе ее разработки и лишь у 13% есть четкие, задокументированные правила.
Медленные процессы согласования
Сроки, которые поджимают, могут сделать длительную проверку безопасности или закупок нецелесообразной. Когда сотрудники могут немедленно получить доступ к бесплатному инструменту, медленные внутренние процессы повышают вероятность применения неофициальных решений.
Новые ИИ-функции в одобренном программном обеспечении
Поставщик может добавить функции генеративного ИИ в приложение, которое уже прошло проверку безопасности, и программное обеспечение остается в списке одобренных, хотя никто не оценил, как новая функция обрабатывает, хранит или делится данными компании. Сотрудник не нарушил никакую политику, но результат тот же: данные компании проходят через канал, который никто на самом деле не проверял.
Недостаточная осведомленность об обработке данных
Сотрудники могут не знать, как поставщики ИИ, такие как ChatGPT и Gemini, сохраняют подсказки, обрабатывают загруженные файлы, используют цепочки писем для улучшения сервиса или делятся данными с другими поставщиками. Они могут полагать, что введенные данные исчезают, когда они закрывают вкладку браузера, даже если копии остаются в истории аккаунтов, журналах, резервных копиях или подключенных системах.
Согласно отчету Kolide(новое окно), хотя 89% сотрудников используют ИИ ежемесячно, только 56% компаний разъяснили сотрудникам риски безопасности ИИ.
Примеры shadow AI
| Команда | Пример shadow AI | Информация, подпадающая под риск разглашения | Потенциальные последствия |
|---|---|---|---|
| Разработка программного обеспечения | Вставка внутреннего кода в публичный чат-бот для выполнения отладки | Исходный код, учетные данные, архитектура системы и невыпущенные функции | Проприетарный код или конфиденциальные данные могут сохраняться за пределами систем компании |
| Продукт | Загрузка дорожной карты для составления краткой выжимки | Даты запуска, стратегия продукта, ценообразование и информация о партнерах | Конфиденциальные бизнес-планы могут храниться без контроля на сторонних серверах |
| Маркетинг и дизайн | Ввод планов кампаний в ИИ-инструмент для создания текстов или дизайна | Невыпущенные продукты, исследования клиентов, материалы бренда и данные аудитории | Конфиденциальная информация о кампаниях может обрабатываться без проверки юридической службой или службой безопасности |
| Анализ данных | Загрузка наборов данных клиентов во внешний инструмент анализа | Персональные данные, коммерчески важные записи и конфиденциальные выводы | Защищаемая или регулируемая информация может быть раскрыта неаффилированным или неодобренным сторонним лицам |
| Управление персоналом | Использование ИИ-инструмента для оценки кандидатов или составления выжимок собеседований | Данные кандидатов, информация о трудоустройстве и критерии оценки | Раскрытие персональных данных сотрудников может нарушить GDPR или CCPA |
| Продажи | Загрузка расшифровок звонков или заметок об аккаунтах для анализа | Личные данные клиентов, информация о контрактах, ценообразование и стратегия продаж | Раскрытие данных клиентов может нарушить GDPR или CCPA |
| Поддержка клиентов | Вставка обращений в поддержку в публичный чат-бот | Имена клиентов, информация об аккаунтах, жалобы и переписка | Сохранение записей поддержки может нарушить GDPR или CCPA |
| Финансы | Запрос к ИИ-ассистенту проанализировать внутренние электронные таблицы | Бюджеты, прогнозы, информация о заработной плате и записи транзакций | Финансовые данные могут обрабатываться без надлежащих мер защиты |
| Юридический сектор | Загрузка контрактов или файлов дел для составления выжимки | Конфиденциальные юридические консультации, условия контрактов и информация о клиентах | Ненадлежащее использование данных клиентов может нарушить GDPR или CCPA и повлиять на адвокатскую тайну |
| Руководство | Использование ИИ-сервиса для проверки документов совета директоров или стратегических планов | Планы по слияниям и поглощениям, внутренние цели и обсуждения руководства | Строго конфиденциальная корпоративная информация может оказаться раскрытой |
Обучается ли ИИ автоматически на ваших данных?
Большие языковые модели (LLM) не переобучаются автоматически на каждой подсказке в режиме реального времени, поэтому цепочка писем не станет с неизбежностью частью модели ИИ и не появится в ответе другого пользователя. Однако уровень риска зависит от поставщика, типа аккаунта, настроек конфиденциальности, контракта и конфигурации сервиса.
Поставщик ИИ может сохранять подсказки и загруженные файлы, предоставлять их для проверки человеку, использовать их для улучшения своих сервисов или делиться ими с поставщиками инфраструктуры и моделей.
Даже когда обучение модели отключено, информация может отображаться в истории аккаунтов, операционных журналах, системах мониторинга нарушений, резервных копиях, записях браузера, подключенных сервисах или сторонних интеграциях. Если ваш контент уже использовался для обучения модели, отключение этой опции не заставит модель «забыть» ваши прошлые цепочки писем.
Каковы риски shadow AI?
ИИ может влиять на решения, создавать материалы для клиентов, писать код или анализировать персональные данные, и все это создает риски, выходящие за рамки безопасности самого инструмента:
Утечка данных
Согласно отчету IBM 2025 года Cost of a Data Breach Report(новое окно), каждая пятая организация столкнулась с утечкой данных, связанной с shadow AI, однако только у 37% были политики для управления им или его обнаружения.
Организации с высоким уровнем использования shadow AI сталкивались с затратами на ликвидацию последствий утечек, которые в среднем на 670 000 $ были выше, чем у организаций с низким уровнем shadow AI или его отсутствием. Кроме того, инциденты с участием shadow AI приводили к раскрытию персональной информации и интеллектуальной собственности чаще, чем в среднем по миру.
Раскрытие конфиденциальной информации
Сотрудники могут делиться внутренними документами, исходным кодом, финансовой информацией, контрактами, записями клиентов, планами продуктов или коммерческой тайной, не понимая, что поставщик ИИ сохраняет введенные ими данные. Даже если информация исключена из обучения модели, она все равно может оказаться раскрыта из-за взлома аккаунта, утечек безопасности, доступа со стороны поставщика, незащищенных интеграций или юридических требований.
Например, Samsung запретила использовать ChatGPT(новое окно) во всей компании в мае 2023 года после того, как сотрудники трижды за 20 дней вставляли в него конфиденциальные материалы, включая исходный код полупроводников, алгоритмы обнаружения дефектов и стенограмму внутренней встречи.
Утрата интеллектуальной собственности
Проприетарные знания часто являются самым ценным активом компании. Загрузка кода, исследований, дизайнов продуктов, процессов или стратегических документов во внешний ИИ-сервис может противоречить соглашениям о конфиденциальности или ослабить способность бизнеса контролировать эту информацию. Сотрудник также может использовать созданный ИИ контент, не понимая его происхождения, лицензионных ограничений или сходства со сторонними материалами.
Нарушение конфиденциальности и нормативных требований
Персональные данные подпадают под действие законов о конфиденциальности данных при их обработке с помощью ИИ-инструмента. Shadow AI может обходить меры защиты конфиденциальности, поскольку соответствующие юридические отделы даже не знают о том, что происходит обработка. Управление комиссара по информации Великобритании предупреждает, что ИИ-системы могут усиливать существующие риски безопасности(новое окно). Серьезные нарушения GDPR могут привести к штрафам в размере до 20 млн евро или 4% от годового мирового оборота организации за предыдущий финансовый год, в зависимости от того, какая сумма больше.
Незащищенные интеграции и избыточный доступ
ИИ-инструменты могут подключаться к электронной почте, облачному хранилищу, календарям, репозиториям кода, базам данных клиентов и платформам для совместной работы. Широкие разрешения, плохо защищенные API, утечки токенов доступа, вредоносные расширения браузера и раскрытые сторонние сервисы могут подвергнуть риску системы и данные компании за пределами информации, введенной в одной подсказке.
В случае с утечкой в Salesloft Drift злоумышленники похитили токены OAuth из Drift, интеграции ИИ-ассистента по продажам, и использовали их для извлечения данных из экземпляров Salesforce более чем в 700 организациях, включая деловые контакты, ключи API и учетные данные облака, встроенные в обращения в поддержку.
Атаки типа «внедрение подсказки»
Эта уязвимость существует в любой подключенной ИИ-системе, независимо от того, одобрена она или нет: злоумышленники могут манипулировать ИИ-системой с помощью инструкций, скрытых в документах, веб-страницах, электронных письмах или другом обрабатываемом контенте, заставляя ее раскрывать информацию, игнорировать исходные инструкции или совершать незапланированные действия.
Shadow AI повышает риски, поскольку неодобренный инструмент или ИИ-агент мог никогда не проверяться на возможность внедрения подсказок, а его разрешения могли не ограничиваться только необходимыми. Если атака увенчается успехом, отдел безопасности вряд ли сможет понять, что произошло и как локализовать инцидент. Последствия особенно серьезны, если ИИ-агент может получить доступ к конфиденциальным данным или выполнять действия без участия человека.
Отсутствие подотчетности
Деятельность shadow AI часто не оставляет централизованного журнала аудита. Отделы безопасности могут оказаться не в состоянии определить, какая информация была отправлена, какая модель ее обработала, какой результат был получен и как этот результат повлиял на решение. Расследование ошибки, жалобы, утечки данных или нормативного вопроса становится намного сложнее без таких записей.
Непредвиденные расходы и зависимость от поставщиков
Отдельные подписки и аккаунты API могут приводить к дублированию расходов в разных отделах. Экспериментальные инструменты также могут встраиваться в важные рабочие процессы до того, как отделы закупок оценят их стоимость, надежность или долгосрочную доступность. Бесплатный сервис может стать критически важным для бизнеса без соглашения об обслуживании, плана обеспечения непрерывности или практической возможности перенести рабочий процесс в другое место.
Как обнаружить shadow AI
Shadow AI бывает трудно обнаружить, поскольку сотрудники могут использовать личные аккаунты, расширения браузера, встроенные ИИ-функции, ИИ-браузеры или инструменты, которые сливаются с обычным трафиком в Сети. Поэтому организациям необходимо отслеживать, какие сервисы используются и как через них перемещаются данные компании.
Мониторинг должен оставаться соразмерным и уважать конфиденциальность сотрудников. Цель состоит в том, чтобы выявлять рискованные инструменты и потоки данных без регулярного контроля содержимого каждой подсказки или цепочки писем.
Вот несколько советов по выявлению shadow AI в вашей организации:
Создайте реестр использования ИИ
Спросите команды, какие инструменты ИИ они используют в настоящее время, для каких задач и что мешает им использовать одобренные альтернативы. Короткий опрос, интервью с руководителями отделов и период добровольного раскрытия информации могут выявить случаи использования, которые упускают технические средства контроля. Сотрудники с большей вероятностью будут честны, когда цель состоит в том, чтобы понять их потребности, а не наказать за эксперименты.
Проверяйте сетевую активность и активность приложений
Отделы безопасности могут использовать журналы сети, реестры программного обеспечения и инструменты безопасности доступа к облаку для выявления подключений к известным ИИ-сервисам. Мониторинг может показать, к каким сервисам получают доступ и какой объем данных передается, без фиксации содержимого каждой цепочки писем.
Проводите аудит расширений и плагинов браузера
Расширения браузера могут добавлять функции составления текстов, выжимок, перевода, проведения встреч и написания кода практически в любой рабочий процесс. Проверьте, какие расширения установлены, какие разрешения они запрашивают и могут ли они читать содержимое веб-страниц, электронные письма, документы или имя пользователя.
Проверяйте расходы и отчеты по закупкам
Заявки сотрудников на возмещение расходов, выписки по корпоративным картам и документы по закупкам могут выявить платные подписки на ИИ, которые никогда не проходили проверку безопасности. Повторяющиеся платежи от разных команд также могут помочь обнаружить дублирующиеся инструменты и неофициальные аккаунты.
Ищите неуправляемые ключи API и интеграции
Проверьте репозитории кода, менеджеры секретов, облачные среды, панели управления оплатой и платформы автоматизации на предмет подключений к внешним поставщикам ИИ. Неуправляемые ключи API или незнакомые списания средств за использование могут указывать на прототип, интеграцию или внутренний инструмент, который не был официально одобрен.
Используйте средства предотвращения утечек данных
Инструменты предотвращения утечек данных могут выявлять попытки загрузить конфиденциальные категории информации, такие как личные записи, учетные данные, финансовые данные и исходный код. Меры контроля должны быть соразмерными и прозрачными. Сотрудники должны понимать, что именно отслеживается, почему это необходимо и как выполнять законную работу через одобренные системы.
Сотрудничайте с сотрудниками, а не действуйте втайне от них
Один лишь технический мониторинг не покажет каждый случай использования shadow AI. Сотрудники могут использовать личные аккаунты, мобильные устройства или инструменты, которые отображаются как обычный трафик в Сети. Регулярные обсуждения с командами помогут определить, где существующие рабочие процессы создают неудобства и почему сотрудники ищут сторонние инструменты.
Как снизить риски shadow AI
Снижение рисков shadow AI требует практических альтернатив, понятных политик, надлежащего контроля доступа, обучения сотрудников и регулярного аудита. Эффективные меры защиты должны поддерживать законное использование ИИ, сохраняя данные компании в пределах одобренных систем:
Предоставьте сотрудникам одобренный ИИ-инструмент
Сотрудники с меньшей вероятностью будут искать альтернативы, если вы предоставите ИИ-ассистента для бизнеса, отвечающего их практическим потребностям. Любой одобренный инструмент должен обеспечивать надежную защиту конфиденциальности, понятные условия обработки данных, надлежащие средства бизнес-контроля и достаточную функциональность для выполнения повседневных задач.
Избегайте тотального запрета
Полный запрет может увести использование ИИ еще глубже в тень, особенно если сотрудники уже зависят от этих инструментов. Некоторые из них могут перейти на личные аккаунты, мобильные устройства, расширения браузера или менее надежные ИИ-сервисы, которые организации труднее выявить.
Создайте политику допустимого использования ИИ
Используйте примеры на основе реальных рабочих процессов. Формулировка «Не делиться конфиденциальной информацией» оставляет слишком много места для толкований. Более понятная политика может указывать сотрудникам никогда не загружать экспорт данных поддержки клиентов, исходный код, контракты, учетные данные, неразглашенные финансовые результаты или идентифицируемые записи сотрудников в неодобренный сервис.
Классифицируйте данные перед установкой правил ИИ
Определите, какие категории информации являются общедоступными, внутренними, конфиденциальными, регулируемыми или строго ограниченными. Свяжите каждую категорию с разрешенными способами использования ИИ. Публичные маркетинговые тексты могут подходить для более широкого спектра инструментов, в то время как персональные данные, учетные данные, коммерческая тайна и конфиденциальные юридические материалы могут требовать строго контролируемой системы или быть полностью исключены.
Периодически проверяйте одобренное программное обеспечение на наличие новых ИИ-функций
Приложение может обрабатывать данные иначе после добавления ИИ-ассистента, автоматической расшифровки, генерации контента или предиктивного анализа. Регулярные проверки поставщиков помогают выявить эти изменения и подтвердить, что ранее одобренные инструменты все еще соответствуют требованиям организации к безопасности, конфиденциальности и нормативному соответствию.
Ограничивайте разрешения
Предоставляйте ИИ-инструментам доступ только к тем данным и системам, которые необходимы для выполнения одобренной задачи. Используйте управляемые компанией аккаунты, единый вход (SSO), двухфакторную аутентификацию (2FA), разрешения на основе ролей и централизованное удаление аккаунтов, где это возможно. Избегайте подключения ИИ-ассистента для бизнеса ко всему хранилищу, почтовому ящику или базе данных клиентов, когда достаточно более узкого источника.
Устанавливайте правила в зависимости от должности и сценария использования
У разных команд разные потребности и уровни риска. Разработчикам может потребоваться доступ к API для тестирования или создания прототипов. Маркетинговым командам может потребоваться генерация текста и изображений. Юридические отделы или отделы кадров могут работать с информацией, требующей гораздо более строгих ограничений. Правила на основе должностей помогают сохранять реалистичность политики, ограничивая при этом доступ к конфиденциальным данным и функциям с высоким уровнем риска.
Обучайте сотрудников
Сотрудникам необходима достаточная грамотность в сфере ИИ, чтобы понимать как преимущества, так и ограничения используемых ими систем. Обучение должно охватывать вопросы конфиденциальности ИИ, сохранности данных, галлюцинаций, предвзятости, интеллектуальной собственности, внедрения подсказок, проверки человеком и информирования об инцидентах. Надлежащий уровень подготовки зависит от знаний, опыта сотрудников и контекста, в котором используется ИИ.
Создайте простой процесс согласования
Рабочий процесс может включать сбор информации о названии инструмента, предполагаемой задаче, используемых данных, необходимых интеграциях и ожидаемой пользе для бизнеса. После этого отделы безопасности и юридические службы могут одобрить, ограничить, протестировать, поместить в «песочницу» или отклонить его на основе реального риска. Длительный процесс закупок может подтолкнуть сотрудников к поиску собственных решений. Установите разумный срок проверки и объясните, какая информация необходима для принятия решения.
Сохраняйте ответственность людей за результаты работы
У работы, выполненной с помощью ИИ, должен быть ответственный сотрудник. Требуйте проверки до того, как результаты повлияют на клиентов, сотрудников, финансы, юридические решения, рабочий код, публикуемую информацию или другие важные сферы. Любой человек, использующий ИИ-инструмент, несет ответственность за проверку его точности, уместности, конфиденциальности и соответствия политике компании.
Документируйте важные решения, принятые с помощью ИИ
Ведите четкий учет, когда ИИ участвует в принятии решений, влияющих на клиентов, сотрудников, финансы, юридические вопросы или другие важные области. Надежный журнал аудита поддерживает подотчетность и помогает организациям расследовать ошибки, объяснять результаты и отвечать на жалобы или запросы регуляторов.
Что делать, если конфиденциальными данными уже поделились
Относитесь к случайному раскрытию информации ИИ-инструменту так же, как и к любому другому возможному инциденту с данными. Быстро выполните следующие шаги.
Определите, чем поделились: подтвердите, какая информация была введена или загружена, какие инструмент и аккаунт использовались, когда произошло раскрытие и кто мог получить доступ к данным.
Удалите информацию, где это возможно: удалите цепочку писем и любые загруженные файлы из инструмента. Проверьте условия поставщика и варианты поддержки, чтобы узнать, можете ли вы подать официальный запрос на удаление.
Проверьте, что может сохранить поставщик: удаление чата из поля зрения не всегда стирает каждую копию. Изучите и задокументируйте заявления поставщика об операционных журналах, резервных копиях, проверке человеком, обучении моделей и сроках удаления, чтобы определить, могли ли сохраниться какие-либо данные.
Защитите затронутые системы: отозовите разрешения, предоставленные ИИ-инструменту или подключенным плагинам. Смените любые пароли, ключи API, токены доступа или другие учетные данные, которые упоминались в подсказке или прикрепленных файлах.
Уведомите соответствующие отделы: сообщите об инциденте в отдел безопасности, конфиденциальности, юридическую службу или группу защиты данных организации. Они смогут оценить договорные обязательства, нормативные требования и необходимость информирования затронутых клиентов или партнеров.
Сделайте выводы из инцидента: задокументируйте произошедшее и используйте этот опыт для улучшения обучения, мер контроля и одобренных альтернатив. Избегайте наказания сотрудников, сообщающих о непреднамеренных ошибках, поскольку карательные меры могут отпугнуть других от информирования о будущих инцидентах.
Конфиденциальный ИИ-ассистент для команд
Lumo for Business предоставляет вашей команде надежного ИИ-ассистента для составления кратких выжимок документов, анализа данных, проверки кода, подготовки черновиков контента и поиска идей, помогая вашему бизнесу сохранять контроль над конфиденциальной информацией.
Наш ИИ-ассистент для бизнеса не ведет журналы цепочек писем и не использует их для обучения ИИ-моделей, а любая история чатов, которую вы решите сохранить, защищена шифрованием с нулевым доступом, что означает, что мы никогда не имеем доступа к вашим данным
Lumo имеет полностью открытый исходный код, разработан в Европе и создан для поддержки соответствия GDPR и HIPAA благодаря сертификации ISO 27001 и аттестации SOC 2 Type II компании Proton.
Предоставление вашей команде мощного ИИ-ассистента, ориентированного на конфиденциальность, снижает зависимость от неодобренных инструментов и помогает сохранять использование ИИ в рамках контролируемых вами систем.
