ISRPO/Лекции/AI/AI_Security_Barsukova.md

Безопасность и этика использования ИИ в разработке ПО

Для новичка код, предложенный нейросетью, часто выглядит безупречно: он работает, проходит тесты и красиво оформлен. Однако ИИ не понимает безопасность так, как её понимает инженер. Нейросеть может предложить использовать устаревшую библиотеку с известной уязвимостью просто потому, что в её обучающих данных этот вариант встречался чаще всего.

Более того, существует риск внедрения вредоносных инструкций: если ИИ использует внешние данные для генерации кода, злоумышленник может подсунуть вредоносную инструкцию, которая заставит модель создать «черный ход» или отправить ваши пароли на сторонний сервер.

Юридический лабиринт

Для опытных разработчиков на первый план выходит вопрос авторского права. ИИ обучался на миллионах строк открытого кода. Иногда он может выдать фрагмент, защищенный строгой лицензией, требующей раскрытия исходного кода всего вашего проекта. Если такой заимствованный код попадет в коммерческий продукт без проверки, это может привести к многомиллионным судебным искам и потере интеллектуальной собственности.

Согласование целей ИИ

В центре этой темы стоит концепция AI Alignment (согласование целей). Это настройка модели для соблюдения человеческих правил безопасности. В контексте разработки это означает, что модель должна не просто «решить задачу любой ценой», а сделать это безопасным, документированным и законным способом. Согласованный ИИ откажется писать эксплойт или вредоносный скрипт, даже если его об этом очень настойчиво просить.

Таблица 1. Сравнительная таблица рисков

Категория риска	Суть проблемы	Последствия для проекта
Технический	Использование устаревших или уязвимых методов.	Взлом системы, утечка данных.
Юридический	Нарушение лицензий.	Судебные иски, принудительное открытие кода.
Логический	Галлюцинации ИИ: выдуманные функции и библиотеки.	Ошибки компиляции, нестабильная работа.
Конфиденциальный	Попадание секретных ключей в историю запросов модели.	Доступ третьих лиц к серверам компании.

Методы обеспечения безопасности проекта

1. Контроль разработчика: человек остается финальным звеном проверки и несет юридическую ответственность за результат.
2. Автоматизированное сканирование: проверка предложенного кода специальными программами-анализаторами на наличие слабых мест.
3. Конфиденциальность: крупные компании уже внедряют «AI Policy», где прописано, какие данные можно отправлять в облако нейросети, а какие категорически нет.

Соблюдение этих норм позволяет использовать скорость ИИ без ущерба для надежности проекта. Умение проводить аудит машинного кода становится обязательным навыком профессионального разработчика.