К содержимому
← Вернуться в блог

Как проверить код, написанный ИИ: зависимости, сценарии и контроль изменений

Как проверить код, написанный ИИ, — вопрос не про недоверие к инструменту, а про управление риском. Сгенерированный фрагмент может выглядеть аккуратно, компилироваться и даже проходить простой тест, но при этом добавлять лишнюю зависимость, менять поведение соседних функций или скрывать допущения, которых не было в задаче. Проверка начинается с границ изменений: что именно должно измениться, какие файлы затронуты, какие данные и внешние сервисы используются. Дальше идут зависимости, сценарии и контроль изменений — три слоя, без которых ревью превращается в чтение диффа по диагонали.

Ниже — практический порядок для команды и для разработчика, который работает с ИИ один. Он не заменяет тесты, код-ревью и политику безопасности проекта, но помогает не пропустить места, где сгенерированный код расходится с ожиданиями.

Как проверить код, написанный ИИ: общий порядок действий

Сначала зафиксируйте ожидаемое поведение. Если есть тикет, ТЗ или описание бага, выпишите критерии приёмки: что пользователь делает, что видит, какие ошибки должны обрабатываться. Без этого проверка сводится к вопросу «выглядит нормально?», а он плохо ловит регрессии.

Затем отделите механическую проверку от смысловой. Механическая — синтаксис, линтер, сборка, форматирование, базовые тесты. Смысловая — соответствие задаче, обработка ошибок, права доступа, работа с данными, влияние на соседние модули. ИИ хорошо справляется с первой частью и может убедительно имитировать вторую, поэтому порядок лучше не менять: сначала автоматические проверки, потом человеческое чтение.

Что проверяем Вопрос к результату Артефакт
Соответствие задаче Код делает ровно то, что описано, без скрытых побочных действий? Список требований и заметки ревьюера
Читаемость Понятно ли, зачем нужен каждый блок, без устных пояснений автора? Дифф и комментарии в PR
Зависимости Какие пакеты добавлены, откуда они и зачем? Манифест, lockfile, отчёт аудита
Поведение Что происходит на ошибке, пустых данных и повторном действии? Тесты и протокол ручной проверки
Откат Можно ли вернуть предыдущую версию без ручной правки данных? План отката и тег релиза

Если работа связана с сайтом или админкой, полезно заранее договориться, что считается результатом: изменённый шаблон, новый сценарий, исправленный баг. Для такого случая пригодится материал Как составить ТЗ на доработку WordPress и проверить результат на тестовой копии — он помогает перевести задачу в проверяемые пункты и не проверять доработку сразу на рабочей копии.

Совет. Проверяйте сгенерированный код в отдельной ветке или тестовой копии. Если результат зависит от данных, сделайте копию данных или используйте обезличенный набор. Так ошибка не затронет рабочую среду, а дифф останется небольшим.

Зависимости: что именно добавил генератор

Генератор может добавить пакет одной строкой в манифест, но установка — это уже изменение среды сборки. Смотрите не только на новую строку, но и на lockfile: именно он фиксирует, какие версии и транзитивные зависимости реально попадут в проект. Если lockfile изменился, это часть изменений, а не служебный шум.

Проверьте назначение каждой новой зависимости. Иногда задача решается стандартной библиотекой или уже установленным пакетом. Дублирование функций — не катастрофа само по себе, но оно увеличивает поверхность поддержки и риск несовместимости. Отдельно посмотрите, какие скрипты выполняются при установке, и не запускайте установку с повышенными правами без понимания последствий.

Осторожно. Не отключайте проверки и не устанавливайте зависимости с правами администратора только потому, что так быстрее. Если пакет незнаком, изучите его документацию, источник и состав; при сомнениях выберите более простой путь или согласуйте решение с ответственным за безопасность.

Тип зависимости Что смотреть Практический вопрос
Прямая Название, версия, назначение Можно ли решить задачу без нового пакета?
Транзитивная Цепочка установки и lockfile Понимаем ли, что притягивается вместе с пакетом?
Зафиксированная версия Точность версии и воспроизводимость установки Соберётся ли проект завтра так же, как сегодня?
Скрипты установки Действия, которые выполняются при установке Нужно ли разрешать выполнение скриптов пакета?

Красные флаги при проверке зависимостей:

  • в диффе появился пакет, название которого никто не может объяснить;
  • изменился lockfile, но в описании изменений об этом ни слова;
  • версия задана слишком широко или, наоборот, закреплена без причины;
  • пакет дублирует уже установленную библиотеку;
  • при установке выполняются скрипты, назначение которых неясно;
  • вместо одной зависимости подтянулась большая цепочка транзитивных пакетов.

Лицензионные условия и правила использования пакета проверяйте по документации и политике проекта. Это не юридическая консультация: если проект распространяется или используется в регулируемой среде, решение лучше согласовать с компетентным специалистом.

Сценарии проверки: от основного пути до отказа

Сценарии проверки описывают поведение, а не внутреннее устройство кода. Для небольшой функции достаточно нескольких тестов, для сценария с формой, оплатой, правами доступа или внешним API нужен более широкий набор. Ориентир простой: чем дороже ошибка и чем меньше обратимость, тем больше проверок до merge.

Минимальный набор сценариев

Начните с основного пути: пользователь делает то, ради чего написана функция, и получает ожидаемый результат. Затем добавьте негативные проверки: пустой ввод, неверный формат, отсутствие прав, недоступный внешний сервис, повторное нажатие, устаревшие данные. Отдельно проверьте границы: минимальные и максимальные значения, пустые коллекции, длинные строки, необычные, но допустимые значения. Убедитесь, что ошибки не раскрывают лишние данные и не оставляют систему в полусобранном состоянии.

Если код меняет данные, продумайте идемпотентность: что будет при повторном запуске операции. Если есть фоновая задача или интеграция, проверьте таймауты и повторные попытки — без этого сгенерированный обработчик может выглядеть рабочим только на быстром ответе.

Для автоматизации на Python полезно свериться с материалом Что автоматизировать с помощью Python и как проверить работу скрипта — там речь о проверке скрипта, но логика близка: сначала ожидаемый результат, потом граничные случаи и журнал выполнения.

Данные, окружение и откат

Тестовые данные должны быть достаточно похожи на реальные, чтобы поймать ошибки формата и прав, но не содержать лишних персональных данных. Если без реальных данных не обойтись, используйте минимально необходимый набор и правила доступа проекта; требования к обработке персональных данных лучше уточнить по официальным источникам и внутренним политикам.

Проверка на тестовой копии не гарантирует идентичного поведения в рабочей среде: могут отличаться версии, переменные окружения, права и внешние сервисы. Поэтому заранее опишите, как откатить изменение: вернуть предыдущий релиз, выключить флаг, восстановить данные из резервной копии. Если откат требует ручной правки данных, это риск, который лучше обсудить до запуска.

Контроль изменений: диффы, ревью и история

Контроль изменений нужен, чтобы проверка была воспроизводимой. Большой дифф, в котором смешаны рефакторинг, новая функция и переименования, трудно ревьюить; в нём легко пропустить смысловую правку. Просите ИИ или сами делите работу на небольшие коммиты: отдельно подготовка, отдельно поведение, отдельно тесты. Сообщения коммитов должны объяснять причину, а не только действие.

В pull request или merge request полезно приложить краткое описание: что изменилось, какие сценарии проверены, какие зависимости добавлены, что осталось за рамками. Ревьюеру не нужно угадывать контекст. Если проект использует CI, автоматические проверки должны быть обязательными, но зелёный CI не отменяет чтение диффа: тесты могли не покрыть новый сценарий.

Перед merge проверьте:

  1. дифф содержит только относящиеся к задаче файлы;
  2. новые зависимости объяснены и зафиксированы в lockfile;
  3. тесты покрывают основной путь, ошибки и границы;
  4. ручная проверка выполнена на тестовой копии;
  5. описание изменений содержит план отката;
  6. ревьюер понимает, какие данные и права затрагивает изменение;
  7. после merge есть способ заметить регрессию: лог, метрика, проверка сценария.

История изменений помогает разобраться постфактум, но не заменяет ответственность. Коммит с пометкой «сгенерировано» не снимает вопрос, кто проверил поведение и принял риск. Полезно фиксировать в описании, какие проверки выполнены вручную, а какие автоматически.

Границы проверки и типичные ошибки

Проверка не доказывает отсутствие всех дефектов. Она снижает вероятность того, что сгенерированный код попадёт в рабочую среду с неясными зависимостями, непроверенным поведением и невозможностью отката. Поэтому полезно договориться о границах: какие изменения требуют обязательного ревью, где достаточно автоматических тестов, кто отвечает за зависимости и кто принимает решение о выпуске.

Слабые места чаще не в синтаксисе, а в контексте: код не учитывает существующие соглашения проекта, дублирует уже написанную логику, меняет формат данных или обрабатывает ошибку иначе, чем соседние модули. Чтение диффа рядом с похожими местами в кодовой базе помогает это заметить. Если проект небольшой, всё равно полезно сохранять единый стиль и не позволять генератору вводить новые шаблоны без причины.

Если сомнения остаются, уменьшите область изменения. Разбейте задачу на части, проверьте сначала минимальный сценарий, затем расширяйте. Такой подход медленнее на старте, но обычно дешевле, чем разбирать большой дифф после инцидента.

Можно ли доверять коду от ИИ без проверки?

Нет универсальной гарантии. Сгенерированный код может быть корректен, но он требует такой же проверки, как код из внешнего источника: соответствие задаче, тесты, ревью, аудит зависимостей и проверка на тестовой копии. Объём проверки зависит от риска: для локальной утилиты и для кода, который меняет данные или права доступа, он разный.

Какие зависимости проверять в первую очередь?

Прямые зависимости, которые добавил генератор, и изменения lockfile. Затем — транзитивные пакеты, скрипты установки и необходимость каждой новой библиотеки. Если пакет незнаком, изучите документацию, источник и состав; при сомнениях согласуйте решение с ответственным за безопасность проекта.

Достаточно ли unit-тестов для проверки ИИ-кода?

Обычно нет. Unit-тесты полезны для отдельных функций, но не показывают, как изменение работает с реальными данными, правами, внешними сервисами и соседними модулями. Добавьте интеграционные, негативные и граничные сценарии, а также ручную проверку основного пути на тестовой копии.

Как контролировать изменения, если код писал ИИ?

Небольшими коммитами, понятными сообщениями, отдельным pull request и обязательным ревью. В описании фиксируйте, что проверено, какие зависимости добавлены и как откатить изменение. Автоматические проверки должны быть обязательными, но зелёный CI не заменяет чтение диффа и проверку поведения.