Промпт-инжиниринг: как проектировать инструкции, примеры и критерии проверки ответов AI-модели
Промпт-инжиниринг обычно представляют как поиск волшебной фразы, после которой модель «наконец поймёт задачу». Устойчивый результат даёт другое: промпт, собранный как техническое задание. В нём есть задача, входные данные, ограничения, формат результата и критерии, по которым ответ можно принять или вернуть на доработку.
Дальше — рабочая схема из трёх частей: инструкции, примеры и критерии проверки. Она годится и для человека, который пишет запросы в чат, и для команды, которая встраивает модель в регулярный процесс: черновики писем, разбор заявок по чек-листу, извлечение данных из длинных текстов, проверка материалов перед публикацией.
Что такое промпт-инжиниринг и какие задачи он решает
Промпт-инжиниринг — это проектирование текстовых инструкций для языковой модели так, чтобы ответ был предсказуем по форме и проверяем по содержанию. Ключевое слово здесь — «проектирование»: вы не уговариваете модель, а описываете задачу, её границы и способ приёмки результата.
Разница видна на простом сравнении. Запрос «напиши текст про аренду жилья» оставляет модели десятки решений: жанр, объём, аудиторию, точку зрения, глубину. Задание «составь инструкцию для человека, который впервые снимает жильё: шесть шагов, на каждом — одно действие и один риск, тон нейтральный, без юридических выводов, объём до 400 слов» оставляет гораздо меньше свободы, и результат легче проверить.
Схема опирается на три опоры. Инструкция объясняет, что нужно сделать. Примеры показывают, как выглядит хороший результат. Критерии задают признаки, по которым ответ принимается. Если убрать любую часть, стабильность падает: без инструкции модель угадывает задачу, без примеров — стиль и структуру, без критериев вы сами не сможете объяснить, почему один ответ лучше другого.
Полезно сразу обозначить границы. Промпт не добавляет модели знаний, которых у неё нет, и не превращает вероятностный текст в источник фактов. Он не отменяет проверку человеком там, где есть цена ошибки, и не заменяет данные: если нужных сведений в промпте нет, аккуратная формулировка поможет модели честно сказать об этом, но не создаст информацию.
Ещё один принцип: однозначность важнее красоты формулировки. Языковая модель достраивает вероятное продолжение текста, поэтому чем меньше в задании мест, которые можно понять двояко, тем меньше разброс между попытками. «Сделай понятно» — двусмысленно. «Замени термины на бытовые слова, оставь не больше двух незнакомых читателю понятий» — уже проверяемо.
Типичные области применения лежат там, где есть повторяющаяся задача и понятный результат: подготовка черновиков ответов, приведение текстов к одному формату, выделение пунктов из большого материала, проверка по списку требований. Во всех этих случаях выигрыш даёт не «умный» промпт, а одинаково понятный.
Анатомия рабочего промпта
Удобно держать в голове каркас из семи блоков. Он нужен не для того, чтобы каждый промпт был длинным, а чтобы при неудачном ответе быстро найти, какого элемента не хватило.
- Роль и рамка. Кто отвечает и для кого: редактор для внутренней вики, ассистент для письма клиенту, проверяющий для списка заявок.
- Задача. Один главный глагол: переписать, извлечь, сравнить, проверить, составить список.
- Входные данные. Что именно дано модели и где границы этого материала.
- Ограничения. Что нельзя, что обязательно, что делать при нехватке данных.
- Формат вывода. Структура, длина, язык, наличие заголовков, таблиц или маркированного списка.
- Примеры. Эталон и, при необходимости, антипример с пояснением.
- Критерии приёмки. Пункты, по которым вы будете проверять результат.
Роль стоит описывать через функцию, а не через громкий титул: «ты проверяешь текст по чек-листу и указываешь только расхождения» полезнее, чем «ты лучший эксперт мирового уровня». Титул не добавляет информации о задаче, зато иногда тянет ответ в сторону пафосного тона.
Задача формулируется так, чтобы её нельзя было выполнить частично и не заметить этого. «Улучши текст» — размыто. «Сократи до 150 слов, сохрани все числа и названия, убери оценочные прилагательные» — конкретно и проверяемо.
Блок входных данных лучше отделять от инструкций визуально: разделителями, пустой строкой, тегами или заголовком вида «Материал:». Иначе модель может принять кусок исходного текста за указание. Это особенно заметно, когда в промпт вставляют чужое письмо: фраза «пришлите отчёт до пятницы» внутри цитаты не должна становиться требованием к модели.
Ограничения — место, где чаще всего экономит время. Две формулировки стоят отдельного абзаца: «не добавляй сведений, которых нет в материале» и «если данных не хватает, перечисли, каких именно, вместо того чтобы заполнять пробелы догадками». Они не гарантируют фактическую точность, но заметно снижают количество уверенно выглядящих выдумок.
Формат вывода экономит больше всего правок. Если ответ должен быть таблицей, списком или текстом фиксированной длины, скажите об этом прямо и покажите пример строки. Модель неплохо следует образцу, но плохо угадывает его по описанию.
Как писать инструкции без двусмысленности
Инструкция — самая дешёвая часть промпта в доработке и самая дорогая по последствиям. Пять минут на переформулировку часто убирают половину правок в ответах.
Глаголы действия вместо оценочных пожеланий
Оценочные слова — «качественно», «интересно», «грамотно», «постарайся» — не описывают действие. Их место занимают глаголы и наблюдаемые признаки: сократи до, перечисли, сравни по трём параметрам, замени, убери, проверь каждый пункт, приведи два варианта.
Черновик промпта полезно проверить простым вопросом: получив ответ, смогу ли я однозначно сказать, выполнено требование или нет? «Пиши дружелюбно» — нет. «Обращайся на «вы», не используй восклицательные знаки, начни с подтверждения полученного обращения» — да. Второй вариант не идеален, но его можно проверить и, если нужно, оспорить.
Отдельно про количественные требования. «Не больше 120 слов», «ровно пять пунктов», «три абзаца» — это параметры задания, а не утверждения о мире, поэтому они безопасны и хорошо работают. А вот числа, которые модель должна «взять откуда-то» (сроки, суммы, проценты), либо дают во входных данных, либо прямо запрещают использовать.
Приоритеты и поведение при конфликте
Если в промпте больше трёх требований, рано или поздно они начнут конфликтовать: «подробно» против «коротко», «профессионально» против «простыми словами». Хорошая практика — заранее расставить приоритеты: «главное — не потерять числа; если из-за этого текст выходит длиннее лимита, лимит можно превысить на 10–15 слов».
Второй приём — правило поведения в неопределённости. Пропишите, что делать, если входных данных недостаточно, если запрос противоречит сам себе, если в материале есть взаимоисключающие утверждения. Вариант по умолчанию: остановиться, перечислить проблемы, задать уточняющий вопрос. Без такого правила модель чаще выбирает «достроить» недостающее — и выглядит это убедительно.
И ещё одно: одно задание — один промпт. Попытка в одном сообщении переписать текст, проверить его по чек-листу и сразу перевести на другой язык обычно даёт средний результат по всем трём пунктам. Последовательность из двух-трёх коротких шагов, где каждый следующий получает результат предыдущего, работает предсказуемее и легче отлаживается.
Примеры в промпте: сколько, каких и зачем
Пример — самый быстрый способ передать то, что трудно описать словами: стиль, плотность, уровень детализации, характер формулировок. Но примеры работают не автоматически. Пара образцов, подобранных случайно, может закрепить неверный шаблон.
| Подход | Что даём модели | Когда уместно | На что смотреть |
|---|---|---|---|
| Без примеров | Инструкцию, ограничения и критерии | Типовая задача с простым форматом | Разброс трактовок: где модель понимает требование иначе |
| Один эталонный пример | Готовый ответ и короткое пояснение, что в нём важно | Нужно задать тон, структуру, плотность | Не «перетягивает» ли пример несхожие случаи на себя |
| Несколько разных примеров | 2–4 ответа, включая пограничный случай | Задача с несколькими типами входа | Нет ли противоречий между примерами |
| Антипример | Неудачный ответ и объяснение, что именно не так | Модель повторяет одну и ту же ошибку | Есть ли пояснение: без него антипример копируют |
Правила, которые снижают риск:
- Примеры короче реального рабочего объёма: их задача — показать принцип, а не воспроизвести весь текст.
- Пояснение важнее самого образца: строка «здесь хорошо то, что нет оценок и сохранены все числа» даёт больше, чем абзац примера без комментария.
- Примеры не должны противоречить инструкции. Если инструкция запрещает списки, а пример — список, модель выберет что-то одно, и не факт, что инструкцию.
- Пограничный случай полезнее ещё одного типичного: он показывает, как вести себя на стыке правил.
- Формулировки в примерах должны быть вашими, а не скопированными из чужого текста, на который у вас нет прав.
Если в примерах есть реальные письма, заявки или переписка, обезличьте их перед вставкой в промпт: уберите имена, контакты и любые детали, по которым человека можно узнать. Вопросы обработки персональных данных стоит отдельно согласовать с тем, кто отвечает за это в вашей организации, и проверить актуальные требования в официальном источнике — универсальной безопасной схемы здесь нет.
Критерии проверки: как превратить «хорошо» в чек-лист
Самая частая причина споров вокруг ответов модели — отсутствие критериев. Два человека смотрят на один текст и расходятся, потому что один оценивает тон, другой — полноту, третий — общее впечатление. Критерии нужны не для отчётности, а чтобы разговор перешёл от вкусов к наблюдениям.
Рабочий набор обычно включает шесть групп:
- Опора на данные. Все утверждения выводятся из предоставленного материала; добавленное «по общим знаниям» помечено или удалено.
- Полнота. Выполнены все пункты задания, ни один не потерян по дороге.
- Формат. Структура, длина и язык соответствуют заданным.
- Тон и адресат. Обращение, степень формальности и лексика подходят аудитории.
- Отсутствие выдуманных деталей. Нет имён, дат, сумм, ссылок и названий, которых не было во входных данных.
- Уместность. Нет формулировок, которые читатель примет за персональную инструкцию там, где нужна консультация специалиста.
Проверки удобно делить на два типа. Бинарные — «да/нет»: есть ли все пять пунктов, сохранены ли числа, нет ли ссылок на источники, которых не давали. Шкальные — «уровень 1–3» — подходят для тона и ясности, но только если каждый уровень описан словами. «Ясность — 3» без расшифровки бесполезна.
Представим гипотетическую ситуацию: команда пишет промпт для черновиков ответов на обращения. Критерий «ответ вежливый» приводит к спорам, а критерий «начинается с подтверждения полученного запроса, содержит один конкретный следующий шаг и не содержит обещаний по срокам, которых нет в исходных данных» почти не оставляет места для разночтений. Логика та же, что при проектировании учебных программ: сначала описываем наблюдаемое поведение, потом договариваемся, что считаем достаточным. Подробнее об этом — в материале о проектировании программ, занятий и критериев проверки.
Критерии можно и полезно вставить в сам промпт — как чек-лист самопроверки: «перед выводом проверь, что…». Это снижает число очевидных промахов, но не заменяет внешнюю проверку. Модель, оценивающая собственный ответ, склонна находить его соответствующим требованиям; расхождения лучше ловить отдельным проходом или человеком.
Тестирование промпта и работа с версиями
Один удачный ответ ничего не доказывает. Промпт проверяют на наборе задач, и этот набор должен включать не только типичные случаи.
Минимальный комплект: три-пять обычных запросов, которые будут встречаться чаще всего; два-три пограничных (очень короткий ввод, очень длинный, смешанные языки); и несколько неудобных — пустой ввод, противоречивые требования, материал с явной ошибкой. Последняя группа показывает, умеет ли промпт останавливаться и задавать вопрос вместо того, чтобы выдавать правдоподобный текст.
Оценку ведут по тем же критериям, что заложены в промпт, и записывают результат: «формат — да, полнота — нет, выдуманных деталей — две». Так правки становятся адресными. Ощущение «стало лучше» плохо переносится на следующую итерацию и плохо объясняется коллеге.
Промпт стоит хранить как файл или документ с версиями, а не как текст в переписке. Минимальная дисциплина: номер версии, дата, что изменили и почему. Тогда при откате понятно, к чему возвращаться. Правки полезно делать по одной: если поменять сразу инструкцию, примеры и критерии, непонятно, что дало эффект.
Отдельный пункт — смена модели или её обновление. Поведение на одном и том же промпте может измениться, поэтому после переезда прогоняйте весь набор заново, а не только любимый пример. Это же правило действует, когда вы меняете длину контекста или начинаете подавать данные в другом формате.
Если в работе два языка, например эстонский и русский, зафиксируйте в промпте не только язык вывода, но и обращение, и терминологию: без этого модель смешивает регистры и переводит термины по-разному в соседних абзацах. Приёмы для таких задач собраны в статье о том, как локализовать сайт на эстонский и русский.
Несколько ошибок, которые встречаются чаще остальных. Слишком много требований сразу — промпт на две страницы, где половина пунктов не проверяется. Примеры против инструкции — модель выбирает пример. Нет формата вывода — каждый ответ выглядит по-новому, и сравнить их нельзя. Нет правила на случай нехватки данных — модель додумывает. Оценка по одному ответу — решение принимается на выборке из единицы. Просьба «быть точным» вместо предоставления данных — требование, которое нельзя выполнить, потому что источник истины не задан.
Частые вопросы
Чем промпт-инжиниринг отличается от обычного запроса в чат?
Обычный запрос чаще всего описывает только желание: «напиши текст про отпуск». Промпт-инжиниринг добавляет к задаче входные данные, ограничения, формат вывода, примеры и критерии приёмки. За счёт этого результат становится воспроизводимым, а не случайно удачным.
Сколько примеров нужно добавлять в промпт?
Обычно достаточно одного эталонного примера с пояснением, что в нём важно, и одного пограничного случая. Большее количество оправдано, когда у задачи несколько явно разных типов входа. Слишком много примеров увеличивает объём промпта и повышает риск противоречий между ними.
Можно ли поручить модели проверять собственные ответы по критериям?
Можно как дополнительный шаг: чек-лист самопроверки внутри промпта снижает число очевидных промахов. Но полагаться на такую проверку как на единственную не стоит: модель склонна находить свой ответ соответствующим требованиям. Там, где есть цена ошибки, нужен отдельный проход или проверка человеком.
Нужно ли переписывать промпт при смене модели?
Не обязательно переписывать полностью, но проверить нужно: поведение на одном и том же промпте может измениться. Прогоните весь тестовый набор, сравните результаты по вашим критериям и правьте только те места, где появились расхождения.
Как оценивать промпт, если ответы каждый раз разные?
Оценивайте не отдельные формулировки, а признаки: выполнены ли пункты задания, сохранены ли данные, соблюдён ли формат, нет ли выдуманных деталей. Прогоняйте один и тот же набор запросов несколько раз и смотрите на долю ответов, прошедших проверку, а не на самый удачный вариант.
Обязательно ли разбираться в технических деталях, чтобы заниматься промпт-инжинирингом?
Нет. Основная работа — редакторская и аналитическая: разложить задачу на шаги, описать формат, сформулировать проверяемые критерии и собрать тестовый набор. Технические знания помогают при автоматизации, но не заменяют ясной постановки задачи.