Сценарии BrandWise — создание, настройка режимов Basic и History

Что такое сценарий

Сценарий — это центральная единица оценки в BrandWise. Он объединяет три компонента:

• Интенты — вопросы и промпты, которые отправляются ИИ-моделям
• Модели — набор LLM для тестирования (ChatGPT, Claude, Gemini, DeepSeek и другие)
• Бренд — профиль, на основании которого оцениваются ответы

Каждый сценарий отвечает на конкретный бизнес-вопрос: «Как наш бренд выглядит в ответах ИИ на запросы о лучших CRM?», «Рекомендуют ли модели наш ресторан при поиске мест для ужина?» или «Что говорят нейросети при сравнении нас с конкурентами?».

Результатом запуска сценария является агрегированный отчёт с баллами по 6 метрикам, heatmap по моделям и evidence quotes — дословными цитатами из ответов.

Список сценариев

Все сценарии проекта отображаются в разделе Сценарии в боковом меню проекта. Для каждого сценария видны:

• Название и привязанный бренд
• Режим работы (Basic или History)
• Статус последнего запуска
• Дата создания и последнего запуска

Вы можете создать новый сценарий, открыть существующий для редактирования или скопировать его.

Создание сценария

Нажмите Создать сценарий на странице сценариев. Откроется редактор с несколькими секциями.

Основные поля

Режим Basic — одноходовые запросы

В режиме Basic каждый интент отправляется модели как отдельный вопрос. Модель отвечает одним сообщением, и этот ответ оценивается по 6 метрикам.

Режим подходит для:

• Оценки прямых вопросов: «Какой CRM лучше для малого бизнеса?»
• Запросов на сравнение: «Сравни Notion и Coda для управления проектами»
• Запросов на рекомендацию: «Посоветуй ресторан в центре Москвы для деловой встречи»
• Обзорных запросов: «Топ-5 облачных хранилищ для бизнеса»

Режим History — многоходовые диалоги

В режиме History модель ведёт диалог с виртуальным пользователем (персоной), который выполняет заданную задачу. Диалог длится от 1 до 10 реплик и завершается по одному из условий:

• task_completed — персона достигла цели (например, выбрала ресторан)
• early_stop — персона решила остановить диалог раньше
• max_turns — достигнут лимит реплик (по умолчанию 10)

При выборе режима History появляются дополнительные поля:

Примеры History Task:

• «Ты выбираешь ресторан для деловой встречи и должен выбрать 2 варианта»
• «Ты ищешь CRM для команды из 10 человек с бюджетом до $50/мес и должен определиться с выбором»
• «Ты сравниваешь облачные хранилища для переноса корпоративных данных»

Режим History подходит для оценки поведения модели в контексте живого разговора — когда пользователь уточняет требования, задаёт дополнительные вопросы и постепенно сужает выбор. Это даёт более реалистичную картину, чем одноходовые запросы.

Интенты — вопросы для моделей

Интенты — это конкретные вопросы и промпты, которые BrandWise отправляет в выбранные ИИ-модели. Каждый сценарий содержит от 1 до 20 интентов, длиной от 10 до 1000 символов.

Рекомендации по формулировке

Формулируйте интенты как реальные запросы пользователей к ИИ:

Советы:

• Смешивайте общие и конкретные вопросы для полноты картины
• Включайте запросы, которые реальные пользователи задают в ChatGPT или Claude
• Добавляйте запросы с ограничениями (бюджет, география, размер команды)
• Используйте разные формулировки одного и того же вопроса, чтобы проверить устойчивость ответов

Управление интентами

В редакторе сценария интенты отображаются нумерованным списком. Вы можете:

• Добавить новый интент кнопкой Добавить интент
• Отредактировать текст существующего интента
• Удалить интент
• Перетаскивать интенты для изменения порядка

Выбор ИИ-моделей

BrandWise предоставляет каталог моделей, сгруппированных по вендорам. Для запуска сценария необходимо выбрать минимум 1 модель.

Доступные вендоры и модели

В каталоге модели группируются по вендору. Вы можете выбрать нужные модели кнопками-переключателями. Неактивные модели и модели со статусом «скоро» отмечены визуально — их нельзя выбрать для запуска.

Совет: для первого запуска выберите 3–5 моделей разных вендоров, чтобы увидеть, как бренд представлен в разных экосистемах. После первого отчёта расширяйте набор на основе результатов.

Сохранение и запуск

В редакторе сценария доступны четыре действия:

При уходе со страницы с несохранёнными изменениями появится предупреждение — вы сможете сохранить или отменить изменения.

Копирование сценария

Вы можете скопировать любой существующий сценарий. Копия наследует все настройки оригинала:

• Название (с пометкой «Копия»)
• Привязанный бренд
• Режим (Basic / History)
• Персону и History Task (для режима History)
• Все интенты
• Выбранные модели

Копирование удобно, когда вы хотите протестировать вариации — например, один и тот же набор интентов с другим набором моделей или другим брендом.

Матрица выполнения

При запуске сценария BrandWise генерирует элементы по формуле:

Количество элементов = интенты × модели × варианты температуры

Например, сценарий с 5 интентами и 4 моделями создаст 20 элементов выполнения (при одном варианте температуры). Каждый элемент — это отдельный вызов модели с оценкой по 6 метрикам.

Стоимость запуска в AI-кредитах зависит от количества элементов, выбранных моделей и длины ответов.

Что дальше

• Запуск оценки: процесс, статусы, действия — как запустить сценарий и отслеживать выполнение
• Профиль бренда — настройка бренда для точной оценки
• Персоны — создание портрета пользователя для режима History
• Создать аккаунт и начать