Система метрик BrandWise — как оценивается бренд в ответах ИИ

Зачем нужна система метрик

Когда пользователь спрашивает ChatGPT «какой сервис выбрать для X», ответ модели формирует восприятие бренда. Но как измерить, насколько хорошо ИИ представляет ваш бренд? Простой факт упоминания ничего не говорит о качестве — важно, на каком месте бренд, соответствует ли описание позиционированию, помогает ли пользователю принять решение.

BrandWise решает эту задачу с помощью 6 специализированных метрик, каждая из которых измеряет отдельный аспект представленности бренда в ответах ИИ-моделей.

Шесть метрик оценки бренда

Все метрики оцениваются по единой шкале 0–100 и делятся на три группы:

Сила бренда

Качество представления

Конкурентная позиция

Evidence quotes — доказательная база

Каждая оценка подкрепляется evidence quotes — дословными цитатами из ответа модели. Это не пересказ и не интерпретация, а точные подстроки текста, которые обосновывают балл.

Например, если Visibility = 85, вы увидите конкретные фрагменты ответа, где модель упоминает ваш бренд в топ-списке с несколькими аргументами. Это обеспечивает полную прозрачность: вы всегда можете проверить, почему модель получила именно такой балл.

Общий балл (Overall Score)

Overall Score — это взвешенное среднее применимых метрик на уровне каждого ответа модели:

В расчёт включаются только применимые метрики. Visibility, Top of Mind и Consideration учитываются в общем балле только для органического контекста — когда пользователь не называл бренд явно в запросе.

Дополнительно на балл влияет контекст упоминания (mention context): если бренд упомянут негативно или с оговорками, ко всем метрикам кроме Visibility применяется глобальный множитель (Позитивный = ×1.0, Смешанный = ×0.5, Негативный = ×0.2). Это значит, что негативное упоминание бренда существенно снижает Overall Score.

Подробнее о производных показателях — в статье Производные и агрегированные метрики.

Шкала интерпретации

Классификация контекста запроса

Каждый ответ модели классифицируется по типу контекста:

• Органика — пользователь не называл бренд в запросе (например, «какой CRM выбрать»). Это самый ценный контекст: он показывает, вспоминает ли модель ваш бренд самостоятельно.
• С подсказкой бренда — бренд упомянут явно в запросе (например, «расскажи про BrandWise»). Метрики Visibility, Top of Mind и Consideration не учитываются в общем балле для этого контекста.
• Неоднозначный — контекст, который не удалось классифицировать однозначно.

Флаги качества данных

Система автоматически проверяет каждую оценку на качество:

• prompt_injection_suspected — в диалоге обнаружены паттерны инъекции (попытки подмены инструкций)
• evidence_mismatch — цитаты не найдены в исходном тексте ответа модели

Эти флаги помогают фильтровать ненадёжные результаты и обеспечивают высокое качество аналитики.

Что дальше

Изучите каждую метрику подробно:

1. Visibility — видимость бренда
2. Relevance — релевантность упоминания
3. Positioning Match — соответствие позиционированию
4. Usefulness — полезность рекомендации
5. Top of Mind — первоочерёдность вспоминания
6. Consideration — включение в шорт-лист
7. Производные и агрегированные показатели

Готовы начать? Создайте проект и запустите первую оценку, чтобы увидеть метрики в действии.

Зарегистрироваться и начать