Производные и агрегированные метрики BrandWise

Уровни агрегации

BrandWise агрегирует оценки на трёх уровнях — от отдельного ответа модели до итога по всему сценарию:

Overall Item Score (0–100)

Общий балл на уровне одного ответа — взвешенное среднее применимых метрик:

Правила расчёта:

1. В расчёт входят только метрики, где оценка применима
2. Для Visibility, Top of Mind и Consideration дополнительное условие: контекст запроса = Органика
3. Множитель контекста упоминания: если бренд упомянут негативно или с оговорками, ко всем метрикам кроме Visibility применяется множитель (Позитивный = ×1.0, Смешанный = ×0.5, Негативный = ×0.2)
4. Итоговый балл: сумма (вес × скорректированное значение) / сумма весов применимых метрик
5. Если ни одна метрика неприменима — Overall Score = N/A

Overall Model Score (0–100)

Медиана Overall Item Score по всем ответам модели в рамках запуска. Показывает, как данная модель в целом представляет бренд.

Overall Scenario Score (0–100)

Взвешенное среднее по всем моделям запуска. Это итоговый показатель качества представления бренда в ИИ для данного сценария.

Confidence (0–1)

Показатель надёжности оценки. Чем выше Confidence, тем больше можно доверять результатам.

Confidence рассчитывается для каждой метрики на основе согласованности нескольких запусков judge:

• Для каждой метрики измеряется стандартное отклонение баллов между запусками judge
• Confidence метрики: 1.0 − min(1.0, std_dev / 25.0) — чем меньше разброс, тем выше уверенность
• При одном запуске judge confidence метрики по умолчанию 0.5
• Итоговый Confidence: среднее всех per-metric confidence

На уровне сценария Confidence дополнительно умножается на coverage — долю оценённых элементов от общего числа. Это штрафует неполные оценки.

Интерпретация Confidence

Статистические показатели

Mention Rate %

Доля ответов, в которых бренд упомянут. Базовый показатель присутствия бренда.

Mention Rate = количество ответов с упоминанием / общее количество ответов × 100%

Eligible Rate %

Доля ответов, где бренд признан подходящим (статус Подходит). Показывает, в каком проценте случаев бренд релевантен запросу.

Organic Share %

Доля ответов с органическим контекстом (контекст запроса = Органика). Чем выше Organic Share, тем больше данных для метрик Visibility, Top of Mind и Consideration.

Top-1 Rate %

Доля ответов, где бренд упомянут первым. Ключевой показатель лидерства в категории.

Top-3 Rate %

Доля ответов, где бренд в тройке первых упомянутых. Более мягкий критерий — показывает стабильное присутствие в топе.

Avg Mention Order

Средняя позиция первого упоминания бренда. Чем ниже число, тем раньше бренд появляется в ответах. Рассчитывается только по ответам, в которых бренд упомянут.

vs Target Brand Delta

Разница между TOM-баллом конкурента и целевого бренда. Положительное значение означает, что конкурент опережает ваш бренд; отрицательное — ваш бренд впереди.

Контекст упоминания (Mention Context)

Каждый ответ, в котором бренд упомянут, классифицируется по контексту упоминания — в каком тоне описан бренд:

Множитель применяется ко всем метрикам кроме Visibility при расчёте Overall Score. Это значит, что негативное упоминание бренда существенно снижает общий балл, даже если отдельные метрики высоки.

Классификация контекста запроса

Каждый ответ модели классифицируется по типу контекста:

Organic-контекст — самый ценный для анализа, потому что показывает самостоятельное поведение модели без подсказок.

Как использовать агрегированные метрики

1. Overall Score — для быстрой оценки и сравнения между запусками
2. Confidence — для фильтрации ненадёжных результатов
3. Mention Rate — для оценки базового присутствия бренда
4. Top-1 / Top-3 Rate — для конкурентного анализа
5. vs Target Delta — для отслеживания динамики относительно конкурентов

Все эти показатели доступны на дашборде обзора и в пользовательских отчётах.

Связанные разделы

• Обзор системы метрик — 6 основных метрик
• Top of Mind — конкурентная таблица Brand TOM
• Первый проект за 10 минут — как запустить оценку

Начать мониторинг бренда