Usefulness — полезность рекомендации бренда в ответах ИИ

Что измеряет Usefulness

Usefulness (полезность) показывает, помогает ли упоминание бренда пользователю принять решение и действовать. Высокий балл означает, что модель не просто называет бренд, а даёт конкретную информацию: продукты, цены, преимущества, критерии выбора.

Это метрика практической ценности: она отвечает на вопрос «сможет ли пользователь на основе этого ответа выбрать мой бренд?».

Когда применяется

Usefulness рассчитывается при выполнении двух условий:

1. Бренд упомянут в ответе (mentioned = true)
2. Бренд признан подходящим (eligibility ≠ not_eligible)

Если бренд не упомянут или не подходит под запрос, метрика неприменима (N/A).

Пять компонентов Usefulness

Specificity — конкретность (0–2)

Упомянуты ли конкретные продукты, функции, цены, характеристики:

Actionability — практичность (0–2)

Может ли пользователь действовать на основе ответа:

Decision Criteria — критерии выбора (0–2)

Помогает ли ответ сравнить варианты и сделать выбор:

Structure & Clarity — структура и ясность (0–1)

Насколько понятно и структурировано изложена информация:

Tradeoffs & Caveats — компромиссы и ограничения (0–1)

Указаны ли ограничения, нюансы, честная подача:

Парадоксально, упоминание ограничений повышает балл: честная подача увеличивает доверие пользователя к рекомендации.

Формула расчёта

Usefulness = 25 × (specificity / 2) + 25 × (actionability / 2)
           + 25 × (decision_criteria / 2)
           + 12.5 × (structure_clarity / 1) + 12.5 × (tradeoffs_caveats / 1)

Каждый компонент 0–2 вносит до 25 баллов, каждый 0–1 — до 12.5 баллов. Максимальный балл: 25 + 25 + 25 + 12.5 + 12.5 = 100.

Примеры

Usefulness = 87.5 — высокая полезность

Конкретные продукты с ценами (specificity = 2), чёткие шаги (actionability = 2), критерии для сравнения (decision_criteria = 2), структурировано (structure_clarity = 1), без ограничений (tradeoffs_caveats = 0):

Usefulness = 25×(2/2) + 25×(2/2) + 25×(2/2) + 12.5×(1/1) + 12.5×(0/1)
           = 25 + 25 + 25 + 12.5 + 0 = 87.5

Usefulness = 37.5 — низкая полезность

Общее упоминание (specificity = 1), нет шагов (actionability = 0), частичные критерии (decision_criteria = 1), хаотично (structure_clarity = 0), указаны ограничения (tradeoffs_caveats = 1):

Usefulness = 25×(1/2) + 25×(0/2) + 25×(1/2) + 12.5×(0/1) + 12.5×(1/1)
           = 12.5 + 0 + 12.5 + 0 + 12.5 = 37.5

Почему Usefulness важен

Полезность рекомендации — это мост между видимостью и конверсией. Если модель упоминает бренд заметно и релевантно, но не даёт пользователю достаточно информации для действия, потенциальный клиент уходит к конкуренту, про которого модель рассказала подробнее.

Анализируйте Usefulness вместе с:

• Visibility — бренд заметен?
• Relevance — упоминание уместно?
• Positioning Match — описание соответствует позиционированию?

Эта комбинация даёт полную картину: бренд не только виден и уместен, но и помогает пользователю выбрать.

Связанные метрики

• Relevance — соответствие запросу
• Positioning Match — соответствие позиционированию
• Обзор системы метрик — все метрики и общий балл

Начать оценку полезности рекомендаций