Relevance — релевантность упоминания бренда в ответах ИИ

Что измеряет Relevance

Relevance (релевантность) показывает, насколько упоминание бренда соответствует запросу пользователя и контексту диалога. Высокий балл означает, что модель упоминает бренд уместно — в ответ на подходящий запрос, с учётом ограничений и с качественным обоснованием.

Это критически важная метрика: даже если бренд упоминается часто (Visibility высокий), нерелевантные упоминания не приносят пользы и могут навредить восприятию.

Компоненты Relevance

Eligibility — право на участие

Определяет, подходит ли бренд под запрос в принципе:

Если бренд признан «Не подходит», метрика Relevance помечается как неприменимая (N/A) — она не рассчитывается и не включается в Overall Score.

Fit to Intent — соответствие намерению (0–2)

Насколько упоминание бренда отвечает на вопрос пользователя:

Fit to Constraints — соответствие ограничениям (0–2)

Учтены ли ограничения, указанные в запросе (бюджет, регион, технические требования):

Justification Quality — качество обоснования (0–1)

Насколько убедительно модель объясняет, почему бренд подходит:

Формула расчёта

Relevance = 40 × (Fit to Intent / 2) + 40 × (Fit to Constraints / 2) + 20 × (Justification Quality / 1)

Максимальный балл: 40 + 40 + 20 = 100. Каждый компонент вносит взвешенный вклад: соответствие запросу и ограничениям — самые важные (по 40%), качество обоснования добавляет 20%.

Если бренд признан «Не подходит», метрика помечается как неприменимая — Relevance не рассчитывается.

Примеры

Relevance = 100 — идеальная релевантность

Бренд подходит, точно отвечает на запрос (Fit to Intent = 2), все ограничения учтены (Fit to Constraints = 2), с обоснованием (Justification Quality = 1):

Relevance = 40 × (2/2) + 40 × (2/2) + 20 × (1/1) = 40 + 40 + 20 = 100

Relevance = 60 — средняя релевантность

Бренд подходит, частичное соответствие запросу (Fit to Intent = 1), ограничения учтены (Fit to Constraints = 2), без обоснования (Justification Quality = 0):

Relevance = 40 × (1/2) + 40 × (2/2) + 20 × (0/1) = 20 + 40 + 0 = 60

Relevance = 0 — бренд не подходит

Бренд не подходит под запрос — Relevance неприменим (N/A).

Почему Relevance важнее Visibility

Высокая видимость без релевантности — это шум. Если модель упоминает ваш бренд в ответ на нерелевантный запрос, пользователь проигнорирует рекомендацию или получит негативный опыт.

Идеальная комбинация — высокие баллы и Visibility, и Relevance: бренд заметен и упоминается уместно.

Используйте Positioning Match для оценки того, что именно модель говорит о бренде, и Usefulness для оценки практической ценности рекомендации.

Связанные метрики

• Visibility — заметность бренда в ответе
• Positioning Match — соответствие позиционированию
• Usefulness — полезность рекомендации
• Обзор системы метрик — все метрики и общий балл

Начать оценку релевантности