Оценка качества
С помощью функции «Оценка качества» можно оценить качество ответов агента — как в ручном режиме, так и с помощью искусственного интеллекта.
Важно! Функция «Оценка качества» доступна на тарифе «Эксперт + ИИ» — для подключения напишите нам на support@usedesk.ru. Функция работает только в новой версии дизайна Юздеска — посмотреть, как он выглядит и чем отличается от старого, можно в новой статье по ссылке.
Важно! Доступ к разделу «Оценка качества» будет только у агентов, которые состоят в группе с наличием прав доступа к разделу «Контроль качества».
Чтобы начать оценку, кликните на кнопку «Оценка качества».
Система развернёт блок для оценки качества.
Вручную можно выставить оценку по критерию «Знание продукта», т. к. пока искусственный интеллект не может оценить знание продукта агентом. Кликните на нужную по порядку полоску, чтобы выставить соответствующую оценку: «Плохо», «Нормально» или «Хорошо».
Чтобы оценить качество ответов агента с помощью ИИ, кликните на «Сформировать оценку». Оценку от ИИ можно запросить только один раз для одного запроса.
Система запустит анализ переписки. В зависимости от количества сообщений в переписке и их объёма анализ может занимать от нескольких секунд до пары минут.
Если вы свернёте окно оценки качества, наблюдать за статусом готовности оценки можно будет с помощью иконки.
По готовности в блоке «Оценка качества» появится средняя оценка переписки в процентах. Оценка считается только по критериям искусственного интеллекта — ручная оценка по критерию «Знание продукта» не учитывается.
Если детальная оценка качества ещё не просмотрена вами, рядом с ней будет отображаться фиолетовый кружок.
При клике на блок «Оценка качества» развернётся детальная оценка по шести критериям:
- приветствие — наличие и уместность приветствия в начале ответа;
- прощание — корректность завершения диалога, вежливое прощание;
- тон и эмпатия — дружелюбность, уважительность тона и проявление сочувствия;
- структура ответа — формат ответа, грамотность, лёгкость восприятия сообщения;
- понимание вопроса — правильность интерпретации запроса агентом;
- предоставление ответа — полнота, точность и релевантность ответа.
Чтобы увидеть комментарий по каждому критерию, кликните на стрелочку.
Внизу блока с оценкой качества отображаются ключевые выводы и рекомендации.
Принцип расчёта общей оценки от ИИ
- Оценка «Хорошо» (2) даёт 100% по критерию,
- Оценка «Нормально» (1) даёт 70% по критерию,
- Оценка «Плохо» (0) даёт 0% по критерию.
Каждый критерий автоматической оценки ИИ весит 10 или 20 единиц, общий вес всех критериев — 100.
Ручная оценка по критерию «Знание продукта» не участвует в расчёте «Общая оценка от ИИ».
Формула расчёта итоговой оценки запроса в процентах:
Итоговая оценка запроса = Вес_критерия_1 × Оценка_ИИ_1 + Вес_критерия_2 × Оценка_ИИ_2 + … + Вес_критерия_6 × Оценка_ИИ_6
Пример расчёта итоговой оценки запроса в процентах (скриншот из отчёта по контролю качества):
Общая оценка от ИИ = 90% = (10 × 70% + 10 × 100% + 20 × 100% + 20 × 70% + 20 × 100% + 20 × 100%)/100
Критерий | Вес критерия от общей оценки | Оценка ИИ |
Приветствие | 10 | 70% (нормально) |
Прощание | 10 | 100% (хорошо) |
Тон + Эмпатия | 20 | 100% (хорошо) |
Структура ответа | 20 | 70% (нормально) |
Понимание вопроса | 20 | 100% (хорошо) |
Предоставление ответа | 20 | 100% (хорошо) |
Общий вес критериев | 100 | Общая оценка от ИИ = 90% |