Зачем нужна новая метрика по оценке чат-ботов? Как объяснил один из ее авторов, гораздо сложнее оценить, насколько хорошо что-то вроде чат-бота общается с пользователем, поскольку он может быть диалоговой системой с открытым доменом, в которой взаимодействие в основном содержит открытую информацию.

Диалоговая система — это, по сути, компьютерная система, которая включает в себя текст, речь и другие жесты для общения с людьми.

Существует два основных типа. Первый — ориентированные на задачи диалоговые системы. Они полезны, когда мы хотим достичь определенной цели, такой как бронирование номера в отеле, покупка билета или бронирование рейса.

Вторые — диалоговые системы с открытым доменом, такие как чат-боты, в большей степени ориентированы на взаимодействие с людьми на более глубоком уровне, и они делают это путем имитации разговоров между людьми.

Оценка диалоговых систем с открытым доменом является одним из наиболее важных этапов в разработке высококачественных систем, подчеркивают ученые.

По сравнению с ориентированными на задачи диалоговыми окнами, в которых пользователь общается для достижения заранее определенной цели, оценка диалоговых систем с открытым доменом является более сложной.

  • Пользователь, который общается с диалоговыми системами с открытым доменом, не следует каким-либо конкретным целям. Поэтому оценка не может быть измерена на том, достиг ли пользователь цели.

В своей статье исследователи ISI подчеркнули, что оценка диалоговых систем с открытым доменом не должна ограничиваться только конкретными аспектами, такими как релевантность — ответы также должны быть действительно интересными для пользователя.

Исследования команды подчеркивают, что чатбот должен быть не просто предоставлением соответствующих ответов. Предоставлено: Университет Южной Калифорнии.

Ответы, генерируемые диалоговой системой с открытым доменом, допустимы, когда они актуальны для пользователей и также интересны, заявляют исследователи.

Исследователям удалось показать, что включение интересного аспекта ответов, который называется оценкой вовлеченности, может быть очень полезным для более точной оценки диалоговых систем с открытым доменом. Понимание оценки поможет улучшить чат-ботов и другие подобные диалоговые.

Такие чат-боты, как Cleverbot, Meena и XiaoIce, могут вовлекать людей в разговоры, которые больше похожи на беседу в реальной жизни, чем на диалоговые системы, ориентированные на задачи.

Например, XiaoIce, чат-бот Microsoft для 660 миллионов китайских пользователей, обладает характером, имитирующим умную девочку-подростка, и наряду с предоставлением базовых функций помощника AI, она также может сочинять оригинальные песни и стихи, играть в игры, читать истории и понимать шутки.

XiaoIce описывается как «эмпатичный чат-бот», поскольку он пытается установить связь и создать дружбу с человеком, с которым он взаимодействует.

Эти типы чат-ботов могут быть полезны для людей, которые не социализированы, чтобы они могли научиться общаться, чтобы завести новых друзей, подчеркивают исследователи.

Чат-боты с открытым доменом, которые привлекают людей на более глубоком уровне, не только набирают популярность, но и становятся более продвинутыми.

И, все же, основное намерение для взаимодействия пользователя с этими типами чат-ботов это не только развлечение, но и для получение общих знаний.

Например, чат-боты с открытым доменом могут быть использованы для решения более серьезных проблем.

Некоторые из этих чат-ботов предназначены для обеспечения поддержки психического здоровья людей, которые сталкиваются с депрессией или тревогой.

Пациенты могут использовать эти системы, чтобы получать бесплатные консультации, когда они им нужны. Исследование, финансируемое Агентством перспективных исследовательских проектов в области обороны США (DARPA), показало, что людям легче говорить о своих чувствах и личных проблемах, когда они знают, что общаются с чат-ботом, поскольку они чувствуют, что он не будет судить их.

Чат-боты с открытым доменом также чрезвычайно полезны для людей, которые изучают иностранный язык. Это особенно полезно для людей, которые не уверены в своих языковых навыках или даже очень стесняются общаться с реальными людьми».

Прогнозирующая метрика взаимодействия поможет исследователям лучше оценить эти типы чат-ботов, а также системы диалогов с открытым доменом в целом.

 

Источник


Понравилось? Поделись с друзьями в соц-сетях!

B-MAG

Редакция Бизнес-журнала - B-MAG.ru Мы публикуем материалы о бизнесе и деловой жизни, предпринимательстве и стартапах, инвестициях, бизнес идеях, технологиях и инновациях. Business life today – деловая жизнь сегодня.

Новые комментарии:

Ваш e-mail не будет опубликован. Обязательные поля помечены *

восемь − 7 =

Choose A Format
Story
Formatted Text with Embeds and Visuals