ВТБ разработал два детектора для проверки ошибок виртуальных моделей: один выявляет токсичность, другой — галлюцинации. Они будут проверять потребительские запросы и ответы цифровых помощников банка.
Детектор токсичности проверяет запросы пользователей на запрещённые темы, нарушения законодательства и взрослый контент 18+. Если сообщение или текст неэтичны, система заблокирует запрос и не станет его обрабатывать.
Детектор галлюцинаций распознаёт в готовых ответах цифровых помощников несоответствия и противоречия и подсвечивает, в какой части ответа они расположены. После этого специалисты банка могут отправить такой ответ на повторную проверку или заблокировать его. Галлюцинацией называют случай, когда языковая модель выдаёт уверенный, но полностью вымышленный ответ.
Первый заместитель президента-председателя правления ВТБ Сергей Путятинский пояснил на Kazan Digital Week (16+), что готовых решений, отвечающих требованиям банка, на рынке не нашлось, поэтому детекторы разработали самостоятельно вместе с экспертами МГУ.