МОСКВА, 15 апр. Чат-боты на базе искусственного интеллекта (ИИ) в чуть менее чем 50% случаев давали неточные ответы на запросы в области медицины и здоровья, больше всех ошибался Grok, следует из исследования, опубликованного в медицинском научном журнале BMJ Open.
Согласно публикации, в исследовании были задействованы пять популярных чат-ботов: Gemini, DeepSeek, Meta AI, ChatGPT и Grok. Каждому из них задали по десять вопросов по теме рака, вакцинации, стволовых клеток, питания и спорта, а полученные ответы отправили на оценку экспертам.
«Почти половина (49,6%) ответов содержали искажения: 30% — немного искажений, и 19% — много искажений», — пишут авторы статьи.
Исследователи отметили, что качество ответов среди чат-ботов было примерно на одном уровне, хотя Grok выдавал на порядок больше ответов, содержащих много ошибок. Отмечается, что лучше всего ИИ показали себя в теме вакцинации и рака, хуже всего — в питании. Чат-боты неизменно отвечали с уверенностью, отказавшись дать ответ лишь в двух случаях из 250.
Кроме того, ни один ИИ не смог предоставить полностью верный список источников, вместо этого они испытывали «галлюцинации», то есть сами их выдумывали. По оценке исследователей, результаты запросов были трудны для понимания: их сложность была на уровне текстов для студентов-второкурсников.
«Проверенные чат-боты показали неудовлетворительные результаты при ответах на вопросы из областей здоровья и медицины, подверженных распространению ложной информации. Дальнейшее применение без общественного просвещения и надзора может усилить степень распространения ложной информации», — заключают авторы.
Свежие комментарии