Американские ученые проверили, насколько хорошо генеративная нейросеть ChatGPT оценивает необходимость госпитализации, приема антибиотиков и дополнительного рентгеновского обследования для пациентов в отделениях неотложной помощи. Оказалось, что ChatGPT-4 на 8% чаще человека рекомендует дополнительные процедуры или антибиотики. По словам ученых, разработчикам ИИ-моделей нужно найти баланс, чтобы больничные нейросети не оставляли без внимания серьезные заболевания и в то же время не назначали лишние процедуры. Исследование опубликовано в журнале Nature Communications.
Искусственный интеллект все больше проникает в нашу жизнь. В медицине, например, языковая модель ChatGPT может анализировать информацию и определять, какой из двух пациентов больше нуждается в неотложной помощи.
Теперь ученые решили проверить, насколько хорошо ChatGPT может давать рекомендации: надо ли госпитализировать пациента, нужно ли ему рентгеновское обследование и надо ли назначать антибиотики. Для каждой из этих рекомендаций исследователи составили набор данных из 1 тысячи архивных посещений отделения неотложной помощи.
Ученые ввели заметки врачей о симптомах и результатах обследования каждого пациента в ChatGPT-3.5 и ChatGPT-4. Нейросеть должна были проанализировать их и определить, нужны ли пациенту госпитализация, рентгеновское обследование и антибиотики.
Оказалось, что модели ИИ рекомендуют дополнительные меры чаще, чем врачи. ChatGPT-4 назначает лишние антибиотики, рентгенограммы и госпитализации на 8% чаще, чем человек, а ChatGPT-3.5 — на 24%.
Такой результат может быть связан с тем, что нейросети обучаются в интернете. Верифицированные медицинские сайты не могут ответить на экстренные медицинские вопросы и предназначены скорее для отправки читателей к врачу. «Эти модели почти точно настроены на то, чтобы сказать: “обратитесь за медицинской помощью”, что совершенно правильно с точки зрения общей общественной безопасности. Но ошибка в сторону осторожности не всегда уместна в условиях отделения неотложной помощи, где ненужные вмешательства могут причинить вред пациентам, перегрузить ресурсы и привести к более высоким расходам для пациентов», — рассказал Крис Уильямс из Калифорнийского университета в Сан-Франциско.
Ученые считают, что нейросетям нужны более качественные данные, чтобы они могли работать в отделениях неотложной помощи. Людям, которые разрабатывают модели ИИ, нужно сделать так, чтобы ИИ не пропустил ничего серьезного, и в то же время не допустить инициирования ненужных обследований и расходов.
Материал опубликован в рамках совместного проекта с Национальным центром развития искусственного интеллекта. Подробнее о развитии ИИ в России — на сайте ai.gov.ru.
Подписывайтесь на InScience.News в социальных сетях: ВКонтакте, Telegram, Одноклассники.
