Группа исследователей Политехнического Университета в Валенсии проверила точность последних версий искусственного интеллекта (ИИ) от BigScience, Meta и OpenAI, задавая каждой модели тысячи вопросов по математике, естествознанию и географии. Результаты показали, что ИИ скорее даст неверный ответ, чем признается, что не знает ответа, пишет Nature.
Исследователи отмечают, что точность в более сложных задачах улучшалась с каждой новой моделью. Однако ранние модели LLM признавали, что не могут найти ответы или нуждаются в дополнительной информации, в то время как новые модели с большей вероятностью давали неверные ответы даже на простые вопросы.
В ходе исследования группа, проводившая опросы ИИ, пришла к выводу, что у новых моделей «не наблюдается явного улучшения», несмотря на масштабирование технологии.
Иллюстрация: Институт филологии и журналистики
https://www.newsru.co.il/science_hitech/1oct2024/ai_am100.html
