发生了什么
Commercial AI Chatbots 评测 新闻中介
为什么值得关注
该评测提供了检索增强模型在实时新闻场景的细粒度失效分析,值得关注后续改进方向。
信息来源
以下内容来自公开来源,可打开原文继续核验。
01
商业AI聊天机器人新闻中介评估
研究评估了主流商业AI聊天机器人在新闻问答场景的表现,发现它们在干净的多选题上对数小时内的最新事件可达90%准确率,但在自由生成回答、印地语新闻或含有错误前提的问题上准确率显著下降;错误主要来源于检索失败或来源偏差,超过70%错误源于检索到的文章不匹配、语言错误、范围或时间戳错误。
打开原始来源 ↗