发生了什么
(I) DAIR.AI 发布 BlockSearch(0.6B 参数)
为什么值得关注
该研究首次系统验证了在百万 token 规模下的检索性能,BlockSearch 的 10 倍长度泛化能力为大规模检索系统提供了可行方案。
信息来源
以下内容来自公开来源,可打开原文继续核验。
01
百万 token 上下文检索研究
DAIR.AI 发表了首个针对百万 token 规模的上下文检索系统研究。研究中提出了 BlockSearch,一种 0.6B 参数的 LM 检索器,比较前置模型在架构与训练方面做了改进,并能在训练长度之外向前推算 10 倍长度的检索效果。研究提供了对大规模检索系统的系统性评估。
打开原始来源 ↗