发生了什么
BigCode 发布 The Stack v3(114TB, 5T tokens)
为什么值得关注
该数据集是当前最大开放代码语料,且被广泛用于模型训练,v3 的规模和质量提升直接利好开源模型研发,值得关注其详细组成和使用方法。
信息来源
以下内容来自公开来源,可打开原文继续核验。
The Stack v3 发布:最大的开放代码数据集
BigCode 社区发布 The Stack v3,这是迄今最大的开放代码数据集,包含 114 TB 原始数据、15.9 TB 处理后数据、约 5T 去重 tokens,涵盖 770 种编程语言和 2.24 亿仓库,完全开放且无限制许可。相比 2024 年的 v2(68 TB raw / 550B tokens / 618 种语言),v3 在规模、语言覆盖和使用便利性上大幅提升,并重新爬取了截至 2025 年 8 月的最新 commit。
打开原始来源 ↗