姚金刚开源国内8大AI平台搜索引用数据集

姚金刚老师把国内8大AI平台的搜索引用数据开源了。 这份数据集包含620个标准问题、近19万条去重后的AI引用记录，覆盖豆包、DeepSeek、Kimi、千问、文心等主流平台。 不仅原始数据、清洗规则、字段字典全开源，还附带了第一份可视化分析报告和arxiv论文。 初步发现已经很清晰：头部信源效应极强（Top10贡献41%引用），平台类内容权重很高，品牌官网自有内容可见度却只有4.33%，跨平台共识度也偏低，新鲜内容被明显偏好。 以前做中文GEO基本靠经验和少量测试，现在有了这种规模的公开实测数据，意味着大家可以基于真实分布去做策略，而不是瞎猜。 数据一开源，研究和优化就从“黑箱”变成了可量化、可复现的领域。  > **引用原帖 姚金刚 (@yaojingang):** > 经好友拔刀刘同意，将他们近期抓取的国内各大AI平台数据集进行开源 > 清洗后的数据集、论文预印本以及第一份分析报告，已推送到GitHub仓库，地址见评论区 > 这应该是面向国内各大AI平台的最新、最全的一份公开GEO原始数据集 > 包括了豆包、DeepSeek、元宝、千问、Kimi、文心、百度AI等8个AI平台的AI搜索结果、信源特征数据 > 这份数据包括： > 1、620 个标准问题，覆盖 6 个研究维度、31 种有效问题类型，包括行业、提问意图、提示风格、时间敏感度、触发强度和极端真实场景； > 2、214,119 条 AI 引用观察，精确去重后保留 189,845 条。这里统计的是回答中的引用来源与摘要，现有数据不含完整回答原文； > 3、引用记录归并为 9,878 个规范域名信源、107,659 个规范页面；211,248 条记录带有效 HTTP URL，占 98.66%； > 4、信源按 9 个一级类型、39 个二级类型完成分类，去重引用的分类覆盖率达到 99.77%； > 5、原始数据、清洗表和分析集市都已保留，可用 JSONL、Parquet 和 DuckDB 直接查询，也附了字段字典、清洗规则和质量报告； > 6、64 个原始分片全部通过 SHA-256 校验，清洗过程保留原值、异常标记和追溯字段，方便复现和继续加工 > 这几天对数据进行了二次清洗、标注和加工，并输出第一份可视化分析，一些有意思的发现和洞察 > 1、各大AI平台的信源头部效应非常明显，Top 10 信源贡献了 41.47% 的去重引用，抖音、腾讯网、今日头条、百度百科排在前四 > 2、平台与社区类信源只占 4.68% 的域名，却拿到 29.63% 的去重引用，内容分发平台在 AI 引用生态里的权重很高 > 3、品牌与企业官网只贡献 4.33% 的去重引用；加上政府与公共机构，主体自有来源合计 9.06%。品牌自有内容还有很大的可见度空间 > 4、跨平台共识并没有想象中高，66 个平台组合中，最高的“问题 × 页面”Jaccard 相似度也只有 34.94%，还有 11 个组合完全没有共享的问题与页面。单个平台的经验不能直接外推到其他平台 > 5、内容新鲜度很明显，在发布时间可靠的页面中，88.77% 来自 2025 或 2026 年；29.57% 的页面标题带年份，23.06% 带榜单或排行。时效信号和决策型内容值得继续验证 > 欢迎留言补充关心的问题，我可以抽空基于这些关心的问题，再做一份数据分析报告 > https://x.com/yaojingang/status/2079375927767871665 Berryxia.AI (@berryxia): https://t.co/hQ1Cerx9rT