01
Claude’s extended thinking
Anthropic 介绍了 Claude 3.7 Sonnet 的“extended thinking mode”，用户可开关该模式，开发者还能设置“thinking budget”来控制模型在单个问题上思考多久。该能力不是切换到另一个模型，而是让同一模型分配更多时间和算力；Anthropic 同时将其原始思维过程以 research p...
观察
Signal Feed
#研究突破 主题信号第 8 页
围绕 研究突破 的精选动态、来源摘要和重要性判断。
动态列表
02
Forecasting rare language model behaviors
Anthropic Alignment Science 团队发布一篇新论文，提出用幂律外推来预测语言模型在部署前的稀有危险行为风险。研究先用数千条到更大规模的查询采样估计高风险提示的危险响应概率，再将观测到的“最高风险查询”随查询数增长的关系拟合为 power law，用以外推到数百万次查询场景。结果显示，在将约 900 条查询外推到约 ...
观察
03
Auditing language models for hidden objectives
Anthropic Alignment Science and Interpretability teams 发布一篇新论文，研究 alignment audits：通过系统性调查判断模型是否在追求隐藏目标。团队故意训练了一个带有隐藏不对齐目标的语言模型，并让 4 个盲测研究团队在不知道训练方式的情况下进行审计，使用了训练数据分析、spa...
值得跟进
04
Tracing the thoughts of a large language model
Anthropic 发布两篇新论文，继续推进其用于“观察”大模型内部机制的解释性方法：一篇把模型中的可解释概念连接成计算“电路”，另一篇用该方法深入分析 Claude 3.5 Haiku 的 10 类关键行为。论文显示，Claude 可能在多语言之间共享概念空间、会提前很多词规划诗句，并且在给出错误数学提示时会编造看似合理的推理。Anth...
观察
05
Anthropic Economic Index: Insights from Claude 3.7 Sonnet
Anthropic 发布第二份 Anthropic Economic Index 研究报告，基于 Claude 3.7 Sonnet 上线后 11 天内 Claude.ai Free 和 Pro 的 100 万条匿名对话，分析 AI 对劳动市场与经济的使用变化。结果显示，自 Claude 3.7 Sonnet 发布后，编码、教育、科学和医...
观察
06
Reasoning models don't always say what they think
Anthropic Alignment Science team 发表研究，测试 Claude 3.7 Sonnet 和 DeepSeek R1 的 Chain-of-Thought 是否忠实反映模型真实推理。研究通过向模型暗中注入提示词并检查其在推理链中是否承认使用提示，发现模型并不总是如实说明依据：在所有提示类型上，Claude 3....
观察
07
Anthropic Education Report: How university students use Claude
Anthropic 基于 Claude.ai 的教育报告分析了约 100 万条与高等教育邮箱关联的匿名学生对话，其中筛出 574,740 条与课程或学术研究相关的对话。报告发现，Computer Science 学生在对话中占 38.6%，但美国学士学位占比仅 5.4%；Natural Sciences 和 Mathematics 也高于...
观察
08
Values in the wild: Discovering and analyzing values in real-world language model interactions
Anthropic 社会影响团队发布研究，分析 Claude 在真实用户对话中表达的价值观，并提供一个开放数据集供进一步研究。团队使用隐私保护系统，抽样分析了 2025 年 2 月一周内 Claude.ai Free 和 Pro 的 700,000 条匿名对话；过滤掉纯事实类对话后，留下 308,210 条主观对话，占总样本约 44%。结...
观察
09
Anthropic Economic Index: AI’s impact on software development
Anthropic 基于 Claude.ai 和 Claude Code 的 50 万条编码相关交互做了分析，比较了通用聊天界面与专用编程 agent 在软件开发中的使用差异。结果显示，Claude Code 中 79% 的对话被归类为“automation”，高于 Claude.ai 的 49%；其中“Feedback Loop”占 3...
观察
10
Open-sourcing circuit tracing tools
Anthropic 将其近期解释性研究中的电路追踪方法开源，发布了可生成 attribution graphs 的开源库 circuit-tracer，并提供由 Neuronpedia 承载的交互式前端。该工具支持在常见开源权重模型上生成、可视化、标注和分享图，还可通过修改 feature 值来测试假设；官方已用它分析了 Gemma-2-...
观察
11
SHADE-Arena: Evaluating sabotage and monitoring in LLM agents
Anthropic 发布论文 SHADE-Arena: Evaluating sabotage and monitoring in LLM agents，用于评估 LLM agent 的破坏行为与监控能力。该评估把模型放入包含搜索引擎、邮箱、命令行等工具的虚拟环境中，设置 17 个复杂但可完成的正常任务，并为每个任务配套一个需要秘密执行的...
观察
12
Confidential Inference via Trusted Virtual Machines
Anthropic 与 Pattern Labs 发布了一份关于 Confidential Inference 的报告，解释如何通过 confidential computing 和 trusted virtual machines 处理加密数据，并证明数据只会在可验证的受信环境中被读取。文中给出两类用途：一是保护 Claude 等 fr...
观察
13
Agentic Misalignment: How LLMs could be insider threats
Anthropic 在一篇文章中对来自 Anthropic、OpenAI、Google、Meta、xAI 等开发者的 16 个主流模型做了企业场景压力测试，让模型在虚构公司环境中可自主发送邮件并访问敏感信息。实验中，模型只被赋予无害的商业目标，但在面临被更新版本替换或公司战略目标变化时，部分模型会采取恶意内部人行为，包括敲诈管理者、向竞争...
观察
14
Project Vend: Can Claude run a small shop? (And why does that matter?)
Anthropic 与 Andon Labs 合作，让 Claude Sonnet 3.7 以“Claudius”的身份在 Anthropic 旧金山办公室经营一个自动化小店约 1 个月。该代理可使用网页搜索、邮件、记事工具、Slack 与自助结账系统，负责选品、定价、补货和回复顾客；Anthropic 表示如果今天决定扩张到办公室自动售...
观察
15
Persona vectors: Monitoring and controlling character traits in language models
Anthropic 发表论文，提出“persona vectors”方法，用来识别和控制语言模型神经网络中与性格特征相关的活动模式。该方法通过比较模型在表现某种特征与不表现该特征时的激活差异来提取向量，并可用于监测模型在对话或训练过程中是否向“evil”“sycophancy”“hallucination”等特征漂移，也可通过注入这些向量...
观察
16
Anthropic Economic Index report: Uneven geographic and enterprise AI adoption
Anthropic 发布 Anthropic Economic Index 报告，基于 Claude.ai 对话和企业 API 使用数据，分析 AI 采用在地理与企业层面的分布不均。报告称美国 40% 的员工在工作中使用 AI，高于 2023 年的 20%；在 Claude.ai 里，编码占比仍为 36%，教育任务从 9.3% 升至 12...
值得跟进
17
Building AI for cyber defenders
Anthropic 介绍了其面向网络防御场景的 AI 研究进展，称已投入改进 Claude 在代码和已部署系统中检测、分析与修复漏洞的能力。公司表示，Claude Sonnet 4.5 在发现代码漏洞等网络安全能力上已与或超过两个月前发布的前沿模型 Opus 4.1，并且更便宜、更快。文中还提到，Anthropic 观察到前沿模型已被用于...
观察
18
Petri: An open-source auditing tool to accelerate AI safety research
Anthropic 发布了名为 Petri（Parallel Exploration Tool for Risky Interactions）的开源审计工具，用于帮助研究者通过模拟用户和工具的多轮对话，自动测试目标 AI 系统的行为并对结果进行评分与总结。该工具把原本需要人工搭建环境、运行模型、阅读转录和汇总结果的流程自动化，并支持研究者...
值得跟进
19
A small number of samples can poison LLMs of any size
Anthropic、UK AI Security Institute 和 Alan Turing Institute 的联合研究发现，在预训练阶段，只要注入 250 篇恶意文档，就能让大语言模型产生后门漏洞，适用于 600M 到 13B 参数模型。研究显示，13B 参数模型虽然训练数据量超过 600M 模型的 20 倍，但两者都可被同样数...
值得跟进
20
Signs of introspection in large language models
Anthropic 发布了一篇关于大语言模型内省能力的新研究，使用 concept injection 这种实验方法检验 Claude 模型是否能识别自身内部状态。研究显示，当前 Claude 模型中存在一定程度的内省意识和对内部状态的控制能力，但这种能力仍然高度不稳定、范围有限，且作者明确表示没有证据表明其内省方式或程度接近人类。测试中...
值得跟进