一句话判断
基准测试在视频理解和物理推理二维度验证AI模型能力,为物理智能研究提供可重现的实验框架
核心信息
研究团队提出Apple-π基准测试,通过引入物理定律推理任务测试视频模型的物理智能能力。开源测试框架和基准数据集,并通过公开评测结果验证了模型的物理因果推理缺陷,提出需从视频理解和物理动态建模方面突破以优化性能。项目包含视频本体库和API接口。
原始内容
AK (@_akhaliq) 转发了 Ziwei Liu (@liuziwei7) 的帖子:
🍎Thinking with Video towards Law-Grounded Physical Intelligence🍎
🥧Apple-π🥧 is the first benchmark that asks video models to reason through explicit physical laws w/ an auditable test of physical intelligence
- Project: https://21yrm.github.io/Apple-PI-homepage/
- Code: https://github.com/21yrm/Apple-PI https://t.co/iIlaKOrpRC
https://video.twimg.com/amplify_video/2080676493521461249/vid/avc1/1920x1080/0FkFt3Xt1YSjrnMA.mp4?tag=29
> **引用原帖 AK (@_akhaliq):**
> Apple-π
> Benchmarking Thinking with Video Towards Law-Grounded Physical Intelligence
> paper: https://t.co/a9EwkfSSKi https://t.co/Z7utyLvtgK
> https://x.com/_akhaliq/status/2080363934289191156
相关动态
01
美国考虑用AI蒸馏对抗中国
白宫指控Moonshot公司大规模复制Anthropic Fable模型开发Kimi K3,财政部长提议对参与此类行为的中国公司实施制裁或列入实体名单。Cependant, 这可能成为禁止中国开源软件的法律依据。
高优先级
02
菲尔兹奖得主转向AI安全并加入OpenAI
菲尔兹奖得主Jacob Tsimerman在数学大会上宣布将转向AI安全,并将加入OpenAI。
观察
03
Agent Identity and Access Management Challenges
探讨有效无限数量代理管理的安全性问题,包括权限继承、生命周期管理、审计实践等技术挑战,强调当前IAM体系无法应对代理的爆发性扩张特性
观察