字节跳动seed团队发布智能体基准测试edgebench，用于研究AI在12至72小时超长周期任务中的环境学习表现。在分析超过3.8万小时的智能体运行记录后，研究团队发现AI的学习曲线高度可预测，智能体性能随交互时间延长而提升，精准拟合对数逻辑斯蒂log-sigmoid曲线。研究者借用图搜索理论解释这一规律，认为智能体的进步如同在技能图谱上向外扩张边界，seed团队已将基准测试框架及首批51个任务开源。与之相反，研究机构Epoch AI同日发布ebr-bench评估结果得出不同结论。在对桌游环境的测试中，即使提供策略指南，AI在重复尝试后也几乎没有表现出学习和自我改进行为。这一分歧表明，AI的自主学习潜力受任务环境和反馈链路设计影响极大。在系统级工程或科学探索等需要连续环境回馈的场景中，智能体能够建立起累积优势，但在策略相对复杂的离散规则游戏中，当前的在轨学习仍然举步维艰。
大模型到底「边做边学」？字节跳动与Epoch AI同日发表相反结论仍待验证
生成海报
分享到:
扫码关注我们，了解最新AI资讯~
扫码关注我们，了解最新AI资讯~