短的结论:大鹏一日同风起
基本情况:
对于拥有巨额算力与人才储备的北美团队而言,从相对落后位置发起追击并不是一件特别困难的事,尤其是这个团队还有一位金主,拥有钞能力,缺数据就买数据,乃至买生产数据的团队。如果这样还追不到一流位置,那反而令人生疑。
目前看来 Grok 的情况非常乐观,推理性能相比前代直接翻倍,空降到第一梯队水平,而且无论速度,成本都具有较大优势。这一代也不再是高分低能,Agent 任务上表现同样拔群,从已有测试结果来看,基本吻合官方宣称的 Opus 4.7 水平,部分场景更优,而且在成本显著更低。
逻辑成绩:
表格的排序切换为按中位分数降序。

*1 表格为了突出对比关系,仅展示部分可对照模型,不是完整排序。
*2 题目及测试方式,参见:大语言模型-逻辑能力横评 26-06 月榜 ,新增#70 题
*3 完整榜单更新在 https://llm2014.github.io/llm_benchmark/
*4 红字模型代表工作在推理模式下(慢思考),黑色模型则是对应的非推理模式(快思考)
编程 Agent:

*1 测试方式参见:大模型编程应用测试-V3榜单
Grok 4.5 对比 Grok 4.3 提升巨大,已没有对比必要。下文主要对照与之更接近的国产头部模型 GLM-5.2。
优势:
- 编程:前面提到,Grok 4.5 的 Coding 能力基本持平在榜的 Opus 4.8 (xhigh) ,大体上二者在出错频率,Debug 能力基本相当。但 Grok 有两个与众不同的特征,第一是 Grok 搭配 Grok Build 的执行步骤显著的低于 Opus 搭配 Claude Code,在完成效果相当的前提下,Grok 的 API 调用次数仅有Opus 的 1/2,最低只有 Opus 的 1/8,工具使用数量也只有 Opus 70% 左右。更少的 API 调用,意味着更少的Token 开销,同样在效果相同前提,Grok 以 API 原价计费,任务成本只有 Opus 的 10% 左右。在部分高难度场景,Grok 成本甚至低于国产 GLM-5.2。
- 第二点是Grok 的执行过程严密且精确,对于大部分 Debug,小功能实现,Grok 通常只会一次性读入所有相关文件,再一次性写入所有改动,加上一次自验证就完成任务。即便是大功能,也会拆成3~4 个子任务后,执行 4 次这样的循环。既不会反复涂改同一个功能,也不会因为低级错误要靠验证来发现。
- 但 Grok 现阶段也有缺陷,Grok 也会像 GPT 系列,默认把大量的功能使用说明,原始 Prompt 片段等写入 UI,这需要使用时额外提示来规避。但抛开这个问题,Grok 的UI 审美良好,UI 风格有自己特色,但实现细节通常会有小问题,比如 SVG 错误,字号不一致,配色问题等等。这部分弱于 Opus,但强于 GPT。
- 低幻觉:Grok 4.5 的文本幻觉比 GLM-5.2 更低,在不同尺寸的文本任务中,Grok 基本都可以稳定满分或高分,仅比低幻觉里程碑 GPT-5.5 略差。
不足:
- 推理效率:Grok 的低成本优势是仅限 Coding 相关任务的,而到了通用任务,或数理任务领域,Grok 的推理消耗并不低,相同任务平均高于 GLM-5.2 接近20%。由于 Grok 隐藏了思维链,我们无从得知其具体浪费 Token 的原因,但从最终输出来看,Grok 也有解释,过程中进行了大量试探。Grok 这种偏穷举的风格,在要求列出所有可能性的任务场景较为有效,如#54 题和新题#70 要求列出所有可能,Grok 反而可以拿到较高分数,GLM 则不能。
- 空间理解:空间想象,空间关系理解等任务场景,Grok 表现也较 GLM 更差一些,而且这类题目 Grok 使用的 Token 也较少,可推知并没有走到靠谱的思路。空间能力不足也反映在相关程序任务上,如新增的 H 题是一个简单场景的建模任务,不需要太多其他能力,而 Grok 完成状况并不好。
赛博史官曰:
算上 Grok 4.5,目前已经有 4 个模型达到了相当高的可用性,随着中美模型的加速前进,相信要不了几个月,编程对模型来说只是信手拈来,算不上挑战了。而普通用户的注意力也会从关注哪个模型好,转向如何更好的完成将模型价值变现。
大洋两岸的三位老马都是不准备下牌桌的。西太平洋的老马并不认为他那未尝一败的人生中,几次偶然的失误是什么大事。钱,有的是,人,可以再找,时间,也在他那边。Grok 在这样背景下确实有重振旗鼓的机会,一旦起飞,就再也不会停下。
本文来自转载大模型观测员 ,观点仅代表作者本人,发现AI平台仅提供信息存储空间服务。
如若转载,请联系原作者;如有侵权,请联系编辑删除。

微信扫一扫

