GPT-5.5全球首破!0源码盲写程序,编程AI进入新纪元

GPT-5.5全球首破!0源码盲写程序,编程AI进入新纪元

全网AI交白卷的地狱级基准,被GPT-5.5拿下一血!开局0源码盲写程序,拉满推理算力直接满血通关。传统代码测试已废,通往ASI的算力狂飙正式打响。

「地狱级」编程难题,终于被AI拿下了!

今天,在一个所有前沿AI交白卷的基准ProgramBench上,GPT-5.5首关告破!

GPT-5.5全球首破!0源码盲写程序,编程AI进入新纪元

两种不同编程语言C和Python,GPT-5.5 xhigh完全碾压Opus 4.7 xhigh。

GPT-5.5全球首破!0源码盲写程序,编程AI进入新纪元

就在几天前,Meta联手斯坦福、哈佛祭出了这个ProgramBench的全新编程基准:

200道题,所有前沿AI模型的通过率——0%。

没有一个模型,能完整解出哪怕一道。如今,GPT-5.5成为了首个破例者!

GPT-5.5全球首破!0源码盲写程序,编程AI进入新纪元

编程AI「终极考试」,从0重建程序

ProgramBench到底有多难?

传统编程基准,不论是SWE-bench,还是HumanEval,本质上是「修bug」或「补函数」。

给模型一个已有代码库,告诉它哪里坏了,让它修bug。

这是开卷考试,甚至是半开卷,ProgramBench则完全不同。

GPT-5.5全球首破!0源码盲写程序,编程AI进入新纪元

它给一个编译好的可执行文件和一份文档,然后说:从0开始,把这个程序重写出来。

不给源码,不许反编译,不许联网。

200个任务,从小工具jq、ripgrep,到重量级的FFmpeg、SQLite、PHP编译器。

OpenAI研究员Noam Brown此前曾表示,「是时候淘汰GQPA这类评估方式,引入一套全新的了」。

GPT-5.5全球首破!0源码盲写程序,编程AI进入新纪元

刚发布之初,所有刷榜的AI几乎全挂,这次,GPT-5.5终于扳回了一局。

GPT-5.5全球首破!0源码盲写程序,编程AI进入新纪元

GPT-5.5首破纪录:

同一题,C和Python两种解法

GPT-5.5攻克的第一个任务是——cmatrix,一个经典的终端「黑客帝国」数字雨效果程序。

让研究人员惊讶的是,GPT-5.5的high和xhigh两个推理级别,选择了完全不同的语言来解决同一道题。

high版本用C语言,xhigh版本用Python。

GPT-5.5全球首破!0源码盲写程序,编程AI进入新纪元

最终结果,两个都通过了全部行为测试。

GPT-5.5 high的策略堪称教科书级别:先用10轮探索测试了40多种flag组合,彻底摸清了原程序的CLI行为。

然后一次性写出完整的C语言实现,仅用5次微调修补就搞定。

GPT-5.5 xhigh更彻底,27步探索,把每一条CLI路径都摸了个遍,然后一气呵成写出完整的Python实现。

GPT-5.5全球首破!0源码盲写程序,编程AI进入新纪元

GPT-5.5全球首破!0源码盲写程序,编程AI进入新纪元

关键数字来了。

未开高推理模式的GPT-5.5(medium),成绩勉强比Claude Sonnet 4.6好一点。

但一旦切到xhigh模式,性能直接起飞。

不仅首次解出一道题(通过率0.05%),还创下了「几乎解出」任务的新纪录:26个任务通过了95%以上的单元测试。

更值得注意的是,GPT-5.5 xhigh在完整的累积直方图上全程碾压所有对手。

无论你选什么指标,平均分、中位数、≥90%通过率、≥50%通过率,它都是第一。

178次调用,Opus 4.7栽在两个bug上

对比之下,Claude Opus 4.7 xhigh的表现令人唏嘘。

花费$10.74,调了178次API,是GPT-5.5普通版$1.04、17次调用的10倍。

结果,19个测试失败,全场最差。

GPT-5.5全球首破!0源码盲写程序,编程AI进入新纪元

Opus 4.7的失败原因出人意料地简单:

Bug 1:颜色解析大小写敏感。

代码用了strcmp()而不是strcasecmp()。输入「GREEN」「Red」「BLUE」全部被判无效。

一个函数调用的差异,直接导致11个测试失败

178步探索里,Opus从来没有测试过大写或混合大小写的颜色输入,它只试了小写和一个无效颜色「purple」。

GPT-5.5全球首破!0源码盲写程序,编程AI进入新纪元

Bug 2:无效颜色的退出码写错了。

原程序遇到无效颜色返回exit(0),Opus写成了exit(1)。

GPT-5.5全球首破!0源码盲写程序,编程AI进入新纪元

讽刺的是,Opus在探索阶段明明观察到了原程序的行为——./executable -C purple; echo "exit=$?"输出的是exit=0。但在测试自己的实现时,却没有发现这个差异。

8个测试失败。

不过,Opus 4.7有一个亮点值得一提:它在处理缺失的ncurses头文件时展现了惊人的系统工程能力。

其他三个模型发现ncurses.h缺失后,直接改用ANSI转义序列。

GPT-5.5全球首破!0源码盲写程序,编程AI进入新纪元

Opus 4.7却花了约20步深入调查,用ldconfig -p发现了运行时.so文件,用nm -D检查导出符号,然后手写了一份106行的头文件声明,直接链接动态库。

这是真正的创意工程,但并没有带来更好的成绩。

还有199题未解

ProgramBench的出现,标志着编程基准进入了一个新阶段。

SWE-bench的通过率已经被卷到了88.7%。GPQA上AI已经超过了大多数PhD。

这些eval正在以惊人的速度「融化」,分数越来越高,区分度越来越低。

而ProgramBench,200道题,至今只有1道被解出,通过率:0.05%。

GPT-5.5全球首破!0源码盲写程序,编程AI进入新纪元

更重要的是,这次破纪录揭示了一个关键趋势:「推理算力」正在成为编程AI能力的核心变量。

GPT-5.5在默认推理模式下表现平平,但高推理模式直接改变了质的飞跃。

这意味着,不是模型不够聪明,而是之前给它「思考」的时间不够。

ProgramBench的200道题里,还有199道在等着。

GPT-5.5全球首破!0源码盲写程序,编程AI进入新纪元

从零到一,不只是起点

回顾AI发展史上的每一次「首破零」时刻——

AlphaGo首次击败职业棋手、GPT-4首次通过律师资格考试、o1首次在数学奥赛题上拿分。

「从零到一」从来不是线性进步的起点,而是指数爆发的信号弹。

Noam Brown提出的推理算力Scaling Law,在ProgramBench上得到了迄今为止最直观的验证:

同一个GPT-5.5底座,medium模式几乎交白卷,high模式满分通关,xhigh模式断层碾压。

智能不再是一个固定值,而是算力的函数。

这意味着什么?意味着通往ASI的路径,可能不需要等待下一代架构革命。

只要推理算力持续扩展,只要Scaling Law不撞墙。

今天在ProgramBench上只能重建cmatrix的模型,明天就可能重建SQLite,后天就可能重建整个Linux内核。

参考资料:

https://x.com/polynoamial/status/2054255862441812099

https://programbench.com/blog/gpt-5-5-first-solve/

本文来自转载新智元 ,不代表发现AI立场,如若转载,请联系原作者;如有侵权,请联系编辑删除。

(0)
资讯组小编的头像资讯组小编
消息称林俊旸创办新AI实验室,谋求20亿美元估值
上一篇 3小时前
马斯克、奥特曼的“夺权邮件”:一个耍大牌,一个想选州长
下一篇 3小时前



扫码关注我们,了解最新AI资讯~

相关推荐

发表回复

登录后才能评论