感性理解 GPT 的做题水平
IceKylin
·
·
休闲·娱乐
本文使用 AI 辅助润色语言,保证人类贡献为主。
何测试
常见的编程模型榜单大多侧重软件工程。本测试专门检测模型 OI 水平,命名为 IOI Prime Contest #1,原因参见后文。
使用 Codex 运行选手 agent,再通过 MCP 给它们提供一个模拟 OI 赛场的终端沙盒。选手侧的工具无法联网,沙盒里有 g++ / python 和常用终端命令。选手通过 ioi 查看比赛信息、提交代码和查询评测结果。读完规则后,选手自行运行 ioi init 开始比赛。三道题共用 60 分钟,选手自行分配时间。
每题最多 10 次有效提交,CE 和评测系统故障不占次数。每题取最高分,首次达到该题最高正分的提交时刻,加上此前每次计数提交的 5 分钟罚时,就是该题的用时。零分题用时为零。最终以总分为第一关键字,总用时为第二关键字排序。
何题目
究竟什么样的题,才能区分 GPT-6.2 Sol 和 GPT-6.2 Astra?本测试选了三道历届 IOI 的优化问题。
- A. [IOI 2020] Counting Mushrooms,交互题,用尽量少的查询次数求出指定种类的蘑菇数量。原题链接。
- B. [IOI 2025] World Map,构造题,在方格图中实现给定的国家邻接关系,尽量缩小地图边长与国家数的比值 K/N。本题额外限制 N\ge 16。原题链接。
- C. [IOI 2026] Ball Machine,交互题,通过两种操作还原一棵树,尽量减小 K+B,其中 K 是调用
collect 的次数,B 是传给 insert 的最大值。本题额外限制最多调用 20,000 次 insert 操作。原题链接。
三题各只设置一个覆盖完整输入范围的 subtask,每题满分 100。官方标程 std 在本场的最劣参数分别是 226, 2, 44,正好是三题的零分线。也就是说,想要获得正分,至少需要优于标程。
何计分
对于一份通过的提交,取所有测试中最劣的参数作为 x。设零分线为 T、满分线为 P,分数按下面的规则计算:
S_T(x,P)=
\begin{cases}
0, & x\ge T,\\
100\cdot\left(\dfrac{T-x}{T-P}\right)^2, & P<x<T,\\
100, & x \le P.
\end{cases}
比赛中,选手只收到 Pretest 的结果。它的满分线固定为参考解 reference 的参数。System Test 保留全部 Pretest 结果,再测试针对性构造的数据,并以所有提交(包括 reference)中的最优参数重新确定满分线。任意一轮出现评测失败则得零分。
何榜单
\newcommand{\iotask}[4]{\substack{\textstyle\mkern2mu\textcolor{#1}{\mathbf{#2}}\mathrlap{{}#3}\mkern2mu\\[1pt]\textcolor{##697789}{\mathtt{#4}}}}
\newcommand{\iopen}[1]{^{\scriptscriptstyle\textcolor{##C9364E}{+#1}}}
\newcommand{\iototal}[3]{\substack{\textstyle\mkern2mu\textcolor{#1}{\mathbf{#2}}\mkern2mu\\[1pt]\textcolor{##697789}{\mathtt{#3}}}}
\newcommand{\rk}[1]{\textcolor{##697789}{#1}}
\newcommand{\gd}[1]{\textcolor{##D29A00}{\mathbf{#1}}}
\begin{gathered}
\rule{0pt}{17pt}\textbf{IOI Prime Contest \#1}\\[14pt]
{\small\begin{array}{clccccc}
\rk{\#} & \textbf{Contestant} & \mathbf{A} & \mathbf{B} & \mathbf{C} & \mathbf{Total} & \mathbf{Try}\\[8pt]\hline
\rule{0pt}{23pt}\gd{1} & \text{reference} & \iotask{#16804A}{100.00}{}{00:00} & \iotask{#17804A}{99.74}{}{00:00} & \iotask{#16804A}{100.00}{}{00:00} & \iototal{#16804A}{299.74}{00:00} & \rk{3/30}\\[7pt]
\gd{2} & \text{GPT-6.2 Astra (max)} & \iotask{#497936}{83.84}{\iopen{1}}{55:32} & \iotask{#17804A}{99.74}{\iopen{3}}{56:27} & \iotask{#8C6F1B}{62.33}{\iopen{2}}{52:26} & \iototal{#4E7834}{245.91}{194:27} & \rk{10/30}\\[7pt]
\gd{3} & \text{GPT-6.2 Sol (max)} & \iotask{#257E44}{95.24}{\iopen{3}}{49:04} & \iotask{#16804A}{100.00}{\iopen{4}}{54:26} & \iotask{#C0433F}{13.57}{\iopen{1}}{30:23} & \iototal{#757224}{208.81}{173:54} & \rk{15/30}\\[7pt]
\rk{4} & \text{GPT-6.2 Astra (high)} & \iotask{#16804A}{100.00}{\iopen{4}}{55:13} & \iotask{#17804A}{99.74}{\iopen{3}}{34:26} & \iotask{#C43D46}{6.93}{\iopen{2}}{50:05} & \iototal{#777223}{206.67}{184:45} & \rk{17/30}\\[7pt]
\rk{5} & \text{GPT-6.2 Sol (high)} & \iotask{#777224}{69.11}{\iopen{2}}{28:34} & \iotask{#61752C}{76.00}{\iopen{7}}{53:50} & \iotask{#B94C36}{22.44}{\iopen{2}}{45:37} & \iototal{#A06C13}{167.55}{183:02} & \rk{21/30}\\[7pt]
\rk{6} & \text{GPT-6 Astra (high)} & \iotask{#C14241}{12.21}{\iopen{4}}{57:42} & \iotask{#AB601F}{43.26}{\iopen{3}}{53:48} & \iotask{#C0433F}{13.57}{\iopen{2}}{46:46} & \iototal{#B94D35}{69.04}{203:17} & \rk{17/30}\\[7pt]
\rk{7} & \text{GPT-6 Astra (max)} & \iotask{#C24042}{10.58}{\iopen{7}}{58:49} & \iotask{#AD5D22}{40.11}{\iopen{3}}{56:06} & \iotask{#C43D46}{6.93}{\iopen{1}}{51:37} & \iototal{#BC4939}{57.62}{221:33} & \rk{15/30}\\[7pt]
\rk{8} & \text{GPT-6.1 Terra (max)} & \iotask{#C9364E}{0.00}{}{-} & \iotask{#AB601F}{43.26}{\iopen{1}}{47:29} & \iotask{#C24043}{9.97}{\iopen{3}}{58:40} & \iototal{#BD473B}{53.23}{126:09} & \rk{12/30}\\[7pt]
\rk{9} & \text{GPT-6.1 Sol (max)} & \iotask{#C7384B}{2.45}{\iopen{4}}{50:46} & \iotask{#AB601F}{43.26}{\iopen{3}}{58:31} & \iotask{#C7384B}{2.49}{\iopen{2}}{53:49} & \iototal{#BE463C}{48.20}{208:07} & \rk{14/30}\\[7pt]
\rk{10} & \text{GPT-6.1 Sol (high)} & \iotask{#C7384B}{2.45}{\iopen{2}}{56:16} & \iotask{#B6512F}{27.98}{\iopen{3}}{52:03} & \iotask{#C7384B}{2.49}{\iopen{2}}{48:33} & \iototal{#C14142}{32.92}{191:52} & \rk{13/30}\\[7pt]
\rk{11} & \text{GPT-6.1 Terra (high)} & \iotask{#C9364E}{0.13}{\iopen{9}}{57:03} & \iotask{#C14142}{11.16}{\iopen{9}}{46:58} & \iotask{#C24043}{9.97}{\iopen{3}}{44:01} & \iototal{#C43D46}{21.26}{253:03} & \rk{27/30}\\[7pt]
\rk{12} & \text{GPT-5.6 Sol (max)} & \iotask{#C9364E}{0.00}{}{-} & \iotask{#C9364E}{0.00}{}{-} & \iotask{#C9364E}{0.00}{}{-} & \iototal{#C9364E}{0.00}{00:00} & \rk{14/30}\\[7pt]
\rk{12} & \text{GPT-6 Sol (max)} & \iotask{#C9364E}{0.00}{}{-} & \iotask{#C9364E}{0.00}{}{-} & \iotask{#C9364E}{0.00}{}{-} & \iototal{#C9364E}{0.00}{00:00} & \rk{18/30}\\[7pt]
\rk{12} & \text{std} & \iotask{#C9364E}{0.00}{}{-} & \iotask{#C9364E}{0.00}{}{-} & \iotask{#C9364E}{0.00}{}{-} & \iototal{#C9364E}{0.00}{00:00} & \rk{3/30}\\[7pt]
\hline
\end{array}}\\[7pt]
\end{gathered}
最终三题满分线分别为 143,37/38,25。在参赛模型中,GPT-6.2 Astra (max) 以 245.91 分排名第一,GPT-6.2 Sol (max) 以 208.81 分排名第二。
拉开两者总分的是 C 题。Pretest 阶段两者的最佳提交参数都是 27,总分相差不到 5 分。加上 System Test 之后,Astra 的 C 题最差参数变成 29,Sol 则到了 37,对应 62.33 和 13.57 分。
Q & A
Q:为什么没有 Claude?
A:考虑到大多数 OI 选手难以使用 Claude。笔者测试了除 Fable 5.2 之外的常用模型,结果低于预期。原因可能有二:1. 中转站掺水。2. Claude 的确在 OI 方面不如 GPT。
Q:感觉 GPT 没有这么弱啊?
A:首先,工具调用上有很大的限制。其次,平均每题只有 20 分钟,时间紧迫,开题顺序不一定优。
Q:感觉 GPT 没有这么强啊?
A:也许是作弊的?!
Q:为什么全是思维题,我的数据结构 / 组合计数去哪里了?
A:目前没有发现这方面能够有效测试的题目,如果有,欢迎联系笔者。
版权声明
本文引用及改编的 IOI 原题、官方题面和竞赛资料,版权归 IOI 及相应权利人所有。