关于【洛谷月赛调查】的统计结果 Part. 1

灌水区

chen_zhe @ 2022-07-20 18:12:50

(为了处理统计结果,这两天暂时关闭问卷的提交)


by chen_zhe @ 2022-07-20 18:12:57

关于【洛谷月赛调查】的统计结果 Part. 1

数据截止到 7 月 20 日下午 4 点。

本次问卷收到有效答卷 580 份,无效答卷 42 份。其中,无效答卷指的是所回答内容与实际严重不符或随意填写(例如填写过大的 UID、含有大量辱骂信息)的答卷。无效答卷是针对选择 \geq 8 级用户必定抽查,其余随机抽查得到的。

调查中,我们收到的用户的奖项认证占比如下:

在有效答卷中,有 59 人倾向于参与月赛的 Div.1,而 521 人倾向于参与月赛的 Div.2。若将其进行与奖项认证相关的交叉分析,则可得如下结果:

可得知,对于奖项认证 <7 级的用户,其倾向于参与月赛的 div.2,而对于 \geq 7 级的用户,其倾向于参与月赛的 div.1。需要注意的是,\geq 8 级的用户样本较少。

做一些推测:

若将其与洛谷月赛的时间进行交叉分析:

我们可以得知,大部分无参赛经历,或者说奖项认证 \leq 4 的用户都是在近一年中开始参与洛谷月赛的。

接下来的部分,是用户评选参与体验前三好、前三差的月赛以及其原因。

用户评选参与体验前三好的月赛分别是:洛谷五月月赛 II & WdOI R6,洛谷五月月赛 I & JROI R4,洛谷六月月赛 II & SvR R1。

为什么体验较好的月赛都在近期呢?我个人认为,用户还没有忘记这些比赛是其中的一个关键因素,比较早的比赛,除非给你带来很快乐的比赛体验的话可能就印象不深刻了。而比较近的比赛,如果能带来比较好的比赛体验那还是有比较深的印象,可以记起来。这样一来,用户可能倾向于投票较近的比赛。

第二个原因是因为月赛的要求中,增加了对 Div.2A/B 的通过率的要求。自从四月月赛 II 之后,洛谷要求 Div.2A 的通过率要在 65%,Div.2B 的通过率要在 30%。不过这一点请出题组放心,在实际执行中,由于对难度或者参赛选手的轻微估计偏差,即使通过率稍低于要求通过率,一般也不会认为出现了失误。为什么提到这一点呢?从影响参赛体验的理由可以看出,题目难度偏高是当之无愧的第一理由。在通过对 Div.2A/B 限制难度之后,参与 Div.2 的核心选手,即 \leq 6 级的用户便不会觉得题目那么难,如果能做出两题那么可能就会有比较好的参赛体验了。

实际上针对用户投票体验前三好的比赛,其 Div.2A/B 的通过率(赛时 AC 人数/提交非 CE 代码过的用户人数)

Windy Round 6 JROI R4 SvR Round 1
Div.2A 57% 73% 85%
Div.2B 27% 52% 22%

而如果把问题转为用户体验前三差的比赛,那么它们的 Div.2A/B 的通过率如下:

LMOI R1 MCOI R8 PFOI R1
Div.2A 31% 44% 70%
Div.2B 3% 8% 21%

这样可以看出,在大多数情况下,月赛 Div.2A/B 的难度对月赛的风评起到相对大的影响。特别地,PFOI 尽管前两题确实难度不算大,但是其可能因为比赛时间距今较近,被想起来的可能性大从而投票的用户偏多。下面是榜四和榜五的 Div.2A/B 通过率,可能更有参考价值。我们会发现,偏低的 Div.2A/B 的通过率确实在很大程度上会影响洛谷大部分用户对比赛的评价。

CoE IV 一月月赛 I
Div.2A 87% 47%
Div.2B 6% 18%

我们取用户认为参与体验最好的比赛,Windy Round 6 进行例子剖析。

Windy Round 6 是在 5 月 14 日星期六举办的小月赛,总共有 5 题。

从得分角度来看,参赛选手最高分为 440 分且有 4 人,\geq 300 分有 81 人,\geq 200 分有 486 人,占全体参赛选手的约 27%。从难度分布而言,五个题分别在洛谷评橙、黄、蓝、紫、黑,其中 T4 评紫的难度原因在于证明。知识点分布为:贪心、贪心、图论、博弈、数论。

而具体来看,Windy Round 6 在组题上有着特点。比赛尽量地突出 idea 本身,而放弃对其的包装。这也就造成了本场比赛的码量极短,大部分题目的 std 甚至不超过 15 行。极低的码量可能优化了选手的参赛体验,使得选手口胡出做法之后更倾向于去写出代码(因为也没几行代码就顺手写掉了)。这些 idea 都比较新颖而且难度上有一定的梯度,除了第四题的结论相对好猜(但是严格证明较难)之外,比赛整体区分度较好。

从题面来看,题面提供了简要题意和完整题意,两边互不干涉,这使得题目中尽管夹杂了大量与东方相关的私货,也并不怎么影响参赛选手对题面的理解。从时限/空限的分配来看,时限是将标程的常数写到尽可能劣后再开两倍时限,空限也是同理,这使得几乎不存在被卡常数的可能性。但是这样做本身存在例如被多一个 \log 的复杂度卡过去的可能性,但是由于 Windy Round 6 的题目过于特殊,其几乎不存在多 \log 复杂度的做法,因而这样做使得没有人被卡常(除了有人用 set 存图之外)。

由于对 AB 两题的难度把控较好,而且 CDE 的 idea 清新、有新意,这使得 Windy Round 6 有着高的好评率。(从上到下分别为:无参赛经历、3 级、4 级、\dots、10 级的用户喜欢的投票以及占该等级的用户比例)

需要注意的是,这种纯粹只由 idea 构成的月赛的复刻性极低,因而其实不太适合后来者学习。

Windy Round 6 受较多好评的原因可能也与出题人与验题人中的极高的紫名占比有关。比赛相关人员一共有 4 个紫名:JohnVictor, chen_zhe, minstdfx, 鏡音リン。这是否可能造成偏高的好评率也是有待考证的。

对比仿照另外一个在 \geq 6 级用户中好评率较高的月赛:EZEC R11。EZEC 一向以自己过硬的题目质量作为口碑,而 EZEC R11 的各个等级的用户评分占比如下:

可以看到,因为本身过硬的题目质量,其在 \geq 6 级的用户中好感度是比较高的,但是在水平层次较低的选手中则没有那么高的好感度。原因还是与 Div.2A/B 有关系的。EZEC R11 的 div.2B 是一道利用中国剩余定理去处理同余方程组的题目。不是说这个题不好,但是其对于大部分的 \leq 5 级的用户来说偏难,因为他们接触到这些数论知识的机会较小。从数据上来看,其通过率仅有 7%,这也是其在水平层次较低的用户中没有获得太多好感的原因。

而我们来看一下最近的一场月赛,或者说是月赛史上第二大的反例 LMOI,其出了哪些问题。

  1. 前期题(Div.2AB)的难度偏高或者偏怪。Div.2A 作为一个构造题,其对于低水平层次的用户来说还是有点难想,而且哪怕想出了 45 分的做法(也就是后一半构造 \texttt{llr})也很难想到如何去优化到 100 分的做法。因而,这个题赛时的 AC 率仅有 31%,而且首杀也用了 12 分钟,足以体现其难度放在 Div.2A 有点过高,当然这个题质量还是可以的。Div.2B 则是怪题。利用格雷码去优化枚举过程的 idea 并不是不好,但是最后的复杂度是 O(2^n)n=30 的,这使得一部分人可能想出了正解但是不敢写。如果你只是打了个暴力,进行少量的循环展开,时间复杂度也是 O(2^n) 的,这两个从思维难度上不可比但是均能通过本题,而且更多的循环展开甚至能让代码跑的更快。这种负区分度造成了前期题对水平中下的用户来说体验很差。

  2. 中期题(Div.1AB)中规中矩,特别地,1A 在题意转化后存在原题。但是我并不认为这个非常关键。

  3. 后期题(Div.1CD)中,C 题转化成三维偏序的难度没有那么大,放在 1C 题显得偏水;D 题的模数比较怪异,而且根据我得到的反馈,这个题对于后期题的适用人群(\geq 9 级)的参赛选手而言,显得相对来说套路,部分地方也有点在恶心人;从实际难度来看,从 1A 到 1C 的难度差距不大,区分度较为薄弱。

此外,题面中的私货较多,一定程度上干扰了正常比赛体验,这也使得读题的体验不佳。赛时答疑贴中增加的样例并未加入到比赛题目中也造成了一定的不公平性。这些原因造成了这场比赛两头不讨好,风评变得很差。

综上所述,如果一个月赛要取得较好的风评,而且最好是同时满足低水平用户和高水平用户的需求的话。那么如下的几个要求是必须的:

但是根据实际的情况来看,第一条反而是最难达成的。简单有趣的题目出出来本就费力,而且因为洛谷月赛的出题人大多水平较高,在他们看起来“简单”的题目实际上对低水平层次的用户而言,难度可能不低。他们认为“无趣”的题目,可能是对低水平层次的用户来说有趣。这个就是目标群体和出题人之间的水平错位的问题了。如何在不引入 tester 机制的情况下改变这个局面也是有一定挑战性的问题。

实际上,由于洛谷的大部分用户都是倾向于参与 div.2 的,因而在问卷中也有相应调查,咨询用户在完成 div.2A/B 上是否会遇到什么困难。特别地,div.2A 的问题是针对 \leq 6 级用户投放的,div.2B 的问题是针对 \leq 7 级用户投放的。数据如下:

可见,对于近半的目标群体,大部分情况下完成 div.2A 没有什么困难,但是只有不到 20% 的群体能够在大部分情况下快速地完成 div.2B。

如果将其与奖项认证等级进行交叉分析,可得下列数据:

可见,对于大部分的 \geq 4 级的用户而言,洛谷月赛的 div.2A 一般不算困难,但是对于大部分不到 7 级水平的用户而言,要快速完成洛谷月赛的 div.2B 是存在挑战性的。这是否体现了洛谷月赛 div.2A 与 div.2B 的过大的难度差异呢?再结合一下一开始我们展示的各个等级占比的图:

是否说明了有相当多的用户(甚至可能是六成以上)参与月赛的时候,经常性会被 div.2B 卡住罚坐呢?

当然,这里需要指出的是,由于 LMOI 的 div.2AB 难度偏高偏怪,这可能会使得用户倾向于投一个赛时得分期望偏低的结果(如:大部分情况下没有困难,投给了有时候有困难,有时候没有困难)。但是尽管如此,这份数据依然是有其意义的。


by tribool4_in @ 2022-07-20 18:18:28


by 警策看取 @ 2022-07-20 18:22:12

基本符合预期 问卷报告也做得很好 比我强多了 我因为半年来基本没看过月赛的题就没填了

不过照这么说就还有Part2咯,期待。


by chen_zhe @ 2022-07-20 18:23:06

@警策看取 Part2 是有后面很多的主观题,所以我今天咕不出来)


by chen_zhe @ 2022-07-20 18:23:18

请勿在本贴下回复“qp”等无意义内容


by Anomie @ 2022-07-20 18:26:07

支持,希望洛谷月赛越办越好


by Hisaishi_Kanade @ 2022-07-20 18:27:02

进步空间很大,希望越来越好


by sto_yyrdxh_orz @ 2022-07-20 18:27:10

支持,希望洛谷月赛越办越好


by Murder1t @ 2022-07-20 18:27:14

建议置顶

支持div2A,B尽可能的放水


by dts_std @ 2022-07-20 18:30:49

支持,希望洛谷月赛越办越好


| 下一页