https://chenzhao.github.io/zh/categories/problems/Recent content in Problems on 我的赛博存档Hugozh-CNSun, 17 May 2026 00:00:00 +0800https://chenzhao.github.io/zh/articles/i-dropped-a-neural-net/Sun, 17 May 2026 00:00:00 +0800https://chenzhao.github.io/zh/articles/i-dropped-a-neural-net/<h2 id="背景">背景</h2> <p>题目来源是 Jane Street: <a href="https://huggingface.co/spaces/jane-street/droppedaneuralnet">https://huggingface.co/spaces/jane-street/droppedaneuralnet</a> . 看到题目的第一反应是, 有数据有参数恢复一个 permutation, 这应该很简单吧? Jane Street 降智了? 正好拿来试试 AI 的能力.</p> <h2 id="解题过程">解题过程</h2> <p>题目直接给 Codex (26 年春节后不久的某个版本) 它的方向完全不对, 说明这至少是一道全新的题目, 不 trivial.</p> <p>给了几个粗暴的 data driven 思路让 Codex 尝试, 比如用给的数据训练一些同样结构的网络再学层序和参数的相关性, 都有一些效果但很快卡住, 也不知道离正确答案差多远, 48 层的 permutation 刚好碰到 NP-hard 的强度, 题目还是有点水平的.</p> <p>重新仔细审题, 发现 residual 的线索: 后层 bias 不仅直接连到输出, 也互相通过 residual 连接, (一部分)梯度是稳定传递的. 按这个思路根据 bias 相似性排序,能得到很漂亮的图. 解决一半了.</p> <p>这时候大意了,又觉得题目简单, 又丢给 Codex data driven 学前后层的关联, 效果还是很差. 启动人脑思考, 回忆起读博时那些让人痛苦的近似算法, 至少要有一个 heuristic 方向, 突然醒悟 loss 就是现成的 heuristic. 然后又大意了, 让 Codex 按 loss 搜索, 弄出了一坨愚蠢而勤奋的 beam search. 无奈又启动人脑思考, 现在的问题是: 每次选一层, 中间步骤没有反馈, 全部选完可以得到结果. RL啊, 显然是 RL, 这还要人脑想么, AI 这都意识不到? 失望.</p>