反本本主义:反经典崇拜、反榜单崇拜、反方法崇拜、反权威口味、反引用崇拜

less than 1 minute read

Published:

上一篇写 FrontPost 的方法论 时,我想讨论的是如何看待期刊名次、引用数、机构声誉、社交热度和 GitHub star。这些指标都有一点信息量,但作用有限:它们可以帮助我们决定先看哪里,无法单独说明一项研究是否重要、严谨、可复现,或者是否真的带来了新东西。

更具体地说,论文只是研究的一种呈现方式。很多工作先从代码、数据、实验记录、博客、论坛和社区讨论开始,之后才决定是否写成论文。现实中,许多论文从选题和动机出发,就没有把产业应用或眼前的实际收益放在首位;基础研究、方法探索和理论工作,本来就有自己的时间尺度。FrontPost 既要照顾论文评价和用户的现实需求,也要保留一点更高层的判断:这项工作究竟在追问什么,打开了哪些新的可能,值得不值得继续追下去。

我更关心的是:自己所在的领域最近发生了什么变化,新东西大概会怎样影响我的工作、判断和下一步选择。

反本本主义:反经典崇拜、反榜单崇拜、反方法崇拜、反权威口味、反引用崇拜

这里说的“本本”,是把经典论文、benchmark、固定方法、权威口味和引用数当成现成答案。它们可以提供线索,不能代替对问题、证据和实际影响的判断。

Keller Jordan 解释自己没有为 Muon 写正式 arXiv 论文时,大意是:论文里漂亮的结果,和优化器在实际训练中是否有效,并没有必然关系;他更看重公开的训练记录。Muon 后来通过博客、代码和训练记录传播,社区继续复现、改进和质疑。llama.cpp、OpenFold、LAION 的项目也提供了类似的线索:代码、数据、日志和后续讨论,有时比一篇刚发布的论文更早暴露真实进展。它们当然都需要核查,但也提醒我们,采编时应该把论文、代码、数据和社区讨论放在一起看。123 这也决定了 FrontPost 的取向:少带一些来源上的成见,想办法精准触达和采编真正有价值的领域信息。夸夸其谈的 SOTA 不能替我们完成判断,信息还应该有新意、有趣,能激发人继续思考和动手,少把学术界里过度竞争的部分传给读者。

一些还在摸索的想法

传统报业判断一件事是否值得上版面,会看新鲜、影响、相关和反常,也会看发布者之外的现场信息。4 放到科学技术领域,现场信息包括 Git 仓库里的 PR、issue 和 release,实验室的访谈、实验记录和数据,社区围绕复现形成的共识与争议,以及业界技术团队在真实系统里的实践。它们未必直接给出结论,却能帮助我们判断一项工作有没有被使用、复现和继续推进。

FrontPost 可以先从一条简单的采编链路开始,论文摘要只是其中一环:

  1. 找到相关来源。 用户说“我在做端侧多模态模型,想关注推理优化和真实设备测试”,FrontPost 据此展开主题、人物、项目、社区、排除项和时间范围。论文、官方文档、博客、代码仓库、issue、release、论坛和 newsletter 都可以成为线索,系统同时记录来源、复现、反例和版本变化。

  2. 核实并判断价值。 把内容拆成可检查的陈述,区分原文事实、作者观点、工具自述和模型推断,再查代码、数据、实验条件和独立复现。继续追问:相比已有工作多了什么,基准公平吗,成本在哪里,结论能否外推,有没有反例和负面结果。期刊名、机构、引用数、star 和社交热度只能帮助找线索,不能替代证据。

  3. 写成用户能继续使用的内容。 说清楚发生了什么、为什么相关、证据多强、哪里不确定,以及接下来能读什么或试什么。重要变化放前面,保留原始链接,也避免推荐范围越用越窄。

用户应该排在第一位。即便信息本身带有泡沫或炒作,也不能因为这个标签就直接过滤;只要它和用户正在关心的事情有关,就应该说明它为什么出现、证据在哪里,再让用户决定要不要继续看。采编规则需要有弹性,预训练 LLM 也可以承担更多来源适配、初步筛选、归纳和持续跟进的工作。这里可以更积极地把权力交给 AI,同时保留原始链接、判断依据和纠错入口,让结果能被追溯、修改。

FrontPost 也想少带一些现成的成见:精准触达和采编优质信息,比给来源排一套固定等级更重要。夸夸其谈的 SOTA 不能自动成为答案,信息还需要有新意、有趣,能让人继续思考和行动。这样的采编,目标是减少学术评价体系里的噪声,少把其中过度竞争的部分原样传给用户。这是 FrontPost 想试的一条更主动的路,具体能走多远,还要靠实践检验。

AI4Science Agent、PaperQA2 和 ARIS 这类工作流,给 FrontPost 提供了一个值得研究的方向:围绕一个问题持续跟踪,补充新来源,记录反例,定期复查,再把阶段性进展交给人。这种做法和传统媒体的长期报道、编辑核查、保留上下文以及持续更新一脉相承。AI 的价值,是把这些工作做得更及时、更细,也让小团队有机会覆盖更广的领域。AI-native 更接近信息产品基本单位的变化:从旧报纸的“一期”转向一个问题或研究线索。新项目、反例和相关来源持续补进,用户可以追问、收藏或跳过。算力最终应转化成更多人找得到、看得懂、用得上的前沿信息;摘要和报告只是形式,线索、反例和值得继续追的问题才是交付结果,具体价值仍需通过产品验证。567

精准推荐也要留出少量空间,放进邻近领域、反常识和未上榜的工作。FrontPost 不能成为空洞“重大突破”的扩音器,不能把名次当成判断,也不能用术语制造门槛。它要让准确、有趣、有新意、值得继续追踪的信息更容易被找到。

  1. Keller Jordan 的说明由 Varun Neal 在 Muon in Modded NanoGPT 中引用。这里按其含义转述,不把个人观点当作普遍结论。 

  2. Keller Jordan,Muon: An optimizer for hidden layers in neural networks;实现和后续资料见 KellerJordan/Muon,公开训练竞速见 KellerJordan/modded-nanogpt。 

  3. 相关项目见 ggml-org/llama.cppOpenFold、LAION 的 DataComp 发布说明Re-LAION-5B 清理说明。开放项目同样会犯错,这里关注的是公开复现和纠错机制。 

  4. Tony Harcup 与 Deirdre O’Neill 对新闻价值的研究列出了 surprise、magnitude、relevance 等常见因素,见 What is News? News Values Revisited (Again)。 

  5. Google Research,Accelerating scientific breakthroughs with an AI co-scientist;Skarlinski 等,Language agents achieve superhuman synthesis of scientific knowledge;ARIS 项目仓库 Auto-claude-code-research-in-sleep 及其早期技术报告 ARIS: Autonomous Research via Adversarial Multi-Agent Collaboration。前两者有公开论文或评测,ARIS 的具体工作流和能力边界仍应按开源项目与报告理解,不代表 FrontPost 已具备同类能力。 

  6. Google Research,Towards a science of scaling agent systems: When and why agent systems work。该研究报告多 Agent 在可并行任务上收益明显,但在顺序任务上可能退化。 

  7. Buchmann 等,Evaluating and Guarding Citation Faithfulness in Agentic Scientific Synthesis。论文报告同一批输出在不同验证器下测得的不受支持引用比例约为 3%–18%,说明验证器本身也需要校准。