极速前进

中年人变了，80后拒绝当领导_我的网站

A |     这项由俄罗斯Explyt公司与圣彼得堡斯捷克洛夫数学研究所、圣彼得堡国立大学联合开展的研究，以预印本形式于2026年7月7日发布在arXiv平台，论文编号为arXiv:2607.06624，有兴趣深入了解的读者可以通过该编号查询完整论文。    小跑着冲出办公大楼时，李念还没完全反应过来，自己刚刚在领导办公室正式提出了辞去部门负责人职务的请求。         ---          一个被忽视已久的问题          每天有数以百万计的程序员在使用AI编程助手——有人用它帮忙写测试代码，有人用它重构老项目，有人用它生成文档，有人则依靠它调试复杂的线上bug。但当研究者们想要评测这些AI助手的优劣时，他们通常只问一个问题：任务完成了吗？是，还是否？          这就像评价一位外科医生，只看手术后病人有没有出院，而不管手术过程中有没有大出血、有没有多切了不该切的器官、有没有跟病人家属解释清楚病情。出院了≠好医生，同理，任务"通过"了也≠好助手。         Explyt团队正是从这个痛点出发，开发了一套名为AgentLens的评测基准。                   直到跑得够远，跑到上午因心悸而不得不坐下休息过的长椅边，她才真切意识到——“终于为自己活了一次”。这套系统的核心理念是：评测一个AI编程助手，不能只看它最终交出的答案，而必须看完整个"工作过程"——它是怎么理解你的需求的，它调用了哪些工具、调用得对不对，它犯了错之后怎么恢复，它和你的对话体验怎么样。

B |                    李念今年40岁，在西南某城市的一个公家单位工作近15年。当时，她凭借笔试第一的成绩考入，一步步升至处级。换句话说，AgentLens评测的是整个"轨迹"，而不仅仅是终点。对于一个出身普通工薪家庭、从小县城考出来的人来说，这已经是很大的成就。

C |          ---          一、现有评测体系的根本局限          要理解为什么AgentLens值得关注，先得弄清楚现有评测方式有什么问题。                   李念的母亲对最稳定的工作有着一种执念，而这也传导给了李念。         目前学界最权威的代码智能体评测基准之一叫做SWE-bench，它的做法是：从GitHub上收集真实的bug修复任务，让AI去改代码，然后跑测试，看测试通过了没有。这个思路简洁有力，但问题也很明显——它只看结果，不看过程。                   可真正进入职场后，她发现工作遵循着截然不同的逻辑。         麻省理工学院做过一个类比实验（虽然不是真实实验，但道理相通）：假设两个学生都通过了数学考试，但一个是靠抄答案的，另一个是靠真正理解数学推导的。考试成绩相同，但他们的能力天差地别。升职带来的不是更好的生活，而是更沉重的责任、更脱离实在感的工作内容，还有拒绝不了的人情世故和躲不过的暗中较量。那些接踵而来的消耗，让她感到筋疲力尽。SWE-bench风格的评测，往往无法区分这两种情况。

D |          更重要的是，有些任务根本没有明确的"通过/失败"标准。                   这不是李念一个人的感受。                   “80后”，作为改革开放后成长起来的一代人，他们的起点与轨迹曾经无比清晰，也被寄予厚望。比如让AI帮你给整个项目写技术文档，你没法简单地说"文件生成了=任务通过"，因为真正重要的是：文档准不准确？覆盖面够不够广？写法对开发者友好吗？有没有和实际代码对齐？这些维度完全无法用一个布尔值来捕捉。

E | 生活的答案似乎天生存在，不需要多余的追问。                   面对压力，他们更倾向于把担子默默扛下来，再苦再累也先把事情做完。这种顺从与担当，让他们一度成为社会的中流砥柱，也让他们在漫长的消耗中更容易被掏空。                   当“00后整顿职场”“95后拒绝升职”成为热门话题时，看上去更稳妥，且在职场上有所成就的“80后”们，也清晰地照见了自己的处境：他们很少轻易转身说“不”，却也越来越难说服自己继续忍受。

F |          Explyt团队在日常开发自己的AI编程产品时深刻体会到了这个问题。                   当他们决定去赌一把，说出“我不想干了”的时候，生活的答案仍不确定，但又好像没这么沉重。                   一、累了                    处长这一职位带给李念的，是“非常深刻，且非常具体的痛苦”。                   手机必须放在手边，24小时待命。他们需要知道的不仅是"新版本的模型能不能过基准测试"，更需要知道"新版本在哪些地方变好了、哪些地方变差了、用户用起来感觉怎么样"。李念回忆道，哪怕凌晨两点接到电话，也要立刻起床开始工作，“因为领导马上就要”。现有的评测工具无法回答这些问题，于是他们决定自己造一套。哪怕要求“非常不合理”，也得马上执行。         ---          二、AgentLens的核心设计：评测整条"工作轨迹"          AgentLens最核心的设计理念是把"轨迹"（trajectory）作为评测的基本单位。         所谓轨迹，就是一次完整的人机对话记录，包含了所有的内容：用户发的消息、AI给出的回复、AI调用了哪些工具（比如读取文件、执行命令、修改代码）、工具调用的参数和结果、AI对代码库的所有修改记录、整个任务的最终状态，以及AI最终给用户的答复。说一句不同意见，便会被点名批评，从小会说到大会。                   李念说，她曾经为了解决“一个亟待解决的问题”，花了数月的时间去制定一个办法。把这一切串起来，就像一部完整的纪录片，而不只是结尾的一张截图。漫长的鏖战倒也能忍受，痛苦之处是全过程的心理矛盾。                   她明知道这个办法要生效，必须得首先解决很多其他一系列问题，“先把之前那些‘跑得太快，绳子没拴稳’的历史问题处理掉”，但是那些问题都没人理会。

G |          为了让这个评测尽可能接近真实使用场景，AgentLens引入了"用户模拟器"——用另一个大语言模型来扮演真实用户，和被测试的AI助手进行交互。于是，她和同事们都是在明知做出来毫无用处的心理抵触之下，硬着头皮去做这件事。这个模拟用户有自己的个性设定，目前有三种：一种是普通的默认用户，不会主动帮助AI，只在AI明显出错时才介入；一种是友好合作的用户，会在AI犯错时给出温和的纠正建议；还有一种是带点情绪的用户，偶尔会表达不满或者语气不太好，但不会故意给AI发假信息误导它。通过这三种不同的用户个性，可以测出一个AI助手是否只能和"配合度高的用户"好好工作，还是在各种用户风格下都能稳定发挥。

H |          关于任务从哪里来，Explyt团队采用了一套扎实的方法。                   于是，一切变成了一场消耗。“沟通的成本、人力的成本、部门博弈的成本都在增加，可你拿不出任何成果。他们一方面访谈了真实的程序员，让这些程序员描述自己昨天或前天做的实际工作——检查代码、修改文件、查文档、跑测试、调bug、审查改动——并特别关注这些工作者"最近经常做的任务"，把它们作为高权重的评测场景。”李念说，“一般像这种情况，要么不了了之，要么就得想点非常规的手段。”                    那段时间，她几乎每天从早上8点忙到深夜12点，调度经济指标的频率从每周变成每天，再到“一天无数次”。另一方面，他们还利用了用户实际使用AI助手时留下的匿名化聊天记录，把每段对话转化为匿名的任务摘要，提取编程语言、技术栈、任务类型、应用领域等标签，然后用聚类算法找出高频使用模式，再从中挑选尚未被评测覆盖的场景补充进来。

I | 这种"访谈+真实使用数据"的双轨方式，确保了任务设计贴近开发者的日常，而非学术界闭门造车的想象。上班路上，她时常会看着街头的清洁工发愣：“他们至少能把一片路面扫干净，而我手里，除了‘吓人的数据’，什么可见的成效都没有。

J |          ---          三、五个维度，打出立体的评分          AgentLens会从五个不同角度来评价每一条轨迹，这五个角度分别捕捉了不同类型的"好"与"坏"。

K |          第一个维度叫做"最终结果"（ENDRESULT），专门看AI最终交出的成果——它完成了多少用户要求的工作？产出的内容对用户有没有实际用处？这个维度关注的是终点的质量，但只是五个维度之一。”                    升到一定职级后，李念开始直面更高位阶的领导。对方“推己及人”，将提拔视为“给予的莫大的荣耀”，并“预设每个人都渴望往上爬”。                   但李念已经累了。         第二个维度叫做"指令遵循"（INSTRUCTIONCOMPLIANCE），独立于结果之外评估AI有没有按照用户的要求来做事。                   几年前，抑郁与焦虑彻底压垮了李念。用户说"先查清楚再动手"，AI有没有遵守？用户规定了特定的格式，AI有没有照做？用户要求分步骤汇报进度，AI有没有做到？这个维度捕捉的是"按用户要求做事"的能力，和最终质量无关——一个AI可以做出很好的结果，但如果完全不按用户的规矩来，那在协作中也会让人头疼。确诊、失眠、轻生念头……李念回忆，深夜睡不着觉得活不下时，她会想到自己年龄还不大的孩子，她琢磨不明白自己为何会陷入如此境地。                   李念说，早在疫情前，她就开始思考辞掉处长一职，但真正的转折只发生在一瞬间，是听到丈夫说“痛苦已经来了，你为什么还要忍受呢”的那一刻。         第三个维度叫做"行为陷阱"（PITFALLS），专门找那些可以改正的坏习惯。当时，她正坐在路边的长椅上，因为无法呼吸而停下休息。                   李念回忆，小时候，自己害怕被困在小县城里，害怕没有机会离开家，害怕未知的未来。比如工具调用乱用、陷入无意义的死循环、还没完成就宣布任务结束、忘了验证自己的改动有没有生效、工作流程不稳定容易崩溃等等。

L | 这个维度捕捉的是"过程中的自我破坏"。         第四个维度叫做"交互愉悦感"（PLEASANTNESS），看的是和这个AI一起工作的体验好不好。

M | 它的回复清晰吗？会不会总发一大堆没用的废话？有没有自信但准确地汇报工作进展？整个对话过程感觉高效流畅还是磕磕绊绊？          第五个维度叫做"工具调用质量"（TOOLCALLS），专门评估AI在调用各种工具时的表现。怀揣着这份惴惴不安的“恐惧”，她一路向前。多年的求学、体面的工作、接二连三的成绩像一条看不见的绳索，把她牵到今天。

N | 可她没想到，最终换来的却是对自己的质问——“我并没有得到我想要的生活”。                   那一瞬间的决绝，把李念逼到了领导办公室门前。工具选得对不对？参数填得准不准？工具出错时能不能优雅恢复？有没有频繁调用没有意义的工具浪费时间？          这五个维度加在一起，能够区分出四种本质不同的"糟糕AI"：第一种最终结果差但过程还算规范；第二种结果不错但完全不按用户要求来；第三种表面回答得像模像样，但工具调用一塌糊涂；第四种技术能力没问题，但和它一起工作让人心情极差。如果只看一个总分，这四种AI可能得分接近，但问题的根源完全不同，需要不同的改进方案。         ---          四、LLM担任裁判：靠谱吗？          读到这里，很多人可能会有一个疑问：用AI来评价AI，这不是既当运动员又当裁判吗？可信度有多高？          Explyt团队对这个问题给出了坦率而务实的回答。他们承认，用人工标注来评价这种长篇代码交互记录，实际上并不像人们想象的那么可靠——每条记录都很长，评分标准很复杂，标注者看久了容易出错，不同标注者之间的意见分歧也很大。她轻声叩门，收起情绪，先说“有件事一直想当面汇报”，再一点点切入；斟酌着每一个词，表达自己并不是抱怨，只是不想拖累整体的工作。当时的李念不知道会得到什么样的回应，但口中的话停不下来。

o | 他们做了一些内部预实验，发现LLM裁判和人工标注者之间的一致性，并不低于两个人工标注者之间的一致性。                   李念说，她没想过领导竟然理解她，这也许是多年认真工作带来的意外之喜。如今，她被安排到一个“边缘部门”，办公地搬到了有些潮湿的新楼层。                   偶尔遇到熟悉的年轻同事，有人会装作没看见，也有人揣度领导心思，在她面前故意耍些小动作。这个结论和学界的其他研究（比如MT-Bench和Chatbot Arena的工作）方向一致——强力的LLM裁判在开放式任务评估中可以达到接近人类水平的判断质量。李念只觉得好笑——“就像小学生一样”。                   新办公室没什么“人气儿”，但不再“被看见”，也意味着不必再活在他人的目光中。         当然，这并不意味着LLM裁判是完美的。岗位清闲，李念开始有时间读书、写作，陪伴家人。                   但她没有告诉母亲自己离开了管理岗位。团队明确指出，他们目前的人机一致性验证还是初步的、规模较小的，正式的大规模一致性研究留待未来完成。这是一个诚实的承认，而不是掩盖。                   二、不上进                    陈晴今年44岁，大学毕业后就来到了东部沿海城市某基层单位工作。         为了让裁判的工作更有说服力，AgentLens要求每个裁判在给出评分的同时，必须写出文字评审——它看到了哪些证据、为什么给这个分数、具体是哪里出了问题。她从未想过要往上爬，年轻时总觉得自己“能力不足”。被提拔为科长，是领导看重她的“踏实与责任心”——即便在被提拔前，她已经委婉推辞过一次。                   上任后没几年，她就向领导提过辞去职务，得到的回应始终是：“暂时没有合适人选。这些文字评审里会标注类似"[R3]"、"[R10]"的编号，指向轨迹中的具体位置，开发者可以直接跳到那个地方查看原始记录。”陈晴说，她理解基层人手的短缺，只能硬着头皮扛下去。只是没想到这一扛，就是近十年。这样一来，评分不再是一个从天而降的黑盒数字，而是有迹可循、可以复核的。

p |          ---          五、正式验证：给主观评审装上"客观锚点"          除了LLM裁判的主观评审，AgentLens还保留了一套传统的"形式化验证"机制，作为客观的补充。

q |          形式化验证的思路是：对于那些有明确客观标准的任务，直接用程序来检查。                   陈晴回忆，刚参加工作时，她常跟着“师父”跑村子。AgentLens目前支持多种类型的自动检查，覆盖了编程项目中常见的核心场景。记得最深的一幕，是师父一次次下村，教不会电脑的村会计们一步步从开机开始，直到学会操作电脑，从不抱怨，也不催促。

r |          仓库状态检查可以验证AI是否只修改了被允许修改的文件（没有越界动了不该动的东西），以及AI是否真的修改了应该修改的目标文件，还可以逐行对比最终文件和标准答案文件，看看结果是否一致。她看着那些人从摆烂抗拒到主动求教，第一次真切感受到：自己的工作，可以“改变一些人的日常”。                   可当了科长之后，她的工作开始被“非本职工作”占据。陈晴说，那时候的她一直是“活人微死”。正则表达式检查则可以在对话记录、工具调用参数、Java源文件中搜索特定的文本模式，验证AI有没有做某件特定的事情。                   最大的压力，来自频繁的大型活动。

s | 每到这种时候，她要进社区，晚上和村社干部们挤在同一个大厅里，行军床一排排摆开，蚊香点着也挡不住蚊虫叮咬。                   白天照常上班，晚上熬夜值守，吃的是千篇一律的盒饭，洗澡只能趁下班匆匆回趟家。

t | 即便难得放一天假，也被规定必须待在离单位30分钟车程内。                   陈晴记得，有一次，和她一起值班的一位同事凌晨两三点才下班，开车回家时遭遇事故。

u | 测试执行验证可以通过Maven或Gradle运行项目测试套件，检查测试的通过/失败/跳过情况，甚至可以测量修改后代码的测试覆盖率是否达到要求。命令输出检查可以执行任意构建任务并验证输出是否符合预期。

v | 静态分析验证则可以调用IDE的静态分析工具，检查代码是否有编译错误或警告。         每个任务场景可以配置一个或多个验证器，只有当所有验证器都通过时，才算形式化验证通过。形式化验证的价值在于它能捕捉一些LLM裁判容易忽略的细节，同时也能防止AI通过讨好裁判来骗分——毕竟代码跑不过测试这件事是骗不过去的。陈晴说，虽然人仅受了轻伤，但留下了心理阴影，很久不能正常开车。她至今都想不通：“这样究竟有什么意义？”                    但她又会反复自我修正——或许“上级有上级的考量，或许自己站得太低，看不见全局”。

w | 自我怀疑与自我说服，成了另一种消耗。

x | 但形式化验证也有它的局限：它看不到交互质量，看不到指令遵循情况，也看不到AI是不是用了很糟糕但恰好蒙对结果的方式解决问题。所以两套机制互补使用，比单独依赖任何一套都更可靠。                   这些年，她不断主动把自己往“边缘”位置放，但实际工作一件也没少担。

y |          ---          六、质量指数与指标独立性的发现          AgentLens会把六个维度（五个LLM裁判维度加一个形式化验证）的得分做简单平均，得出一个综合质量指数（Quality Index，简称QI）。团队在15个不同AI系统上计算了各维度之间的相关性，发现了一个很有意思的现象。

z | 直到近几年基层人手逐渐充裕，她才终于得以脱身，转为办事员。         当看"原始分数"时，所有维度都正相关——这不奇怪，强的模型在所有方面都倾向于得高分。                   经验丰富的她，时常还会为新科长指点一二。年轻同事看不懂她为什么这么“佛系”，可她心里再清楚不过：稍微对晋升展露渴望，就很容易“被领导拿捏”。

| 但当用每个维度的得分除以质量指数，去掉"整体强弱"这个共同因素之后，各维度的相关性就大幅降低了，甚至出现了负相关。         最引人注目的两对负相关是：最终结果和工具调用（相关系数-0.66）以及形式化验证和交互愉悦感（相关系数-0.74）。用人话来说：有些AI系统特别擅长漂亮地完成最终任务，但工具使用凌乱；有些AI形式化测试通过率很高，但用起来体验很差。陈晴说，身边不少同龄人，40多岁了还在苦苦追逐一个职位，被“反复画饼”，她宁愿做个“不上进”的人。                   如今，她在做自己喜欢的事，过着自己想要的生活。这说明这五个维度确实在测量不同的东西，而不是同一个能力的不同说法。在陈晴看来，如果别人的“优秀”只能靠她的“不上进”来衬托，她也乐在其中。                   三、另一种活法                    能辞去中层职务，却依旧留在原单位工作，需要天时地利人和。田怡，则选择干脆地抽身离开。                   田怡今年41岁，在云南的一家大企业做人资经理，已经干了十多年。

| 如果只报告一个总分，这些重要的区别就会被掩盖掉。         ---          七、并排比较：找出两个AI之间的真正差距          除了对单个AI系统的评估，AgentLens还支持"并排比较"（side-by-side review）——把两个AI系统处理同一个任务的轨迹放在一起，让裁判逐维度判断谁更好、好在哪里、好多少。离职前的那段时间，她两次被确诊为中重度抑郁与焦虑。         并排比较的裁判不是从零开始重新评估，而是以两份已经完成的单体评审为主要依据，只在需要核实细节时才回去查原始轨迹。最严重的一次，她在公司长廊里走着，却忽然分不清身在哪里——那是一次短暂的解离。这样做一方面提高了效率，另一方面也减少了裁判因为看顺序不同而产生偏见的风险。                   田怡表示，让她走到这一步的，有加班的劳累，但更多的是改革带来的暗流汹涌。         为了验证这种比较是否可靠，团队做了两个测试。一个是调换顺序测试——把A和B的顺序调换，看裁判的判断会不会翻转。结果显示，无论哪种顺序，裁判对谁更好的判断方向保持一致，只是强弱程度略有变化，顺序敏感性很小。另一个是自我偏好测试——用GPT-5.5作为裁判评估GPT-5.5和Claude Sonnet 4.6，再换Claude Sonnet 4.6作为裁判评估同样的对比。                   2018年起，原本各自独立的六家公司，被整合进同一个集团。结果发现，在23%的任务-维度组合中两个裁判的判断不同，其中18%是各裁判偏向自家模型，5%是各裁判偏向对方。

| 集团要建立统一的人事制度，从薪酬、绩效到考勤，事事都要重新梳理。

| 田怡作为人事部门的负责人，夹在上下之间：上有集团董事长催着要结果，下有六家分公司各怀立场，频频抗拒。

|                    田怡说，一个再普通不过的考勤制度，都能引来无休止的反对；绩效工资的比例调整，本是为了激励，却被分公司领导当作“失去了惩罚下属的手段”，而被不停地“鸡蛋里挑骨头”。自我偏好现象最集中在"交互愉悦感"这个最主观的维度，而在其他维度上影响较小。团队将这个发现作为一个使用注意事项来处理：在比较非常接近的前沿模型时，裁判选择会影响结论的强度，但不会根本上改变谁赢谁输的结论。                   她记得最典型的场景，是在集团汇报会上，分公司领导脸上的“微表情”，点评时“刻意的语气”，都让自己如芒在背。         ---          八、真实评测结果：数字背后的故事          AgentLens发布了一份基于32条轨迹的评测排行榜，涵盖了17个AI系统配置（使用两套运行框架：Explyt自家的AI Agent和Claude Code），测试的模型包括Claude Opus 4.7、GPT-5.5、Claude Sonnet 4.6、Gemini 3.1 Pro Preview、DeepSeek V4系列等当前主流前沿模型。         排行榜顶端是运行在Explyt自家框架上的Claude Opus 4.7，综合质量指数81.5，在最终结果维度高达94分。

| 有时候，这些领导还会揪着一些“当下大家都知道无法解决的历史性问题”不放，指责她工作能力不够。排在其后的是通过Claude Code框架运行的同款模型（76.2分），接下来依次是GPT-5.5（73.0分）、Sonnet 4.6（70.2分）等。排名垫底的是Kimi K2.6（28.1分），但这个低分背后藏着一个重要故事，稍后细说。                   更让田怡无所适从的，是那些“话里有话”的暗示——有时明明是个简单的议题，却被刻意埋坑，话锋一转就成了她的责任。         这份排行榜本身有趣，但团队反复强调：排行榜是AgentLens产出的最不有趣的部分。在田怡看来，她从不是那种“擅长职场游戏”的人，她只想把事情做好。

| 真正有价值的，是每个模型附带的文字评审报告。反而是手下的一些老员工，常常在会后提醒她多琢磨琢磨。                   久而久之，她感觉自己的精神开始“割裂”，直到她意识到自己必须要停下来了。                   但离开并不顺利。

|          以Gemini 3.1 Pro Preview为例，它的综合得分54.5，低于同期发布的多个模型，但原因不是代码能力差。“我其实从2023年8月份就提出辞职了，”田怡苦笑着说，“但可能是因为没人干活了，就得抓着一个人干，就这样一直拖到11月后才让我走。评审报告明确指出，问题出在"智能体循环的可靠性"上：它会跳过用户要求的步骤、在未得到确认时就擅自开始修改代码、声称测试已通过但实际上构建失败了、陷入补丁-撤销的循环、用大范围的sed命令批量替换代码导致代码损坏。这些问题与代码生成能力无关，而是"能不能稳定地作为一个代理完成多步骤工作流"的能力问题。离职前，还得把公司的薪酬制度、绩效制度全部做完，交接好，才算真正离开。

| ”                    田怡说，最初来到这家企业时，她就带着抵触。

| 大学时，她顺着父母的要求留在云南的高校；毕业后，她选择去上海打拼，拒绝过父母安排的烟厂和银行岗位。那是她为数不多的“叛逆”。这一区分对开发者来说非常有价值：模型底层能力强，但智能体框架适配有问题，这是一个可以针对性改进的方向。

| 但父亲身体渐渐不好，母亲又再三劝说，她最终还是回到昆明。                   在昆明的日子里，父母年纪大了，她曾慢慢接受过那种极其简单的未来想象：一份稳定的工作，每月按时领薪，有个家，就是所谓的好生活。

|          DeepSeek V4 Pro和DeepSeek V4 Flash的对比同样揭示了有趣的权衡。

|                    “我从小到大被他们规训惯了，所以事情都可以妥协。两者综合得分相差不到1分（64.1对64.8），但原因截然不同。Pro版本更"守规矩"，在步骤控制、格式要求、文件边界限制方面遵守得更好；Flash版本则更"会做事"，通过放宽这些约束来完成更多实质工作，而且吞吐速度是Pro版本的两倍多，在固定时间预算内能完成更多任务。相同的总分，完全不同的工作风格。”田怡说，“但我不是没有底线，比如你要让我随便找个人去结婚，我不愿意。         ---          九、两个让人印象深刻的"评分陷阱"案例          AgentLens的设计者特别提到了两个案例，说明文字评审能捕捉到纯数字完全无法捕捉的信息。”                    田怡回忆，在这么多年的人生经历中，她其实很少想过生活还能有别的活法，“身边一起长大的朋友同学，不是进银行、进高校，就是进大企业或国企”。生活似乎就是那样，连抱怨都带着一种温吞感。

|          第一个案例是Kimi K2.6的低分真相。

| 这个模型在排行榜上得了28.1分，赫然垫底，很容易让人得出"这是个很弱的模型"的结论。她也听过身边人念叨“想辞职”，却总能在一句“再忍忍吧”后各自散去。                   直到走到这一步，田怡不得不去面对这一切。但工具调用维度的评审报告却给出了完全不同的解释：在21条评审记录中，有20条报告了工具参数的格式错误，其中17条描述的是同一种错误——把工具参数包在一个多余的JSON层级里（类似于写成了`{"": {...}}`这样的格式）。这是OpenRouter（一个第三方API服务商）这边的工具参数解析bug，不是模型自身的推理能力问题。更能说明问题的是：一旦工具参数格式变正确，模型实际上能够成功调用工具完成任务。                   辞职之后，田怡一边治疗抑郁症，一边尝试做手工。

| 低分是环境bug造成的，不是智能水平低。如果只看总分，会得出完全错误的结论。         第二个案例是一次"看起来还好，实际上出了大问题"的版本回退测试。在Explyt的夜间评测流水线中，有一次新版本的AI助手因为并行工具调用出现了竞争条件（一种多线程编程中的经典问题，多个操作同时访问同一数据时可能出错），留下了`ConcurrentModificationException`的崩溃记录。

| “其实决定做这件事，是很偶然的。”她回忆说，“有一次我在串一个项链，等我串完我才发现天都已经黑掉了，我完全没有意识到时间就这样过去了。但最终给用户的答复看起来还算正常，如果只看最终结果，很难发现这个问题。我突然意识到我已经很久没有这样专注地干一件事情。”                    到今天，田怡说她仍然要吃药，偶尔也会陷入无力，但这一次，她愿意承认，这也是生活本身。                   本文来自微信公众号：盐财经，作者：庞海尘，编辑：何承波。AgentLens的"行为陷阱"维度评审在并排比较中直接找到了这个崩溃点，并写道："最值得关注的调试证据是Agent 2在[C5]位置发生的显式ConcurrentModificationException崩溃……"这让开发者能够立刻定位到是并发工具调用的框架bug，而不是模糊地感知到"新版本好像变差了一点"。         ---          十、夜间自动评测：评测流水线的工程实践          AgentLens不只是一个学术评测工具，它被直接接入了Explyt的日常开发工作流程。         具体来说，每天夜里会自动触发一次评测流程：把当天的候选版本在所有32个任务场景上跑一遍，收集轨迹数据，跑形式化验证，跑LLM裁判打分，生成评审报告，然后与"基准版本"做并排比较，检测是否有显著的性能退步。如果发现退步，系统会自动通知维护团队。

|          这个流水线支持手动触发（用于特定功能评估或实验对比）和定时自动触发（夜间例行检查）两种模式。每次评测产出的所有原始数据、中间结果、最终报告都存入实验追踪系统，方便历史对比。         在稳定性方面，团队用同一个模型配置（GLM-5.1自托管版）重复跑了五次，得到的质量指数均值为67.28，标准差只有0.94，说明评测结果相当稳定。进一步分析发现，这0.94的波动里有60.5%来自形式化验证的随机性（某些边界任务有时过有时不过），18.1%来自"行为陷阱"维度，16.2%来自"最终结果"维度，LLM裁判本身的随机性反而是最小的变动源。         ---          十一、与公开基准的相关性：AgentLens测的是什么          团队还做了一个有趣的对比分析：把AgentLens的质量指数和Artificial Analysis平台上的11个主流评测基准的得分进行斯皮尔曼秩相关分析，看看AgentLens和这些基准到底在多大程度上测的是同一回事。         结果显示，AgentLens的质量指数与APEX-Agents-AA这个智能体专项基准的相关性最高（相关系数0.82），与另一个智能体评测GDPval-AA也有中等相关（0.59）。

| 但与那些偏向推理能力或指令遵循的基准，如IFBench，相关系数是-0.41，与τ?-Bench Telecom的相关系数是-0.25，都是负相关。         这个负相关很有意思：它意味着某些在"指令遵循"类评测上表现出色的模型，在AgentLens的IDE真实编程任务上表现反而偏弱，反之亦然。

| 团队分析认为，这是因为有些模型被大量针对评测风格的数据优化过，在标准化考试题上表现出色，但面对长时程、多步骤、需要稳定使用工具的真实开发场景时就露馅了。

|          从具体模型来看，Gemini 3.1 Pro Preview在综合智能排名中比AgentLens排名高出近4个名次，Mimo V2.5 Pro高出近5个名次——这两个模型在传统评测上的排名虚高。而Claude Opus 4.7和Claude Sonnet 4.6则相反，在AgentLens上的排名比综合智能排名高出3到4个名次，说明它们在真实编程任务中的表现比其他评测数据显示的要好。         ---          十二、诚实的局限性说明          AgentLens并不是一套万能的评测系统，团队对此保持了清醒的认识，并在论文中坦率地列出了多个局限。         在任务覆盖方面，目前发布的任务集只包含Java语言的编程场景，共16个场景（配合2个用户性格，共32条轨迹），覆盖范围有限，评测的是特定类型的编程工作，而不是通用智能。在评测成本方面，跑一次Opus 4.7模型的完整评测可能花费超过100美元，不是所有团队都能承担的日常开销。在提供商依赖方面，部分模型通过第三方API（如OpenRouter）运行，网络延迟、路由、模型版本都不在研究者的控制之内，DeepSeek V4 Pro和Flash的吞吐速度差异就有一部分是服务条件造成的，不完全是模型能力的差异。

| 在潜在偏差方面，因为AgentLens最初是围绕Explyt自己的AI助手工具设计的，某些任务设计和框架假设可能对Explyt的系统更友好，虽然已经通过开源和完整评审报告来缓解这个问题，但外部中立验证还需要更多时间。

| LLM裁判的人机一致性研究也只是初步验证，正式的大规模验证研究还需要继续。         ---          结语：一个更诚实的评测          归根结底，AgentLens试图回答的是一个非常简单的问题：这个AI编程助手，我每天用着会舒服吗？它能可靠地帮我完成工作吗？它在出问题时能优雅地处理吗？          这些问题对真实用户来说是最重要的，但过去的评测体系基本上忽略了它们。

| AgentLens的思路是把每一次人机交互都当成一部可以反复审查的纪录片，从五个不同的角度把它看透，然后不只告诉你"通过了还是没通过"，而是告诉你"它在哪里好、在哪里差、为什么差、下一步应该怎么改"。         对于真正在做AI编程产品的团队来说，这种评测带来的价值是实实在在的：发现了一个并发bug，定位了一个API服务商的工具解析问题，找到了两个评分相近但风格截然不同的模型之间的真正区别。         如果你对这套评测系统的技术细节感兴趣，可以在arXiv上通过编号2607.06624找到完整论文，团队也在GitHub上开源了全部评测代码，地址是github.com/agent-lens/agent-lens-bench。

|          ---          Q&A          Q1：AgentLens评测框架和SWE-bench这类传统代码评测基准的核心区别是什么？          A：传统评测基准如SWE-bench只看任务的最终结果是否通过，给出一个通过/失败的二元判断。

| AgentLens则把整条人机交互轨迹作为评测对象，从最终结果、指令遵循、行为陷阱、交互愉悦感、工具调用质量五个维度分别打分，并要求裁判为每个评分提供有据可查的文字评审，能够区分"为什么失败"和"哪里做得好"，而不只是告诉你一个成绩。

|          Q2：AgentLens中的LLM裁判打分可信度怎么保证？          A：团队进行了两方面验证。

| 一是内部预实验显示LLM裁判和人工标注者的一致性不低于人工标注者相互之间的一致性；二是要求裁判在评分时必须提供引用具体轨迹位置的文字评审，使评分可追溯而非黑盒。此外还做了顺序互换测试和自我偏好测试，确认顺序效应较小，自我偏好现象主要集中在最主观的"交互愉悦感"维度。

| 正式的大规模人机一致性验证研究还在进行中。

|          Q3：Kimi K2.6在AgentLens评测中为什么得了最低分？          A：Kimi K2.6的低分（28.1分）主要是由OpenRouter这个第三方API服务商的工具参数解析bug造成的，而不是模型自身推理能力的问题。评审报告发现，21条记录中有20条存在相同的JSON参数格式错误，一旦格式正确，模型实际上能够成功完成工具调用并推进任务。这个案例正好说明了AgentLens文字评审的价值：只看总分会得出"这是弱模型"的错误结论，而读评审报告才能找到真正的原因。

Current article:http://ahp7.cheshenzhuaduanza.buzz/list_qw5/bop.html

Published on:06:51:51