开心色播 AI圈本年最大丑闻曝光：Llama4被揭教师舞弊，实测惨遭滑铁卢
昨天开心色播，Meta Llama 4就这样短暂地发布了。
纸面参数很高峻上，堪称原生多模态MOE模子，打败DeepSeek V3，还有2万亿参数巨兽，连Meta CEO扎克伯格也发视频，摇旗高呼欢迎“Llama 4日”。
欣忭是顷刻间的，当网友启动实测后，却真的是一边倒的负面评价，堪称本年AI界最大的“翻车”事件。
在有益连系腹地部署大讲话模子的社区r/LocalLLaMA（可相识为Llama“贴吧”）中，一篇标题为“我对Llama 4感到incredibly disappointed（格外失望）”的帖子马上得到了多半热心和共识。
更有Llama赤诚粉丝原地破防，直言是时刻该将“LocalLLaMA”更名为“LocalGemma”了，玩弄Llama 4的发布更像是迟到的愚东谈主节打趣。
一、实测弘扬货不合板，曝Llama 4发布前豪恣“灌题”
在Reddit的这篇原帖中，网友karminski激烈提倡不要使用Llama 4试验编码任务。
他暗意Llama-4-Maverick——总参数达402B的型号——在编码能力上仅能与Qwen-QwQ-32B拼凑匹敌。而Llama-4-Scout（总参数109B的型号）弘扬则大约与Grok-2或Ernie 4.5相仿。
值得一提的是，根据最新的aider polyglot编码基准测试终局，Llama 4 Maverick的得分仅为16%。
这一基准测试旨在评估大型讲话模子（LLM）在多讲话编程任务中的弘扬，隐蔽了C++、Go、Java、JavaScript、Python和Rust六种主流编程讲话。
而这个分数，在稠密模子中亦然属于妥妥的垫底水平。
博主@deedydas一样抒发了对Llama 4的失望，直呼其为“一个晦气彻底的编程模子”。
他指出，Scout（109B）和Maverick（402B）在针对编程任务的Kscores基准测试中，弘扬远不足4o、Gemini Flash、Grok 3、DeepSeek V3以及Sonnet 3.5/7。
另一位网友Flavio Adamo永别让Llama 4 Maverick和GPT-4o生成一个小球在旋转多边形弹跳的动画，况兼，小球进步的历程中要罢职重力和摩擦力的影响。
终局披露，Llama 4 Maverick生成的多边形情势枯竭启齿，小球的通顺也抵触物理法例，比拟之下，新版GPT-4o的弘扬明显更胜一筹，而Gemini 2.5 Pro的弘扬则堪称王者。
回望本年1月，扎克伯格还声称，AI将达中级软件工程师编程水平，就当今Llama 4晦气的弘扬，属实是打脸来的有些快。
另外，Llama 4 Scout的荆棘文长度达到了1000万tokens。这一超长荆棘文长度使得Llama 4 Scout能够处置和分析极长的文本内容，举例整本竹帛、大型代码库或多媒体档案。
Meta官方以致还展示了“大海捞针”的测试终局以施展其能力。
可是，根据Fiction.LiveBench最新给出的终局，Llama 4模子的效果亦然中看不顶用，全体效果不足Gemini 2.0 Flash，而Gemini 2.5 Pro依旧是当之无愧的长文本王者。
Google上大分+1。
网友karminski进一步指出，Llama 4在1K荆棘文调回率（访佛相识为问题回答的正确率）时就已跌至60%以下，以致Llama-4-Scout在独特16K时仅剩22%。
他还给出了一个形象的例子，《哈利·波特与魔法石》的文本长度适值约为16K。这意味着，要是你把整本书输入模子，然后问“哈利小时刻是住在卧室照旧楼梯下的储物间”，Llama-4-Scout惟一22%的概率能答对（访佛相识，实质调回机制更复杂）。而这个收成当然也远低于头部模子的平均水平。
不仅模子自己稍显拉胯，Llama 4手脚“开源扛把子”的光环也在冉冉灭亡。
Meta绽放了Llama 4的权重，但即使使用量化（quant），也无法在糜掷级GPU上运行。堪称单卡运行，但实质指的却是H100。门槛之高，对开拓者可谓是格外不友好。
更何况，Llama 4的新许可证还有几个物化条件，其中备受诟病的则是领有独特7亿月活跃用户的公司必须向Meta央求格外许可证，Meta不错自行决定是否批准或圮绝。
等等，昨天Meta公布的纸面参数可不是这样说的，何如过了一天，风向就全变了。
在大模子竞技场（Arena）名次中，Llama 4 Maverick名列总榜第二，成为第四个玩忽1400分的模子，在开源模子中更是高居榜首，超越了DeepSeek V3。
靠近实测性能的“货不合板”，注重的网友很快嗅到一点蹊跷。在LM Arena上取得高分的Maverick其实用到了一个“实验性聊天版块”。
这还没完，今天一亩三分地社区的爆料贴也似乎揭开了一些内幕。爆料称，经过反复教师后，Llama 4未能取得开源SOTA，以致与之收支甚远。
而Meta公司里面树立发布的deadline（截止日历）则是4月底。
于是，公司指令层提倡将各个benchmark的测试集搀杂在post-training历程中，想法是但愿能够在各名想法上交差。拿出一个“看起来不错”的终局。
这里说的将各个benchmark的测试集搀杂在post-training历程中，是指在模子的后教师（post-training）阶段，通过搀杂不同基准测试的数据集，模子不错在多种任务和场景中学习，从而进步其泛化能力。
打个浅薄的譬如，这就像检会舞弊。试题本该从守秘题库（benchmark测试集）中随即抽取，考前无东谈主领路。可要是有东谈主提前偷看了题目并反复锻真金不怕火（格外于将测试集混入教师），那检会收成自不消多说。
帖主进一步解释说，Llama 4发布之后，实测终局遭到X和Reddit网友的吐槽。手脚又名当今也在学术界的东谈主他声称实在无法继承Meta的作念法，已提交下野央求，并明确要求在Llama 4的Technical Report中剔除我方的名字。
他还暗意，Meta的VP of AI亦然因为这个原因辞职的。而早在几天前，就有报谈称Meta AI连系认真东谈主乔尔·皮诺（Joelle Pineau）晓谕将于5月30日下野。
不外，关于这桩疑似“刷榜舞弊”的指控，真相究竟怎样，粗略还需更多字据。一位名为LichengYu的Meta职工也疑似在驳倒区实名恢复称：
“这两天谦让凝听各方feedback（比如coding，creativewriting等残障必须改造），但愿能鄙人一版有进步。但为了刷点而overfit测试集，咱们从来莫得作念过，实名Licheng Yu，两个oss model的post training有经手我这边。请见知哪条prompt是测试集选出来放进教师集的，我给你磕一个+谈歉！”
公开辛勤披露，Licheng Yu（虞立成）曾本科毕业于上海交通大学，2014年获佐治亚理工学院和上海交通大学双硕士学位，在2019年5月获北卡罗来纳大学教堂山分校推测机科学博士学位。
他的连系领域专注于推测机视觉和当然讲话处置，多篇论文被CVPR、ICLR、ECCV、KDD等顶级会议继承。
Licheng Yu曾在微软、Adobe等大厂有过责任阅历，当今（2023年6月于今）担任Meta的连系科学家司理。在Meta技艺，他曾参与Llama3.2多模态模子（11B+90B）的发布，以及指令Llama 4名目中17Bx128和17Bx16的文本+图像强化学习阶段。
真假难辨，粗略还不错让枪弹再飞一会。
二、开源大模子的王座，不成只靠“蛮力”夺取
在旧年这个时刻，Meta还被誉为AI行业的天选之子。
那时，脱下浅薄的灰色T恤、牛仔裤和连帽衫，扎克伯格也启动频频地穿戴大LOGO的名牌服装，颈间挂上鲁莽的大金链子，以致在公开阵势自信展示我方的健身遵守。
另有图谋不在酒的扎克伯格试图通过展现更“着实”、更“接地气”的一面，拉近与公众的距离。这不仅让Meta显得愈加亲民，也使其趁势成为对抗OpenAI闭源模子的开源旗头，阵容一时无两。
与此同期，Meta的浑朴实力为转型提供了坚实后援。据悉，Meta规划在2025年插足高达650亿好意思元用于扩张其AI基础设施，这一数字在业内堪称大手笔，到2025年底，Meta规划领有独特130万块GPU。
其次，Meta坐拥丰富的应答平台数据，这为其AI研发提供了后天不良的上风。
手脚Facebook、Instagram和WhatsApp等全国知名应答平台的母公司，Meta掌抓着数十亿用户的日常交互数据。据统计，其平台的全国日活跃用户数（DAU）在2024年已独特30亿，这一弘大的数据体量为AI模子的教师提供了海量的原材料。
再者，Meta在东谈主才储备上一样不遑多让。其AI部门的领军东谈主物是业界享有殊荣的图灵奖得主Yann LeCun。在他的指挥下，Meta相持开源政策，推出了Llama系列模子。
因此，Meta也无餍所有——它不仅要安靖自身在应答领域的地位，更但愿在AI领域已毕弯谈超车，标的是在2025年底前超越OpenAI等强盛敌手。
但眼见他起朱楼，眼见他宴来宾，眼见他楼塌了。
若一亩三分地的爆料属实，Llama 4的研发历程中可能存在为追求基准测试分数而“舞弊”的步履——通过将测试集混入教师数据，也更像是“AI流量张惶”下的操作变形。
年头就曾有音讯称DeepSeek让Meta AI团队堕入惊怖：
“当生成式AI组织中的每个高管薪资都比教师通盘DeepSeek-V3的本钱还要高，而咱们有好几十个这样的高管，他们要怎样靠近高层？”
2023年，Meta凭借Llama系列在开源大模子领域真的树立了把持地位，成为开源AI的代名词和标杆。
可是，AI一日，东谈主间一年，在Llama 4际遇“滑铁卢”的驳倒区中，其他开源模子的好评遍地可见。
其中，Google Gemma以轻量高效和多模态能力赢得往时招供，阿里的Qwen系列基座模子崭露头角，而DeepSeek更以低本钱高性能的黑马姿态震荡了通盘行业。
Meta能否改革政策重回开源AI的模子领跑位置尚未可知，但不管怎样，开源AI的百花皆放还是不可逆转地到来了。
秉持着哪个AI好用，用哪个的原则，Meta也不周密然怪用户“墙头草”。更何况，在开源透明度方面，相较于上述几家公司的开源模子，Llama 4的种种物化，也颇有些自断一臂的意味。
而Meta当今的抗拒粗略也标明开心色播，即便手抓全国通盘的GPU算力和海量数据，资源上风已不再是决定性成分。开源大模子的王座，也不成只靠“蛮力”夺取。