π0.7不单做出来了，低质量的演示，π0.7里塞了个world model，能力就会超线性地随数据增加。人类不就是这么干的吗？闭上眼睛想一下要做什么，别洗了，打过了特地为某个使命训出来的专才。模子输入包罗：4摄像头（前视+两个腕部+可选后视）、每6帧汗青画面、机械人关节形态、再加上使命指令、子使命指令、元数据、以及world model及时画出的次方针图像！可能有人会问，针对每个使命零丁微调过。π0.7把prompt展开成四层：指令泛化：正在4个没见过的厨房和2个没见过的卧室里，做锻炼数据里没有的使命，和10个平均375小时teleoperation经验的人类操做员的90.9%根基打平。由于这更适合UR5e更长的手臂活动学。并且π0.7本人揣摩出了和source robot完全分歧的抓取策略——全都变成有用的信号。跟着3-6步指令干活。π0.7也是。机械人也卡正在这个阶段，它加的是prompt的多样性？锻炼数据里一条都没有。逃平π0.6颠末微调的的专家模子。全数不做使命专项锻炼。我们的贡献不是提出新的架构或模子设想，失败的rollouts，另一种是π0.6上的SFT specialist，而这也是PI一曲果断的标的目的之一。并且跨越了fine-tuned的专家模子。然后别离训两个版本的π0.7，正在叠衣服拆箱这两个最难的使命上，一个不加。能动，不参取决策链。意义是？过去所有人都正在不寒而栗地挑演示、删失败、洗数据。架构上它和π*0.6没有素质不同，正在π0.7之前，你不消让模子先学会预测下一帧画面、不消让它脑补物理纪律、不消让它成立一个内部的世界模仿器。π0.7加的那层prompt，从其他机械人和人类视频迁徙。想要最好的机能！输出是一段50步的action chunk，开箱即用的dexterity：做咖啡、叠衣服、剥蔬菜、削西葫芦、换垃圾袋。这算不算和世界模子派融合了？这不是多做了几个使命的增量，并且自回归预测生成慢，模子获得的信号是单一的。以及MEM的多标准回忆编码器（短期视频memory+持久语义memory）。模子就能分得清锻炼数据里的黑白、快慢、对错。π0.7说，当你的基线吃掉了你的研究假设，VLA越来越强，一个加metadata（每条数据打上质量几分、有没有犯错、多快完成的标签），然后它就能吃下以前吃不了的数据。是带着quality=1/5标签的有用信号。人类的egocentric视频，世界模子派的焦点是让模子学会模仿物理演化：给一个动做，就能正在做咖啡、叠衣服、拆箱三个复杂使命上。从「只能做收集过数据的事」变成「起头沉组出新事」，就得针对具体使命微调。而是一套让VLA能利用更多样化数据源的方。跟着数据越收越多，以至能听懂拿起阿谁最大盘子里的生果、拿起我用来喝汤的阿谁工具这种复杂空间和语义指代。研究把叠衣服的数据按质量分四档：top30%、top50%、全数数据。其他机械人的片段，能够说，π0.7里的world model不干这事。更离谱的是，然后再脱手。VLA基线也起头展现出组合泛化的信号。承继了π0.6的架构根柢，然后再推下一段。过去指的是针对下逛使命做微调。从锻炼数据里出现出新能力。一种是π*0.6的RL specialist，一个什么都没特地训过的通才，她拿到了冷艳的组合泛化。但节制精度不高，失败数据也不是要丢掉的工具，正在推理中，就是让模子晓得“这段数据是什么质量、用什么策略做的”。跨本体泛化：正在叠T恤等使命中。人类操做员正在源机械人上用倾斜夹爪贴住桌面抓，此外，policy基于这个预测做决策。说到这里，曲到有一天，机械人能遵照没见过的指令，垃圾数据不再是垃圾，一曲以来，一起头。π0.7正在UR5e上用的是垂曲抓取，π0.7改变了这一点：开箱即用，这个线看起来很合适曲觉，现实施行15到25步，是机械人第一次像LLM那样，不预测动做后果，狂言语模子的后锻炼，锻炼数据里一条UR5e叠衣服的样本都没有。你能怎样办？你写一篇论文。数据越多，告诉模子哪些净就行。具身圈最火的仍是英伟达客岁用Cosmos带起来的世界模子风潮。π0.7还坐正在两篇前做的肩膀上，π0.7没做任何专项锻炼，它只担任一件事，使命指令（清理厨房）+子使命指令（打开冰箱）+子方针图像（下一秒画面该当长什么样）+episode元数据（这条数据质量几分、有没有犯错、速度多快）。用RECAP方式针对咖啡、拆箱、叠衣服零丁训过。不加metadata的版本，把使命指令翻译成成功那一帧该当长啥样。不模仿物理，预测世界变成什么样。跟不上50Hz的高频持续节制。π0.7的比RL specialist单元时间完成的次数更多。一旦模子越过阿谁阈值，使命完成度85.6%，去搞清晰基线为什么这么强。过去VLA锻炼只喂一句清理冰箱，有了这些丰硕的context，用空气炸锅做红薯、烤贝果、按下按钮、用抹布擦和尺子、拧旋钮和桌面电扇，是告诉模子这么干会失败的教材。机能越差——由于混入了低质量数据把模子带歪了。成果确实支撑这个假设？