蚂蚁灵波开源 LingBot
7 月 9 日,蚂蚁蚂蚁灵波开源 LingBot-Video,灵波这是开源全球首个基于 Mixture-of-Experts(MoE)架构、面向具身智能的蚂蚁开源视频生成基础模型。该模型围绕机器人和具身智能的灵波核心需求重新设计视频预训练范式,在推理效率、开源物理合理性、蚂蚁动作理解和任务完成度等方面取得系统性提升,灵波为视频基础模型从数字内容创作走向具身智能提供了新的开源开源底座。
在北京大学联合字节跳动发布的蚂蚁基准 RBench 上,LingBot-Video 的灵波总分是 0.620,超越了 Wan2.6(0.607)、开源Seedance 1.5 Pro(0.584)、蚂蚁Cosmos3 Super(0.581)。灵波RBench 作为面向机器人操作视频的开源综合评测基准,重点考察模型能否生成符合真实物理规律的机器人行为。这一结果表明,LingBot-Video 在生成机器人相关视频时,更能保持动作过程的合理性和任务执行的完整性。

(图说:LingBot-Video 在 RBench 上性能最优)
为进一步验证 LingBot-Video 对物理世界变化的建模能力,蚂蚁灵波在内部 benchmark 中从通用质量和具身领域两个维度进行评估。结果显示,对比 NVIDIA Cosmos 3、Wan 2.2 A14B、LongCat-Video、Hunyuan Video 1.5、LTX-2.3 等五个开源模型,LingBot-Video 在具身领域表现优于主要基线模型。

(图说:综合评测显示,LingBot-Video在具身相关场景中展现出更强的物理理解和动作一致性)
过去几年,视频生成模型在画质、流畅度和创意表达上快速进步,但对于具身智能来说,一个看起来逼真、动作流畅的视频,却无法反映真实的物理规律,难以支撑机器人连续预测、规划和执行任务。与此同时,具身智能还要求模型具备更高推理效率,以适应实时交互和控制闭环。
这也让视频生成开始出现两种不同的演进方向:一条通向影院,服务于内容创作;另一条通向机器人,服务于物理世界的理解、预测与交互。LingBot-Video 正是蚂蚁灵波面向具身智能开辟视频生成新路线的重要探索。
LingBot-Video 从架构、数据和训练三方面进行了系统创新。
在架构上,LingBot-Video 采用 DiT + MoE 设计,以 MoE 替代传统 Dense 架构,在扩大模型容量的同时控制单次推理成本。其 30B 总参数模型在生成时仅激活约 3B 参数,相比同等参数规模 Dense 架构拥有约 3 倍推理效率。这一设计使模型既能获得大规模参数带来的视觉表达能力,又更适合具身智能对高效推理的要求。
在数据上,LingBot-Video 构建了数据画像引擎,在海量互联网视频的基础上进一步引入 VLA、VLN、Ego 等机器人相关数据,覆盖灵巧操作、机器人移动和第一视角交互等场景,总规模达 7 万小时的具身数据。这些数据帮助模型学习动作与环境变化之间的关系,而不只是学习视频的表面纹理和视觉风格。



在训练上,LingBot-Video 引入多维强化学习奖励系统。除美学、prompt 跟随和运动一致性等常规指标外,模型进一步围绕物理合理性和任务完成度进行对齐,使生成结果更符合真实世界规律,也更贴近机器人在真实世界完成任务的需求。
据介绍,LingBot-Video 可用于机器人动作预测、仿真数据生成、动作条件建模、世界模型研究等方向。目前,LingBot-Video 已正式开源。
(责任编辑:焦点)
-
2024年4月1日,北京朝阳区双井富力广场的中国黄金北京概念店人去楼空。南方周末记者梅岭/图因加盟商违规擅自开展黄金托管业务,并私自停止经营活动,无法兑付消费者已购买的黄金,品牌授权方中国黄金6009
...[详细]
-
动荡见温情!恩平为23万在委侨胞子女留一张安稳课桌_南方+_南方plus当前,委内瑞拉局势不稳。在江门恩平黄冈实验中学的校长室内,校长付永华准备了一份《华侨子女入学接收方案》。“只要他们能回来,我们就
...[详细]
-
矽谷銀行之後,又一家區域銀行股價暴跌60%以上。這個交易日,美國兩年期公債殖利率大暴跌,反映的是市場認為狂暴的金融環境,將使聯準會不敢再升息。您的閱讀篇數已達上限立刻訂閱全閱讀,即可享全站不限篇數閱讀
...[详细]
-
曝韦德接触雄鹿尼克斯 闪电侠拒向热火妥协薪金发布时间:1970-01-01 08:00 来源:豫都网 我来说说 我要投稿[摘要]北京时间7月2日,根据ESPN著名记者布莱恩-温德霍斯特透露,迈阿密热火
...[详细]
-
发布者:小川 浏览量:15618发布时间:2018/6/21 16:08:54 经济形势下行都说生意难做,其实是因为没有选对产品。饮料市场群雄逐鹿,面对铺天盖地的广告宣传,竞
...[详细]
-
皇马队医冈萨雷斯向《阿斯报》确认,法国前锋本泽马右腿腿筋受伤,将休战2至3周,本泽马将缺席未来皇马两场比赛,有望赶上对阵巴萨的国家德比。皇马队医确认本泽马伤停2至3周皇马官网发布了一条本泽马伤情通告,
...[详细]
-
近日,汉阴县城关第一小学组织开展以“防震减灾,守护平安”为主题的应急疏散演练系列活动。10时40分,随着总指挥一声令下,演练正式启动。警报声骤响,各班学生迅速抱头蹲于课桌旁,教师指导用书包、书本护住头
...[详细]
-
约翰逊28分保罗准3双 戈贝尔复出爵士胜快船2-2发布时间:2022-04-09 14:58 来源:豫都网 我要投稿[摘要]数据 投篮点 实录 网友热议 北京时间4月24日,NBA季后赛继续进行,爵士
...[详细]
-
日前Windows Central报道,微软正在对Windows 11开始菜单进行一次从底层重构的大规模更新,将带来更多的自定义选项和性能提升。这些改进属于微软内部代号为Windows K2的项目,目
...[详细]
-
天天速讯:国家网信办:生成式人工智能产品提供服务前需申报安全评估
【资料图】4月11日,国家互联网信息办公室就《生成式人工智能服务管理办法(征求意见稿)》公开征求意见。其中提到,利用生成式人工智能产品向公众提供服务前,应当按照《具有舆论属性或社会动员能力的互联网信息
...[详细]

“我有病,我有抑郁症”:三岁小儿被母亲扔下高楼坠亡
光明港垂钓平台建设完工 运营筹备工作已展开
女排大胜阿塞拜疆 2018年世锦赛女排赛程表
太平雇主责任险多少钱,中国太平雇主责任险多少钱
