[{"data":1,"prerenderedAt":11},["ShallowReactive",2],{"article-zh-CN-2":3},{"id":4,"title":5,"description":6,"classname":7,"content":8,"cover":9,"publishTime":-1,"updateTime":10},"2","Vidu S2 是什么？实时数字人、视频编辑与空间视频能力详解","Vidu S2、实时数字人、视频编辑、S2-Avatar、S2-Editing、世界模型","AI前沿","Vidu 在 2026 年 9 月公布了 S2，并把产品分成两部分：负责实时数字人交互的 Vidu S2-Avatar，以及负责实时修改输入视频的 Vidu S2-Editing。两者都在生成视频，但输入、用途和交互方式完全不同。\n\n![](https:\u002F\u002Foss.jeekmind.com\u002Fcarimg\u002F09b5fa\u002F2026-09\u002F23\u002Fffc98f606f591b6c.png#w=160)\n\n\n图：Vidu S2 官方页面将模型分为 S2-Avatar 与 S2-Editing 两条产品线。\n\n## 一、S2-Avatar：让生成角色进入实时对话\n\nS2-Avatar 是实时交互数字人模型。用户提供角色图像和设定后，模型接收语音或视频流，持续输出带声音与动作的数字角色画面。\n\n与上一代 Vidu S1 相比，S2-Avatar 的实时输出从 540p 提升到 720p，并加强了指令跟随。官方演示不只包含说话和表情，也包括舞蹈等幅度更大的身体动作。这一点很重要：数字人如果只能保持半身构图并轻微摆动，应用范围基本停留在播报；身体动作变得可控后，角色才有机会进入教学、陪伴、游戏和直播互动。\n\nS2-Avatar 还支持动态参考图。直播进行时可以重新提供物品、服装或背景图片，让角色拿起指定商品、换上参考服装，或进入新的场景。参考信息不必在开播前一次性固定，角色的外观和行为可以跟着对话变化。\n\n在线模式之外，S2 也保留异步数字人生成。用户可以用一张角色图和音频或文本生成带口型与动作的视频文件。这类离线模式适合课程讲解、营销口播和批量内容，实时模式则更适合需要回应用户的场景。\n\n![](https:\u002F\u002Foss.jeekmind.com\u002Fcarimg\u002F09b5fa\u002F2026-09\u002F23\u002F358d321cb6b6dc95.png#w=160)\n\n\n图：Vidu 官方展示 S2-Avatar 的实时语音互动、复杂动作、参考物品互动、换装与背景切换。\n\n## 二、S2-Editing：直接修改正在播放的视频流\n\nS2-Editing 不负责创造一个独立数字人。它接收摄像头、视频或图片输入，在画面继续播放的同时完成编辑，并实时输出处理后的结果。\n\n目前公开的能力集中在四类：\n\n- 风格渲染：用参考图改变整段视频的视觉风格。\n- 虚拟试穿：把参考服装迁移到画面中的人物身上。\n- 人物替换：用参考角色替换原视频主体，同时保留原有动作。\n- 背景替换：重新生成主体周围的环境。\n\n传统视频编辑通常要先拿到完整素材，再逐帧处理。S2-Editing 面向的是流式画面：输入没有结束，模型已经开始输出；直播过程中还可以更换参考图或场景，不必重新开启视频流。\n\n技术报告中的案例显示，模型会尽量保留原视频的姿态、交互关系和时间连续性。例如虚拟试穿要处理手臂遮挡衣服的问题，人物替换要保留拉扯衣服等原动作，风格迁移则要让人物和背景同时进入同一种视觉语言。这些都比处理单帧图片更难，因为前后画面稍有不一致，就会出现闪烁、漂移或局部变形。\n\n![](https:\u002F\u002Foss.jeekmind.com\u002Fcarimg\u002F09b5fa\u002F2026-09\u002F23\u002F4153ca9d6773f298.png#w=160)\n图：Vidu S2-Editing 官方展示风格渲染、人物替换、背景替换和虚拟试穿。\n\n## 三、实时视频为什么比生成短片更难\n\n短片生成允许模型先完成计算，再把结果交给用户。实时模型必须一边接收新信息，一边保持人物身份、动作和画面风格，还要在很短时间内返回下一段画面。\n\n这种流式生成容易累积误差。前一段里的脸形、手指或服装纹理如果发生偏移，后一段继续以错误画面为条件，问题会越来越明显。Vidu S2 技术报告介绍了用于减轻长时漂移的训练方法，并通过注意力优化、低比特计算、算子融合和多 GPU 并行压缩推理开销。对普通用户来说，结果就是两件事：画面要跟得上交互，人物也要尽量避免越播越不像。\n\n论文还公布了空间视频方向的实验。S2-Avatar 生成的视频流可以转换成同步的左右眼画面；S2-Editing 既能先编辑普通单目视频再转为空间视频，也能联合编辑已有的双目输入。这部分目前更适合看作 VR 和头显应用的技术探索，而不是已经普及的内容生产功能。\n\n## 四、Vidu S2 适合哪些应用\n\n最直接的应用是实时数字人。电商导购可以根据用户提问介绍商品，在线教育中的虚拟教师可以边讲边回应，游戏 NPC 和陪伴角色也能用语音驱动动作与表情。Vidu 官方模型图还把社交陪伴、电商导购、在线教育和游戏角色列为实时版的典型方向。\n\nS2-Editing 更接近直播视觉层。品牌直播可以随活动节点切换场景和主播造型；服装内容可以在人物运动中预览不同款式；虚拟发布会可以让真人、数字角色与生成背景共用一个实时画面。对于已有语音系统的团队，S2 的组件版还能只负责数字角色渲染，把对话模型、语音识别和语音合成留在自己的技术栈里。\n\n![](https:\u002F\u002Foss.jeekmind.com\u002Fcarimg\u002F09b5fa\u002F2026-09\u002F23\u002Fba5302334aabd34c.png#w=160)\n\n\n图：Vidu 官方用例中，数字人根据参考图拿起香水并进行介绍。\n\n## 五、模型边界\n\n实时生成最容易被演示效果掩盖的，是细节稳定性。包装小字、Logo、珠宝反光、衣服纹样以及手指和商品接触的位置，都会受到连续重绘影响。720p 说明输出分辨率提升了，并不等于商品信息可以免检。\n\n如果画面用于氛围、角色和场景表达，局部变化通常可以接受；如果画面承担型号、价格、成分、认证或具体 SKU 的展示，仍要保留真实素材并人工核对。空间视频能力也来自论文中的可行性研究，实际部署还涉及双目显示、RTC、算力和设备适配。\n\n## 六、技灵AI\n\nVidu S2解决的是实时角色与实时画面变化。品牌真正开始制作内容时，前面还有产品分析、选题、脚本、商品图和常规视频素材。\n\n[技灵 AI 营销助手](https:\u002F\u002Fwww.jeekmind.com\u002F)是一站式 AI 电商内容生产平台。产品营销报告和市场洞察用于梳理卖点、受众与市场信息，智能策划可以继续生成脚本、分镜和投放版本。图片侧支持 Mimage、Seedream 5.0，并提供商品主图、详情长图、换背景和换模特；视频侧覆盖 Wan 3.0、Seedance 2.5、Seedance 2.0 满血版、Seedance 2.0 Fast、MiniMax H3 等模型，还包括视频解析、混剪和高清处理。\n![](https:\u002F\u002Foss.jeekmind.com\u002Fcarimg\u002F09b5fa\u002F2026-09\u002F23\u002Ff200d0a2523500d1.png#w=160)\n\n\n技灵 AI 当前产品介绍没有把 Vidu S2 列入平台模型，S2 的实时交互与流式编辑需以 Vidu 官方服务为准。两者位于内容生产链的不同环节：技灵 AI 负责把产品信息变成脚本、图片和视频素材，实时数字人与直播画面则交给相应的实时模型或业务系统。\n\n## FAQ\n\n### 1、平台支持哪些素材格式？\n\n目前支持以下素材格式：\n\n| 素材类型 | 支持格式                                         |\n| -------- | ------------------------------------------------ |\n| 图片     | jpeg、jpg、png、webp、bmp、tiff、gif、heic、heif |\n| 视频     | mp4、mov                                         |\n| 音频     | wav、mp3                                         |\n\n如果素材无法上传，建议先确认文件格式是否在支持范围内。\n\n### 2、为什么生成后动作、产品或细节变了？\n\n常见原因包括参考素材太短、动作过快或模糊、画面主体不清楚，以及提示词没有说明要保留的动作和产品细节。可以换用更完整的参考素材、简化背景，并把复杂动作拆成多个镜头处理。\n\n### 3、如何提升动作复刻和人物一致性？\n\n让参考图尽量接近视频首帧，减少频繁切镜和人物形象变化，并选择动作清晰、画面稳定的素材。动作复杂或变化很快时，可以拆成多个短分镜分别生成。","https:\u002F\u002Foss.jeekmind.com\u002Fcarimg\u002F09b5fa\u002F2026-09\u002F23\u002F4f42b5b00ca7eb4d.png","2026-09-28 18:26:58",1793010053833]