Vidu S2 是什么？实时数字人、视频编辑与空间视频能力详解

Vidu 在 2026 年 9 月公布了 S2，并把产品分成两部分：负责实时数字人交互的 Vidu S2-Avatar，以及负责实时修改输入视频的 Vidu S2-Editing。两者都在生成视频，但输入、用途和交互方式完全不同。

图：Vidu S2 官方页面将模型分为 S2-Avatar 与 S2-Editing 两条产品线。

一、S2-Avatar：让生成角色进入实时对话

S2-Avatar 是实时交互数字人模型。用户提供角色图像和设定后，模型接收语音或视频流，持续输出带声音与动作的数字角色画面。

与上一代 Vidu S1 相比，S2-Avatar 的实时输出从 540p 提升到 720p，并加强了指令跟随。官方演示不只包含说话和表情，也包括舞蹈等幅度更大的身体动作。这一点很重要：数字人如果只能保持半身构图并轻微摆动，应用范围基本停留在播报；身体动作变得可控后，角色才有机会进入教学、陪伴、游戏和直播互动。

S2-Avatar 还支持动态参考图。直播进行时可以重新提供物品、服装或背景图片，让角色拿起指定商品、换上参考服装，或进入新的场景。参考信息不必在开播前一次性固定，角色的外观和行为可以跟着对话变化。

在线模式之外，S2 也保留异步数字人生成。用户可以用一张角色图和音频或文本生成带口型与动作的视频文件。这类离线模式适合课程讲解、营销口播和批量内容，实时模式则更适合需要回应用户的场景。

图：Vidu 官方展示 S2-Avatar 的实时语音互动、复杂动作、参考物品互动、换装与背景切换。

二、S2-Editing：直接修改正在播放的视频流

S2-Editing 不负责创造一个独立数字人。它接收摄像头、视频或图片输入，在画面继续播放的同时完成编辑，并实时输出处理后的结果。

目前公开的能力集中在四类：

• 风格渲染：用参考图改变整段视频的视觉风格。
• 虚拟试穿：把参考服装迁移到画面中的人物身上。
• 人物替换：用参考角色替换原视频主体，同时保留原有动作。
• 背景替换：重新生成主体周围的环境。

传统视频编辑通常要先拿到完整素材，再逐帧处理。S2-Editing 面向的是流式画面：输入没有结束，模型已经开始输出；直播过程中还可以更换参考图或场景，不必重新开启视频流。

技术报告中的案例显示，模型会尽量保留原视频的姿态、交互关系和时间连续性。例如虚拟试穿要处理手臂遮挡衣服的问题，人物替换要保留拉扯衣服等原动作，风格迁移则要让人物和背景同时进入同一种视觉语言。这些都比处理单帧图片更难，因为前后画面稍有不一致，就会出现闪烁、漂移或局部变形。

图：Vidu S2-Editing 官方展示风格渲染、人物替换、背景替换和虚拟试穿。

三、实时视频为什么比生成短片更难

短片生成允许模型先完成计算，再把结果交给用户。实时模型必须一边接收新信息，一边保持人物身份、动作和画面风格，还要在很短时间内返回下一段画面。

这种流式生成容易累积误差。前一段里的脸形、手指或服装纹理如果发生偏移，后一段继续以错误画面为条件，问题会越来越明显。Vidu S2 技术报告介绍了用于减轻长时漂移的训练方法，并通过注意力优化、低比特计算、算子融合和多 GPU 并行压缩推理开销。对普通用户来说，结果就是两件事：画面要跟得上交互，人物也要尽量避免越播越不像。

论文还公布了空间视频方向的实验。S2-Avatar 生成的视频流可以转换成同步的左右眼画面；S2-Editing 既能先编辑普通单目视频再转为空间视频，也能联合编辑已有的双目输入。这部分目前更适合看作 VR 和头显应用的技术探索，而不是已经普及的内容生产功能。

四、Vidu S2 适合哪些应用

最直接的应用是实时数字人。电商导购可以根据用户提问介绍商品，在线教育中的虚拟教师可以边讲边回应，游戏 NPC 和陪伴角色也能用语音驱动动作与表情。Vidu 官方模型图还把社交陪伴、电商导购、在线教育和游戏角色列为实时版的典型方向。

S2-Editing 更接近直播视觉层。品牌直播可以随活动节点切换场景和主播造型；服装内容可以在人物运动中预览不同款式；虚拟发布会可以让真人、数字角色与生成背景共用一个实时画面。对于已有语音系统的团队，S2 的组件版还能只负责数字角色渲染，把对话模型、语音识别和语音合成留在自己的技术栈里。

图：Vidu 官方用例中，数字人根据参考图拿起香水并进行介绍。

五、模型边界

实时生成最容易被演示效果掩盖的，是细节稳定性。包装小字、Logo、珠宝反光、衣服纹样以及手指和商品接触的位置，都会受到连续重绘影响。720p 说明输出分辨率提升了，并不等于商品信息可以免检。

如果画面用于氛围、角色和场景表达，局部变化通常可以接受；如果画面承担型号、价格、成分、认证或具体 SKU 的展示，仍要保留真实素材并人工核对。空间视频能力也来自论文中的可行性研究，实际部署还涉及双目显示、RTC、算力和设备适配。

六、技灵AI

Vidu S2解决的是实时角色与实时画面变化。品牌真正开始制作内容时，前面还有产品分析、选题、脚本、商品图和常规视频素材。

技灵 AI 营销助手是一站式 AI 电商内容生产平台。产品营销报告和市场洞察用于梳理卖点、受众与市场信息，智能策划可以继续生成脚本、分镜和投放版本。图片侧支持 Mimage、Seedream 5.0，并提供商品主图、详情长图、换背景和换模特；视频侧覆盖 Wan 3.0、Seedance 2.5、Seedance 2.0 满血版、Seedance 2.0 Fast、MiniMax H3 等模型，还包括视频解析、混剪和高清处理。

技灵 AI 当前产品介绍没有把 Vidu S2 列入平台模型，S2 的实时交互与流式编辑需以 Vidu 官方服务为准。两者位于内容生产链的不同环节：技灵 AI 负责把产品信息变成脚本、图片和视频素材，实时数字人与直播画面则交给相应的实时模型或业务系统。

FAQ

1、平台支持哪些素材格式？

目前支持以下素材格式：

素材类型	支持格式
图片	jpeg、jpg、png、webp、bmp、tiff、gif、heic、heif
视频	mp4、mov
音频	wav、mp3

如果素材无法上传，建议先确认文件格式是否在支持范围内。

2、为什么生成后动作、产品或细节变了？

常见原因包括参考素材太短、动作过快或模糊、画面主体不清楚，以及提示词没有说明要保留的动作和产品细节。可以换用更完整的参考素材、简化背景，并把复杂动作拆成多个镜头处理。

3、如何提升动作复刻和人物一致性？

让参考图尽量接近视频首帧，减少频繁切镜和人物形象变化，并选择动作清晰、画面稳定的素材。动作复杂或变化很快时，可以拆成多个短分镜分别生成。