Runway Research | Gen-2: Generate novel videos with text, images or video clips

简介

Runway Research 推出的 Gen-2 是一个多模态人工智能系统，能够根据文本、图像或视频片段生成全新的视频内容。它打破了传统视频制作的物理限制——无需灯光、无需摄影机，仅凭创意即可“拍摄”出动态影像。Gen-2 支持多种生成模式，从纯文本到视频、图像到视频、风格迁移、故事板、蒙版、渲染及定制化等，为电影制作、创意设计、原型验证等场景提供了全新的创作工具。

主要功能

1. Text to Video（文本生成视频）

仅凭一段文字描述，即可合成任意风格的视频。例如：

“无人机俯拍冰川，色调柔和”

2. Text + Image to Video（文本+图像生成视频）

结合一张驱动图像和一段文字提示，生成连贯的视频内容。例如：

“低角度拍摄一名男子走在街上，被周围霓虹灯照亮”

3. Image to Video（图像生成视频，变化模式）

直接使用一张图像作为输入，生成其动态变化后的视频。

4. Stylization（风格迁移）

将任意图像或提示的风格，应用到源视频的每一帧上，实现风格化转绘。

5. Storyboard（故事板）

将简洁的草图或分镜图，转化为完整风格化且带动画的渲染结果。

6. Mask（蒙版）

通过蒙版区域，将草图或分镜图转化为风格化动画渲染。

7. Render（渲染）

将未上色的渲染结果，通过输入图像或提示，生成逼真的输出视频。

8. Customization（定制化）

通过自定义模型，获得更高保真度的结果，充分释放 Gen-1 的潜力。

用户评价与性能

基于用户研究，Gen-1 在图像到图像、视频到视频的转换任务中，表现优于现有方法：

• 73.53% 的用户更偏爱 Gen-1 的结果（相较于 Stable Diffusion 1.5）
• 88.24% 的用户更偏爱 Gen-1 的结果（相较于 Text2Live）

适用场景

• 电影与视频创作：快速生成概念预览、风格化片段、背景合成等，降低实拍成本。
• 广告与营销：根据文案和参考图像，快速生成产品演示视频或创意短片。
• 游戏与动画：将故事板或低多边形渲染快速转化为逼真动画，或进行风格迁移。
• 教育与研究：用于演示多模态 AI 的前沿能力，辅助教学和实验。
• 个人创意表达：普通用户无需专业技术，即可通过文字或图片生成独特的视频作品。

如何体验

Gen-2 已集成在 Runway 平台中，用户可通过官网直接尝试。Runway 还提供 API、企业版和教育版支持，助力更广泛的创意与商业应用。