ReCamMaster 通过单个视频重新捕捉场景，生成具有全新相机运动轨迹的视频

ReCamMaster 通过单视频生成摄像机控制的生成渲染，可重新捕捉具有新颖相机轨迹的视频，允许用户通过单个视频重新捕捉场景，生成具有全新相机运动轨迹的视频。给 ReCamMaster 一段视频，ReCamMaster 可以生成一段看起来像是用不同运镜方式重新拍摄的视频。

ReCamMaster 由浙江大学、快手科技、香港中文大学和华中科技大学的研究人员共同完成。

ReCamMaster发布了一个使用虚幻引擎5渲染的多相机同步视频数据集，可用于相机控制视频生成、同步视频制作以及3D/4D重建等领域。

相机轨迹：ReCamMaster 提供了多种基本的相机轨迹，包括平移、倾斜、缩放和弧形运动等。

多相机同步视频数据集：该数据集包含13.6K个不同的动态场景，每个场景由10台相机拍摄，总共有136K个视频。

如何使用 ReCamMaster

使用自己的视频

用户可以通过上传自己的视频来体验 ReCamMaster 的效果，项目团队会处理用户上传的视频，将生成的视频发送给用户。

基本相机轨迹

ReCamMaster 提供了10种基本的相机轨迹：

1、向右平移

2、向左平移

3、向上倾斜

4、向下倾斜

5、缩放

6、放大

7、向上移动（带旋转）

8、向下移动（带旋转）

9、左弧带旋转）

10、右弧线（带旋转）

代码和训练

项目代码可以在 GitHub 上找到，用户可以使用预训练的模型进行推理，也可以根据需要训练自己的模型。

推理步骤

1、设置环境：安装必要的依赖项。

2、下载预训练模型：下载 Wan2.1 模型。

3、测试示例视频：运行示例视频进行测试。

4、测试自己的视频：准备测试数据并运行推理脚本。

训练步骤

1、设置环境：安装必要的库。

2、准备训练数据集：提取 VAE 特征并生成视频字幕。

3、训练模型：运行训练脚本。

4、测试模型：使用训练好的模型进行推理。

MultiCamVideo 数据集

MultiCamVideo 数据集是一个使用虚幻引擎5渲染的多相机同步视频数据集，包含13.6K个不同的动态场景，每个场景由10台相机拍摄，总共有136K个视频，每个场景由四个元素组成：3D环境、角色、动画和相机。

数据集统计

态场景数量：13.6K

• 每个场景的相机数量：10

• 总视频数量：136K

• 视频配置：分辨率1280x1280，帧数81，FPS 15

相机配置

• 焦距：18mm、24mm、35mm、50mm

• 光圈：10.0、5.0、2.4

• 传感器高度和宽度：23.76mm x 23.76mm