阿里 Wan2.1 本地部署教程 – 8G 显存可文生视频 01. 项目简介02. 项目实测03. 挖一挖

阿里 Wan2.1 本地部署教程 – 8G 显存可文生视频 01. 项目简介02. 项目实测03. 挖一挖

今天发点适合本地做 AI 视频的东西。

说实话,现在的 AI 视频生成技术已经算成熟了,只有一个缺点:贵,收费基本都按秒,而且很难保证一条过,钱包真的顶不住啊。

今天这个 GitHub 的阿里 Wan2.1 项目就很精妙,最低8G的显存就能本地跑,相信现在大部分电脑都能符合。

 

01. 项目简介

 

Wan2.1 是阿里通义团队开源的一整套视频生成基础模型。

项目地址:https://github.com/Wan-Video/Wan2.1

Wan2.1 不只包含文生视频,还覆盖图生视频、首尾帧补间、视频编辑、参考主体生成和文生图等任务。

虽然现在出了 Wan2.2,但 Wan2.1 在低显存玩法上比较完整,尤其适合本地实验和二次开发。

很多视频生成项目只放出单一模型,比如只做文生视频,或者只做图生视频。Wan2.1 更像一组视频模型工具箱,不同模型负责不同任务。

  • 文生视频可以从 Wan2.1-T2V-1.3B 开始,主打 480P,适合本地测试和低显存设备;
  • 如果更好的画面细节和运动表现,选择 Wan2.1-T2V-14B,支持 480P 和 720P。
  • 图生视频对应 Wan2.1-I2V-14B,官方分别提供 480P 和 720P 版本。
  • 控制视频的开始和结束画面,可以使用 Wan2.1-FLF2V-14B-720P。
  • Wan2.1-VACE-1.3B 偏向视频创作和编辑,面向 480P 场景,门槛更低
  • Wan2.1-VACE-14B 支持 480P 和 720P,适合做参考主体生成、局部修改、视频换主体和更复杂的视频编辑。

官方提供了 Hugging Face、ModelScope、Diffusers、ComfyUI 和 Gradio 等接入方式。

我这次选择的就是 Wan2.1-T2V-1.3B ,8G显存就能跑。在 RTX 4090 上生成约 5 秒 480P 视频,官方参考时间约 4 分钟。1.3B 也能尝试 720P,但官方说明 720P 稳定性不如 480P。

用户输入提示词后,Wan2.1 先用 T5 编码器把文字变成语义向量。语义向量会描述画面内容、主体动作、场景、镜头运动、画面风格、光线和色彩。

后续每个 Transformer Block 会通过 Cross-Attention,也就是交叉注意力,把文字语义注入视频生成过程。Wan2.1 支持多语言输入,官方尤其强调中文和英文提示词能力。

Wan2.1 还支持提示词扩写。比如你写:

一只猫在厨房做蛋糕。

扩写模型可以补充猫的外观、厨房环境、制作动作、镜头距离、光照、风格和动作顺序。

但实际写提示词时,推荐的结构是:

主体 + 动作 + 场景 + 镜头 + 光线 + 风格 + 运动节奏。

比如:

一名穿黄色雨衣的女孩站在雨夜街头,缓缓转头看向镜头,远处车辆驶过,霓虹灯倒映在积水中。镜头从中景缓慢向前推进,浅景深,写实电影风格,冷蓝色调。

Wan2.1 采用 Diffusion Transformer,生成过程可以粗略理解为:

  • 创建一段随机噪声。
  • 模型根据提示词判断噪声里应该出现什么。
  • 多次迭代去噪。
  • 逐步形成主体、背景和动作。
  • VAE 把潜变量解码成视频。

 

02. 项目实测

 

运行 Wan2.1 前,需要先准备对应的 Python 环境。官方依赖主要包括:

  • PyTorch ≥ 2.4.0
  • torchvision ≥ 0.19.0
  • Diffusers ≥ 0.31.0
  • Transformers ≥ 4.49.0
  • Accelerate
  • Flash Attention
  • Gradio
  • OpenCV
  • NumPy 1.x

基础安装方式如下,以 Windows PowerShell 为例:

1  Set-Location "想安装 Wan 2.1的文件夹路径"  2  git clone https://github.com/Wan-Video/Wan2.1.git  3  Set-Location .Wan2.1  4    5  python -m venv .venv  6  ..venvScriptspython.exe -m pip install --upgrade pip  7  ..venvScriptspython.exe -m pip install -r requirements.txt

这里的 .venv 是 Wan2.1 项目自己的 Python 虚拟环境,后续安装依赖和运行脚本,都建议使用 .venv 里的 Python,避免污染系统 Python 环境。

然后下载 1.3B 模型:

1  Set-Location "Wan 2.1的文件夹路径"  2  ..venvScriptspython.exe -m pip install "huggingface_hub[cli]"  3    4  ..venvScriptshuggingface-cli.exe download Wan-AI/Wan2.1-T2V-1.3B `  5    --local-dir .Wan2.1-T2V-1.3B

安装完之后进入 Wan2.1 项目目录的 .venv 虚拟环境就可以用了,PowerShell 里按以下格式输入:

Set-Location "Wan 2.1的文件夹路径"  # 进入 Wan2.1 项目目录。后面的模型路径、输出路径、generate.py 都基于这个目录执行。    New-Item -ItemType Directory -Force .outputs  # 创建 outputs 输出文件夹。如果文件夹已经存在,-Force 会让 PowerShell 继续执行,不报错。    ..venvScriptspython.exe generate.py `  # 使用 Wan2.1 项目里的 .venv 虚拟环境 Python,运行 generate.py 生成脚本。末尾的 ` 表示命令还没结束,下一行继续。      --task t2v-1.3B `  # 指定任务类型。t2v 表示文生视频,1.3B 表示使用 13 亿参数版本。      --size 832*480 `  # 设置视频分辨率。这里是宽 832、高 480,也就是 480P 横屏。      --frame_num 65 `  # 设置生成帧数。Wan2.1 通常按 16 FPS 导出,65 帧大约是 4 秒。      --ckpt_dir .Wan2.1-T2V-1.3B `  # 指定模型权重目录,也就是下载好的 Wan2.1-T2V-1.3B 文件夹。      --offload_model True `  # 开启模型卸载,把暂时不用的模型部分放到 CPU 内存里,降低显存压力,但会变慢。      --t5_cpu `  # 让 T5 文本编码器在 CPU 上运行,省显存。T5 负责理解提示词。      --sample_steps 20 `  # 设置采样步数。步数越高通常画面更稳,但耗时更久。20 步比较适合质量和速度平衡。      --sample_shift 8 `  # 控制采样过程的时间分布。1.3B 常用 8 到 12,8 是比较稳的默认选择。      --sample_guide_scale 6 `  # 控制提示词引导强度。数值越高越听提示词,但太高可能让画面变硬或变形。1.3B 用 6 比较稳。      --save_file .outputsmoonlit_train_window.mp4 `  # 指定输出视频文件名和保存位置。这里会保存到 outputs 文件夹里。      --prompt "提示词放这里"  # 视频提示词。描述主体、场景、动作、镜头、光线、风格和运动节奏。这个也要这种格式

我们做第一个 case 的时候先用小一点帧数,慢慢去测试我们机器的上限在哪里。

Wan2.1 默认导出通常是 16 FPS,所以:65 帧 ÷ 16 FPS ≈ 4 秒。

常见参考:33 帧 ≈ 2 秒49 帧 ≈ 3 秒65 帧 ≈ 4 秒81 帧 ≈ 5 秒。

case 1 33 帧,采样步数12

PowerShell 输入:

Set-Location “D:360MoveDataUserswinDesktop蒸馏Wan2.1”

..venvScriptspython.exe generate.py `

–task t2v-1.3B `

–size 832*480 `

–frame_num 33 `

–ckpt_dir .Wan2.1-T2V-1.3B `

–offload_model True `

–t5_cpu `

–sample_steps 12 `

–sample_shift 8 `

–sample_guide_scale 6 `

–save_file .outputsquick_test.mp4 `

–prompt “A small robot walking through a rainy neon street, cinematic lighting.”

可以看到 33 帧,12 步时主体已经可以明确了,机器人形体基本稳定,霓虹街道和湿地反光都出来了。问题是画面比较空,雨感不明显,机器人动作很僵。

case 2 33 帧,采样步数20

PowerShell 输入:

..venvScriptspython.exe generate.py `

–task t2v-1.3B `

–size 832*480 `

–frame_num 33 `

–ckpt_dir .Wan2.1-T2V-1.3B `

–offload_model True `

–t5_cpu `

–sample_steps 20 `

–sample_shift 8 `

–sample_guide_scale 6 `

–save_file .outputsrobot_neon_street.mp4 `

–prompt “A small friendly robot walking alone through a rainy neon street at night, wet asphalt reflecting red and blue signs, soft steam rising from street vents, cinematic cyberpunk atmosphere, low-angle tracking shot, slow camera movement, detailed metal body, glowing eyes, realistic rain, volumetric lighting, shallow depth of field, high detail, smooth motion, 35mm film look”

比之前的画面明显更好了。红蓝霓虹、湿路面、夜景氛围都更稳,机器人居中,主体识别度很好。但 2 秒太短,动作幅度不够,机器人更像站在街上轻微移动,不太像“walking through”。

case 3 49 帧,采样步数 20

PowerShell 输入:

Set-Location “D:360MoveDataUserswinDesktop蒸馏Wan2.1”

 

..venvScriptspython.exe generate.py `

–task t2v-1.3B `

–size 832*480 `

–frame_num 49 `

–ckpt_dir .Wan2.1-T2V-1.3B `

–offload_model True `

–t5_cpu `

–sample_steps 20 `

–sample_shift 8 `

–sample_guide_scale 6 `

–save_file .outputsrobot_neon_street_v2.mp4 `

–prompt “A cinematic 3-second video of a small friendly robot walking alone through a rain-soaked neon street at night. The robot has a compact metal body, round glowing eyes, and subtle reflections on its wet surface. Red, blue, and purple neon signs reflect on the asphalt. Light rain falls through the frame, steam rises from street vents, and distant shop lights glow softly in the background. Low-angle tracking shot, slow forward camera movement, realistic rain, volumetric lighting, shallow depth of field, smooth walking motion, detailed cyberpunk street, moody atmosphere, 35mm film look, high detail.”

这版空间感已经出来了。雾气、地面反光、远处店铺灯光都更完整,机器人和环境融合得也更自然。3.06 秒比前两个运动起来更舒服一些,画面更像一个完整镜头。

case 4 65 帧,采样步数 20

PowerShell 输入:

Set-Location “D:360MoveDataUserswinDesktop蒸馏Wan2.1”

 

..venvScriptspython.exe generate.py `

–task t2v-1.3B `

–size 832*480 `

–frame_num 65 `

–ckpt_dir .Wan2.1-T2V-1.3B `

–offload_model True `

–t5_cpu `

–sample_steps 20 `

–sample_shift 8 `

–sample_guide_scale 6 `

–save_file .outputsmoonlit_train_window.mp4 `

–prompt “A cinematic 4-second video seen from inside an old night train. A young traveler sits beside a rain-covered window, watching a quiet countryside pass by under moonlight. Reflections of warm carriage lamps shimmer on the glass. Outside the window, distant trees, small houses, and silver mist slide slowly across the frame. The camera begins with a close-up of raindrops on the window, then gently shifts focus to the traveler’s calm face and the moving landscape beyond. Soft film grain, realistic rain, warm interior light, cool blue moonlight outside, slow emotional camera movement, shallow depth of field, natural motion, detailed train cabin, quiet poetic atmosphere, 35mm film look, high detail.”

这条时间长了,叙事感也好起来了。车厢内暖光、窗外冷蓝色、雨滴和旅人侧脸都很到位,人物没有明显变形,整体很稳定。但是跑了很久,说明我机器的上限基本就在这了。

 

03. 挖一挖

 

AI 视频已经不是单纯的尝鲜工具。

Goldman Sachs 预测,创作者经济规模可能从约 2500 亿美元增长到 2027 年的 4800 亿美元。视频内容需求在涨,但对创作者来说,最大的压力还是成本、试错次数和生产速度。

Wan2.1 不能替代专业视频团队,也不能保证每条一次成片,但 Wan2.1-T2V-1.3B 把文生视频这件事从按秒付费的平台,拉回到本地显卡可以反复测试的工作流里。提示词可以慢慢改,参数可以自己调,失败成本也低很多。

Grand View Research 预计,全球 AI 视频生成市场会从 2025 年的 7.885 亿美元增长到 2033 年的 34.416 亿美元,年复合增长率约 20.3%。

Wan2.1 适合放在真实生产链路的前段:先用低成本生成样片、验证镜头、测试提示词和风格,再决定哪些片段值得精修、剪辑、补帧或交给更贵的商业模型处理。

Wan2.1把过去昂贵、低频、靠预算堆出来的视频试错,变成普通电脑也能参与的日常生产流程。

原文链接:GitHub 狂揽 16K Stars, 8G 显存就能本地文生视频

购物车
滚动至顶部