前言
腾讯混元视频:v2v视频驱动,影视级画质与导演级运镜,
HunyuanVideo简介
在之前文章中已经介绍过腾讯最新开源的当前最大参数的文生视频模型:HunyuanVideo。这是一款全新的开源视频生成具有130 亿参数大模型,具有与领先的闭源模型相媲美甚至更优的视频生成表现。采用了一个全面的框架,集成了数据整理、图像-视频联合模型训练和高效的基础设施以支持大规模模型训练和推理。详情参见:[[ComfyUI]腾讯混元视频:虚实完美融合创意无极限!130亿大杯&影视级画质&导演级运镜&原生切镜&遵循物理运动&连续动作]
在之前的文章中介绍了由社区kija大佬的ComfyUI-HunyuanVideoWrapper插件体验。当时还在开发中进支持 文生视频。如今kija大佬又升级了插件,支持了 视频到视频(Vid2vid) 的能力。本文这是视频到视频(Vid2vid) 续篇体验内容。
-
• github:https://github.com/Tencent/HunyuanVideo
-
• huggingface:https://huggingface.co/tencent/HunyuanVideo
-
• 项目主页:https://aivideo.hunyuan.tencent.com/
所有的AI设计工具,安装包、模型和插件,都已经整理好了,👇获取~
HunyuanVideo ComfyUI体验
当前社区 @kijai大佬已发布最新的ComfyUI-HunyuanVideoWrapper ComfyUI插件支持。更多安装详情参考文章:[[ComfyUI]腾讯混元视频:虚实完美融合创意无极限!130亿大杯&影视级画质&导演级运镜&原生切镜&遵循物理运动&连续动作]
-
• ComfyUI-HunyuanVideoWrapper:需要通过管理器Git安装,地址:https://github.com/kijai/ComfyUI-HunyuanVideoWrappe
-
• 混元视频模型:模型文件已更新,新下载地址为:
-
• 注意:原生的HunyuanVideo需要至少45G的显存运行,因此本文选择fp8的量化版本。尽管如此如此,显存的使用完全取决于分辨率和帧数,即使在24GB的GPU上也没法处理很高的分辨率和帧数。但幸好,HunyuanVideo在即使较低的分辨率下,模型也能生成功能正常的视频。
Flux文生图工作流
Flux文生图感兴趣的同学可参考LIBLIB在线运行工作流:[FLUX[续篇]:12B参数23G最大开源文生图模型,Dev版直出惊艳美图欣赏]
本文涉及ComfyUI工作流和模型均可在LIBLIBAI上下载或在线运行体验:
HunyuanVideo-V2V工作流
• attention model:默认选项为flash_attn(window首选)或sgeattn(速度最快,但安装最难),spda 当前也工作流。
• 根据输入视频节点帧数读取上限调节视频总帧数。
• 可以根据图像连接方向选择视频合成位置,如下所示:
![]() |
01.奔跑
high quality nature video of a excited brown bear running down a stream, masterpiece, best quality
02. 轮船
高质量的自然视频,一艘轮船在海上疾驰而过,杰作,最好的质量
03.真人转绘
通常人物速度比较快速,这里采用剪影基础延长放慢帧速和配音结合实现。
High quality, high quality nature video, masterpiece,Japanese 3D anime style, 1 3D animated woman, wearing white tracksuit, gym treadmill rhythm running
04.真人健身
通常人物速度比较快速,这里采用剪影基础延长放慢帧速和配音结合实现。
高品质,高品质的自然视频,杰作,1个女人穿着白色的运动服,健身房跑步机节奏跑步
05.真人舞蹈
通常人物舞蹈速度比较快速,这里采用剪影基础延长放慢帧速和配音结合实现。
高质量,高质量的自然视频,杰作,1个中国女人身穿红色长裙,跳舞
为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。
由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取
一、ComfyUI配置指南
- 报错指南
- 环境配置
- 脚本更新
- 后记
- …
二、ComfyUI基础入门
- 软件安装篇
- 插件安装篇
- …
三、 ComfyUI工作流节点/底层逻辑详解
- ComfyUI 基础概念理解
- Stable diffusion 工作原理
- 工作流底层逻辑
- 必备插件补全
- …
四、ComfyUI节点技巧进阶/多模型串联
- 节点进阶详解
- 提词技巧精通
- 多模型节点串联
- …
五、ComfyUI遮罩修改重绘/Inpenting模块详解
- 图像分辨率
- 姿势
- …
六、ComfyUI超实用SDXL工作流手把手搭建
- Refined模型
- SDXL风格化提示词
- SDXL工作流搭建
- …
由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取