专门为动画视频线稿上色工具LVCD，可以把黑白线稿自动转化为彩色动画视频

本文介绍了“LVCD：Reference–based Lineart Video Colorization with Diffusion Models”，发表于 ACM Transactions on Graphics & SIGGRAPH Asia 2024。作者包括 Zhitong Huang、Mohan Zhang、Jing Liao，来自香港城市大学和腾讯微信等。该方法提出了首个基于参考的线稿视频上色的视频扩散框架，利用大规模预训练视频扩散模型生成彩色动画视频，比逐帧使用图像生成模型上色效果更好，具有更高的时间一致性且能处理大动作。介绍了 Sketch–guided ControlNet 和 Reference Attention，以及用于长视频上色的顺序采样新方案，包括 Overlapped Blending Module 和 Prev–Reference Attention。通过定性和定量结果表明该方法优于现有技术，能生成高质量、长时间一致且有大动作的动画视频。
重要亮点

• 研究成果发表信息：“LVCD：Reference-based Lineart Video Colorization with Diffusion Models”发表于 ACM Transactions on Graphics & SIGGRAPH Asia 2024，作者来自香港城市大学和腾讯微信等。
• 核心创新方法：提出首个基于参考的线稿视频上色的视频扩散框架，利用大规模预训练视频扩散模型生成彩色动画视频，引入 Sketch-guided ControlNet 和 Reference Attention，以及顺序采样新方案进行长视频上色。
• 与现有技术对比优势：定性和定量结果表明该方法在帧和视频质量以及时间一致性方面显著优于现有技术，能生成高质量、长时间一致且有大动作的动画视频，而这是以前的方法无法实现的。
• 模型架构展示：展示了 sketch-guided ControlNet 和 Reference Attention 的模型架构，所有帧均来自《大鱼海棠》。
• 方法定性比较：与五种方法（ACOF、TCVC、CNet+Refonly、EISAI 和 SEINE）进行定性比较，输入帧来自《大鱼海棠》。

项目地址：

https://luckyhzt.github.io/lvcd