Cobra：突破性技术让漫画上色更快更精准——清华大学和腾讯ARC实验室联手打造超长情境参考框架

这项由清华大学的庄俊豪、袁春，香港中文大学的李凌根、居璇，以及腾讯ARC实验室的张朝阳、单颖共同开展的研究，于2025年4月发表在ACM Transactions on Graphics（计算机图形学顶级期刊）上。研究团队还贴心地设立了项目页面：https://zhuang2002.github.io/Cobra/，供感兴趣的读者获取代码和模型。

一、漫画上色的困境与突破

想象一下，你正在观看一部黑白漫画。虽然故事情节精彩，但如果能有鲜艳的色彩，体验肯定会更加丰富。漫画产业正面临这样的挑战：如何高效、准确地为线稿上色，同时确保色彩的一致性和精确控制？

传统的漫画上色是一个费时费力的过程。想象一下，一位艺术家需要记住每个角色的服装、头发、眼睛的颜色，并在数十页甚至上百页的漫画中保持一致。更复杂的是，一个漫画页面通常包含多个角色、物体和背景，使得上色过程变得异常复杂。

虽然近年来人工智能在图像生成领域取得了长足进步，特别是扩散模型（想象它们像是数字艺术家，能够逐步将模糊的草图转变为清晰的图像），但在线稿上色方面仍面临三大挑战：

首先是参考图像的限制。就像厨师需要菜谱一样，AI上色系统需要参考图像来了解应该使用什么颜色。现有技术通常只能处理少量参考图像（想象只能看一两页食谱），而不是整本漫画的所有角色和场景。

其次是推理速度慢。传统方法就像手工雕刻一样精细但耗时，无法满足快速生产的需求。

最后是灵活控制不足。艺术家往往需要对特定区域的颜色进行精确控制，就像厨师需要调整调料一样，但现有技术难以支持这种细粒度的调整。

针对这些挑战，研究团队提出了Cobra（Colorization with BRoAder References的缩写）。想象Cobra就像是一位拥有超强记忆力的数字助手，它可以记住200多张参考图像中的所有色彩信息，快速高效地为新的线稿着色，同时还能根据艺术家的提示调整特定区域的颜色。

二、Cobra如何工作？思考像拼图一样的上色过程

要理解Cobra的工作原理，我们可以把整个上色过程想象成一个复杂的拼图游戏。在这个游戏中，我们有一大堆已经上色的图片（参考图像池），还有一张待完成的黑白线稿。我们的任务是从参考图像中找到正确的颜色，并准确地填充到线稿的合适位置。

Cobra的核心创新在于它能够同时查看和记忆大量参考图像，就像一个拥有超强记忆力的助手，能够在翻阅了整本相册后，记住每个人穿的是什么颜色的衣服，有什么发色，以及每个场景的色调。

具体来说，Cobra通过四个关键创新解决了传统方法的限制：

首先是"多身份一致性"。想象你在一个派对上，需要记住每个人的穿着特征。Cobra采用了一种巧妙的方法，它将参考图像和待上色的线稿并排放置，然后使用一种叫做"注意力机制"的技术（就像我们的眼睛会自动关注重要细节一样）来确保色彩信息的一致性传递。

其次是"高效注意力设计"。传统的方法就像是让每张参考图像都相互交流，这会产生大量不必要的"闲聊"。Cobra采用了"因果稀疏注意力"机制，它让每张参考图像只与需要上色的线稿交流，避免了参考图像之间的冗余互动。这就像是在一个大型会议上，每个专家只需与主持人交流，而不是所有专家都互相交谈，大大提高了效率。

第三是"灵活位置编码"。想象你在排列一本相册，传统方法要求照片必须按特定格式排列，而Cobra的"局部可重用位置编码"允许照片按任意方式组织，不受固定格式的限制。这使得系统可以处理任意数量的参考图像，远超传统方法的限制。

最后是"颜色提示集成"。就像烹饪时可以根据个人口味调整调料一样，Cobra允许艺术家通过颜色提示点（想象成在线稿上标记的特定颜色点）精确控制特定区域的颜色。

这些创新共同作用，使Cobra成为一个既高效又灵活的线稿上色系统。

三、关键技术：让机器"记忆"并高效处理大量参考图像

如果你曾经玩过记忆配对游戏，你就会明白处理大量信息的挑战。Cobra的技术核心就是解决这个挑战——如何有效记忆并利用大量参考图像中的色彩信息。

因果稀疏DiT架构：高效处理参考信息的秘密武器

传统的注意力机制就像是一场大型聚会，每个人都要与在场的所有人交谈，这种方式在参考图像数量较多时效率极低。Cobra采用的"因果稀疏DiT"架构则更像是一场有序的研讨会。

想象一下，在这个研讨会中，每位参考图像专家只需向主讲人（待上色的线稿）传递信息，而无需与其他专家交流。这样，随着专家数量的增加，额外的沟通成本几乎可以忽略不计。不仅如此，Cobra还引入了"键值缓存"技术，就像每位专家都有一本随身笔记，记录了自己的专业知识，可以随时查阅，不必反复准备同样的材料。

通过这些优化，当处理200多张参考图像时，Cobra的计算复杂度从原来的平方级别（想象成本随参考图像数量的平方增长）降低到了线性级别（成本只随参考图像数量呈简单倍数增长）。这就像是将一条拥堵的单行道扩展为多车道高速公路，大大提升了信息流通的效率。

局部可重用位置编码：突破图像排列的限制

在传统方法中，参考图像的排列方式非常受限，就像是只能使用特定尺寸和形状的相册。这限制了可以同时使用的参考图像数量，也影响了图像间的关联性。

Cobra的"局部可重用位置编码"技术打破了这一限制。想象你有一个模块化的照片墙，可以自由组合各种大小和形状的照片。具体来说，Cobra将线稿图像划分为四个空间块（左上、左下、右上和右下），并为每个块检索最相似的参考图像。然后，它重复使用这些局部位置编码，使系统能够处理任意数量的参考图像，同时保持它们与中心区域（待上色线稿）的空间近似性。

这种设计使Cobra能够突破传统方法的限制，轻松处理200多张参考图像，而不会因为极端的长宽比或超大分辨率而导致生成结果不连贯。

线稿引导器：精确控制上色过程

Cobra还包含一个专门的"线稿引导器"组件，它就像是一位经验丰富的艺术指导，确保上色过程严格遵循线稿的结构和提供的色彩提示。

为了提高线稿引导器的适应性，研究团队采用了线稿风格增强技术。就像一个人需要适应不同的书写风格一样，Cobra通过混合不同风格的线稿提取器输出，增强了系统对各种线稿风格的适应能力。

此外，为了避免在训练过程中出现歧义（比如颜色提示点落在边缘交叉处导致的混淆），研究团队还提出了一种简单有效的提示点采样策略。通过限制提示点内RGB像素值的方差不超过0.01，有效避免了在边缘处采样提示点，提高了系统的稳定性和准确性。

这些技术细节共同构成了Cobra的技术基础，使其能够高效、准确地完成线稿上色任务。

四、出色的表现：速度与质量的双赢

那么，Cobra的实际表现如何呢？为了全面评估，研究团队建立了Cobra-bench，这是一个包含30个漫画章节的基准测试集，每个章节包含100张参考图像和50张待上色的线稿页面。

与现有方法的比较：质量与速度的显著提升

研究团队将Cobra与几种主流上色方法进行了比较：ColorFlow（一种基于扩散的上色模型，利用参考图像）、MangaColorization v2（一种基于GAN的不使用参考的模型）以及结合IP-Adapter和ControlNet的方法。

从视觉质量上看，结果令人印象深刻。IP-Adapter方法在线稿上色方面表现较差，往往会混淆角色的颜色特征。虽然MC-v2能够为漫画上色，但由于缺乏参考信息，经常在角色着色上出现不准确的情况，并且颜色饱和度过高。ColorFlow通常能提供准确的上色，但由于参考图像数量有限，常常会遗漏一些关键的颜色信息，导致某些物体或角色的颜色错误。

相比之下，Cobra通过参考更丰富的上下文图像，能够稳健地提取全面的颜色信息，产生更精细、更高质量的漫画线稿上色结果。就像一位拥有整本参考资料的画家，而不是只能记住有限几页的助手。

量化评估结果也证实了这一点。Cobra在各项评估指标上均优于现有方法，包括CLIP图像相似度、Fréchet Inception距离、美学评分、峰值信噪比和结构相似性指数。尤其是在有阴影的线稿上色任务中，Cobra的优势更为明显。

更令人惊喜的是，Cobra不仅质量更高，速度也更快。与ColorFlow相比，在使用12张参考图像进行640×1024分辨率的上色时，Cobra不仅在所有评估指标上表现更好，而且推理时间从1.03秒减少到0.31秒，内存占用从36.4GB降低到9.3GB。这种效率提升就像是将一辆老旧卡车升级为高速跑车，不仅速度更快，还更省油。

参考图像数量的影响：更多参考带来更好效果

研究团队还特别研究了参考图像数量对上色质量的影响。结果表明，随着参考图像数量的增加，上色准确性持续提高，尤其在保留小但重要的细节（如角色配饰和眼睛颜色）方面表现更好。这些细节虽然占据面积小，但对高要求的应用至关重要。

具体来说，当参考图像数量从4增加到36时，Cobra在所有评估指标上都显示出稳定的改善。这证明了拥有更多的参考上下文信息对于优化漫画线稿上色至关重要。

因果稀疏注意力的效果：计算效率的大幅提升

研究团队还评估了三种注意力机制（全注意力、稀疏注意力和因果稀疏注意力）在固定设置下的表现。结果表明，因果稀疏注意力在保持相似上色质量的同时，推理效率显著高于另外两种方法。

为了评估可扩展性，研究团队进一步测量了不同数量参考图像（4、16、32、64和128）下的推理延迟。全注意力机制的推理时间呈二次增长，在64张参考图像时比因果稀疏注意力慢约15倍。因果稀疏注意力也始终优于稀疏注意力，在64张参考图像时仅需后者约三分之一的延迟。

这些结果证明了因果稀疏注意力的显著效率，使其成为实际线稿上色应用的更理想选择。

五、用户友好的设计：颜色提示让创作更灵活

除了高效处理大量参考图像外，Cobra还支持用户通过颜色提示点进行交互式上色。想象一下，当一大组参考图像还不能完全满足用户需求时，Cobra允许用户通过在特定区域添加颜色提示来增强上色效果。

如实验展示，当用户指定一个颜色提示时，Cobra会准确地调整该区域的颜色，展示对用户输入的保真度，同时为实际应用提供精确控制。重要的是，模型在不受提示影响的区域保持稳定性和一致性。

研究团队还进行了用户研究，对Cobra和ColorFlow在三个维度进行了比较分析：上下文颜色ID一致性、物体颜色的合理性和整体美学质量。收集了超过4,000个有效投票，结果显示用户在所有评估方面都明显偏好Cobra，给出了稳健的证据证明其在漫画上色方面的卓越表现。

六、局限性与未来方向

尽管Cobra在处理同一角色的细微风格变化方面表现出色，但它仍存在一定的局限性。如实验所示，当引用不同角色的参考图像时，Cobra无法很好地进行泛化。这是因为该模型专门设计用于在同一角色间传递一致的颜色标识，限制了其在不同身份间进行风格迁移的能力。

这一局限可以理解为Cobra的特定设计选择——它优先考虑颜色一致性和精确性，而不是风格泛化。对于未来的研究，可能的方向包括扩展模型以支持更广泛的风格迁移，同时保持其高效处理大量参考图像的能力。

七、结语：为漫画产业带来的变革

Cobra代表了漫画线稿上色技术的重大进步。通过创新的因果稀疏DiT架构、局部可重用位置编码和线稿引导器等组件，它实现了高精度、高效率和灵活可用性的有机结合。

对于漫画产业来说，Cobra带来的不仅是技术上的提升，更是工作流程的变革。艺术家可以利用大量上下文参考实现准确的上色，同时享受更快的处理速度和更灵活的控制选项。这不仅能提高生产效率，还能提升成品质量，为读者带来更丰富的视觉体验。

随着像Cobra这样的技术不断发展，我们可以期待看到更多精美的彩色漫画作品，为全球漫画爱好者带来更加丰富多彩的阅读体验。对于想深入了解这项技术的读者，可以访问研究团队的项目页面（https://zhuang2002.github.io/Cobra/）获取更多信息、代码和模型。

这项研究不仅代表了人工智能在创意领域的又一次成功应用，也展示了如何通过技术创新解决实际产业中的复杂问题，为艺术创作提供强大的辅助工具。