Bunraku：将单幅插画转换为可编辑的 Live2D 角色

📊 论文图表(共 1 张)

展开查看 1 张图

‹ ›

TL;DR

Bunraku 是首个能够从单张插画端到端生成完整 Live2D 角色动画资产的系统。它通过两阶段架构，先用分层扩散模型将图像拆解为有序的 RGBA 图层并补全遮挡区域，再基于 alpha 通道构建三角网格并联合预测所有图层的关键姿态位移场。核心洞察是「联合预测优于独立预测」——让 [[自注意力机制]] 跨越图层边界，使各部件协调为一个有机角色，而非各自合理的碎片。在 50 个未见角色的真实生成测试中，第二阶段达到了 0.768 的逐顶点方向余弦相似度（中位数 0.828）。

研究背景与动机

Live2D 几乎是所有虚拟主播（VTuber）、二次元手机游戏和互动聊天机器人的底层动画技术。它的核心思想很优雅：将角色表示为一叠有序的 RGBA 图层，每层配有独立的三角网格，通过网格顶点的形变来驱动角色的表情和动作。这种基于网格变形的动画方式既能保持二维美术的绘制感，又能在运行时实现流畅自然的运动效果，因此在内容消费侧获得了巨大成功。

然而在生产侧，现状却极为落后。制作一个完整的 Live2D 模型需要专业美术人员进行大量的手工操作：将原始插画分离为数十甚至上百个图层、为每个图层修补被遮挡的区域、逐层放置贴合内容的三角网格、设计关键姿态并手动编辑顶点位移——整个流程往往耗时数周。这种高昂的制作成本直接限制了 Live2D 角色的产量和质量天花板，也催生了巨大的自动化需求。

在此之前，学术界和工业界没有任何生成方法能够端到端地产出完整的 Live2D 结构化资产。已有的图像分层、语义分割或图像修复工作都只能解决其中某个子问题，而无法同时输出有序图层堆叠、内容贴合的网格，以及可驱动角色运动的参数化关键帧偏移量。Bunraku 的切入点是：既然 Live2D 是一种高度结构化的资产格式，生成系统就必须原生理解这种结构，而不是在事后勉强拼凑。

方法

Bunraku 采用两阶段流水线，每个阶段各自解决一个核心子任务，阶段之间通过清晰的数据接口串联。

第一阶段：分层感知扩散。 任务是将一张完整的角色插画分解为有序的 RGBA 图层堆叠。这不是简单的图像分割或透明度提取，而是一个需要在语义层面理解 Live2D 资产组织方式的过程。Live2D 中的图层划分遵循一种「器官级分类体系」——头发、面部、衣服、身体各部分被拆分为不同的层，每层内部可能还嵌套更细的子层。论文将这个分解过程建模为一个分层扩散模型（layered diffusion process），在推理时逐步生成各图层及其对应的 alpha 通道。关键设计在于扩散过程是「Live2D 感知的」——模型被训练来识别器官级语义边界，而非仅依赖低层次的纹理或边缘线索。同时，由于原始插画中大量区域被前景遮挡（如头发遮住耳朵、衣服遮住手臂），模型必须学会「补全」这些隐藏区域的内容，以生成可供 Live2D 运行时消费的完整图层。

第二阶段：网格构建与联合关键帧预测。 输入是第一阶段输出的每个图层的 alpha 通道掩膜，输出是该图层的内容贴合三角网格，以及所有图层在关键姿态下的顶点位移场。

三角网格的构建是确定性的。论文采用一种基于 alpha 通道的几何算法：为 alpha 值为正的像素点构造满足 Delaunay 性质的三角剖分，然后根据 alpha 通道的梯度信息将三角形细分为更小的单元，最终得到一个既贴合前景形状、又保留适度密度的网格拓扑。这个过程不依赖任何学习，完全基于几何计算，因此网格与 alpha 通道严格对应。

关键帧预测是全文最核心的技术贡献。传统做法会独立地为每个图层预测其顶点在各关键姿态下的位移，但这种独立预测的问题在于：各图层之间缺乏协调——头发层和面部层的运动可能互相矛盾，角色的整体表现就会显得割裂。Bunraku 的解决思路是把所有图层的所有顶点看作一个统一的序列：每个顶点（即该顶点在某图层某关键帧下的位移向量）被当做一个 token，[[自注意力机制]] 在这个序列上运作，允许跨越图层边界的信息交互。也就是说，面部表情变化导致的位移信息可以影响头发层顶点的预测，反之亦然。这种联合预测确保了最终生成的是一个协调一致的角色动画。

位移的数学表示也经过了精心设计。每个顶点的二维位移向量被分解为一个有界方向向量（单位圆上的点）和一个对数量级标量：

这种分解的好处是方向和幅度解耦，模型可以分别学习「往哪个方向动」和「动多少幅度」，且对数幅度天然地抑制了极端值。方向被归一化到单位圆上避免了无界预测，幅度通过对数变换约束在 $[L,H]$ 范围内提升了数值稳定性。

一个有趣的实验发现是：增大网络规模 112 倍对最终指标没有任何提升。这说明问题的主要瓶颈不在于模型的容量，而在于联合预测这一结构设计本身的价值。

实验与结果

论文建立了首个 Live2D 领域的标准化基准 Live2D-Bench，并构建了一个包含 8,884 个 Live2D 模型的大规模训练语料库，提供了图层边界和关键帧动画的监督信号。

在 50 个完全未见过的测试角色上，团队评估了第二阶段（网格与关键帧预测）的质量。核心指标是逐顶点方向余弦相似度——衡量预测的位移方向与真实位移方向的接近程度。结果显示，在无教师强迫的真实生成条件下（即第一阶段输出并非完美，存在累积误差），方向余弦达到了 0.768，中位数更是高达 0.828，表明大多数情况下模型能准确预测各顶点的运动方向。

实验还对比了联合预测与独立预测的差异：独立预测的各图层虽然单独看可能合理，但组合在一起时会出现角色层面的不协调，而联合预测的版本在整体一致性上有显著优势。这验证了跨图层 [[自注意力机制]] 的核心价值。

值得注意的是，由于网格是从 alpha 通道直接构建的，第二阶段的工作流天然支持模块化编辑。例如，用户可以用自然语言指令对某个服装图层进行重新纹理化，而该图层的网格和动画参数完全不需要重新计算，可以逐字节复用。这意味着 Bunraku 生成的资产不仅是可运行的动画，更是可编辑的结构化素材。

讨论与可借鉴点

Bunraku 的最重要贡献不仅是技术方案本身，而是首次系统性地定义了「从插画到 Live2D 运行时资产」这一端到端生成任务的完整接口和评价体系。它的两阶段设计揭示了一个深刻的设计哲学：对于高度结构化的多模态输出，盲目追求单一模型的端到端往往事倍功半，而按语义阶段分解、各阶段输出清晰的中间表示，反而更容易获得可用结果。第一阶段的分层扩散和第二阶段的网格生成，各自都是一个定义良好的子问题，可以独立迭代改进。

论文提到的「增大 112 倍网络规模无效」这一观察值得深思。它暗示在当前框架下，模型性能可能受限于表示学习或监督信号的quality，而非纯粹的容量。这为后续研究指出了一个方向：如何设计更丰富的训练目标或引入弱监督，来进一步提升关键帧预测的精度。

当前系统的局限也很明显。第二阶段完全依赖第一阶段的输出，如果分层本身就存在错误（例如将本应分离的图层合并，或将无关区域划入角色层），后续的网格和动画预测会随之出错。两阶段之间的误差累积尚未被建模或纠正。此外，Live2D 的实际生产流程中还包括大量手工调整环节——美术师会根据角色的个性微调每个关键帧的参数——这部分「艺术家意图」目前无法被自动捕捉或迁移。

摘要

Live2D 是动漫角色与虚拟主播领域中占主导地位的二维角色动画格式，它将每个角色表示为由逐层网格形变驱动的 RGBA 图层堆叠。尽管 Live2D 已广泛用于虚拟直播、手机游戏和互动角色，但制作一个 Live2D 模型仍然需要数周的手动图层分离、遮挡补全、网格放置和关键帧编辑，并且此前没有任何生成方法能够端到端地生成此类结构化资源。我们提出了首个能够从单幅插画生成 Live2D 运行时所消费的全部结构化信息的系统：有序的 RGBA 图层、每个图层的形变网格，以及驱动角色运动的关键姿态顶点偏移。第一阶段将分层分解建模为一个在 Live2D 感知器官级分类体系下的分层扩散过程，生成带有隐藏区域补全的有序 RGBA 堆叠。第二阶段仅依据每个图层的 alpha 通道为其构建贴合内容的三角网格，然后联合预测所有图层的关键姿态位移场：每个图层的每个顶点作为一个标记，自注意力跨越图层边界，每个位移被分解为有界方向和对数量级。联合预测而非独立预测，正是使结果成为一个协调一致的角色而非各自合理的部件的原因，也是我们最大的收益；而将网络规模扩大 112 倍则没有任何提升。在 50 个留出测试的角色上，在无教师强迫的真实生成条件下，第二阶段取得了 0.768（中位数 0.828）的逐顶点方向余弦相似度。由于图层的网格源自其 alpha 通道，因此可以根据自然语言指令对服装图层进行重新纹理化，同时网格和已预测的动画可逐字节复用。我们还进一步提出了该任务的首个标准化基准 Live2D-Bench，以及一个包含 8,884 个模型并带有图层和动画监督的 Live2D 语料库。

Abstract

Live2D is the dominant 2D character-animation format for anime characters and virtual avatars, representing each character as a stack of RGBA layers driven by per-layer mesh deformation. Despite its wide use in virtual streaming, mobile games, and interactive characters, authoring a Live2D model still demands weeks of manual layer separation, occlusion completion, mesh placement, and keyframing, and no prior generative method produces such a structured asset end-to-end. We present the first system that, from a single illustration, generates all the structured information a Live2D runtime consumes: ordered RGBA layers, a deformation mesh per layer, and the parameter-driven keypose vertex offsets that make the character move. Stage 1 casts layered decomposition as a layered diffusion process under a Live2D-aware organ-level taxonomy, producing an ordered RGBA stack with hidden-region completion. Stage 2 builds a content-conforming triangle mesh for each layer from its alpha channel alone, then predicts the keypose displacement field of all layers jointly: every vertex of every layer is one token, self-attention spans layer boundaries, and each displacement is factorised into a bounded direction and a log-magnitude. Joint rather than independent prediction is what makes the result a coherent character instead of separately plausible parts, and is our largest gain; scaling the network 112x yields none. On 50 held-out characters, under true generation with no teacher forcing, Stage 2 attains a per-vertex direction cosine of 0.768 (median 0.828). Because a layer's mesh derives from its alpha channel, a clothing layer can be re-textured from a natural-language instruction while the mesh and predicted animation are reused byte-for-byte. We further contribute Live2D-Bench, the first standardized benchmark for the task, and an 8,884-model Live2D corpus with layer and animation supervision.