核心内容摘要
3大核心功能打造移动版Minecraft全攻略：HMCL-PE实战指南
RD-GAN基于部首分解和渲染的少样本/零样本汉字风格迁移由三部分组成字体部件拆分模块共享backbone字体部件渲染模块backbone多层判别模块首先通过字体部件渲染模块backbone的编码器部分提取特征传递到字体部件拆分模块。
字体部件拆分模块采用端到端的模式编码器和解码器都采用双层双向的LSTM网络。
字体部件渲染模块编码器将特征图的每一行看作一个时间步即特征图的宽度T。
每一行经过平均池化层压缩后进入BLSTM中形成隐状态hi每一个hi都由平均池化层压缩后的输出构成最终fg作为特征图输入解码器中。
字体部件渲染模块解码器第一次输入时输入和隐藏状态都为0在进行完一次循环后会输出一个部件信息如亻。
接着解码器根据先前输出和隐藏状态迭代地更新注意力机制输出新的部件信息和更新隐藏状态第一层LSTM提取上次输出的结果和隐藏状态可能对已经输出区域的注意力下降对该区域相关的区域注意力提升可能是下一个部首存在的区域是一个邻域相关的二维注意力机制F是编码器输出的特征图具体流程如下公式5计算某一区域的注意力值根据第一层LSTM提取上次输出的结果和隐藏状态、该区域编码器输出的特征图、该区域相邻区域编码器输出的特征图共同作用公式6计算某一区域的注意力值所占全图注意力的权重公式7将权重与特征图对应区域相乘第二层LSTM将计算好的权重特征图和提取上次输出的结果、隐藏状态输入第二层LSTM中计算本次的隐藏状态再经过一次线性变换输出本次的部首区域。
本论文置信度大于
5的视为部首字体部件渲染模块backbone采用端到端的方法提取特征并对字体整体进行风格迁移。
该横向连接包含两个通路分别命名为SE通路和上采样通路。
SE通路操作是在通道维度上执行的。
首先挤压层通过使用1*1卷积来减少特征维度以实现来自不同通道的信息融合并减少计算量。
然后我们实现一个非线性层包括两个可变形卷积和ReLu激活函数以实现大的感受野。
最后使用一个扩展层通过1*1卷积来扩大特征图通道作为挤压层的逆过程。
获得完善局部风格的同时兼顾全局信息。
上采样通路正常进行上采样多层判别模块多层次包括几何层面和结构层面生成损失由几何层面和结构层面构成几何层面就是将图片分割成36块对每一块进行判别真伪。
y取0或1当取0表示生成图片时判别器希望愈接近0越好即损失越大越好生成器希望愈接近1越好即损失越小越好结构层面将整体图片置信度大于
5的部首进行联合判别。
通过二者的对比学习增强整体图片在局部风格的真实性注意为什么不使用传统gan损失因为该论文对无样本字体也可以生成无法让判别器对真实图像进行判别如果判别器惰性学习无脑把所有图片都认为是1真生成损失很低但生成图片质量很差
判别器需要生成损失大才会收敛零样本
接下来损失如L2损失会对比真实图像与生成图像差值如果生成图片质量很差总损失依旧会很大模型总损失L2损失最小化目标图像和真实图像差异Total Variation Loss针对零样本对于图像生成而言一个常见的问题是模型倾向于生成噪声图像。
为了解决这个问题我们采用该损失进行全局去噪。
噪声图倾向于每两个相近像素点差异较大合理的生成图像相邻像素点较为平滑差异较小Content Loss针对不同高级特征测量的损失函数对于特征重建是有效的。
为了更好地从不同层级生成图像我们引入内容损失来惩罚输出图像的特征与CNN中特定层级上对应的真实图像之间的差异。
我们将输出图像和真实图像输入到预训练模型中并强制对应层中的响应相匹配。
就是backone对应层的特征差异总损失