行列式点过程采样的文本生成图像方法 |
| |
引用本文: | 李晓霖,李刚,张恩琪,顾广华.行列式点过程采样的文本生成图像方法[J].武汉大学学报(信息科学版),2024(2):246-255. |
| |
作者姓名: | 李晓霖 李刚 张恩琪 顾广华 |
| |
作者单位: | 1. 燕山大学信息科学与工程学院;2. 河北省信息传输与信号处理重点实验室 |
| |
基金项目: | 国家自然科学基金(62072394);;河北省自然科学基金(F2021203019); |
| |
摘 要: | 近年来,虽然基于生成对抗网络(generative adversarial networks, GAN)的文本生成图像问题取得了很大的突破,它可以根据文本的语义信息生成相应的图像,但是生成的图像结果通常缺乏具体的纹理细节,并且经常出现模式崩塌、缺乏多样性等问题。针对以上问题,提出一种针对生成对抗网络的行列式点过程(determinant point process for generative adversarial networks, GAN-DPP)方法来提高模型生成样本的质量,并使用StackGAN++、ControlGAN两种基线模型对GAN-DPP进行实现。在训练过程中,该方法使用行列式点过程核矩阵对真实数据和合成数据的多样性进行建模,并通过引入无监督惩罚损失来鼓励生成器生成与真实数据相似的多样性数据,从而提高生成样本的清晰度及多样性,减轻模型崩塌等问题,并且无需增加额外的训练过程。在CUB和Oxford-102数据集上,通过Inception Score、Fréchet Inception Distance分数、Human Rank这3种指标的定量评估,证明了GAN-DPP...
|
关 键 词: | 生成对抗网络 文本生成图像 行列式点过程 模型崩塌 多样性 |
|
|