MIRGAN:一种基于GAN的医学影像报告生成模型

作者：张俊三; 程俏俏; 万瑶; 朱杰; 张世栋

来源：山东大学学报(工学版), 2020, 1-10.

• 图像理解任务
• 医学影像报告生成
• 共同注意力机制
• 生成对抗网络
• 强化学习

基于图像理解的医学影像报告生成任务与传统的图像理解任务相比,是一个更加具有挑战的任务。针对该任务,提出医学影像报告生成对抗网络(medical image report generative adversarial network,MIRGAN)模型。采用共同注意力机制对多个特征区域的视觉特征和语义特征进行综合处理并分别生成对应于这些区域的描述。其次,融合生成对抗网络(generative adversarial network,GAN)和强化学习(reinforcement learning,RL)方法优化生成模型的性能使其输出更高质量的报告。实验结果验证了MIRGAN模型的有效性。

• 单位
  中国石油大学（华东）; 中央司法警官学院; 浙江大学