环球热点评！人工智能算法准确描绘海洋浮游生物图像真实色彩

图说：利用IsPlanktonCLR算法给海洋浮游生物目标图像着色的对比图来源：研究团队供图

【资料图】

你一定听说过“蓝眼泪”海滩。实际上，“蓝眼泪”是海洋甲藻等多种海洋浮游生物发光产生的自然现象。

海洋浮游生物作为一类悬浮在水层常随水流移动的海洋生物，是海洋生态系统的基本组成部分，对浮游生物的观测不仅是海洋生态科学研究的基础，也是现代海洋生态环境管理不可或缺的手段。

近期，来自中国科学院深圳先进技术研究院集成所光电工程技术中心的李剑平团队设计了一种深度学习图像着色算法，可将水下原位拍摄的海洋浮游生物灰度图像自动着色为天然色彩，着色效果极为接近人眼观察。

该研究成果于10月23日在国际机器视觉三大顶级学术会议之一的欧洲机器视觉大会上发表。中国科学院大学硕士研究生郭冠男为第一作者，李剑平博士为论文通讯作者，来自厦门大学、哈尔滨工业大学（深圳）的数据科学家参与本课题的合作研究。

开发新算法 给浮游生物照片上色

近年来，随着技术的发展，越来越多的浮游生物成像仪实现了彩色成像，也有许多实验证明彩色图像能够比灰度图像带来更为丰富的信息，对浮游生物观测起到重要作用。

然而，水下彩色成像需要使用白光照明，会导致浮游动物因趋光性大量聚集在水下成像仪器前，改变它们在水下的原有空间分布。这种非自然的改变，会使导致浮游生物的观测结果产生严重偏差，观测定量无法准确。

“由于绝大多数浮游动物对波长较长的红光不敏感，传统的水下成像仪多数使用红光或近红外光照明成像，以避免浮游动物的趋光性聚集。但这样的拍摄条件只能获得浮游生物的灰度图像。如果能够训练人工智能，将红光照明下获取的灰度图像转换为高保真的彩色图像，是一种巧妙的解决之道。”李剑平表示。

针对这一设想，李剑平团队设计并训练了一种基于深度卷积神经网络的浮游生物自动着色算法，命名为IsPlanktonCLR网络。该网络采用了一种具有自指导功能的双通路网络结构，配合定制化的调色板和逐步聚焦的损失函数，实现了对浮游生物灰度图像的自动化着色，且对稀有物种和普通物种的关键部位的色彩还原具有优异的准确性。

为实现IsPlanktonCLR算法的训练开发，李剑平团队通过长期不懈积累，结合自主研发的海洋原位成像仪，构建了一个包含上千对浮游生物彩色-灰度原位图像对数据集。利用该数据集，团队不仅训练了着色算法，还与CIC、MemoColor、LetColor、InstCol、Chroma等现有最优水平着色算法进行了性能对比。

“我们的实验结果证实，无论是在人眼视觉感受效果上，还是在PSNR、SSIM、FID等机器视觉的经典量化指标上，IsPlanktonCLR算法所取得的效果均为最佳。”李剑平说道。

贴近人眼视觉 还原真实色彩

为使比测实验更加客观，团队进行了一项较大规模的人眼感受评价民众调查。利用网上调查问卷，团队收集了包含海洋学家、浮游生物专家和研究生在内的115名专业志愿者对多种不同模型着色结果与真实图像色彩相似性的评分。统计评分结果进一步证实了IsPlanktonCLR算法的着色效果比现有其他着色算法更加接近人眼视觉感受。

此外，团队还注意到现有面向图像复原的着色算法普遍缺乏客观、定量的着色评价指标。现有评价指标不仅难以模拟人眼视觉的色彩感知能力，还难以客观量化评价着色图像与真实图像之间的色彩相似程度。

对此，研究团队提出了一个融合了色彩直方图、色彩聚合向量、色彩相关图和色彩梯度等彩色特征的图像色彩相似度评价指标CDSIM，并通过在海洋浮游生物和自然场景图像上分别开展测试，验证了CDSIM在着色算法效果评价中不仅有效，而且比现有其他指标更适合在科学成像领域的图像着色评价中应用。

李剑平表示，IsPlanktonCLR算法的发展为海洋成像观测仪器获取准确、真实的观测结果提供了一种新的人工智能解决方案，其效果不仅直接规避了海洋浮游生物原位成像中因生物趋光聚集所致的观测不准确问题，还有可能为其他海洋生物的成像观测困难或损伤带来新的问题解决思路，为人类探索和认识海洋提供新的技术手段。