近日，新葡萄官网计算机学院2020级硕士研究生卢加文为第一作者，史金龙教授为通讯作者，在计算机仪器仪表学TOP期刊IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT上发表了题为“Depth Guidance and Intra-Domain Adaptation for Semantic Segmentation”的高水平学术论文。
本研究为了解决基于深度学的语义分割模型泛化性差和数据集标注消耗过大等问题，提出了一种基于深度信息的无监督领域自适应语义分割方法，利用深度信息的辅助，提升了语义分割模型的性能。该方法充分利用深度与语义的关联性，用深度估计辅助语义分割任务。该方法包含深度感知自适应框架和目标域内自适应策略，通过深度信息指导跨域语义分割。首先，深度感知自适应框架通过捕捉深度信息和语义信息的内在联系减小不同域之间的差异；然后设计一个轻量级深度估计网络来提供深度信息，通过跨任务交互策略融合深度和语义信息，并在深度感知空间对齐源域和目标域的分布差距；最后提出基于深度信息的域内自适应策略弥合目标域内部的分布差异，将目标域分为子源域和子目标域，并缩小子源域和子目标域分布差距。在SYNTHIA-2-Cityscapes和SYNTHIA-2-Mapillary跨域任务上分别获得了46.7% 平均交并比(Mean Intersection over Union, mIoU)和73.3% 平均交并比，实验表明此方法相较于同类方法在语义分割和深度估计精度上均有显著提升。
研究结果为不同计算机任务之间的相互提升等方面的研究提供了新的思路。同时，该方法无需实际图像的语义标注，大大促进了语义分割模型的实际落地应用。
论文链接:https://ieeexplore.ieee.org/document/10042450(the "Early Access" area on IEEEXplore)
