《运动解剖学》课程文献资料（脑科学）迁移学习及其在固体地球科学中的应用

地质科技通报 他债科技请报 Bullern of Geological Sctence and Techmology ISSN2096-8523,CN42-1904/P 《地质科技通报》网络首发论文 题目 迁移学习及其在固体地球科学中的应用 作者； 林秋怡，左仁广 DOI: 10.19509%.cnki.dzkq.tb20230429 收稿日期： 2023-07-22 网络首发日期； 2023-12-11 引用格式： ,左仁广，迁移学习及其在固体地球科学中的应用即0L]。地质科技通 百 区nKit国9 网络首发：在编辑部工作流程中，稿件从录用到出版要经历录用定稿、排版定辞、整期汇编定稿等阶 段。录用定稿指内容已经确定，且通过同行评议、主编终审同意刊用的稿件。排板定稿指录用定稿按照期 刊特定版式《包括网络星现版式)排版后的稿件，可暂不确定出板年、卷、期和页码。整期汇编定稿指出 版年、卷、期、页码均已确定的印制或数字出版的整期汇编稿件。录用定稿网络首发稿件内容必须符合《出 版管理条和（刑出版管理规定）的有关规定：学术研究成果具有创新性、科学性和先进性，符合编 辑部对刊文的录用要求，不存在学术不端行为及其他侵权行为：稿件内容应基本符合国家有关书刊编辑， 出版的技术标准，正确使用和统一规范语言文字、符号、数字、外文字母、法定计量单位及地图标注等。 为确保录用定稿网络首发的严束性，录用定稿一经发布，不得修政论文题目、作者、机构名称和学术内容， 只可基于编辑规范讲行少量文字的修改， 出版确认：纸质期刊编辑部通过与《中国学术期刊（光盘版）》电子杂志社有限公司签约，在《仲国 学术期刊（网络板）》出版传播平台上创办与纸质期刊内容一致的网络版，以单篇或整期出版形式，在印 出版之前刊发论文的录用定稿、排版定稿、整期汇编定稿。因为《中国学术期刊（网络版）》是国家新闻出 版广电总局批准的网络连续型出版物(ISSN2096418器，C、NI1-6037Z),所以签约期刊的网络版上网络首 发论文视为正式出版

地质科技通报 Bulletin of Geological Science and Technology ISSN 2096-8523,CN 42-1904/P 《地质科技通报》网络首发论文 题目： 迁移学习及其在固体地球科学中的应用 作者： 林秋怡，左仁广 DOI： 10.19509/j.cnki.dzkq.tb20230429 收稿日期： 2023-07-22 网络首发日期： 2023-12-11 引用格式： 林秋怡，左仁广．迁移学习及其在固体地球科学中的应用[J/OL]．地质科技通 报. https://doi.org/10.19509/j.cnki.dzkq.tb20230429 网络首发：在编辑部工作流程中，稿件从录用到出版要经历录用定稿、排版定稿、整期汇编定稿等阶 段。录用定稿指内容已经确定，且通过同行评议、主编终审同意刊用的稿件。排版定稿指录用定稿按照期 刊特定版式（包括网络呈现版式）排版后的稿件，可暂不确定出版年、卷、期和页码。整期汇编定稿指出 版年、卷、期、页码均已确定的印刷或数字出版的整期汇编稿件。录用定稿网络首发稿件内容必须符合《出 版管理条例》和《期刊出版管理规定》的有关规定；学术研究成果具有创新性、科学性和先进性，符合编 辑部对刊文的录用要求，不存在学术不端行为及其他侵权行为；稿件内容应基本符合国家有关书刊编辑、 出版的技术标准，正确使用和统一规范语言文字、符号、数字、外文字母、法定计量单位及地图标注等。 为确保录用定稿网络首发的严肃性，录用定稿一经发布，不得修改论文题目、作者、机构名称和学术内容， 只可基于编辑规范进行少量文字的修改。 出版确认：纸质期刊编辑部通过与《中国学术期刊（光盘版）》电子杂志社有限公司签约，在《中国 学术期刊（网络版）》出版传播平台上创办与纸质期刊内容一致的网络版，以单篇或整期出版形式，在印刷 出版之前刊发论文的录用定稿、排版定稿、整期汇编定稿。因为《中国学术期刊（网络版）》是国家新闻出 版广电总局批准的网络连续型出版物（ISSN 2096-4188，CN 11-6037/Z），所以签约期刊的网络版上网络首 发论文视为正式出版

网修言发慰：23,2al1.30507id421904p20231207.174201 网络首发 地质技通报 Pre-pub online 2023年 Bulletin of Geological Science and Technology 2023 林秋怕，左仁广.迁移学习及其在固体地球科学中的应用).地质科技通报，2023. Lin Qiuyi,Zuo Renguang.Transfer learning and its application in solid Earth geoscience[J).Bulletin of Geological Science and Technology 2023. 迁移学习及其在固体地球科学中的应用 林秋怡·，左仁广。 (中国地大学（武汉）资源学院：k,地顺过程与矿产疏源国家重点实验堂，武汉430074) 摘要：随着地球科学进入大数据时代，机器学习成为可发现和描述数据复杂结构与模式的新兴工具，被迅速应 用于固体地球科学领域。作为机器学习的一个重要子领域，深度学习通过构建多级隐含层的方式，层层递进地 学习海量数据，可达到提高分类或预测效果等目的。然而机器学习模型往往需要海量数据作为支撑，从而限制 了其在围体地球科学领域的广泛应用。迁移学习算法的引入为解决这 一问题提供了新的方案。迁移学习是针对 在训练样本不足情况下的一种机器学习方法，旨在通过利用预先学习类似任务的知识米提高新任务的性能，其 利用从源域学习到的知识并将其迁移到目标域，在一定程度上可以克服训练数据不足的问题。迁移学习算法为 固体地球科学领域的应用提供了新的思路。本文简要综述了迁移学习的基本概念和类别，通过分析迁移学习在 固体地球科学中的典型应用案例，讨论了现有迁移学习方法在固体地球科学领域中面临的桃战。当前，深度迁 移学习方法已经在岩石矿物自动识别与分类、地球化学异常识别等方面表现出了较大潜力，其具各提高模型泛 化性能、避免过拟合的能力，在周体地球科学领域具有广阔的应用前景。但目前迁移学习方法应用于固体地球 科学领域的研究还相对较少，未来将持续针对源域数据集选择、迁移模型构建、负迁移评估及可解释性不足等 问题开展更为深入的研究。 关键词：迁移学习：深度学习：固体地球科学 中图分卷号，P628 收稿日期：2023-07-22 doi:10.19509/j.cmki.dzkq.tb2023042 Transfer learning and its application in solid Earth geoscience Qiuyi Lin",Renguang Zuo (a.School of Earth Resourees,b.State Key Laboratory of Geological Processes and Mineral Resources.China University of Geosciences(Wuhan),Wuhan 430074.China) Abstraet:[Significanee]Over the past few years,with the advent of big data in geoscience,machine learning has emerged as a powerful tool capable of uncovering and characterizing intricate structures and patterns within data.As a result,it has been rapidly adopted in the realm of solid Earth geoscience.As a crucial subdomain of machine learning. deep learning progressively acquires vast quantities of data by constructing multi-tiered hidden layers,thereby enhancing the perfor e of classification or pred tasks.Neve many machin learning models in geoscience pertains to the scarcity of available data,thereby restricting their widespreac implementation in the realm of solid Earth geosciences.The advent of transfer learning algorithms has presented a novel 01)和国家自然科学基金《4 林秋怕 ,主要研究方向为数学地质与矿产勒查。Ema 通讯作者：左仁广(1981-，男，教授，博士生导师，主要研究方向为数学地质与矿产勒查。E-mail:rguang@cug.d山cm

网络首发 地 质 科 技 通 报 Pre-pub online 2023 年 Bulletin of Geological Science and Technology 2023 林秋怡, 左仁广.迁移学习及其在固体地球科学中的应用[J]. 地质科技通报, 2023. Lin Qiuyi, Zuo Renguang. Transfer learning and its application in solid Earth geoscience[J]. Bulletin of Geological Science and Technology, 2023. 迁移学习及其在固体地球科学中的应用 林秋怡 a，左仁广b （中国地质大学（武汉）a.资源学院；b.地质过程与矿产资源国家重点实验室，武汉 430074） 摘要：随着地球科学进入大数据时代，机器学习成为可发现和描述数据复杂结构与模式的新兴工具，被迅速应 用于固体地球科学领域。作为机器学习的一个重要子领域，深度学习通过构建多级隐含层的方式，层层递进地 学习海量数据，可达到提高分类或预测效果等目的。然而机器学习模型往往需要海量数据作为支撑，从而限制 了其在固体地球科学领域的广泛应用。迁移学习算法的引入为解决这一问题提供了新的方案。迁移学习是针对 在训练样本不足情况下的一种机器学习方法，旨在通过利用预先学习类似任务的知识来提高新任务的性能，其 利用从源域学习到的知识并将其迁移到目标域，在一定程度上可以克服训练数据不足的问题。迁移学习算法为 固体地球科学领域的应用提供了新的思路。本文简要综述了迁移学习的基本概念和类别，通过分析迁移学习在 固体地球科学中的典型应用案例，讨论了现有迁移学习方法在固体地球科学领域中面临的挑战。当前，深度迁 移学习方法已经在岩石矿物自动识别与分类、地球化学异常识别等方面表现出了较大潜力，其具备提高模型泛 化性能、避免过拟合的能力，在固体地球科学领域具有广阔的应用前景。但目前迁移学习方法应用于固体地球 科学领域的研究还相对较少，未来将持续针对源域数据集选择、迁移模型构建、负迁移评估及可解释性不足等 问题开展更为深入的研究。 关键词：迁移学习；深度学习；固体地球科学 中图分类号：P628 收稿日期：2023-07-22 doi: 10. 19509/j.cnki.dzkq.tb20230429 Transfer learning and its application in solid Earth geoscience Qiuyi Lina , Renguang Zuob （a.School of Earth Resources; b.State Key Laboratory of Geological Processes and Mineral Resources, China University of Geosciences(Wuhan), Wuhan 430074, China） Abstract: [Significance] Over the past few years, with the advent of big data in geoscience, machine learning has emerged as a powerful tool capable of uncovering and characterizing intricate structures and patterns within data. As a result, it has been rapidly adopted in the realm of solid Earth geoscience. As a crucial subdomain of machine learning, deep learning progressively acquires vast quantities of data by constructing multi-tiered hidden layers, thereby enhancing the performance of classification or prediction tasks. Nevertheless, a significant hurdle encountered by many machine learning models in geoscience pertains to the scarcity of available data, thereby restricting their widespread implementation in the realm of solid Earth geosciences. The advent of transfer learning algorithms has presented a novel 基金项目：湖北省创新群体（2023AFA001）和国家自然科学基金（42102332） 作者简介：林秋怡（2000-），女，现正攻读资源与环境专业硕士学位，主要研究方向为数学地质与矿产勘查。E-mail: linqiuyi@cug.edu.cn 通讯作者：左仁广（1981-），男，教授，博士生导师，主要研究方向为数学地质与矿产勘查。E-mail: zrguang@cug.edu.cn 网络首发时间：2023-12-11 12:05:07 网络首发地址：https://link.cnki.net/urlid/42.1904.p.20231207.1742.001

2 httpss:/dzkb.cug.edu.cn地质科技通报 2023年 approach to addressing the challenge of limited training data in Solid Earth geoscience applications.ProgreTransfer leaming techniques that the per ormance of novel tasks when adequate data is lacking.by leveraging pre-ex using the knowledge learned from the source domain and transferring it to the target domain,it can to some extent overcome insufficient data availability and improve the accuracy of predictions.This paper provides a brief overview of the basic concepts and categories of transfer learning.while simultaneously discussing the challenges confronting existing transfer eaming appr aches applied to geoscience by analyzing the typical cases of transfer leaming in solid Earthos.At present,deep transfer eaming approahes have initially shown great potentiali n automat dentification and classification of rocks and minerals,identification of geochemical anomalies,etc.Conclusions and Prospects]Given their capacity to enhance model generalization performance and mitigate overfitting,deep transfer learning approaches hold considerable promise for widespread application in the field of solid Earth geosciences. Simultaneously,it cannot be denied that the research pertaining to the utilization of transfer learning in the domain of Soid Earth mns reatively underdeveloped.Thereare sl inherent in leaming approaches to,incuding the of identifying suitable oure domains capable furnishing pertinent knowledge for the target domain.In the future.it is absolutely imperative to undertake more comprehensive research regarding the application of transter learning in the realm of Solid Earth geoscience. encompassing aspects such as the selection of source domain datasets,the construction of transfer models,the assessment of negative transfers and the interpretability of transfer eaming Key words:Transfer learning.Deep leaming:Solid Earth geoscience 标记过程存在高度主观的或有偏性，影响算法的泛 资源与能源问题长期以来是全世界关注的热点， 化能力：(3)不平衡的数据集、不完整的数据集和 固体地球科学对于保障资源与能源供应发挥了重要 有噪声的数据集会影响模型性能。此外，机器学习 作用。随若资源与能源安全形式的日益严峻，地球 模型的应用都需要针对特定的问题重新构建模型并 科学家们面临着如何利用经验知识与收集到的数据 从头开始训练，存在模型利用率低的现象。因此， 为依据对固体地球科学系统进行进一步探究，从中 如何利用少量的样本数据实现对目标任务的学习， 提取尽可能多的有用信息并得到新的间接，以应对 以及如何实现模型的高效复用是目前机器学习方法 目前面临的资源与能源的挑战。近年来，机器学习 在固体地球科学领域的应用热点及难点。 算法的快速发展与推广改变了包括固体地球科学在 作为解决上述问题的方法途径之一，迁移学习 内的许多科学领域的数据分析过程。其中，深度 可以将从已有数据所学到的知识迁移应用到新领域 学习技术凭借其强大的非线性特征表示能力，已逐 的任务上，使得标注数据等有监督的信息可以在领 渐成为固体地球科学领域研究的有力工具“乳。深度 域间实现迁移和复用，在一定程度上可以解决训练 自编码网络、深度信念网络、深度卷积神经网络等 数据不足的问题，有效避免了深度学习模型由于训 深度学习算法己相继被应用于地震信号识别阿、高 练样本不足而造成的过拟合问题以。同时，迁移学 光谱影像分类，们、矿产期查9等多项领域。 习放宽了传统机器学习中训练数据和测试数据必须 尽管如此，机器学习方法在周体地球科学中的 服从独立同分布的约束，因而能够在彼此不同但又 应用仍然存在一些挑战吗：(1)大多数机器学习模 相互关联的两个领域间挖掘领域不变的本质特征和 型需要大量的标注数据进行训练，但由于固体地球 结构。因此，迁移学习在固体地球科学领域具有 科学领域研究对象的真相通常是未知的，因此在实 广阔的应用前景。 际应用中往往很难获取足够的训练样本：(2)数据 本文简要综述了迁移学习的基本概念和类别

2 https://dzkjqb.cug.edu.cn 地质科技通报 2023 年 approach to addressing the challenge of limited training data in Solid Earth geoscience applications. [Progress] Transfer learning represents a category of machine learning techniques that seek to enhance the performance of novel tasks when adequate data is lacking, by leveraging pre-existing knowledge obtained from similar tasks through pre-training. By using the knowledge learned from the source domain and transferring it to the target domain, it can to some extent overcome insufficient data availability and improve the accuracy of predictions. This paper provides a brief overview of the basic concepts and categories of transfer learning, while simultaneously discussing the challenges confronting existing transfer learning approaches applied to geoscience by analyzing the typical cases of transfer learning in solid Earth geosciences. At present, deep transfer learning approaches have initially shown great potential in automatic identification and classification of rocks and minerals, identification of geochemical anomalies, etc. [Conclusions and Prospects]Given their capacity to enhance model generalization performance and mitigate overfitting, deep transfer learning approaches hold considerable promise for widespread application in the field of solid Earth geosciences. Simultaneously, it cannot be denied that the research pertaining to the utilization of transfer learning in the domain of Solid Earth geoscience remains relatively underdeveloped. There are still challenges inherent in the applications of deep transfer learning approaches to geoscience, including the necessity of identifying suitable source domains capable of furnishing pertinent knowledge for the target domain. In the future, it is absolutely imperative to undertake more comprehensive research regarding the application of transfer learning in the realm of Solid Earth geoscience, encompassing aspects such as the selection of source domain datasets, the construction of transfer models, the assessment of negative transfers, and the interpretability of transfer learning. Key words: Transfer learning; Deep learning; Solid Earth geoscience 资源与能源问题长期以来是全世界关注的热点， 固体地球科学对于保障资源与能源供应发挥了重要 作用。随着资源与能源安全形式的日益严峻，地球 科学家们面临着如何利用经验知识与收集到的数据 为依据对固体地球科学系统进行进一步探究，从中 提取尽可能多的有用信息并得到新的间接，以应对 目前面临的资源与能源的挑战。近年来，机器学习 算法的快速发展与推广改变了包括固体地球科学在 内的许多科学领域的数据分析过程[1-3]。其中，深度 学习技术凭借其强大的非线性特征表示能力，已逐 渐成为固体地球科学领域研究的有力工具[4, 5]。深度 自编码网络、深度信念网络、深度卷积神经网络等 深度学习算法已相继被应用于地震信号识别[6]、高 光谱影像分类[7, 8]、矿产勘查[9-11]等多项领域。 尽管如此，机器学习方法在固体地球科学中的 应用仍然存在一些挑战[2]：（1）大多数机器学习模 型需要大量的标注数据进行训练，但由于固体地球 科学领域研究对象的真相通常是未知的，因此在实 际应用中往往很难获取足够的训练样本；（2）数据 标记过程存在高度主观的或有偏性，影响算法的泛 化能力；（3）不平衡的数据集、不完整的数据集和 有噪声的数据集会影响模型性能。此外，机器学习 模型的应用都需要针对特定的问题重新构建模型并 从头开始训练，存在模型利用率低的现象。因此， 如何利用少量的样本数据实现对目标任务的学习， 以及如何实现模型的高效复用是目前机器学习方法 在固体地球科学领域的应用热点及难点。 作为解决上述问题的方法途径之一，迁移学习 可以将从已有数据所学到的知识迁移应用到新领域 的任务上，使得标注数据等有监督的信息可以在领 域间实现迁移和复用，在一定程度上可以解决训练 数据不足的问题，有效避免了深度学习模型由于训 练样本不足而造成的过拟合问题[12]。同时，迁移学 习放宽了传统机器学习中训练数据和测试数据必须 服从独立同分布的约束，因而能够在彼此不同但又 相互关联的两个领域间挖掘领域不变的本质特征和 结构[13]。因此，迁移学习在固体地球科学领域具有 广阔的应用前景。 本文简要综述了迁移学习的基本概念和类别

林秋怡等：迁移学习及其在周体地球科学中的应用 5 对迁移学习在固体地球科学中的典型案例进行分析 通常涉及两个域：源域和目标域。源域(Source 讨论了现有迁移学习方法在固体科学领域应用面临 Domian)表示为D,是指应用于训练模型的己有标 的挑战，并对其发展和应用进行了展望，以期为迁 注数据所在领域，源域数据集可以理解为目标任努 移学习在固体科学领域更为广泛的应用提供帮助。 的辅助数据集。而目标域(Target Domian)表示为D, 1迁移学习 是希望将模型应用于新数据的对应领域，目标域数 据集为任务数据集。 从机器学习角度来说，迁移学习是针对在训练 给定一个领域D=化，P(,该域所对应的任 样本不足情况下的一种有效学习方法。不同于传统 务T由标签空间Y和相对应的预测模型f八)组成， 机器学习试图从头开始学习一个特定领域的任务， 其中标签空间Y=y1,y2,m,m为标签向量的 迁移学习可将从先前的源任务中学习到的知识转移 维数，y表示为第1维标签向量，ie1,2,m, 到目标任务中（图1）。具体来说，迁移学习使得标 即任务可以表示为T=,f)。源域D,对应源任 注数据等有监督的信总可以在领域间实现迁移和复 务T,目标域D,对应目标任务T,。按照统计学的 用，在一定程度上解决了训练数据不足的问题，从 思想，预测模型f)=P心)满足条件概率分布。 而有效避免过拟合间题，这使得迁移学习适用于 在机器学习中，一般由数据训练学习得到，对于 小样本学习。 监督机器学习算法，训练数据包含训练样本x,∈X 及其对应的标签y∈X,可记为数据标签对{，y}。 Pan和Yang于2010年对迁移学习相关研究进 ⑧ 行整理与总结，并给出了迁移学习的定义以：给定 一个源域D,及对应的源任务T,一个目标域D,及 集司 H◆ 目标任务T,当D,≠D,(但下与1相同或相关) 或T,≠T(但D,与D,相同或相关)时，可以利用 D,和T,的信息，更好地完成D,的任务T,这一过 《0)件城帆器学刀 )迁移学习 程称为迁移学习。因此，迁移学习的目标是将模型 图1传统机器学习(a)与迁移学习b)比较4 从源域任务适应到新的目标域任务。在此过程中， 源数据集的知识、经验或特征被迁移并适应到目标 ransfer leaming (b 数据集中，以提高模型在小样本目标数据集上的性 11迁移学习的定义 能 迁移学习涉及领域(Domain)和任务(Task)两个 迁移学习的分类 重要概念。领域D由d维特征空间X和边缘概率分 迁移学习一般可以根据领域（数据特征）、任务 布P()组成，其中特征空间X=x,x,xn,n (迁移情景)入、数据（迁移对象）三个不同的维度进 为训练数据的个数，x表示为第i个训练数据，i∈ 行分类（图2）。Weiss等根据源域和目标域的数 {L,2,n,即域可以表示为D=化Px,x∈X。 据特征空间是否相同或特征维度是否一致，将迁移 一般来说，若两个域不同，那么它们可能拥有不同 学习分为同构迁移学习和异构迁移学习。基于迁移 的特征空间或不同的边缘概率分布。传统机器学习 学习的定义，根据源域和目标域数据样本及实现任 中通常仅有一个包含全部数据集的域，而迁移学习 务是否相同，可以将迁移学习分为归纳迁移学习

林秋怡等：迁移学习及其在固体地球科学中的应用 3 对迁移学习在固体地球科学中的典型案例进行分析， 讨论了现有迁移学习方法在固体科学领域应用面临 的挑战，并对其发展和应用进行了展望，以期为迁 移学习在固体科学领域更为广泛的应用提供帮助。 1 迁移学习 从机器学习角度来说，迁移学习是针对在训练 样本不足情况下的一种有效学习方法。不同于传统 机器学习试图从头开始学习一个特定领域的任务， 迁移学习可将从先前的源任务中学习到的知识转移 到目标任务中（图 1）。具体来说，迁移学习使得标 注数据等有监督的信息可以在领域间实现迁移和复 用，在一定程度上解决了训练数据不足的问题，从 而有效避免过拟合问题[12]，这使得迁移学习适用于 小样本学习。 图 1 传统机器学习(a)与迁移学习(b)比较[14] Fig.1 Comparison between traditional machine learning (a) and transfer learning (b)[14] 1.1 迁移学习的定义 迁移学习涉及领域 (Domain) 和任务 (Task) 两个 重要概念。领域 D 由 d 维特征空间 X 和边缘概率分 布 P(x) 组成，其中特征空间 X = {x1 , x2 , ., xn }，n 为训练数据的个数，xi 表示为第 i 个训练数据，𝑖 ∈ {1, 2, ⋯, n}，即域可以表示为 D = {X, P(x)}，x∈X。 一般来说，若两个域不同，那么它们可能拥有不同 的特征空间或不同的边缘概率分布。传统机器学习 中通常仅有一个包含全部数据集的域，而迁移学习 通常涉及两个域：源域和目标域。源域 (Source Domian) 表示为 Ds，是指应用于训练模型的已有标 注数据所在领域，源域数据集可以理解为目标任务 的辅助数据集。而目标域 (Target Domian) 表示为 Dt， 是希望将模型应用于新数据的对应领域，目标域数 据集为任务数据集。 给定一个领域 D = {X, P(x)}，该域所对应的任 务 T 由标签空间 Y 和相对应的预测模型 f (·) 组成， 其中标签空间 Y = {𝑦1, 𝑦2, . , 𝑦𝑚}，m 为标签向量的 维数，y i 表示为第 i 维标签向量，𝑖 ∈ {1, 2, ⋯ , m}， 即任务可以表示为 T = {Y, f (·) }。源域 Ds 对应源任 务 Ts ，目标域 Dt 对应目标任务 Tt 。按照统计学的 思想，预测模型 f (·) = P(y| x) 满足条件概率分布。 在机器学习中，f(·) 一般由数据训练学习得到，对于 监督机器学习算法，训练数据包含训练样本 xi∈X 及其对应的标签 y i∈Y，可记为数据标签对{xi , y i }。 Pan 和 Yang 于 2010 年对迁移学习相关研究进 行整理与总结，并给出了迁移学习的定义[14]：给定 一个源域 Ds 及对应的源任务 Ts ，一个目标域 Dt 及 目标任务 Tt ，当 Ds≠Dt （但 Ts 与 Tt 相同或相关） 或 Ts≠Tt（但 Ds 与 Dt 相同或相关）时，可以利用 Ds 和 Ts 的信息，更好地完成 Dt 的任务 Tt，这一过 程称为迁移学习。因此，迁移学习的目标是将模型 从源域任务适应到新的目标域任务。在此过程中， 源数据集的知识、经验或特征被迁移并适应到目标 数据集中，以提高模型在小样本目标数据集上的性 能。 1.2 迁移学习的分类 迁移学习一般可以根据领域（数据特征）、任务 （迁移情景）、数据（迁移对象）三个不同的维度进 行分类（图 2）。Weiss 等[15]根据源域和目标域的数 据特征空间是否相同或特征维度是否一致，将迁移 学习分为同构迁移学习和异构迁移学习。基于迁移 学习的定义，根据源域和目标域数据样本及实现任 务是否相同，可以将迁移学习分为归纳迁移学习

4 https://dzk jgb.cug.edu.cn地质科技通报 2023年 直推式迁移学习和无监督迁移学习1。根据迁移 步划分为基于实例、基于特征、基于模型和基于关 学习中具体的迁移对象，可以将迁移学习方法进 系四大类。 一迁移对象一 迁移学习 基于实例 同构 数据特征 异构 基于特征 于模型 迁移情景 归纳式 直推式 无监督 于关系 图2迁移学习的分类 Fig 2 Classification of transfer leamning 目前迁移学习方法大多采用基于迁移对象的方 源域和目标域数据差异较明显的情况，并且某些特 式进行分类，下面将对此分类方式进一步展开介绍。 征仅适用于源域，重新加权或采样源域样本并不能 表1总结了迁移学习方法的适用场景，即根据源域 有效地减少源域和目标域之间的差异。为了更好地 与目标域之间的分布差异情况以及样本关系，选择 处理这一情况，基于特征的迁移方法提供了一种可 不同迁移学习方法。 行的解决方案。 (1)基于实例的迁移学习：假设源域中包含某 (2)基于特征的钎移学习：基于源域和目标域 些与目标域相关的数据，这些数据可以通过加权而 之间存在一些共享特征的假设，可通过利用这些共 重新应用于目标域的学习。通过设置一定的权重分 享特征来实现知识迁移。具体的做法是将源域和目 配规则，筛选出与目标域数据相似度高的源域数据 标域的特征通过特征工程或特征映射转换到统一的 通过重用数据样本来实现迁移学习。当两个域的条 特征空间中，进而有效缩小源域和目标域数据间的 件分布相同或分布差异较小时，基于实例的迁移学 特征分布差异，并通过共享特征表示来提高目标任 习效果最好阿。Dai等提出了一种基于实例迁移 务的性能。这类方法主要分为基于特征的非对称变 的算法TrAdaBoost,该算法的核心思想在于从源域 换和对称变换迁移学习两类。非对称特征变换通 数据中筛选与目标域相适用的匹配数据，与目标域 过重新加权来转换源特征，使之更接近目标域。相 不匹配的数据则进行剔除，同时通过Boosting方法 比之下，对称特征变换试图发现域之间潜在的结构 来提高有效数据权重的同时进一步降低无效数据的 相关性，以找到一个共同潜在特征空间，同时将源 权重。这类方法思路简单、易实现，但需要重点关 特征和目标特征转换为新的特征表示，减少域之间 注如何有效地度量源域和目标域样本之间的相似度， 的边际分布。基于特征的迁移学习的一个主要目标 进而有效筛选对目标任务学习产生积极影响的信息。 是减少源数据和目标数据之间的分布差异，从而保 针对这一问题，Sugiyamate等网通过最小化 留数据的属性或潜在结构。因此，如何有效地测 Kullback-Leibler散度直接估计源域数据样本的重 量域间的分布差异或相似度是基于特征的迁移学习 要性。在真实应用场景中，迁移学习的应用常面临 中是一个重要问恩。基于此，当前主要应用最大均

4 https://dzkjqb.cug.edu.cn 地质科技通报 2023 年 直推式迁移学习和无监督迁移学习[14, 16]。根据迁移 学习中具体的迁移对象，可以将迁移学习方法进一 步划分为基于实例、基于特征、基于模型和基于关 系四大类[14]。 图 2 迁移学习的分类 Fig.2 Classification of transfer learning 目前迁移学习方法大多采用基于迁移对象的方 式进行分类，下面将对此分类方式进一步展开介绍。 表 1 总结了迁移学习方法的适用场景，即根据源域 与目标域之间的分布差异情况以及样本关系，选择 不同迁移学习方法。 （1）基于实例的迁移学习：假设源域中包含某 些与目标域相关的数据，这些数据可以通过加权而 重新应用于目标域的学习。通过设置一定的权重分 配规则，筛选出与目标域数据相似度高的源域数据， 通过重用数据样本来实现迁移学习。当两个域的条 件分布相同或分布差异较小时，基于实例的迁移学 习效果最好[15]。Dai 等[17]提出了一种基于实例迁移 的算法 TrAdaBoost，该算法的核心思想在于从源域 数据中筛选与目标域相适用的匹配数据，与目标域 不匹配的数据则进行剔除，同时通过 Boosting 方法 来提高有效数据权重的同时进一步降低无效数据的 权重。这类方法思路简单、易实现，但需要重点关 注如何有效地度量源域和目标域样本之间的相似度， 进而有效筛选对目标任务学习产生积极影响的信息。 针对这一问题 ，Sugiyamate 等 [18] 通 过 最 小 化 Kullback-Leibler 散度[19]直接估计源域数据样本的重 要性。在真实应用场景中，迁移学习的应用常面临 源域和目标域数据差异较明显的情况，并且某些特 征仅适用于源域，重新加权或采样源域样本并不能 有效地减少源域和目标域之间的差异。为了更好地 处理这一情况，基于特征的迁移方法提供了一种可 行的解决方案。 （2）基于特征的迁移学习：基于源域和目标域 之间存在一些共享特征的假设，可通过利用这些共 享特征来实现知识迁移。具体的做法是将源域和目 标域的特征通过特征工程或特征映射转换到统一的 特征空间中，进而有效缩小源域和目标域数据间的 特征分布差异，并通过共享特征表示来提高目标任 务的性能。这类方法主要分为基于特征的非对称变 换和对称变换迁移学习两类[16]。非对称特征变换通 过重新加权来转换源特征，使之更接近目标域。相 比之下，对称特征变换试图发现域之间潜在的结构 相关性，以找到一个共同潜在特征空间，同时将源 特征和目标特征转换为新的特征表示，减少域之间 的边际分布。基于特征的迁移学习的一个主要目标 是减少源数据和目标数据之间的分布差异，从而保 留数据的属性或潜在结构[16]。因此，如何有效地测 量域间的分布差异或相似度是基于特征的迁移学习 中是一个重要问题。基于此，当前主要应用最大均

林秋怡等：迁移学习及其在周体地球科学中的应用 值差异(maximum mean discrepancy,MMD)o来最 己被广泛关注和应用，这部分内容将在下一小节详 小化源域和目标域数据在特征空间中的概率分布差 细说明 异，MMD在基于特征的迁移学习中可以用作一个 (4)基于关系的迁移学习：依赖于源域和目标 关健的优化目标或正则化项。MMD本质上是寻找 域数据间可能共享类似关系的假设，通过度量源任 一个适用的映射函数，使得在映射变换后目标域数 务和目标任务之间的相似性来构建映射的关系模型 据在特征空间上与源域数据更为接近。总的来说， 实现关系知识迁移。此类迁移学习关注样本间关系 基于特征的迁移学习方法所面临的挑战是如何有效 在统计关系学习的背景下开发叫，主要采用马尔科 地识别出源域与目标域数据之间的共有特征，从而 夫逻辑网络(Markov Logic networks,.MLN)2的概率 能够利用这些共有特征将先验知识从源域迁移到目 逻辑方法来获取源知识，大致分为两大类方法。 标域以实现迁移学习， 第一类通过搜索方法找到谓词的显式映射，利用映 (3)基于模型的迁移学习：这一类方法也被称 射谓词来迁移从MLN学习的子句。如Mihalkova等 为基于参数的迁移学习，目前通常与深度神经网络 P提出了一种名为Transfer via Automatic Mapping 模型相结合。假设在源任务和目标任务间存在可以 And Revision的算法，该算法通过MLN跨关系域传 共享的模型参数信息，进而可以利用这些参数信息 输关系知识，利用从源域学习到的MLN来帮助学 加以微调来适应目标任务的学习。基于模型的迁移 习目标域的MLN。该算法进一步反映，若两个域彼 学习的假设条件是网铬的前几层可以被视为特征提 此相关，则可能存在两个相似的关系来连接域中的 取器，这些网络层通常会学习到较为通用的特征表 实体，从而可能找到这些关系的映射。第二类采用 示2)，例如边缘、纹理等低层次特征。基于模型的 二阶逻辑来模拟看似不相关的领域间的规律，进而 迁移学习的主要思路是重用在源域上训练的部分网 迁移关系知识。如Davis和Domingos2提出了一种 络，包括其网络结构和参数信息，而后针对具体的 基于二阶马尔可夫逻辑的迁移方法，通过马尔可夫 目标任务进行适当的微调以生成目标网络。基于源 逻辑公式来发现源域中的结构规律。关系数据具有 域的预训练模型的结构与参数是基于模型的迁移学 类、对象、其属性和关系组成的丰富词表叫，因此 习方法的核心，因此，模型的选择、参数初始化和 基于关系的迁移学习面临的挑战主要是如何迁移所 迁移策略的设计等是基于模型的迁移学习中需要注 学的结构，并将源域的词表映射到不同目标域中最 意的关健问题，需要经过仔细考虑和调整以获得最 合适的对象、属性和关系之上网。 佳的迁移效果。目前基于深度学习模型的迁移学习 表1迁移学习方法的适用场景 Table 1Applicable fransfer leing method 方法 适用务康 基于实例 在域间分布差异较小时适用效果比较好 基于特征 在域阿分布差景教太时，导找域间可共享的特征 基于模型 在女 基于关系 侧重于样本关到 13深度迁移学习 训，据此引入深度迁移学习的概念。Tan等将深 随者深度学习在众多研究领域的流行，如何通 度迁移学习定义为：给定一个迁移学习任务,当()是一个反映深度神经网络的

林秋怡等：迁移学习及其在固体地球科学中的应用 5 值差异 (maximum mean discrepancy，MMD) [20]来最 小化源域和目标域数据在特征空间中的概率分布差 异，MMD 在基于特征的迁移学习中可以用作一个 关键的优化目标或正则化项。MMD 本质上是寻找 一个适用的映射函数，使得在映射变换后目标域数 据在特征空间上与源域数据更为接近。总的来说， 基于特征的迁移学习方法所面临的挑战是如何有效 地识别出源域与目标域数据之间的共有特征，从而 能够利用这些共有特征将先验知识从源域迁移到目 标域以实现迁移学习[21, 22]。 （3）基于模型的迁移学习：这一类方法也被称 为基于参数的迁移学习，目前通常与深度神经网络 模型相结合。假设在源任务和目标任务间存在可以 共享的模型参数信息，进而可以利用这些参数信息 加以微调来适应目标任务的学习。基于模型的迁移 学习的假设条件是网络的前几层可以被视为特征提 取器，这些网络层通常会学习到较为通用的特征表 示[23]，例如边缘、纹理等低层次特征。基于模型的 迁移学习的主要思路是重用在源域上训练的部分网 络，包括其网络结构和参数信息，而后针对具体的 目标任务进行适当的微调以生成目标网络。基于源 域的预训练模型的结构与参数是基于模型的迁移学 习方法的核心，因此，模型的选择、参数初始化和 迁移策略的设计等是基于模型的迁移学习中需要注 意的关键问题，需要经过仔细考虑和调整以获得最 佳的迁移效果。目前基于深度学习模型的迁移学习 已被广泛关注和应用，这部分内容将在下一小节详 细说明。 （4）基于关系的迁移学习：依赖于源域和目标 域数据间可能共享类似关系的假设，通过度量源任 务和目标任务之间的相似性来构建映射的关系模型 实现关系知识迁移。此类迁移学习关注样本间关系， 在统计关系学习的背景下开发[24]，主要采用马尔科 夫逻辑网络 (Markov Logic networks, MLN) [25]的概率 逻辑方法来获取源知识，大致分为两大类方法[26]。 第一类通过搜索方法找到谓词的显式映射，利用映 射谓词来迁移从 MLN 学习的子句。如 Mihalkova 等 [27]提出了一种名为 Transfer via Automatic Mapping And Revision 的算法，该算法通过 MLN 跨关系域传 输关系知识，利用从源域学习到的 MLN 来帮助学 习目标域的 MLN。该算法进一步反映，若两个域彼 此相关，则可能存在两个相似的关系来连接域中的 实体，从而可能找到这些关系的映射。第二类采用 二阶逻辑来模拟看似不相关的领域间的规律，进而 迁移关系知识。如 Davis 和 Domingos[28]提出了一种 基于二阶马尔可夫逻辑的迁移方法，通过马尔可夫 逻辑公式来发现源域中的结构规律。关系数据具有 类、对象、其属性和关系组成的丰富词表[24]，因此 基于关系的迁移学习面临的挑战主要是如何迁移所 学的结构，并将源域的词表映射到不同目标域中最 合适的对象、属性和关系之上[29]。 表 1 迁移学习方法的适用场景[14] Table 1 Applicable scenario of transfer learning methods [14] 方法 适用场景 基于实例 在域间分布差异较小时适用效果比较好 基于特征 在域间分布差异较大时，寻找域间可共享的特征 基于模型 在域间差异较小时使用效果较好；当差异较大时，需结合特征方法， 将通用特征学习到的模型参数进行迁移，并微调其余部分 基于关系 侧重于样本间关系 1.3 深度迁移学习 随着深度学习在众多研究领域的流行，如何通 过深度神经网络有效地迁移知识受到了极大关注[30, 31]，据此引入深度迁移学习的概念。Tan 等[23]将深 度迁移学习定义为：给定一个迁移学习任务，当f t (·)是一个反映深度神经网络的

6 https://dzk jgb.cug.edu.cn地质科技通报 2023年 非线性函数时，该任务为深度迁移学习任务。根据 和基于对抗的方法。表2总结了不同深度迁移学习 深度迁移学习任务中使用的具体方法，深度迁移学 方法的基本思想。 习通常进一步分为基于网络、基于实例、基于映射 表2深度迁移学习方法分类及基本思想回 Table2 Classification and basic idea of deep transfer learning methods 分类 基本用翔 基于网络 码大锈征请额据集备以生成质络网格，粉基于源埃司练的络迁移车针对目标城设计的新科络。最后 基于实例 从源城中择一些与目标城相似或相关的实例样本透行如权权重适应。并将其如入目标域训练集中未训练深度神经网络 基于装射 被产和读的侧本同时限射到一个新数据空间。在这个新的数据空间中两个城的实侧样本具有更高的相似性，可 基于对抗 目前使用频率最高的是基于网络的深度迁移学 模型的权重讲行初始化，以代替原先的随机初始化 习方法，这类方法降低了深度学习模型对大量训练 可以选择微调整个模型或微调某些特定层。对于预 数据的依赖，不用完全重新训练模型，一定程度 训练网络，常在目标域数据集上使用反向传播算法 降低了训练成本。基于网络的深度迁移学习通常采 微调权重参数。以卷积神经网络(Convolutional 用的策路大致分为： Neural Networks.CNN)模型为例，训练微调涉及网 (1)微调策路。在大样本数据集上对深度神经 络深度、网络宽度、非线性激活函数、池化方法、 冈络进行预训练，通过调整预训练网络，即以较低 参数初始化方法和学习率等四。以岩石矿物图像分 的学习率对预训练模型进行重新训练使其适用于新 类任务为例，基于微调策略的迁移模型构建基本流 任务。在实际操作中，通过预训练网络的权重对新 程如图3所示。 低训练模型一卷积神经网络模型 卷积园 泡化层 权重享 局全连接层 参数冻 }参数可训 目标城（岩矿图像数据集 目标任苏模型 图3微调策略 Fig 3 Fine-tuning (2)特征提取策略。将预训练网络作为目标任 网络充当特征提取器。冻结某些层意味者这些层的 务的特征提取器，而后构建新的分类层将提取的特 权重不发生改变，并且是预训练网络中冻结层的常 征进行目标分类。在实际操作中通常将网络的前几 数值。以岩石矿物图像分类任务为例，基于特征提 层进行冻结，只训练最后的全连接层，此时预训练 取策路的子移模型构建流程如图4所示

6 https://dzkjqb.cug.edu.cn 地质科技通报 2023 年 非线性函数时，该任务为深度迁移学习任务。根据 深度迁移学习任务中使用的具体方法，深度迁移学 习通常进一步分为基于网络、基于实例、基于映射 和基于对抗的方法。表 2 总结了不同深度迁移学习 方法的基本思想。 表 2 深度迁移学习方法分类及基本思想[23] Table 2 Classification and basic idea of deep transfer learning methods[23] 分类 基本思想 基于网络 利用大规模源域训练数据集训练网络以生成预训练网络，将基于源域预训练的网络迁移至针对目标域设计的新网络，最后 对新网络进行调整以更新参数信息 基于实例 从源域中选择一些与目标域相似或相关的实例样本进行加权权重适应，并将其加入目标域训练集中来训练深度神经网络 基于映射 将源域和目标域的实例样本同时映射到一个新数据空间，在这个新的数据空间中两个域的实例样本具有更高的相似性，可 被用于训练深度神经网络 基于对抗 在迁移过程中引入对抗的思想，将从源域和目标域中提取的特征同时输送至对抗网络，通过对抗网络的不断学习来选择可 供迁移的特征 目前使用频率最高的是基于网络的深度迁移学 习方法，这类方法降低了深度学习模型对大量训练 数据的依赖，不用完全重新训练模型，一定程度上 降低了训练成本。基于网络的深度迁移学习通常采 用的策略大致分为： （1）微调策略。在大样本数据集上对深度神经 网络进行预训练，通过调整预训练网络，即以较低 的学习率对预训练模型进行重新训练使其适用于新 任务。在实际操作中，通过预训练网络的权重对新 模型的权重进行初始化，以代替原先的随机初始化， 可以选择微调整个模型或微调某些特定层。对于预 训练网络，常在目标域数据集上使用反向传播算法 微调权重参数。以卷积神经网络 (Convolutional Neural Networks, CNN) 模型为例，训练微调涉及网 络深度、网络宽度、非线性激活函数、池化方法、 参数初始化方法和学习率等[32]。以岩石矿物图像分 类任务为例，基于微调策略的迁移模型构建基本流 程如图 3 所示。 图 3 微调策略 Fig.3 Fine-tuning （2）特征提取策略。将预训练网络作为目标任 务的特征提取器，而后构建新的分类层将提取的特 征进行目标分类。在实际操作中通常将网络的前几 层进行冻结，只训练最后的全连接层，此时预训练 网络充当特征提取器。冻结某些层意味着这些层的 权重不发生改变，并且是预训练网络中冻结层的常 数值。以岩石矿物图像分类任务为例，基于特征提 取策略的迁移模型构建流程如图 4 所示

林秋怡等：迁移学习及其在周体地球科学中的应用 预训炼模型一卷积神经网络模见 标签 卷积层 ageNet数据集 池化层 权重共享 ”下象数志结 参数可 目标任务模型 图4预训练模型作为特征提取器的策略 Fig Strategy for ing pre-rained models feature tracto (3)浙进式神经网络。基于冻结预训练的网络 系方法从源数据和目标数据中提取可迁移特征。 并在该网络中添加新的层，进而对目标数据进行训 在提取域不变特征方面，基于对抗的方法适应性比 练，这种方法被称为渐进式学习或渐进式神经网络。 大多数基于距离的方法更好啊。 与微调方法相比，渐进式学习通过在预训练的层上 2迁移学习在固体地球科学中的应用 训练新添加的层来调整新任务，从而防止深度迁移 学习中的灾难性遗忘问题闭 机器学习方法应用于固体地球科学领域的最大 上述方法需要建立在源域和目标域没有显著差 的挑战是缺乏大量的标记训练数据，有限的数据样 异的基础上。以微调策略举例，当源域和目标域的 本无法有效地训练模型。因而将迁移学习方法引入 数据特征分布明显不同时，微调是无法处理这种情 固体地球科学领域，具有十分广阔的发展空间。本 况的，应用效果可能并不是很好。针对这种情况， 章将从岩石矿物识别、地质资源勘查两大研究方向 可以引入深度神经网络域自适应方法来缩小源域和 对迁移学习学习的应用分别进行综述 目标域之间的特征分布差异，实现源域和目标域间 2.1岩矿自动识别与分类 数据特征对齐，使得源域特征可用于目标域的训练。 岩石岩性及矿物类型的识别与分类是地质研究 具体来说，深度神经网络域自适应方法主要分为两 的重要组成部分，在岩士工程、矿物学、岩石学、 类叫：基于距离的方法和基于对抗的方法。基于距 岩石力学和矿产资源勘查等领域发挥者至关重要的 离的方法，即在深度神经网络中使用迁移学习方法 作用测。传统的方法一般使用肉眼观察、显微镜观 时考虑距离度量，利用MMD或多核MMD量化源 察或能谱和化学分析等不同方法来确定岩石岩性及 域和目标域之间的差异阿。近年来，生成对抗网络 矿物，识别结果在很大程度上受到主观因素的影响 也被应用于迁移学习6切。在迁移学习中，生成器 开发高效、稳健和客观的岩石矿物图像自动识别技 学习的源域和目标域的特征被发送到判别器，判别 术至关重要。近年来，众多学者开始利用计算机技 器判断特征的来源并将结果反馈给生成器，直到无 术对岩石进行识别和分类四网。与传统的岩石岩性 法区分它们。生成对抗网络在这个过程中获得了两 及矿物类型的识别与分类方法相比，基于机器学习 个域的共同特征。这种方法将对抗性学习的思想引 方法的岩石图像分类方法在自动提取图像特征方面 入基于深度学习的迁移学习中，通过使用对抗或关 具有很大的优势

林秋怡等：迁移学习及其在固体地球科学中的应用 7 图 4 预训练模型作为特征提取器的策略 Fig.4 Strategy for using pre-trained models as feature extractor （3）渐进式神经网络。基于冻结预训练的网络， 并在该网络中添加新的层，进而对目标数据进行训 练，这种方法被称为渐进式学习或渐进式神经网络。 与微调方法相比，渐进式学习通过在预训练的层上 训练新添加的层来调整新任务，从而防止深度迁移 学习中的灾难性遗忘问题[33]。 上述方法需要建立在源域和目标域没有显著差 异的基础上。以微调策略举例，当源域和目标域的 数据特征分布明显不同时，微调是无法处理这种情 况的，应用效果可能并不是很好。针对这种情况， 可以引入深度神经网络域自适应方法来缩小源域和 目标域之间的特征分布差异，实现源域和目标域间 数据特征对齐，使得源域特征可用于目标域的训练。 具体来说，深度神经网络域自适应方法主要分为两 类[34]：基于距离的方法和基于对抗的方法。基于距 离的方法，即在深度神经网络中使用迁移学习方法 时考虑距离度量，利用 MMD 或多核 MMD 量化源 域和目标域之间的差异[35]。近年来，生成对抗网络 也被应用于迁移学习[36, 37]。在迁移学习中，生成器 学习的源域和目标域的特征被发送到判别器，判别 器判断特征的来源并将结果反馈给生成器，直到无 法区分它们。生成对抗网络在这个过程中获得了两 个域的共同特征。这种方法将对抗性学习的思想引 入基于深度学习的迁移学习中，通过使用对抗或关 系方法从源数据和目标数据中提取可迁移特征[23]。 在提取域不变特征方面，基于对抗的方法适应性比 大多数基于距离的方法更好[36]。 2 迁移学习在固体地球科学中的应用 机器学习方法应用于固体地球科学领域的最大 的挑战是缺乏大量的标记训练数据，有限的数据样 本无法有效地训练模型。因而将迁移学习方法引入 固体地球科学领域，具有十分广阔的发展空间。本 章将从岩石矿物识别、地质资源勘查两大研究方向 对迁移学习学习的应用分别进行综述。 2.1 岩矿自动识别与分类 岩石岩性及矿物类型的识别与分类是地质研究 的重要组成部分，在岩土工程、矿物学、岩石学、 岩石力学和矿产资源勘查等领域发挥着至关重要的 作用[38]。传统的方法一般使用肉眼观察、显微镜观 察或能谱和化学分析等不同方法来确定岩石岩性及 矿物，识别结果在很大程度上受到主观因素的影响。 开发高效、稳健和客观的岩石矿物图像自动识别技 术至关重要。近年来，众多学者开始利用计算机技 术对岩石进行识别和分类[39, 40]。与传统的岩石岩性 及矿物类型的识别与分类方法相比，基于机器学习 方法的岩石图像分类方法在自动提取图像特征方面 具有很大的优势[41]

8 https://dzk jgb.cug.edu.cn地质科技通报 2023年 基于迁移学习可利用先验知识获得具有精度和 上述研究均采用了较为传统的迁移学习方法， 效率更高的模型。因此一些学者逐渐将基于模型的 即基于预训练模型仅进行全连接层的添加及简单的 迁移学习方法引入岩石矿物的自动识别与分类研究 微调。为了进一步提高迁移模型的性能，集成迁移 中。张野等2基于Inception-v3构建针对岩石图像 模型被引入岩石矿物自动识别中。集成迁移学习模 集分析的深度迁移学习模型，采取基于特征提取的 型是指在预训练模型的基础上融合其他的学习器。 迁移策略，将冻结的预训练Inception-v3模型的卷积 Zhang等4基于Inception-v3架构建立了矿物显微图 层和池化层作为特征提取器，针对岩石图像识别问 像集成迁移学习模型。该研究将预训练Inception-v3 题重新训练Dropout层、全连接层和Softmax层， 作为特征提取器，基于提取的特征，通过模型堆叠 实现了花岗岩、千枚岩、角砾岩三种岩石图像的自 的方式采用逻辑回归(LR)、支持向量机(SVM)、随 动识别与分类，模型识别概率大多在80%以上，部 机森林(RF)、k-最近邻(KNN)、多层感知器(MLP) 分结果甚至可达到95%以上。Polat等4利用深度迁 和高斯朴素贝叶斯(GNB)六种机器学习方法进行预 移学习方法进行火山岩自动识别，基于ResNet50和 测分类。评估结果表明，集成迁移模型和逻辑回归 DenseNet121模型对6种火山岩的1200个岩石薄片 可以达到90.9%的精度，高于所有单一模型，证明 进行分类，通过向预训练ResNet50和DenseNet12I 了集成迁移模型能够有效提高模型性能。L山等啊 模型添加新的全连接层米实现迁移学习，实现了高 将Inception-v3模型作为岩石矿物图像识别的预训练 达100%的分类性能，结果表明即使数据集较小， 模型，基于K-means算法提出一个颜色模型，将预 深度迁移学习模型也能够在更短的时间内高精度地 训练Inception-v3模型与颜色模型相结合建立岩石和 自动识别火山岩。de Lima和Duartel4)将ResNetl8 物识别的综合模型。该研究首先根据岩石矿物的颜 和ResNet50模型引入迁移学习来研究泥岩岩相薄片 色和亮度提取图像中岩石矿物的纹理特征，使用纹 图像分类问题。与其他迁移学习方法不同，该研究 理特征图像重新训练Inception-v3模型，并将输出 不仅为冻结的预训练模型添加新的全连接层，并提 识别结果反馈给颜色模型，最终结果由颜色模型将 出了一种微调方式，即在前5个epoch训练全连接 矿物颜色与Inception-v3模型的结果匹配给出，结 层并更新参数，随后对剩余层进行解冻，并进行参 果表明通过结合重新训练的Inception-v3模型和颜色 数更新。此外，该研究使用了在多种不同类型的图 模型，可以对不同的岩石矿物进行全面的识别。 像数据集上预训练的模型来评估数据间的相似性对 尽管基于机器学习方法的岩石图像识别方法在 基于迁移学习的岩相薄片分类的影响，结果表明即 岩石矿物自动识别领域已具有广泛的应用，但仍存 使数据集间具有不同的分布，预训练模型也能有效 在样本获取困难导致的模型分类精度低和泛化能力 应用于泥岩岩相薄片图像的分类。Freire等基于 不足等问题。针对砂岩图像分类中存在的目标区域 Inception-v3采用微调的迁移学习策略对宝石图像进 样本较少、不同区域间图像特征异大的间趣， 行自动分类，通过实验的方式测试了不同的冻结层 等s提出了一种基于特征的迁移学习方法Festra,. 组合，指出当周定InceptionV:3的前200层并微调最 该方法结合特征迁移和实例迁移技术来处理砂岩显 后111层的参数时模型性能最优，且结果表明利用 微图像分类问题。Festra方法尝试减小源域和目标 深度迁移学习模型进行宝石图像分类具有一定优势 域间的数据差异，通过从源域的标记图像中选择合 使用微调后的迁移学习能在一定程度上提高模型分 适的砂岩图像来补充目标域的标记图像，从而构建 类精度。 自动分类目标域中未标记砂岩图像的分类器，最终

8 https://dzkjqb.cug.edu.cn 地质科技通报 2023 年 基于迁移学习可利用先验知识获得具有精度和 效率更高的模型。因此一些学者逐渐将基于模型的 迁移学习方法引入岩石矿物的自动识别与分类研究 中。张野等[42]基于 Inception-v3 构建针对岩石图像 集分析的深度迁移学习模型，采取基于特征提取的 迁移策略，将冻结的预训练 Inception-v3 模型的卷积 层和池化层作为特征提取器，针对岩石图像识别问 题重新训练 Dropout 层、全连接层和 Softmax 层， 实现了花岗岩、千枚岩、角砾岩三种岩石图像的自 动识别与分类，模型识别概率大多在 80%以上，部 分结果甚至可达到 95%以上。Polat 等[43]利用深度迁 移学习方法进行火山岩自动识别，基于 ResNet50 和 DenseNet121 模型对 6 种火山岩的 1200 个岩石薄片 进行分类，通过向预训练 ResNet50 和 DenseNet121 模型添加新的全连接层来实现迁移学习，实现了高 达 100%的分类性能，结果表明即使数据集较小， 深度迁移学习模型也能够在更短的时间内高精度地 自动识别火山岩。de Lima 和 Duarte[44]将 ResNet18 和 ResNet50 模型引入迁移学习来研究泥岩岩相薄片 图像分类问题。与其他迁移学习方法不同，该研究 不仅为冻结的预训练模型添加新的全连接层，并提 出了一种微调方式，即在前 5 个 epoch 训练全连接 层并更新参数，随后对剩余层进行解冻，并进行参 数更新。此外，该研究使用了在多种不同类型的图 像数据集上预训练的模型来评估数据间的相似性对 基于迁移学习的岩相薄片分类的影响，结果表明即 使数据集间具有不同的分布，预训练模型也能有效 应用于泥岩岩相薄片图像的分类。Freire 等[45]基于 Inception-v3 采用微调的迁移学习策略对宝石图像进 行自动分类，通过实验的方式测试了不同的冻结层 组合，指出当固定 InceptionV3 的前 200 层并微调最 后 111 层的参数时模型性能最优，且结果表明利用 深度迁移学习模型进行宝石图像分类具有一定优势， 使用微调后的迁移学习能在一定程度上提高模型分 类精度。 上述研究均采用了较为传统的迁移学习方法， 即基于预训练模型仅进行全连接层的添加及简单的 微调。为了进一步提高迁移模型的性能，集成迁移 模型被引入岩石矿物自动识别中。集成迁移学习模 型是指在预训练模型的基础上融合其他的学习器。 Zhang 等[46]基于 Inception-v3 架构建立了矿物显微图 像集成迁移学习模型。该研究将预训练 Inception-v3 作为特征提取器，基于提取的特征，通过模型堆叠 的方式采用逻辑回归 (LR) 、支持向量机(SVM) 、随 机森林 (RF) 、k-最近邻 (KNN) 、多层感知器 (MLP) 和高斯朴素贝叶斯 (GNB) 六种机器学习方法进行预 测分类。评估结果表明，集成迁移模型和逻辑回归 可以达到 90.9%的精度，高于所有单一模型，证明 了集成迁移模型能够有效提高模型性能。Liu 等[47] 将 Inception-v3 模型作为岩石矿物图像识别的预训练 模型，基于 K-means 算法提出一个颜色模型，将预 训练 Inception-v3 模型与颜色模型相结合建立岩石矿 物识别的综合模型。该研究首先根据岩石矿物的颜 色和亮度提取图像中岩石矿物的纹理特征，使用纹 理特征图像重新训练 Inception-v3 模型，并将输出 识别结果反馈给颜色模型，最终结果由颜色模型将 矿物颜色与 Inception-v3 模型的结果匹配给出，结 果表明通过结合重新训练的 Inception-v3 模型和颜色 模型，可以对不同的岩石矿物进行全面的识别。 尽管基于机器学习方法的岩石图像识别方法在 岩石矿物自动识别领域已具有广泛的应用，但仍存 在样本获取困难导致的模型分类精度低和泛化能力 不足等问题。针对砂岩图像分类中存在的目标区域 样本较少、不同区域间图像特征差异大的问题，Li 等[48]提出了一种基于特征的迁移学习方法 Festra， 该方法结合特征迁移和实例迁移技术来处理砂岩显 微图像分类问题。Festra 方法尝试减小源域和目标 域间的数据差异，通过从源域的标记图像中选择合 适的砂岩图像来补充目标域的标记图像，从而构建 自动分类目标域中未标记砂岩图像的分类器，最终

林秋怡等：迁移学习及其在周体地球科学中的应用 能够获得精度较高的砂岩显微图像分类模型。针对 列。最近的研究表明，结合深度学习和迁移学习方 小样本岩石图像分类模型中存在过拟合问题和分类 法可以减少地球化学异常识别中因训练样本有限造 精度低等问题，Chen等I9提出一种基于迁移学习的 成的影响。Li等5将迁移学习引入基于CNN的地 深度ResNet34模型对岩石图像进行快速、准确的分 球化学异常识别中，利用在大型图像数据集上训练 类。首先利用能够反映岩石特征的纹理库数据集对 的Inception-v3模型作为预训练模型，通过冻结预训 ResNet3.4模型进行预训练，该预训练模型除最后 练模型并重新训练自定义的Dropout层、全连接层 个全连接层外，网格各层的参数被冻结，最后将岩 和Softmax层来进一步构建目标模型，以此圈定安 石数据集输入预训练模型并重新训练最后的全连接 赏省张八岭构造带金多金属矿找矿远景区。结果表 层以完成微调。结果表明无迁移学习的模型准确率 明迁移学习可以降低训练数据有限的影响，加快收 达到88.1%，迁移学习模型的准确率达到99.1%， 敛速度，提高异常识别的准确性。在此基础上，Wu 因此该方法可以在数据集不足的情况下减少模型训 等57基于新疆北部准噶尔西北部CAu矿床，提出 练时间和消耗成本，实现对小数据集更快、更好的 了一种使用迁移学习与度量学习相结合的方法来减 分类效果 少对训练样本数量的依赖，将预训练Inception-v3模 将迁移学习应用于基于深度学习的岩石矿物识 型作为李生神经网络的特征提取层，通过度量样本 别研究中，一方面能够减少主观因素的影响，使得 间的相似性不断优化网络参数，结果表明该方法能 岩石矿物分类过程更加自动化和智能化，另一方面 有效提高在小样本情况下使用深度学习模型提取多 为数据不足的岩石矿物图像分类问题提供了一种新 元地球化学异常的性能， 的手段，可获得较好的图像识别分类效果，同时具 上述研究证明了迁移学习可有效解决矿产勘查 有良好的鲁棒性和泛化能力。 领域中的样本不足的问题，但仍存在一个不可忽视 2.2矿产资源勘查 的挑战，即应用迁移学习时需要为目标数据集选择 矿产资源是经济社会发展的重要物质基础，矿 高度相关的源数据集。Huang等利用1：5万勘查 产资源的合理开发利用对国家和经济发展具有巨大 地球化学数据对广东省庞西洞成矿区进行找矿靶区 的推动作用0。随着勘查工作的不断深入，易识别 智能预测，针对找矿预测研究中地质样本数量少的 矿床和浅表矿正日渐枯竭，开展覆盖区和深部隐伏 问题提出了一种基于选择性知识迁移(Selective 矿床的矿产资源预测已经成为目前和今后的重点。 Knowledge Transfer,SKT的找矿目标预测深度学习 大数据时代背景下，机器学习为创新覆盖区和深部 框架，并将其应用于广东省庞西洞成矿区。SKT框 找矿方法提供了新的思路。机器学习利用大数据和 架首先引入一个训练有素的大型找矿目标预测模型 算法模型，能够从地球科学大数据中识别潜在模式 作为预训练模型，并定义多个具有相同结构的目标 或规律网，提供更为准确的预测或分类效果。近年 模型，将预训练模型的权重参数选择性地迁移至不 来，基于机器学习算法开展深层次矿化信息的挖掘 同目标模型进行训练，结果表明预测的找矿粑区面 与集成己成为矿产勘查领域的研究热点与前沿领域 积与实际开采面积基本一致，证明了迁移学习能够 之一5创 有效解决样本数量少的问题，同时提高模型的泛化 矿致地球化学异常识别是矿产物查的重要手段 性能。Li等5以湖南省花垣县锰矿床为例，针对研 之一位圳。机器学习方法可以有效整合多维地球化 究区地下三维数据有限的问题，提出了一种基于相 学数据，识别和提取与矿化有关的地球化学异常4 似成矿背景的迁移学习方法。该研究在保证研究区

林秋怡等：迁移学习及其在固体地球科学中的应用 9 能够获得精度较高的砂岩显微图像分类模型。针对 小样本岩石图像分类模型中存在过拟合问题和分类 精度低等问题，Chen 等[49]提出一种基于迁移学习的 深度 ResNet34 模型对岩石图像进行快速、准确的分 类。首先利用能够反映岩石特征的纹理库数据集对 ResNet34 模型进行预训练，该预训练模型除最后一 个全连接层外，网格各层的参数被冻结，最后将岩 石数据集输入预训练模型并重新训练最后的全连接 层以完成微调。结果表明无迁移学习的模型准确率 达到 88.1%，迁移学习模型的准确率达到 99.1%， 因此该方法可以在数据集不足的情况下减少模型训 练时间和消耗成本，实现对小数据集更快、更好的 分类效果。 将迁移学习应用于基于深度学习的岩石矿物识 别研究中，一方面能够减少主观因素的影响，使得 岩石矿物分类过程更加自动化和智能化，另一方面 为数据不足的岩石矿物图像分类问题提供了一种新 的手段，可获得较好的图像识别分类效果，同时具 有良好的鲁棒性和泛化能力。 2.2 矿产资源勘查 矿产资源是经济社会发展的重要物质基础，矿 产资源的合理开发利用对国家和经济发展具有巨大 的推动作用[50]。随着勘查工作的不断深入，易识别 矿床和浅表矿正日渐枯竭，开展覆盖区和深部隐伏 矿床的矿产资源预测已经成为目前和今后的重点。 大数据时代背景下，机器学习为创新覆盖区和深部 找矿方法提供了新的思路。机器学习利用大数据和 算法模型，能够从地球科学大数据中识别潜在模式 或规律[9]，提供更为准确的预测或分类效果。近年 来，基于机器学习算法开展深层次矿化信息的挖掘 与集成已成为矿产勘查领域的研究热点与前沿领域 之一[51]。 矿致地球化学异常识别是矿产勘查的重要手段 之一[52, 53]。机器学习方法可以有效整合多维地球化 学数据，识别和提取与矿化有关的地球化学异常[54, 55]。最近的研究表明，结合深度学习和迁移学习方 法可以减少地球化学异常识别中因训练样本有限造 成的影响。Li 等[56]将迁移学习引入基于 CNN 的地 球化学异常识别中，利用在大型图像数据集上训练 的 Inception-v3 模型作为预训练模型，通过冻结预训 练模型并重新训练自定义的 Dropout 层、全连接层 和 Softmax 层来进一步构建目标模型，以此圈定安 徽省张八岭构造带金多金属矿找矿远景区。结果表 明迁移学习可以降低训练数据有限的影响，加快收 敛速度，提高异常识别的准确性。在此基础上，Wu 等[57]基于新疆北部准噶尔西北部 Cu-Au 矿床，提出 了一种使用迁移学习与度量学习相结合的方法来减 少对训练样本数量的依赖，将预训练 Inception-v3 模 型作为孪生神经网络的特征提取层，通过度量样本 间的相似性不断优化网络参数，结果表明该方法能 有效提高在小样本情况下使用深度学习模型提取多 元地球化学异常的性能。 上述研究证明了迁移学习可有效解决矿产勘查 领域中的样本不足的问题，但仍存在一个不可忽视 的挑战，即应用迁移学习时需要为目标数据集选择 高度相关的源数据集。Huang 等[58]利用 1:5 万勘查 地球化学数据对广东省庞西洞成矿区进行找矿靶区 智能预测，针对找矿预测研究中地质样本数量少的 问题提出了一种基于选择性知识迁移 (Selective Knowledge Transfer, SKT) 的找矿目标预测深度学习 框架，并将其应用于广东省庞西洞成矿区。SKT 框 架首先引入一个训练有素的大型找矿目标预测模型 作为预训练模型，并定义多个具有相同结构的目标 模型，将预训练模型的权重参数选择性地迁移至不 同目标模型进行训练，结果表明预测的找矿靶区面 积与实际开采面积基本一致，证明了迁移学习能够 有效解决样本数量少的问题，同时提高模型的泛化 性能。Li 等[59]以湖南省花垣县锰矿床为例，针对研 究区地下三维数据有限的问题，提出了一种基于相 似成矿背景的迁移学习方法。该研究在保证研究区