我校计算机与人工智能学院计算机应用技术专业2022级硕士生喻皓和高欣,在“认知计算与群智协同创新团队”负责人杨新教授指导下与新加坡南洋理工大学、京东科技、西南交通大学等单位合作完成的学术论文《Federated Continual Learning via Knowledge Fusion: A Survey》被国际著名学术期刊《IEEE Transactions on Knowledge and Data Engineering》接收,并于2024年2月正式线上发表。
![](/__local/9/5A/CE/00592950F59B61D822B004070D0_C5338B38_9628.png)
论文简介
深度学习已在人工智能的多个领域取得重大突破,然而用户的数据隐私需求严重限制了深度学习算法的应用,尤其是在金融和医疗等涉及到大量敏感数据的场景。此外,数据往往以数据孤岛的形式分布在不同的机构和设备中,将它们汇总和中心化存储并不总是可行。为了解决这两大问题,2016年Google提出了联邦学习(Federated Learning)概念,通过在多个客户端上训练本地模型而无需在服务器进行数据的集中化存储得到高泛化性的全局模型。现有的联邦学习算法主要关注静态数据场景,忽视了从流数据和增量任务中进行持续学习。联邦持续学习(FCL)是一种新兴的机器学习范式,可用于实现动态异构环境下的联邦学习,主要目标是从不同客户端持续地融合异构知识,并在学习新任务时保留先前任务的知识,实现数据和知识的共享融合以及群智建模。
研究价值
数据隐私与数据孤岛是制约新一代可信人工智能发展的关键瓶颈问题之一。联邦学习(Federated Learning)的目标就是在保护数据隐私的条件下,多方合作训练可用的深度网络模型。而联邦持续学习(Federated Continual Learning)则是更具有实际应用价值的联邦学习,其一方面允许客户端从持续的任务流中不断累积知识,另一方面允许服务器不断聚合来自不同时空的异质知识。本文作为首篇FCL的综述文章,从知识融合与迁移的角度出发,探究联邦学习与持续学习的相似点,提出“联邦学习是空间上的持续学习,持续学习是时间上的联邦学习”这一深刻结论。随后从持续学习中的灾难性遗忘问题出发,提出了联邦持续学习的核心挑战是“时空灾难性遗忘”,并且首次提出时空知识保留度这一专门适用于联邦持续学习的衡量指标,目前已被数篇顶会论文采纳。接着,本文归纳总结了近年来的FCL文章,根据客户端之间的任务序列相似度将现有的FCL框架划分为同步FCL与异步FCL。在此基础上,本文从数据输入、模型参数和对应输出这三个层次上将现有研究所使用的知识表征形式与融合方式归纳总结为基于数据的融合(排练法和聚类)、基于模型的融合(正则化、注意力机制、参数分离和动态结构)、基于输出的融合(原型和知识蒸馏)。最后,本文展望了FCL未来发展趋势和研究方向。
学生简介
![](/__local/9/7A/B1/A1DFF0BD0EA5E651194DFFC8CDF_7EECBF2B_9806.png)
喻皓,计算机与人工智能学院计算机应用技术专业2022级硕士研究生(2024年9月人工智能理论与应用专业硕博连读),研究领域为可信人工智能与联邦持续学习等。目前已在IEEE TKDE和KDD等高水平国际期刊和会议发表多篇学术论文,曾多次前往清华大学人工智能产业研究院、新加坡科技局A-STAR、新加坡南洋理工大学、微众银行等国内外知名研究机构进行学术交流访问。
![](/__local/C/6E/20/9CDE6599F5458AC54FA15840C21_0D409898_3D141.png)
高欣,计算机与人工智能学院计算机应用技术专业2022级硕士研究生,研究领域为联邦持续学习与音频算法开发。目前已在IEEE TKDE和KDD等高水平国际期刊和会议发表多篇学术论文,曾多次前往清华大学人工智能产业研究院、爱奇艺科技有限公司等国内外知名研究机构进行学术交流访问。
指导老师简介
![](/__local/2/D9/44/9ECC1DADF172EDDC0F7FBBA420D_F1F806CE_A7BC.png)
杨新,工学博士,教授,博士生导师,西南财经大学计算机与人工智能学院副院长,互联网金融创新及监管四川省协同创新中心主任,认知计算与群智协同创新团队负责人,成都市青年科技联合会副主席,中国计算机学会(CCF)杰出会员和杰出传播者,CCF成都秘书长,YOCSEF 成都学术委员会(22-23)主席,CCF数字金融分会常务委员,CCF大数据专委会执行委员,CCF大模型论坛执行委员,CCF传播工作委员会委员和传播大使,中国人工智能学会(CAAI)粒计算与知识发现专委会委员,四川省人工智能学会常务理事,主要研究方向是可信联邦学习、终身持续学习、智能金融和城市计算等,主持/主研国家级和省部级科研项目10余项,已在IEEE TKDE、IEEE TFS等高水平国际期刊和KDD、WWW、AAAI、CVPR、ACM MM等一流国际会议发表学术论文80余篇,主编/参编教材4部和专著2部,授权/授理国家发明专利7项,HCIS等国际期刊编委,IEEE ICICML、DSInS和PAKDD等国际会议大会主席/TPC/SC,主编国际会议论文集4部,曾获四川省第一届青年教师教学竞赛三等奖,省级一流课程《现代科技与人工智能》(全校通识课)负责人,指导学生获得ACM优秀硕士论文和优秀本科生等奖项以及学科竞赛100余项。
“认知计算与群智协同创新团队”长期致力于探索认知计算与群体智能协同创新等前沿科学领域,聚焦持续学习和可信联邦学习两大新型机器学习范式,围绕学习可持续、知识可传输、性能可使用、效率可控、隐私可保护、安全可证明等核心问题,深入研究具备人脑认知稳定性-可塑性能力的新一代人工智能理论和方法,努力推动人工智能新质生产力与数字经济的交叉融合发展和应用成果转化。
研究生教育作为国民教育体系的顶端,是培养高层次人才和释放人才红利的主要途径,是国家人才竞争和科技竞争的重要支柱,是实施创新驱动发展战略和建设创新型国家的核心要素。学校坚持用习近平新时代中国特色社会主义思想铸魂育人,对标“新财经”战略升级,立足西财学科特色优势,切实发挥研究生导师第一责任人作用,不断完善优生优师优培机制,加强拔尖创新人才自主培养体系构建,加快推动博士研究生教育高质量发展,持续培育和涌现出高水平、标志性的育人成果,为服务教育强国、科技强国、人才强国建设贡献西财力量。