学　术

　　教师发展中心“名师讲堂”活动特别邀请香港中文大学（深圳） 张纵辉 副教授进行学术交流，具体安排如下，欢迎感兴趣的师生参加。

　　一、主　题：z-SignFedAvg: A Unified Stochastic Sign-based Compression for Federated Learning

　　二、主讲人：香港中文大学（深圳） 张纵辉 副教授

　　三、时　间：2023年5月15日（周一）10:00-12:10

　　四、地　点：清水河校区科研楼C218

　　五、主持人：信息与通信工程学院 林静然 教授

　　六、主讲内容：

　　Federated Learning (FL) is a promising privacy-preserving distributed learning paradigm but suffers from high communication cost when training large-scale machine learning models. Sign-based methods, such as SignSGD, have been proposed as a biased gradient compression technique for reducing the communication cost. However, sign-based algorithms could diverge under heterogeneous data, which thus motivated the development of advanced techniques, such as the error-feedback method and stochastic sign-based compression, to fix this issue. Nevertheless, these methods still suffer from slower convergence rates. Besides, none of them allows multiple local SGD updates like FedAvg. In this paper, we propose a novel noisy perturbation scheme with a general symmetric noise distribution for sign-based compression, which not only allows one to flexibly control the tradeoff between gradient bias and convergence performance, but also provides a unified viewpoint to existing stochastic sign-based methods. More importantly, we propose the very first sign-based FedAvg algorithm (z-SignFedAvg). Theoretically, we show that z-SignFedAvg achieves a faster convergence rate than existing sign-based methods and, under the uniformly distributed noise, can enjoy the same convergence rate as its uncompressed counterpart. Extensive experiments are conducted to demonstrate that the z-SignFedAvg can achieve competitive empirical performance on real datasets.

　　七、主讲人简介：

　　张纵辉，香港中文大学（深圳）副教授， IEEE Fellow。分别于2003年与2008年自台湾清华大学取得电机工程学士与通讯工程博士学位。2012年8月-2015年7月，在台湾科技大学电子工程系担任助理教授。2015年8月起，任职于香港中文大学（ 深圳）理工学院，担任助理教授，并于2018年8月担任长聘副教授。曾先后在台湾清华大学（2008-2011）与美国加州大学戴维斯分校（2011-2012）担任博士后研究员。研究方向为通信系统与机器学习中的关键信号处理与优化方法以及大数据分析。2014年获台湾科技大学年轻学者研究奖，2015年获IEEE通信学会亚太区杰出年轻学者奖, 2018年和2021年获得IEEE信号处理学会（SPS）最佳论文奖，2021年获得香港中文大学深圳分校SSE杰出教师研究奖。担任IEEE信号处理学会通信与网络信号处理技术委员会(IEEE SPS SPCOM TC)的委员，也是IEEE信号处理学会感知与通信一体化技术工作委员会(ISAC TWG)的创始主席。担任多个信号处理领域国际一流期刊的编辑工作，包括顶级IEEE信号处理期刊（IEEE Trans. SP）编委（2014.08-2018.12）与高级领域编委（2021.02-至今），IEEE网络信号与信息至今）。

　　八、主办单位：教师发展中心

　　　　承办单位：信息与通信工程学院