股票配资中心持续收录高质量 PPML 文献

本项目的领导者为李萌，于 2022 年加入北京大学人工智能研究院和集成电路学院创建高效安全计算实验室。他曾任职于美国 Facebook 公司的 Reality Lab，作为技术主管主导虚拟现实和增强现实设备中的高效 AI 算法和芯片研究。他的研究兴趣集中于高效、安全人工智能加速算法和芯片，旨在通过算法到芯片的跨层次协同设计和优化，为人工智能构建高能效、高可靠、高安全的算力基础，曾获 DAC 生成式人工智能系统设计竞赛第一名、AICAS 大模型系统设计竞赛第一名、CCF 集成电路 Early Career Award、欧洲设计自动化协会最佳博士论文等一系列奖项。

在数据隐私日益重要的 AI 时代，如何在保护用户数据的同时高效运行机器学习模型，成为了学术界和工业界共同关注的难题。

北大团队最新完成的综述《Towards Efficient Privacy-Preserving Machine Learning: A Systematic Review from Protocol, Model, and System Perspectives》系统性地梳理了当前隐私保护机器学习（PPML）领域的三大优化维度，首次提出跨协议、模型和系统三个层级的统一视角，为学术界和工业界提供了更加清晰的知识脉络与方向指引。

本文由北京大学助理教授李萌课题组和蚂蚁集团机构的多位研究者共同完成。论文题目及完整作者列表如下：

论文标题：Towards Efficient Privacy-Preserving Machine Learning: A Systematic Review from Protocol, Model, and System Perspectives

团队还建立了一个长期维护的 GitHub 项目，持续收录高质量 PPML 文献，欢迎大家 star，并提出宝贵的意见和补充：

文献库：https://github.com/PKU-SEC-Lab/Awesome-PPML-Papers

文章的总体结构如下：

层级一：协议层级优化

尽管密码学协议为数据隐私保护提供了严格的安全保证，但其应用于人工智能计算，仍面临巨大开销。本综述指出当前协议设计主要存在以下核心痛点：1）基于不经意传输（OT）的协议有极高的通信开销和基于同态加密（HE）的协议面临严重计算瓶颈；2）现有协议忽视模型固有的结构特性（如稀疏性、量化鲁棒性），因此缺乏 “模型感知” 的协议设计。

本综述分别从人工智能模型的线性算子和非线性算子切入，主要讨论了基于 OT 和 HE 的协议设计和发展脉络。综述中重点回答了在不同场景中，应该使用何种协议以及 HE 编码方式。综述还分析了在交互式和非交互式协议框架下的图级协议，比如秘密分享和 HE 之间的转换、全同态中的自举方案。以下是关于编码方案的总结：

层级二：模型层级优化

本综述强调在传统明文机器学习模型中的设计（如 ReLU 剪枝、模型量化）在 PPML 中往往会导致高昂代价。综述系统地归纳了当前 PPML 领域的四类模型层优化策略：1）线性层优化：比如高效卷积设计、低秩分解、线性层融合；2）非线性层 ReLU 和 GeLU 优化：比如多项式近似、剪枝和 GeLU 的替换；3）非线性层 Softmax 优化：比如昂贵算子的替换、KV cache 剪枝、注意力头融合；4）低精度量化，包括 OT 和 HE 友好的量化算法。下表概括了线性层和非线性层的优化方案：

层级三：系统层级优化

本综述指出，即便协议和模型层级已经得到优化，系统层级若无法 “感知协议特性”，将难以释放真正性能。综述中梳理了两个方向的优化路径：1）编译器设计：从协议特性感知、灵活编码、Bootstrapping 支持等方面展开了讨论；2）GPU 设计：分别讨论了操作层面加速与 PPML 系统层面的优化，通过对比现有 GPU 加速实现中典型 PPML 工作负载的执行时间，对相关技术进行了总结。下图是 HE 编译器的梳理：