[ACM SIGMOD 2023] PKU-DAIR课题组3篇论文入选数据库顶级会议ACM SIGMOD 2023

导 读

PKU-DAIR课题组3篇论文

入选数据库顶级会议ACM SIGMOD 2023

数据库领域顶级会议ACM SIGMOD 2023于2023年6月18-23日在美国西雅图举行。在SIGMOD 2023上，北京大学计算机学院PKU-DAIR课题组共有3篇高水平论文入选。作为数据库系统领域历史最为悠久也是最为权威的学术会议，一年一度的 ACM SIGMOD 会议是数据管理研究人员、从业者、开发人员和用户探索前沿思想和成果并交流技术、工具和经验的领先国际论坛。本年度ACM SIGMOD共有660篇投稿，录用186篇。

课题组本次被SIGMOD录用的3篇论文，研究成果涵盖了多个领域，包括数据库性能优化、数据库异常诊断、深度学习系统中的数据管理等。

以下是论文简要内容介绍：

01

UniTune：

数据库优化的联合统一框架

近年来，基于机器学习 (ML) 的数据库性能优化技术引起了学术界和工业界的强烈兴趣。在数据库特定组件（例如，索引选择、参数调整）的优化上，基于机器学习 (ML) 的优化代理（agent）已经证明比有经验的数据库管理员（DBAs）能够找到更好的配置。然而，一个关键且具有挑战性的问题仍未被研究——如何使这些优化代理协同工作。针对此问题，论文《 A Unified and Efficient Coordinating Framework for Autonomous DBMS Tuning》提出了首个统一的联合优化框架UniTune，以有效利用基于ML的优化代理。该框架通过在不同的优化代理间传递优化信息，实现全局优化，并研究了如何在变化环境下明智地分配调优预算。UniTun定义了适用于多种代理的抽象与API，可以方便地集成现有代理，并支持未来扩展。实验测评表明，我们的优化框架显著优于基线方法。该论文第一作者为计算机学院2022级博士张心怡（导师崔斌教授），作者包括常卓、吴竑（阿里巴巴集团）、黎洋、陈嘉、谭剑（阿里巴巴集团）、李飞飞（阿里巴巴集团）、崔斌教授（通讯作者）。

02

FlexMoE: 利用动态设备放置机制来扩展大规模稀疏预训练模型的训练

近年来，可用的训练数据不断增加，深度学习研究员们倾向于使用更大参数量的模型来拟合这些知识，也取得了更好的效果。然而，随着模型参数量的不断扩大，模型训练所需要的计算量也在不断增长，这大大提高了模型训练的成本。因此，很多研究人员转向使用混合专家结构(MoEs)来高效地扩大模型参数，通过稀疏门控网络引入模型稀疏性，在不显著增加计算量的情况下增加模型的参数，在各类下游任务取得了很好的效果。然而，由于这种稀疏的模式面临着动态路由和负载不均衡的问题， 现有系统无法高效地处理此类计算模式。

在这篇论文中，我们提出了FlexMoE，一种面向大规模稀疏预训练模型的深度学习框架，从系统设计的角度解决了MoE模型中由动态数据流引起的低效问题。首先，我们观察了不同MoE模型训练过程中专家的负载情况，这驱动我们通过动态专家管理和设备放置机制来克服动态路由和负载不均的问题。然后，我们在现有的DNN系统上增加了一个新的调度模块，用来监控训练时的数据流，制定专家调度计划，并通过实时数据流量指导动态调整模型与硬件的映射关系。此外，我们利用了启发式算法来动态优化训练期间的设备放置。我们在NLP模型（例如BERT和GPT）和视觉模型（例如Swin）都进行了实验，结果显示FlexMoE可以在这些真实的工作负载上比现有的系统表现更好。该论文第一作者为计算机学院2019级博士聂小楠（导师崔斌教授），通讯作者为崔斌教授，合作作者包括微软的薛继龙、马凌霄和王子龙，CMU的苗旭鹏和杨子超，北京智源研究院的曹岗。

03

事务型数据库性能异常基准测试

对于事务型数据库系统中的性能异常诊断，机器学习算法往往因缺乏训练数据而难以应用。针对该问题，论文《DBPA: A Benchmark for Transactional Database Performance Anomalies》提出了一套事务型数据库性能异常基准测试，包含多种常见性能异常的复现框架与评测数据集，支持新异常类型扩展。用户可在目标数据库部署该复现框架，生成具备多样性的性能异常数据，训练得到具有良好泛化性的机器学习模型，从而实现优于传统方法的异常诊断效果。用户也可基于该评测数据集，测试不同异常诊断工具的表现。该论文第一作者为计算机学院2020级博士黄世悦（导师崔斌教授），作者包括王子威、张心怡、屠要峰（中兴公司）、李忠良（中兴公司）、崔斌教授（通讯作者）。

SIGMOD背景介绍

ACM SIGMOD （Special Interest Group on Management of Data） 是国际计算机界公认在数据管理领域具有最高学术地位的会议，在中国计算机学会（CCF）推荐的“数据库/数据挖掘/内容检索”领域的A类学术会议中排名第一，所收录的论文代表了行业内最高水平。SIGMOD由美国计算机协会（ACM）数据管理专业委员会发起，始于1975年，论文审稿极其严格，采用双盲审稿制度。本届SIGMOD会议于2023年6月18-23日在美国西雅图举行。

END

欢迎关注本公众号，帮助您更好地了解北京大学数据与智能实验室（PKU-DAIR），第一时间了解PKU-DAIR实验室的最新成果！

实验室简介

北京大学数据与智能实验室（Data And Intelligence Research Lab at Peking Univeristy，PKU-DAIR实验室）由北京大学计算机学院崔斌教授领导，长期从事数据库系统、大数据管理与分析、人工智能等领域的前沿研究，在理论和技术创新以及系统研发上取得多项成果，已在国际顶级学术会议和期刊发表学术论文100余篇，发布多个开源项目。课题组同学曾数十次获得包括CCF优博、北大优博、微软学者、苹果奖学金、谷歌奖学金等荣誉。PKU-DAIR实验室持续与工业界展开卓有成效的合作，与腾讯、阿里巴巴、苹果、微软、百度、快手、中兴通讯等多家知名企业开展项目合作和前沿探索，解决实际问题，进行科研成果的转化落地。