ClickHouse 查询优化技巧与在 vivo 的实践

数据库应用在大数据实践中至关重要，技术人员的一项主要工作就是对查询性能进行极致优化，包括底层引擎改造、编译优化、架构优化等手段，同时也要保证大数据场景下的稳定运行。

为此，在DataFunCon 2023（深圳站）的【极致效能OLAP论坛】中，DataFun邀请了来自ClickHouse、炎凰数据、vivo、灵犀互娱和微信的嘉宾，从上述几个方面，全面介绍OLAP的极致优化实践，以及如何赋能业务人员进行数据分析。

说明：大会当天还有其余10个平行付费论坛，包括：

大数据方向：极致效能OLAP论坛、新一代数据架构论坛、云原生大数据迭代论坛、数据治理发展趋势论坛、数据产品设计实践论坛。

AI方向：DEEPNOVA大模型论坛、推荐系统变革论坛、AIGC与智能交互论坛、AB实验应用与发展论坛、AIGC与业务提效论坛、数智金融效能建设论坛。

欢迎感兴趣的小伙伴，扫码报名，获取免费门票👇（25号早上签到，可赠送当天10个付费平行论坛的免费门票）
（赠票数量有限，先到先得）
⏰活动时间：11.25(周六)9:00-12:20🍀活动形式：线下（无直播）

☕️活动地点：深圳机场凯悦酒店·宴会厅2

✨论坛亮点：1.揭秘ClickHouse 2024新版本动态2.详解即时编译JIT技术基础与应用3.人群和指标的高效联动分析方法与实践4.分享微信 OLAP 新场景优化实践

活动议程

议题详情与嘉宾介绍

🔥演讲题目：ClickHouse 2024 新功能与研发方向思考

👨‍💻演讲嘉宾：

Alexey Milovdov，ClickHouse CTO

谢志豪 ClickHouse 技术支持工程师

Alexey 毕业于莫斯科国立大学，拥有数学学位。他的兴趣领域包括数据处理算法和技术，他热爱数据和高性能。拥有13年的设计、开发和操作数据密集型应用程序的经验。他于2009年开始着手ClickHouse初始模型的策划和开发，并于2016年将其释放为开源项目。在ClickHouse之前，他开发了全球第二大网络分析系统的数据处理引擎。

Derek 谢志豪是 ClickHouse 的技术支持工程师。主要工作范围包括帮助大型客户解决重大技术问题，优化 Clickhouse 集群，提升使用体验。Derek 毕业于新加坡国立大学 (NUS) 获得信息系统学位，在 ClickHouse 工作之前一直从事数据平台的优化和管理工作。

📕演讲提纲：ClickHouse是业内公认最快的OLAP数据引擎，同时clickHouse也在面对来自包括中国区在内的全球的优秀产品的竞争，这也激励了我们更加努力地发展社区，完善我们的产品。我们非常愿意分享我们产品的新功能新特性以及未来的roadmap，我们也希望听到来自中国社区和用户的期望。
🔥演讲题目：使用 JIT 技术实现高效的数据库表达式求值👨‍💻演讲嘉宾：吴立 炎凰数据 研发工程师

硕士，毕业于上海交通大学，在上海炎凰数据主要负责时序数据库的开发。之前在Splunk工作，主要参与数据采集相关的开发工作。

📕演讲提纲：

1. 介绍数据库表达式求值的一般方法

（1）什么是表达式求值问题

（2）常见方法如向量化/JIT/树遍历等

（3）不同的数据库的解法

2. JIT即时编译技术

（1）什么是JIT即时编译技术

（2）JIT技术的优缺点

3. 使用Gandiva表达式编译器

（1）介绍Apache Arrow

（2）介绍Gandiva表达式编译器, LLVM及其工作

🍎听众收益：

1. 如何对数据库表达式求值

2. JIT即时编译技术的基本概念以及为什么需要JIT

3. 如何使用Apache Arrow/Gandiva的JIT即时编译技术加速计算

🔥演讲题目：Bit-sliced-index：基于 Roaringbitmap 的人群 OLAP 分析、在线服务的 one more thing?

👨‍💻演讲嘉宾：

黄海林 灵犀互娱 技术专家

唐凯麟 灵犀互娱 高级研发工程师

黄海林，灵犀互动数据服务 leader，Roaringbitmap Java 版 BSI 作者。

唐凯麟，计算机科学与技术硕士，专注于大数据系统和数据平台的技术研发工作，现在主要负责阿里巴巴-灵犀互娱数据平台开发。

📕演讲提纲：

第一部分：

1. 灵犀互娱面向游戏用户的数据难题

2. 元数据驱动数据架构设计

第二部分：

此次分享将介绍现代 DMP 平台中的数据存储与计算面临的特点与挑战，以及为灵犀互娱针对海量数据的建模与存储计算优化策略。具体包括：

1. 灵犀互娱业务数据应用现状及挑战

2. 基于 Roaring Bitmap 与 Bit-Index Slice 的数据存储、计算原理介绍

3. 案例分享

🍎听众收益：

第一部分：

1. 人群和指标的高效联动分析

2. 高性能人群服务如何设计

第二部分：

1. 海量数据建模、存储与计算解决方案

2. 如何构建高效的海量数据平台架构快速进行数据分析

🔥演讲题目：WeOLAP：微信 OLAP 新场景优化实践

👨‍💻演讲嘉宾：孙弘毅 微信 大数据研发高级工程师

硕士毕业于南京大学计算机系，具有多年大数据和分布式系统研发经验，对 Spark、Flink、Kafka、Pulsar 等大数据组件和消息中间件有深入的理解，目前在微信 WeOLAP 团队参与以 Clickhouse 为基座的海量数据亚秒级分析系统研发。

📕演讲提纲：

1. ClickHouse 在微信的新应用场景

2. 如何进行查询性能观测

3. 湖仓读取场景优化

4. 实验场景优化

5. 向量数据库应用 & embedding 检索优化

🔥演讲题目：ClickHouse 在 vivo 的应用实践

👨‍💻演讲嘉宾：袁文兵 vivo 互联网大数据架构师

计算机科学与技术硕士，曾任职于腾讯，现在 vivo 负责大数据研发工作，OLAP 项目负责人，专注于大数据系统和 OLAP 数据库的技术研发工作，具有8年大数据从业经验。

📕演讲提纲：

1. vivo OLAP 的发展历程与选型

2. ClickHouse 的稳定性实践

3. ClickHouse 查询优化实践

4. ClickHouse 实践案例

🍎听众收益：

1. 了解 ClickHouse 常见的稳定性问题及解决方案

2. 了解 ClickHouse 的查询优化方面的实践技巧

3. ClickHouse 如何赋能业务，带来降本增效

赠票数量有限，先到先得

欢迎感兴趣的小伙伴，

扫码报名，获取免费门票👇

25号前50名签到的用户，可免费领取实体书1本
👇点击“阅读原文”报名，免费预约现场坐席～