大数据的里子

论坛详情

嘉宾和议题

邓琴丰 YY直播 数据产品负责人

个人介绍：目前负责YY直播数据产品的总体规划，带领团队落地包括数据开发管理、数据治理、数据分析、数据服务、用户画像及运营分析等数据平台及应用产品；有10年+的大数据分析及产品经历。

演讲题目：YY直播业务指标治理实践

演讲提纲：烟囱式的需求开发沉积大量数据模型及数据报表；而业务指标管理存在技术口径和业务口径混用，同名不义及同义不同名等问题；通过业务指标的体系化梳理及构建，引入指标生命周期管理机制，清理融合存量数据模型及报表；最终面对业务用户，构建以指标目录为入口的自助购物式的数据获取及分析体验，提纲如下：

1. 存在的问题及原因分析

2. 业务指标体系化构建

3. 业务指标管理驱动数据治理

4. 自助购物式的指标分析

听众收益：

1. 如何梳理并构建业务指标体系？

2. 如何利用指标管理驱动数据治理？

3. 指标管理产品构建及运营的实战经验

扫码咨询报名

韩钰 腾讯 大数据平台部 数据上报系统负责人

个人介绍：硕士毕业于中国科学院计算机网络信息中心，曾先后就职于百度、滴滴、腾讯等公司，目前在腾讯数据中台负责数据上报系统，深耕数据上报质量和效率，实现PCG的全业务覆盖。

演讲题目：数据采集治理

演讲提纲：

1、引子

1）数据采集的深广准决定了指标应用的能力上限，指标治理需要从采集源头开始

2）数据采集其实就做一件事：将真实的客观世界数字化并记录下来

3）做好数据采集的终极目标是 质量 和 效率

2、质量

1）数据质量问题60%～80%发生在采集阶段，在指标应用阶段才发现质量问题会让人气馁，排查也很低效

2）新一代数据质量审查工具，让人们对数据质量的认知从 合规检查 提升到 合理分析

3）质量审查能让人一眼看穿数据质量，让指标使用方可以放心大胆的使用采集数据

4）智能判定则可让机器自动发现问题，基于灰度主流对比、主流日期环比等一系列相关性对比思路

5）行为诊断可用来帮助诊断一些数据采集的疑难杂症，通过可视化单个用户的全部行为轨迹

6）补充其他质量工具，总结实践经验

3、效率

1）效率瓶颈很多时候并不在开发上，而在对需求的梳理、沟通、反复修改、录入、验收，以及后续长久的维护上

2）定义终端数据采集模型，在 事件 的基础上增加 页面 和 元素，标准化采集口径，约定大于灵活

3）实现 在线文档 与 需求面板 的同步，既利用了在线文档的便捷，又能在需求面板中完成Diff对比、测试验收等操作

4）利用采集SDK帮助提升开发效率，用一套API 引导开发者按采集模型来埋点，可选的用自动和半自动采集来减轻开发负担，搭配一套高效的测试诊断工具

5）建立退出机制，基于ROI（血缘热度/成本）的生命周期管理

4、展望

1）质量 和 效率 我们在路上

听众收益：

1、了解新一代数据质量审查工具，让人快速看清数据质量，让机器自动发现问题

2、了解如何才能把数据采集的效率做好

扫码咨询报名

林天权 蚂蚁集团 高级数据技术专家

个人介绍：林天权（花名：画龙），现任蚂蚁集团高级数据技术专家，有10多年大数据研发、架构升级和数据治理经验，14年开始加入蚂蚁，深度参与蚂蚁大数据的发展和升级演进，曾作为实时数据负责人主导蚂蚁双十一媒体实时大屏、蚂蚁全域实时采集链路和蚂蚁实时数据研发平台研发，以及PB级adhoc查询加速服务和大安全一键数据服务化平台研发与升级，现任蚂蚁安全大数据技术团队数据架构及治理负责人，推进技术创新，打造EB级AutoFinOps核心能力，升级蚂蚁新一代数据架构，用数据创造价值。

演讲题目：蚂蚁新一代数字智能化治理平台 AutoFinOps 实践与探索

演讲提纲：科技驱动一直是蚂蚁的核心发展理念，也是蚂蚁安身立命之本。蚂蚁过去的发展，源于能够始终抓住技术变革机遇，用技术创造价值。蚂蚁集团在面对EB级数据规模、错综复杂的业务以及数字时代新型安全风险挑战，数据治理除了传统的运动式治理、元数据驱动治理、一站式治理平台、自上而下的治理规范制度约束等解决方案外，也在不断尝试技术创新和架构升级等手段破局和提效，提供更加高效、便捷、丝滑的自动化、智能化解决方案，本次分享带你深入了解蚂蚁如何通过治理数字智能化快速实现“无感降本”，特别是智能归因、AutoFinOps、错峰计算等技术应用和实践，期待你的聆听，也期待与你一起交流。具体内容包括：

1. 数据治理的困难与挑战

2. 数据治理的顶层设计和架构

3. 数据治理自动化和智能化的最佳实践

4. 思考总结与未来展望

听众收益：

1. 了解蚂蚁数据治理的设计思路

2. 深度解读蚂蚁“无感降本”技术如何高效实现

3. 探讨数据治理领域未来趋势

扫码咨询报名

冯赞锋 快手 大数据架构师

个人介绍：先后就职于百度、创新工厂-豌豆荚、快手三家公司，主要擅长大数据中台构建、数据治理，在搜索、爬虫、后端服务开发等方向也有一定积累，目前在快手主要负责数据治理架构设计和开发工作。

演讲题目：快手数据成本白盒化治理实践

演讲提纲：

1.1 背景介绍

● 数据治理介绍：快手数据治理整体介绍

● 本次分享核心：通过引擎与数仓白盒化拆解，提升治理深度，实现降本增效

1.2 收益评估方法

○ 压缩率

○ 存储数据量

○ 资源消耗（CPU核*天）

○ 作业运行时长

○ 作业失败率

1.3 引擎白盒化

● HBO

● JVM升级

● 压缩算法替换

● 计算过程拆解

1.4 数仓白盒化

● 基于 Similar SubExpression 的公共模型构建和优化

● 数仓自动化治理实践

1.5 个人思考

● 严谨：事前收益测算 -> 事中灰逐步度验证，解决异常CASE -> 事后整体效果评估

● 深入：对引擎、工具、数仓均有深入理解

● 行动：躬身入局，模糊各个团队的边界

1.6 未来规划

● 压缩效率持续提升

● 实时计算Flink白盒化

● 数仓架构优化

听众收益：

1、深入到大数据存储计算引擎和数据仓库，对其进行白盒化拆解，在治理思路、治理经验等方面有不少可借鉴之处

2、讲述快手实践，如何成功降低千万级存储和计算成本

扫码咨询报名

许璐 平安产险 数据智能 大数据工程师

个人介绍：15年加入平安，目前负责平安产险大数据基础平台研发管理优化等工作。

演讲题目：数字化转型下的大数据平台治理

扫码咨询报名

张森森 平安集团 科技会数据管理 高级经理

个人介绍：电子科技大学硕士毕业，曾服务于中通服，TeraData 等知名公司。现就职于平安集团科技会安保中心数据管理部门，任技术平台组负责人（高级经理），曾负责引领集团数据中台的规划、建设，现负责集团数据技术管理运营工作以及集团数据管理平台的建设。

演讲题目：模型赋能下的数据安全合规管理

演讲提纲：

1. 数据合规管理的架构

2. 合规知识库的构建

3. 借助大模型进行智能合规监测

4. 实现全生命周期的数据合规监测 – DCMM评估模型,评判数据能力成熟度 – PIA评估个人信息收集利用合规性

5. 构建数据合规化指标体系,实时监测风险

听众收益：

1. 学习使用大模型构建智能化数据合规知识库

2. 了解如何利用大模型进行数据合规能力评估

3. 获取利用大模型提升数据合规水平的行业经验

扫码咨询报名

左银康 国信证券 数据治理负责人

个人介绍：本科毕业于华中科技大学，先后在大型股份制商业银行、四大央企和国信证券从事数据治理工作。在商业银行总行开展数据治理，推动全行的数据标准制定、客户数据质量检核、元数据的管理和平台工具建设，在四大央企之一开展集团主数据建设，进行集团组织、员工、物料主数据的规划、实施和推广，目前在国信证券开展数据治理工作，负责公司数据治理组织、制度、流程、工具的规划、设计和实施落地。

演讲题目：基于需求驱动的数据治理场景化实践

演讲提纲：在大数据时代，数据治理已经成为了企业数字化转型的必经之路。然而传统的数据治理和数据资产管理工作往往偏向中后台，如何将数据资产管理与业务、开发结合，将数据治理由管控走向服务，更好地体现数据资产的成果和价值，是目前行业数据治理共同面临的痛点和挑战。为此，本次分享从需求管理的思路出发，面向监管报送、资产管理、经营分析等实际的业务场景以及模型开发、测试和生产环境一致性保障等开发场景，剖析痛点和需求，设计方案，实现数据治理的场景化落地。

听众收益：

1. 数据治理缺乏业务配合，如何驱动业务和开发的积极性？

2. 数据治理流于形式，如何嵌入日常的研发节点？

3. 数据治理涉及领域众多，如何融合打通？

扫码咨询报名

往期优质文章推荐

往期推荐

抖音云原生向量数据库从“非主流”到“新常态”的演变

火山引擎VeCDP：如何0-1构建与应用标签体系

纵腾湖仓全链路落地实践

知乎的缓存加速：Presto的进化实战（长文解读）

AI基础软件：如何自主构建大+小模型？

阿里巴巴数据模型设计与构建实践

B站数据质量保障体系建设与实践

更多最新详情，点击阅读原文，查看大会官网！