构建数据中台：提高企业数据价值的关键

不同部分的岗位，都面临着需要拿数据的时候，即便拿到了数据，但又常常出错，若出现这样的场景，说明需要该改造一下你们的数据平台了。本文总结了如何搭建高效的数据平台的步骤，希望对你有所帮助。

引言

作为产品经理，你刚上线一个功能，想让研发帮你把数据拉出来进行分析，却被告知需要排期。

作为数据研发，每天有查不完的数据和写不完的表，工作能力没有任何提升。

作为数据分析师，你每天被业务的老大催着要各种报表和看板。

作为业务部门，你需要的数据迟迟拿不到，即使拿到了也经常出现错误。

在公司，你是否有遇到过这样的场景？如果有，说明是时候该改造一下你们的数据平台了。

一、什么是数据中台

那什么又是数据中台呢？数据中台顾名思义就是把数据进行统一管理的平台。它是把公司所有的数据，包括业务运行产生的数据、用户的行为数据、以及外部第三方的数据，进行统一的、规范的、完整的、准确的采集、存储、加工、管理，并且为前台业务提供数据服务的平台。可以把它理解为仓库的货架，而数据就是货架上的货物，被分门别类的摆放在货架之上。

二、数据中台的价值

那它又有什么价值呢？第一，打通数据孤岛，一般企业都会有多条业务线，不同业务线数据存储在不同数据库。

第二，降低数据开发成本，数据中台的可拓展性强和维护成本低。

第三，数据统一规范管理后，数据的准确性和时效性都会得到极大的提升。

第四，数据资产得到沉淀，可发挥的价值和潜力无限。如用户画像、标签体系、个性化推荐、趋势预测等等。

三、数据中台构建的步骤

如果你们公司要准备搭建数据中台，又该如何下手呢？首先我们需要知道数据中台由哪几个部门组成，通常我们会说数据中台是负责数据的“采、存、管、用”，即数据的采集、存储、管理和应用。

• 数据采集：分为实时采集和离线采集，将各个来源的数据同步到数仓中。一般的数据源有业务数据库、第三方API数据以及外部采集的非结构数据。
• 数据存储：数据同步导入会存储到HDFS，Hive、Flink、Spark等计算引擎任务读取HDFS中的数据计算后再将计算结果写入HDFS。
• 数据管理：分为元数据管理和数据模型管理，元数据可以理解为各个数据表的原子字段，数据模型是在数据建模过程中，通过既定的数据模型管理制度，实现对数据模型的增删改查管理，同时遵循数据标准化与数据统一性的要求，确保数据质量。
• 数据应用：常见的数据应用有BI报表平台、用户画像（标签体系）、数字化营销（包含推荐、搜索）等等。

其次，作为产品经理应如何开展工作。

第一步：先明确目前公司的数据现状，存在哪些问题？是时效性低还是数据准确性低？或者又是业务量日益增长，当下数据应用为业务赋能有限？根据当前的问题确定这次数据中台建设的目标。

第二步：调研公司目前的业务范围，涉及到哪些数据范围？可以根据业务类型进行分类，划分成相对独立的数据模块，如流量域、交易域、商品域等。一般是以源系统为切入点，从常用的系统入手如CRM系统、ERP系统、订单系统等，通过对各系统的数据梳理，完成总体结构的划分。

第三步：寻找数据规则来源，很多系统没有标准的数据文档，就只能去找系统的负责人、产品经理或者开发人员对接，询问相关的数据规则正确性。另一方面，还需要在这个过程中明确数据服务的相关业务方，以便同步数据规则与业务逻辑的一致性。

第四步：进行数据逻辑的规划，这是数据体系的核心内容，也是数据建模的主要内容，需要通过数据模型完成各数据主题与数据表之间的关系设计。

一般主流数据建模的方法有两种。

一种是E-R建模，即实体、属性、关系三元组建模，常用于OLTP数据库建模，缺点是需要全面梳理公司所有业务和数据，周期长，人员要求高；

另一种是纬度建模，是面向分析场景而生，主要用于数据仓库构建喝OLAP引擎底层数据模型，优点不需要完整的梳理业务流程和数据，实施周期根据数据主题边界而定，容易快速实现demo。

第五步：完善数据信息，确定数据范围和逻辑模型之后，还需要明确数据字典中个数据的基础定义、统计口径与业务定义，从而让数据字典成为标准的执行文档。

四、数据中台的行业应用

金融行业：

• 风控：数据中台打通不同业务系统的数据，可以提高风控的准确性和效率。通过多维数据的分析，可以对用户的风险水平和信用评估进行更加准确和全面的判断和预测。
• 个性化推荐：数据中台可以通过建立用户画像，对用户进行多维度的分析和挖掘，为用户推荐更加符合其需求和偏好的产品和服务，提高用户的满意度和忠诚度。
• 营销推广：通过数据中台的用户画像和多维数据分析，可以对用户进行精准的营销推广，提高销售转化率和用户参与度。同事，通过数据的分析和挖掘，可以为营销活动提供数据支持和准确的预测分析。
• 产品设计：通过分析和挖掘用户行为数据，可以对金融产品的市场需求和受众进行深入理解，优化产品设计和功能设置，提升产品品质和用户体验。
• 决策支持：数据中台可以提供有效的数据支持和多维数据分析，帮助企业后盾决策和业务转型。同时，也可以通过数据挖掘和分析，发掘新的商业机会和创新点，推动企业在数字化领域的发展和竞争优势的提升。

泛零售行业：

• 供应链管理：数据中台通过打通采购、运营、销售等系统的数据，进行数字化的供应链管理，实现从数据采集、汇聚、清洗、调度到数据质量管理的全流程工具化和平台化。
• 综合分析：数据中台可实现跨业务域、跨渠道、跨产品、跨区域的综合分析，帮助企业全面了解用户需求和消费行为，通过数字媒介开展业务和触点布局，进行精细化运营。
• 用户画像：数据中台可以通过多维度数据采集，捕获用户行为，建立精准的用户画像，帮助企业更好地了解用户需求，提供个性化的产品和服务，提升用户体验。
• 决策支持：数据中台通过实时数据采集和分析，为企业提供决策支持，帮助企业优化业务流程、产品设计和服务体验，提高运营效率。
• 营销推广：数据中台可以对用户行为进行大数据分析，进行精准的营销推广，提高销售转化率和用户满意度。

政务行业：

• 智慧城市建设：数据中台通过收集和整合城市内部各种数据，如地图信息、公共设施、交通状态、气象信息等，建立城市的综合性管理平台，实现城市的数字化和智能化管理。
• 社保与医疗：数据中台可以帮助政府和相关部门实现社保和医疗数据的收集和整合，提高社保和医疗服务的覆盖性和质量，减少数据碎片化和防止信息孤岛的出现。
• 公共安全：数据中台可以通过整合公安部门、消防部门、卫生部门等部门的数据，提高公共安全的监测和管控能力，减少事故发生率和提高事故应急处理效率。
• 政策制定：数据中台可以为政府决策部门提供准确的数据支持，帮助政府更好地了解公众需求和社会状况，提供科学的决策依据，提高政策实施的有效性和精准度。
• 环境保护：数据中台通过统计和分析环境相关数据，如气象、气体排放等数据，帮助环保部门和政府监控城市环境的变化和污染状况，实现环境保护工作的精细化管理。

五、数据中台的发展趋势

趋势一：云原生

技术与业务共同驱动数据中台走向云原生，但很多所谓的“云原生”仍是对传统单体架构的改造，实现资源完全弹性扩展仍有待提高。存算分离是大数据低成本落地的保障，并将是真正云原生的显著特征。数据中台中的重要组件将遵循存算分离架构，云原生技术具有天然的对象体系、容器化编排、CI/CD、跨云多域数据治理等特性，可以满足企业客户对数据安全、合规数据合作技术等需求，推动数据中台走向云原生。

趋势二：数智融合

数智融合是构建数据治理和AI开发的统一底座，让数据和人工智能相互作用。其中，Data for AI 通过对元数据统一管理，打通数据分析与AI模型引擎，实现基于一份数据多模分析，提升数据驱动决策的准确性和可信性；AI for Data 将人工智能算法模型的能力植入到数据治理，实现自动发现数据管理的规则。这种数据与AI的结合方式能够有效提升数据治理的智能化水平，并降低数据治理门槛。

趋势三：泛中台化

5G时代的到来，人工智能、物联网等创新技术不断发展。随着多设备接入、多系统数据融合互联互通，形成新的数据孤 岛，对企业的智能用数发起新的挑战。

值此时刻，数据中台的理念体系逐渐完善，相关产品、规范以及标准也趋向统一， 落地经验也得到积累，大数据项目纷纷与数据中台结合，数据中台开始从概念热点向项目起点转变。随着企业对中台认知 的增强，业务场景需求的解决方案/产品也趋于“中台化”： IoT中台、算法中台、研发中台、组织中台、AI中台等中台 产品体系不断丰富。

以IoT中台为例，是相对数据中台层次更上的抽象和高级，包含了采集平台、通信中台和数据中台的 全部特性，支持除数据分析、处理、交易等抽象业务服务外的采集和通信能力，相对数据中台更加贴合企业业务场景，为 未来智慧城市建设提供更加深入和精细化的基础能力。

数据中台是一个非常庞大的系统，每一个部分单独拿出来讲都可以讲很多，而这遍文章只是抛砖引玉，是对过去学习到的关于数据中台知识的简单总结，对于想要知道数据中台大概是什么、解决什么问题有个整体的初步了解，关于数据建模、数据指标体系建设、数仓搭建、BI可视化等后面可以再详细展开写一写。

​Read More