破除“中台”质疑 企业构建数据中台避坑指南

本篇文章7678字，读完约19分钟

(本文作者是雅培科技首席技术官刘铁峰)

自从阿里提出“台湾数据”的概念以来，它逐渐成为技术发展的趋势。源自数据中国台湾的“数据时代”、“中国台湾战略”、“大中台、小前台”等概念取代了以往单一的“大数据”，被赋予了先进的业务架构模式、业务创新模式、业务管理模式等内涵。各行各业都在积极地讨论和实践如何打造自己的“数据中间平台”，期望充分享受数据带来的红利。

然而，在实际的建设过程中，很容易进入坑内，是否要建，如何分阶段在中间阶段登陆数据，如何根据自身情况划分数据、技术、业务和应用。有人从数据治理的角度来讨论它，认为数据中心的核心基础是数据治理。有人从业务梳理的角度进行讨论，认为要建立一个好的数据中心，必须建立数据规范，梳理业务流程等。此外，从技术的角度来看，如何建立一个技术平台和迭代地提高效率。

根据为客户提供服务的经验，Arbotz总结了数据中心常见的误解和避坑原则:

误区一:直接给阿里打分，盲目抄袭作业

数据中心是为谁而建的？数据中心解决的核心问题是什么？台湾在数据方面带来的直接好处是什么？如果你不结合你的实际业务情况，直接标记阿里，很容易直接进入坑。

首先，让我们看看阿里最初的想法:很多人把数据比作“油”，马老师(马云)也说阿里巴巴应该成为全球电子商务的“水电煤”。我们现在正在建设的数据中心将扮演“发电厂”的角色。"

“我们知道，电的发展可以分为几个阶段。起初，一些有能力的企业自己发电，后来出现了新的工业产能。有些企业不能用电，但有些是不够的。这时，国家机构就会出来。这些机构将建设一个国家级电网，无论是核能发电、风力发电还是水力发电，以最大限度地保护不同群体的电力需求。”

“我们的数据中心也是这样一个运行理念。我们的付诸行动是一个倒三角形，从下到上分为四个部分——”

“首先是数据技术。在中国没有数据的时候，每个人都有自己的数据中心、计算机房和小型数据库，无论是在阿里还是在各种企业。但是，当数据积累到一定量时，这方面的成本会非常高，而且数据的质量和标准也不同，导致效率低下等问题。因此，我们需要通过数据技术收集、计算、存储和处理海量数据，同时统一标准和口径。”

“第二是数据资产。在统一阿里的数据后，数据中心将形成标准数据，然后将其存储起来，形成大数据资产层，从而确保为集团的所有业务和业务提供高效的服务。”

“第三和第四是数据服务，包括服务商家和服务第二。例如，业务人员和阿里指数是数据中心为商家提供的数据服务。”

“中国的数据服务于阿里，它更适合企业。该平台将确保每个人在使用数据的过程中都有保证的口径、标准、及时性和效率，并能具有较高的可靠性和稳定性。”

我相信这段话已经清楚地描述了“台湾数据”的最原始的概念。

阿里巴巴的数据中心服务于阿里之上的数千家企业，是为这些企业而建的。

要解决的核心问题是保证商户使用数据的口径、标准、及时性、效率、可靠性和稳定性。

企业需要“石油”(数据)、“发电系统”(数据产生价值的应用和场景)和“剩余”来构建“国家电网”(数据中心)。

数据中心的建设也因人而异，因企业而异。

避免坑的自检:

企业的业务运营中是否产生了大量的业务数据？

企业业务数据的价值是什么？

企业业务数据价值的应用和场景是什么？

数据中心能否帮助企业形成积极的改进闭环？

神话2:阿里的痛苦就是我的痛苦

阿里的痛苦真的是他自己事业的痛苦吗？

在企业建立数据中心之前，需要确认的核心问题的痛点在哪里，它是什么样的业务类型？针对哪些用户？用于什么用途场景？

大多数企业的规模、需求和痛点都不同于阿里的需求。因此，建立一个数据中心也是一样的，而且他们各自的侧重点也确实不同。直接照搬阿里关于中国台湾的观点就像是把船雕成了剑。“你”是对的，但“我”是不够的。

盲目地把阿里的痛苦带进自己的痛苦中也是挖洞的方法之一。

避免坑的自检:

种类

阿里

拥有企业

业务场景的必要性

访问数据是服务提供商的核心要求

“访问数据”在核心业务价值链中吗？

业务改进的紧迫性

数据访问的标准和效率直接影响商家和平台的收入

“访问数据”的能力是卡脖子的要求吗？

“访问数据”的瓶颈是否限制了业务发展？

核心用户利益的一致性

商人的交易规模与阿里的收入成正比

谁是你自己的用户？内部还是外部？

这些用户的利益与企业的利益一致吗？

用户规模

这个企业的规模有几千万

它自己的用户有多少？

是否形成了一个闭环

它用得越多，沉淀就越多

有改进的闭环吗？

数据比例

多平台、多应用、多格式。必须整合

有这么大的数据规模吗？

基于上述角度的标杆管理可以有效地帮助他们理清自己的痛点。

误区三:对一切都要贪婪，但关键点还不清楚。

阿里建设的技术中间平台是标准的数据中间平台建设方案吗？当然不是。

阿里的技术中间平台解决了阿里面临的数据规模和挑战，而企业面临的问题是自身业务发展的问题。关键在于哪里需要解决核心问题。

能力需求是一样的，但是解决问题的水平是不同的。怀着同样的想法，阿里建造了一艘空母船，面向星空和大海。对于企业来说，他们也需要船只，但无论是面对大海、河流、湖泊还是水坑，都是企业构建数据中心的真正挑战。也就是说，建造一个中间站并不完全是技术能力的问题，而是看食物和根据企业的实际需要灵活调整定制选择重点的问题。

对阿里在台湾系统的数据进行盲目的基准测试，很容易被转移到贪婪和焦点不清的深渊。

避免坑的自检:

核心问题

阿里

拥有企业

数据应用要求

可以构建一个商业数据挖掘程序

谁将使用这些数据

数据api访问

解决数千万用户访问的效率问题

数据api的许可效率是一个关键问题吗

数据api创建

解决海量数据和海量api的创建

数据api有多大？

数据建模能力

处理复杂业务的模型构建需求

是否需要建立复杂的模型

数据衍生的计算需求

个性化、多样化和复杂的数据模型计算需求

数据计算的多样性和复杂性

海量数据处理能力

海量数据计算的处理规模、及时性、可扩展性等要求

海量数据处理的实际需求

数据存储容量

复杂数据库的统一管理要求

数据库的大小

数据治理要求

多个数据源的数据统一和治理要求

数据治理的规模和必要性

误区4:基础设施不足和仓促推出。

数据中心的核心是将石油(数据)放入发电厂(数据中心)，发电(数据访问能力)，满足生产需求(服务客户)。企业本身是否有石油(数据)，是否需要建造发电厂(数据中心)，以及电力(数据访问能力)是否可以出售，这些都是规划发电厂(数据中心)的先决条件。

是否建立数据中心，数据中心能否成功，并不完全是一个技术问题，也不仅仅是一个数据治理问题，而是企业在业务发展阶段是否需要数据中心的支持，以及数据中心带来的技术效率提升能否直接反馈给企业。核心在于企业是否明确了数据挖掘的深度和维度，是否明确了数据给企业带来的促进点，是否存在数据反馈的闭环。对业务的支持和对数据应用的需求决定了数据平台建设的深度和广度。

在实践中，我们发现许多企业基础设施不足，数据基础设施尚未完成。网络和物流部门还没有收到来自该村的订单，他们预计将为对接电子商务销售生成订单。

避免坑的自检:

企业自我评估有两种观点:

首先，从上到下，从数据应用场景到数据的需求是否清晰？

第二，从基础数据到实际业务需求的自下而上的对接过程是否清晰？

阶段

判断场

企业要求

数字转换阶段

商业基金会

它已经完全数字化了吗？

数据使用

业务是否依赖于非结构化文档(pdf、word、excel等))？业务系统能否将非结构化数据转换成结构化数据？

业务系统中是否存在数据使用的闭环？

数据治理阶段

数据质量

有明确的数据质量保证体系吗？

清楚如何清理数据吗？

数据中间站建设阶段

数据计算

是否有明确的数据计算场景和数据计算要求

数据api

是否有明确的api用户和场景

数据应用

数据应用场景和应用程序接口是否有明确的要求

神话5:渴望成功，期望一步一步上天堂

从本质上讲，数据中心的建设是业务的重构，不仅是技术的选择，也是产品的标准化。表面上，它是数据治理，但本质上，它是理解数据和业务的组合以及开发阶段。因此，明确自身业务特点和技术发展阶段，合理规划阶段目标，是提高项目成功率的有效途径之一。

然而，在实践中，人们很容易渴望成功，期望一步成功。欲速则不达。

避免坑的自检:

建设阶段

业务问题得到解决

对企业的需求

数据治理阶段

数据标准化

阐明关键业务节点的数据要求

阐明从非结构化数据到结构化数据的困难和期望

数据计算阶段

规模数据挖掘问题

数据挖掘的范围、规模和产出

数据分析的深度、业务和技术能力的隔离

明确数据模型领域，区分平台能力和业务能力

数据应用阶段

基本数据呼叫问题

确定数据访问者的规模和需求

一般和基本技术要求

明确技术应用的范围

统一业务需求构建问题

提取业务的共同点，平衡一般需求和特殊需求

外部应用服务问题

提取应用程序的共同点，平衡通用应用程序和定制应用程序的可伸缩性

在金融领域，雅培科技利用人工智能技术帮助大量领先券商和基金公司构建基础数据中间平台，并在数据治理、数据计算平台建设、技术中间平台建设、业务中间平台建设和应用中间平台建设等方面积累了大量一线实践经验。上述观点只是阿尔博兹实践中的抽象和总结。关于具体的登陆方案，请联系我们并一起讨论。

引言:(本文作者是雅培科技首席技术官刘铁峰)自从阿里提出“数据在台”的概念以来，它逐渐成为技术发展的趋势。“dt时代”、“中国-台湾战略”和“中国-台湾战略”的数据来源

(本文作者是雅培科技首席技术官刘铁峰)

自从阿里提出“台湾数据”的概念以来，它逐渐成为技术发展的趋势。源自数据中国台湾的“数据时代”、“中国台湾战略”、“大中台、小前台”等概念取代了以往单一的“大数据”，被赋予了先进的业务架构模式、业务创新模式、业务管理模式等内涵。各行各业都在积极地讨论和实践如何打造自己的“数据中间平台”，期望充分享受数据带来的红利。

然而，在实际的建设过程中，很容易进入坑内，是否要建，如何分阶段在中间阶段登陆数据，如何根据自身情况划分数据、技术、业务和应用。有人从数据治理的角度来讨论它，认为数据中心的核心基础是数据治理。有人从业务梳理的角度进行讨论，认为要建立一个好的数据中心，必须建立数据规范，梳理业务流程等。此外，从技术的角度来看，如何建立一个技术平台和迭代地提高效率。

根据为客户提供服务的经验，Arbotz总结了数据中心常见的误解和避坑原则:

误区一:直接给阿里打分，盲目抄袭作业

数据中心是为谁而建的？数据中心解决的核心问题是什么？台湾在数据方面带来的直接好处是什么？如果你不结合你的实际业务情况，直接标记阿里，很容易直接进入坑。

首先，让我们看看阿里最初的想法:很多人把数据比作“油”，马老师(马云)也说阿里巴巴应该成为全球电子商务的“水电煤”。我们现在正在建设的数据中心将扮演“发电厂”的角色。"

“我们知道，电的发展可以分为几个阶段。起初，一些有能力的企业自己发电，后来出现了新的工业生产能力。有些企业不能用电，但有些是不够的。这时，国家机构就会出来。这些机构将建设一个国家级电网，无论是核能发电、风力发电还是水力发电，以最大限度地满足不同群体的电力需求。”

“我们的数据中心也是这样一个运行理念。我们的付诸行动是一个倒三角形，从下到上分为四个部分——”

“首先是数据技术。在中国没有数据的时候，每个人都有自己的数据中心、计算机房和小型数据库，无论是在阿里还是在各种企业。但是，当数据积累到一定量时，这方面的成本会非常高，而且数据的质量和标准也不同，导致效率低下等问题。因此，我们需要通过数据技术收集、计算、存储和处理海量数据，同时统一标准和口径。”

“第二是数据资产。在统一阿里的数据后，数据中心将形成标准数据，然后将其存储起来，形成大数据资产层，从而确保为集团的所有业务和业务提供高效的服务。”

“第三和第四是数据服务，包括服务商家和服务第二。例如，业务人员和阿里指数是数据中心为商家提供的数据服务。”

“中国的数据服务于阿里，它更适合企业。该平台将确保每个人在使用数据的过程中都有保证的口径、标准、及时性和效率，并能具有较高的可靠性和稳定性。”

我相信这段话已经清楚地描述了“台湾数据”的最原始的概念。

阿里巴巴的数据中心服务于阿里之上的数千家企业，是为这些企业而建的。

要解决的核心问题是保证商户使用数据的口径、标准、及时性、效率、可靠性和稳定性。

企业需要“石油”(数据)、“发电系统”(数据产生价值的应用和场景)和“剩余”来构建“国家电网”(数据中心)。

数据中心的建设也因人而异，因企业而异。

避免坑的自检:

企业的业务运营中是否产生了大量的业务数据？

企业业务数据的价值是什么？

企业业务数据价值的应用和场景是什么？

数据中心能否帮助企业形成积极的改进闭环？

神话2:阿里的痛苦就是我的痛苦

阿里的痛苦真的是他自己事业的痛苦吗？

在企业建立数据中心之前，需要确认的核心问题的痛点在哪里，它是什么样的业务类型？针对哪些用户？用于什么用途场景？

大多数企业的规模、需求和痛点都不同于阿里的需求。因此，建立一个数据中心也是一样的，而且他们各自的侧重点也确实不同。直接照搬阿里关于中国台湾的观点就像是把船雕成了剑。“你”是对的，但“我”是不够的。

盲目地把阿里的痛苦带进自己的痛苦中也是挖洞的方法之一。

避免坑的自检:

种类

阿里

拥有企业

业务场景的必要性

访问数据是服务提供商的核心要求

“访问数据”在核心业务价值链中吗？

业务改进的紧迫性

数据访问的标准和效率直接影响商家和平台的收入

“访问数据”的能力是卡脖子的要求吗？

“访问数据”的瓶颈是否限制了业务发展？

核心用户利益的一致性

商人的交易规模与阿里的收入成正比

谁是你自己的用户？内部还是外部？

这些用户的利益与企业的利益一致吗？

用户规模

这个企业的规模有几千万

它自己的用户有多少？

是否形成了一个闭环

它用得越多，沉淀就越多

有改进的闭环吗？

数据比例

多平台、多应用、多格式。必须整合

有这么大的数据规模吗？

基于上述角度的标杆管理可以有效地帮助他们理清自己的痛点。

误区三:对一切都要贪婪，但关键点还不清楚。

阿里建设的技术中间平台是标准的数据中间平台建设方案吗？当然不是。

阿里的技术中间平台解决了阿里面临的数据规模和挑战，而企业面临的问题是自身业务发展的问题。关键在于哪里需要解决核心问题。

能力需求是一样的，但是解决问题的水平是不同的。怀着同样的想法，阿里建造了一艘空母船，面向星空和大海。对于企业来说，他们也需要船只，但无论是面对大海、河流、湖泊还是水坑，都是企业构建数据中心的真正挑战。也就是说，建造一个中间站并不完全是技术能力的问题，而是看食物和根据企业的实际需要灵活调整定制选择重点的问题。

对阿里在台湾系统的数据进行盲目的基准测试，很容易被转移到贪婪和焦点不清的深渊。

避免坑的自检:

核心问题

阿里

拥有企业

数据应用要求

可以构建一个商业数据挖掘程序

谁将使用这些数据

数据api访问

解决数千万用户访问的效率问题

数据api的许可效率是一个关键问题吗

数据api创建

解决海量数据和海量api的创建

数据api有多大？

数据建模能力

处理复杂业务的模型构建需求

是否需要建立复杂的模型

数据衍生的计算需求

个性化、多样化和复杂的数据模型计算需求

数据计算的多样性和复杂性

海量数据处理能力

海量数据计算的处理规模、及时性、可扩展性等要求

海量数据处理的实际需求

数据存储容量

复杂数据库的统一管理要求

数据库的大小

数据治理要求

多个数据源的数据统一和治理要求

数据治理的规模和必要性

误区4:基础设施不足和仓促推出。

数据中心的核心是将石油(数据)放入发电厂(数据中心)，发电(数据访问能力)，满足生产需求(服务客户)。企业本身是否有石油(数据)，是否需要建造发电厂(数据中心)，以及电力(数据访问能力)是否可以出售，这些都是规划发电厂(数据中心)的先决条件。

是否建立数据中心，数据中心能否成功，并不完全是一个技术问题，也不仅仅是一个数据治理问题，而是企业在业务发展阶段是否需要数据中心的支持，以及数据中心带来的技术效率提升能否直接反馈给企业。核心在于企业是否明确了数据挖掘的深度和维度，是否明确了数据给企业带来的促进点，是否存在数据反馈的闭环。对业务的支持和对数据应用的需求决定了数据平台建设的深度和广度。

在实践中，我们发现许多企业基础设施不足，数据基础设施尚未完成。网络和物流部门还没有收到来自该村的订单，他们预计将为对接电子商务销售生成订单。

避免坑的自检:

企业自我评估有两种观点:

首先，从上到下，从数据应用场景到数据的需求是否清晰？

第二，从基础数据到实际业务需求的自下而上的对接过程是否清晰？

阶段

判断场

企业要求

数字转换阶段

商业基金会

它已经完全数字化了吗？

数据使用

业务是否依赖于非结构化文档(pdf、word、excel等))？业务系统能否将非结构化数据转换成结构化数据？

业务系统中是否存在数据使用的闭环？

数据治理阶段

数据质量

有明确的数据质量保证体系吗？

清楚如何清理数据吗？

数据中间站建设阶段

数据计算

是否有明确的数据计算场景和数据计算要求

数据api

是否有明确的api用户和场景

数据应用

数据应用场景和应用程序接口是否有明确的要求

神话5:渴望成功，期望一步一步上天堂

从本质上讲，数据中心的建设是业务的重构，不仅是技术的选择，也是产品的标准化。表面上，它是数据治理，但本质上，它是理解数据和业务的组合以及开发阶段。因此，明确自身业务特点和技术发展阶段，合理规划阶段目标，是提高项目成功率的有效途径之一。

然而，在实践中，人们很容易渴望成功，期望一步成功。欲速则不达。

避免坑的自检:

建设阶段

业务问题得到解决

对企业的需求

数据治理阶段

数据标准化

阐明关键业务节点的数据要求

阐明从非结构化数据到结构化数据的困难和期望

数据计算阶段

规模数据挖掘问题

数据挖掘的范围、规模和产出

数据分析的深度、业务和技术能力的隔离

明确数据模型领域，区分平台能力和业务能力

数据应用阶段

基本数据呼叫问题

确定数据访问者的规模和需求

一般和基本技术要求

明确技术应用的范围

统一业务需求构建问题

提取业务的共同点，平衡一般需求和特殊需求

外部应用服务问题

提取应用程序的共同点，平衡通用应用程序和定制应用程序的可伸缩性

在金融领域，雅培科技利用人工智能技术帮助大量领先券商和基金公司构建基础数据中间平台，并在数据治理、数据计算平台建设、技术中间平台建设、业务中间平台建设和应用中间平台建设等方面积累了大量一线实践经验。上述观点只是阿尔博兹实践中的抽象和总结。关于具体的登陆方案，请联系我们并一起讨论。

来源：零点娱乐时刊