在数字化程度日益加深的今天,数据对企业增长的作用越来越重要。随着十九届四中全会正式把数据列为国家新兴基础性战略资源和生产要素,如何使用并发挥数据的价值,是当下企业所面临的主要问题。

然而企业的数字化转型并非一蹴而就,需要在组织、业务流程和技术等方面持续投入。调研发现,企业的数字化转型往往面临着以下几个问题:

•业务数据孤立:各业务团队独立,数据孤岛现象普遍存在,数据难以互通;

•数据重复存储:数据不集中,系统之间重复存储,重复计算;

•数据质量差:数据质量参差不齐,延迟、口径等问题导致业务使用数据有风险;

•资产管理难:各类数据和接口缺少统一管理,难以真正发挥数据价值;

•安全无保障:数据安全有风险,安全事故频繁出现,且问题根源难以追溯。

由于业务规模快速增长,再加上场景多、结构复杂,字节跳动在发展过程中也面临过相似的挑战:

•规模大:字节跳动业务场景极其丰富,数据量巨大;

•重依赖:产品闭环,线上服务及业务创新,都对数据有较强的依赖;

•影响大:核心业务数据延迟,质量问题将直接影响业务表现及发展。

从2016年开始,字节跳动开始孵化大数据研发治理套件,结合自身业务特性,从数据提取、加工、管理等方面作为突破口,逐渐形成了数据集成、数据开发、数据治理和数据资产四大产品体系,并且形成了一套自己独有的方法论,帮助产品解决在数据增长过程中遇到的困难和瓶颈。

经过内部不断的打磨、验证,字节跳动旗下数字服务与智能科技品牌火山引擎正式对外发布大数据研发治理套件,为企业数字化转型添砖加瓦。

火山引擎大数据研发治理套件产品架构图

在产品能力上,火山引擎大数据研发治理套件拥有以下几点优势:

1.整合全域数据,支持20余种异构数据源的丰富传输方式,灵活对接各类业务系统,实现数据在复杂网络下稳定、高效的互联互通和信息共享;

2.沉淀数据规范,统一数据标准及数据查询出口,沉淀数仓建设规范的最佳实践,降低使用门槛,提高全链路研发体验,快速精准为业务赋能;

3.全链路综合治理,结合基线监控、数据质量、SLA治理、成本管理等能力,提供事前预警、事中处理、事后推荐优化的全生命周期的数据治理能力;

4.提升数据可靠性,权限最小化原则保障数据安全,构建真正意义上的数据安全屏障。字段级别的血缘管理,帮助企业用户提供从数据发现到数据理解到数据到资产管理的一站式大数据服务。

相较于其他企业,字节跳动成立时间短,业务发展快,组织架构自下而上进行,这对数据治理工作有着非常大的挑战。在中台领域中,数据治理又是一个工序复杂,周期长、见效慢的过程,单靠工具无法彻底解决数据治理遇到的问题,需要企业领导层推动:根据业务情况,结合产品能力进行落地,并加以监管。

“在此情况下,字节跳动根据自身特点,从人员配置、团队结构、数据管理等方面入手,遵从去中心化原则,彻底贯彻中台化建设,以小管大,创立分布式管理和分布式自治,以人为单位,为数据结果负责,将数据真正利用起来。”火山引擎相关负责人表示,火山引擎的大数据研发治理套件也很好地继承了“为数据结果负责的”特性,打造了一个完整的数据治理闭环链路,真正发挥企业的数据价值。

对于未来,火山引擎还将结合自身实践及市场情况,在数据治理、资产等方面,不断补充、完善自身产品建设及经验,为企业提供更贴切的服务,助力企业实现业务的快速增长。