火山引擎DataLeap：五个关键技术，帮助企业搭建“数据目录”

　　企业如何找到数据、了解数据以及使用数据？

　　这离不开数据目录的能力。数据目录有着类似于“字典”的作用，能够帮助数据生产者和使用者快速定位数据、解释数据、找到数据，并从中提取业务价值。

　　对以研发人员为代表的数据生产者来说，他们利用数据目录来组织、梳理各类元数据。例如，数据生产者会将元数据以目录等形式编排到一起，方便维护，并通过打业务标签、添加应用场景描述、字段解释等丰富业务相关属性。

　　对于数据分析师、产品、运营等数据使用者来说，他们通过数据目录来查找和理解数据，例如通过关键字检索，或目录浏览，来查找业务场景数据，并浏览详情介绍、字段描述、产出关系等，进一步理解并利用数据决策。

　　在字节跳动，也有这么一套被内部广泛使用的数据目录系统。目前，该系统已通过火山引擎DataLeap数据地图平台对外输出。外部用户也可以在DataLeap数据地图平台，收集、组织、访问和补充元数据信息，为自身数据建设和治理提供支持。

　　火山引擎DataLeap数据地图平台-数据目录

　　要构建一套扩展性强、易维护且易用的数据目录系统并非易事。在大数据领域，各类计算和存储系统百花齐放，概念和原理又千差万别，对于元数据的采集、组织、理解、信任等，都带来了很大挑战。

　　在调研各个开源软件及技术体系基础上，火山引擎DataLeap选择基于Apache Atlas改造，而这套数据目录系统主要依赖五大关键技术：