Atlas从扫盲到和Hive、HBase、Kafka、Flink等集成开发

阿里等与Hive、HBase、Kafka、Flink等的整合发展。

阿特拉斯首先将数据分类为

。企业数据管理的内容和类别通常包括事务数据、主数据和元数据(1)交易数据:用于记录业务事件，如客户订单、投诉记录、客户服务申请等。它通常用于描述业务系统在某个时间点的行为(2)主数据:主数据定义企业的核心业务对象，如客户、产品、地址等。与交易流程信息不同，一旦主数据被记录在数据库中，就需要经常维护，以确保及时性和准确性；主数据还包括描述主数据之间关系的关系数据，如顾客和产品之间的关系、产品和区域之间的关系、顾客和顾客之间的关系、产品和产品之间的关系等。(3)元数据:关于数据的数据，用于描述数据及其环境的结构化信息，便于发现、理解、使用和管理数据。

什么是元数据管理

我们前面介绍的技术和平台都在解决收集、处理、存储和计算主要数据和事务数据的问题当面对数量巨大且不断增长的数据时，您必须想知道这些数据来自哪里，以及它们是如何随时间变化的。采用Hadoop必须考虑数据管理的实际情况。元数据和数据治理成为企业级数据湖的重要组成部分。事实上，所谓的元数据管理一般来说是基于两点的:(1)每个组件的元数据(一般存储)都是为了统一控制而收集的；(2)收集的元数据用于实现各种上层应用程序，以满足各种数据治理场景(阵列资产目录、数据分类、搜索和血缘关系等)。)(

什么是

Apache阿特拉斯是一个开源项目，由Hadoop社区创建，旨在解决Hadoop生态系统中的元数据治理问题。它为Hadoop集群提供了核心的元数据治理功能，包括数据分类、集中式策略引擎、数据亲缘关系、安全性和生命周期管理。它可以帮助企业构建其数据资产目录，对这些资产进行分类和管理，并为数据分析师和数据治理团队提供围绕这些数据资产的协作功能。阿特拉斯不仅致力于管理共享元数据、数据分类、审计、安全和数据保护，还努力与Apache Ranger集成数据权限控制策略。阿帕奇地图集是hadoop的数据治理和元数据框架。它提供了一组可扩展的核心基本数据治理服务，使企业能够有效地满足Hadoop中的法规遵从性要求，并允许与整个企业的数据生态系统集成。

阿特拉斯体系结构和原则

阿特拉斯是一个可扩展、功能强大的数据管理系统，它深入集成了Hadoop大数据组件一个简单的理解是一个与Hadoop密切相关的系统，可以用于元数据管理。整体结构图如下:

阿特拉斯核心功能分层解释

集成Hive

集成原理

验证Hive元数据采集效果

(1)首先检查Hive元数据

(2)是否进入Hive创建库表创建数据库

(3)再次进入阿特拉斯系统查看元数据

历史元数据处理

配置单元在阿特拉斯系统启动前可能已经运行了很长时间，因此历史元数据无法触发挂钩，因此需要一个工具来进行初始化导入。阿帕奇地图集提供了一个命令行脚本导入-hive.sh，用于将元数据从阿帕奇hive数据库和表导入到阿帕奇地图集该脚本可用于使用阿帕奇配置单元中的数据库/表初始化阿帕奇地图集该脚本支持导入特定表、特定数据库中的表或所有数据库和表的元数据

导入工具调用相应的桥:org。Apache . Atlas . HIV . bridge . hivemetasorebridge执行导入脚本，任意找到一个安装了阿特拉斯客户端的节点，并执行以下命令:注意:一定要输入阿特拉斯用户，因为阿特拉斯的Linux管理账户是阿特拉斯的，未经许可的错误可能会在其他账户下报告在脚本执行期间，需要阿特拉斯系统的管理员帐户/密码(admin/admin%123)。当您看到以下信息时，您将成功:

查看元数据

查看更多:https://yqh.aliyun.com/detail/6931? UTM _ CONTENT = G _ 1000107281

云栖息地编号:更多云信息、云案例、最佳实践、产品介绍，请访问:https://yqh.aliyun.com/

本文由 在线网速测试 整理编辑，转载请注明出处。