亚博全站APP官网登录-数禾云上数据湖最佳实践

简介： 数禾科技从建立伊始就组建了大数据团队并搭建了大数据平台。并在ECS上搭建了自己的Cloudera Hadoop集群。但随着公司互联网金融业务的快速扩张生长，大数据团队负担的责任也越来越重，实时数仓需求，日志分析需求，即席查询需求，数据分析需求等，每个业务提出的需求都极大的磨练这个Cloudera Hadoop集群的能力。

为了减轻Cloudera集群的压力，我们联合自身业务情况，在阿里云上落地一个适合数禾当前现实状况的数据湖。1.数禾科技数禾科技建立于2015年8月，是分众传媒、红杉资本、新浪等团结投资的C轮金融科技公司。公司的愿景是做陪同用户一生的智能金融家，承袭开放，挑战，专业，创新的价值观，让人人享有金融服务最优解。

公司的主要产物是还呗和拿铁智投，主要提供信贷，理财，电商等服务，已经拥有8000万注册用户。作为海内金融科技代表性企业，数禾科技率先将大数据和AI技术引入智能获客、智能风控、智能运营、智能客服等多个方面。

停止现在，数禾科技已与包罗银行、信贷、持牌消金、基金和保险等在内的100余家金融机构展开互助。2.云上自建CDH数禾科技从建立伊始就组建了大数据团队并在某云厂商上搭建了大数据平台。我们在某云厂商上购置了EC2实例，并在EC2实例上搭建了自己的Cloudera Hadoop集群。

早期，这个Cloudera Hadoop集群只是来做T+1离线数仓，半夜等到业务日切竣事后，我们用Sqoop组件抽取业务数据库的全量或增量数据到Hadoop集群，用离线数仓Hive做一系列ETL清洗后，把效果数据生成邮件发送给向导做下一步决议，或推送到数据库供Tableau报表展示，或插入到业务数据库让业务系统来挪用。可是随着公司互联网金融业务的快速扩张生长，大数据团队负担的责任也越来越重，实时数仓需求，日志分析需求，即席查询需求，数据分析需求等，每个业务提出的需求都极大的磨练这个Cloudera Hadoop集群的能力。

为了满足实时数仓需求，我们在Cloudera集群上安装了Hbase组件；为了满足日志分析的需求，我们在Cloudera集群上安装了Flume、Kafka组件；为了满足即席查询的需求，我们在Cloudera集群上安装了Presto组件；为了满足数据分析的需求，我们在Cloudera集群上安装了Jupyter组件，每添加一个业务需求就是对原有系统稳定性的庞大挑战。Cloudera集群除了业务需求的不停增多，公司的组织架构越来越庞大，人员越来越多，各种数据总量的指数级上升，Cloudera集群的种种毛病已经显现，且逐渐不能蒙受这些挑战。

扩展性差集群规模扩容需要在Cloudera Manager上操作，需要运维人员掌握一定的技术，且存在一定操作风险。另外，如果有突发情况或暂时需求需要大规模扩容时，需要先购置大量的EC2机械然后经由一系列庞大操作加入集群，事后又需要一系列庞大操作释放这些机械，且这些线上操作对集群的在线业务稳定造成很大困扰。用度很高存储用度方面，刚开始我们没有预推测日后数据量的飞速生长，我们在Cloudera集群的HDFS存储使用了三个副本，且EC2机械设置了SSD磁盘，再加上每周的数据备份也占用了大量磁盘资源，磁盘用度一直居高不下；盘算用度方面，晚上任务多盘算资源不够，白昼任务少盘算资源多余，这种资源需求差带来用度的浪费。

集群更新难题我们使用的是Cloudera5.5.1的版本，几年下来为了集群的稳定运行一直不敢更新，而搭建新版本Cloudera集群做集群迁移又涉及到大量的人力物力，所以这个老版本一直在服役。因为集群兼容阻碍了我们使用新的开源组件，或者需要花很大的精神去做开源组件的重构，阻碍了新技术的引进。维护门槛高搭建一套Cloudera集群并举行后续维护对运维人员的技术要求较高，而解决实际问题需要更高的技术要求。

另外Cloudera Manager不开源和Cloudera社区不够活跃也对集群运维造成一定的困扰。集群容灾差数据容灾，HDFS存储三副本无法跨可用区。服务容灾，服务节点无法跨可用区部署。可用区故障会影响整个集群的稳定。

3.云上混淆架构为了减轻Cloudera集群的压力，我们想到把一部门业务迁移到云厂商上产物，逐渐形成了云上混淆架构。凭据业务和功效差别，搭建了若干云上EMR集群这些云上EMR集群共享存储和元数据。可是由于EMR Hive版本和Cloudera Hive版本不兼容，导致元数据无法统一，最终形成了Cloudera Hive和EMR Hive两套元数据。这些EMR集群减轻了Cloudera集群的压力为了减轻Cloudera的压力我们设计EMR Hive混淆架构ChiveChive架构就是把EMR Hive的元数据接入Cloudera Hive，相当于使用Cloudera HDFS的存储，可是用了EMR的盘算资源。

Hive混淆架构也大大减轻了Cloudera集群的压力冷热数据分散Cloudera集群上的热数据生存在HDFS上，而冷数据通过Cloudera Hive建外表的方式放到S3桶上，在S3上设置生命周期定期把数据放入冷存储。云上混淆架构有了云上混淆架构实践，实际已经有一个大数据数据湖的雏形，我们想趁着某云厂商迁移到阿里云之际，在阿里云上落地一个适合数禾当前现实状况的数据湖。4. 阿里云第一代数据湖4.1 什么是数据湖数据湖是一个集中式存储库，允许您以任意规模存储所有结构化和非结构化数据。

你可以按原样存储数据，而无需先对数据举行结构化处置惩罚，然后运用差别类型的引擎举行分析，包罗大数据处置惩罚、可视化、实时分析、机械学习等，以指导做出更好的决议。数据湖与数据堆栈相比特性 数据堆栈 数据湖 数据 来自事务系统、运营数据库和业务线应用法式的关系数据 来自 IoT 设备、网站、移动应用法式、社交媒体和 企业应用法式的非关系和关系数据 Schema 设计在数据堆栈实施之前（写入型 Schema） 写入在分析时（读取型 Schema） 性价比 更快查询效果会带来较高存储成本 更快查询效果只需较低存储成本 数据质量 可作为重要事实依据的高度羁系数据 任何可以或无法举行羁系的数据（例如原始数据） 用户 业务分析师 数据科学家、数据开发人员和业务分析师（使用监 管数据） 分析 批处置惩罚陈诉、BI 和可视化 机械学习、预测分析、数据发现和分析数据湖解决方案的基本要素数据移动数据湖允许您导入任何数量的实时获得的数据。

您可以从多个泉源收集数据，并以其原始形式将其移入到数据湖中。此历程允许您扩展到任何规模的数据，同时节约界说数据结构、Schema 和转换的时间。宁静地存储和编目数据数据湖允许您存储关系数据和非关系数据。它们还使您能够通过对数据举行爬网、编目和建设索引来相识湖中的数据。

最后，必须掩护数据以确保您的数据资产受到掩护。分析数据湖允许组织中的种种角色（如数据科学家、数据开发人员和业务分析师）通过各自选择的分析工具和框架来会见数据。这包罗 Apache Hadoop、Presto 和 Apache Spark 等开源框架，以及数据堆栈和商业智能供应商提供的商业产物。数据湖允许您运行分析，而无需将数据移至单独的分析系统。

机械学习数据湖将允许组织生成差别类型的看法，包罗陈诉历史数据以及举行机械学习（构建模型以预测可能的效果），并建议一系列划定的行动以实现最佳效果。我们凭据数据湖的界说和基本要素，在阿里云上落地适合数禾当前现实状况的第一代数据湖方案。4.2 阿里云数据湖设计4.2.1 阿里云数据湖整体架构阿里云数据湖整体架构专有网络VPC（Virtual Private Cloud）是用户基于阿里云建立的自界说私有网络, 差别的专有网络之间二层逻辑隔离，用户可以在自己建立的专有网络内建立和治理云产物实例，好比ECS、负载平衡、RDS等。我们把公司的业务放到两个VPC下，业务VPC和大数据VPC。

抽数EMR从业务VPC的RDS、OSS、KAFKA中抽取数据落到数据湖OSS中形成ODS层的数据，焦点数仓EMR T+1对ODS层数据做ETL生成CDM数仓层和ADS集市层的数据供其他大数据EMR和业务EMR使用。下面分章节先容我们在阿里云数据湖落地中的解决方案和实践。

4.2.2 统一存储和元数据治理统一存储是指把存储设置在OSS工具存储上作为数据湖，若干EMR集群统一使用这个数据湖。阿里云工具存储OSS（Object Storage Service）是阿里云提供的海量、宁静、低成本、高持久的云存储服务。其数据设计持久性不低于12个9。

OSS具有与平台无关的RESTful API接口，可以在任何应用、任何时间、任何所在存储和会见任意类型的数据。也可以使用阿里云提供API、SDK接口或者OSS迁移工具轻松地将海量数据移入或移出阿里云OSS。数据存储到阿里云OSS以后，可以选择尺度存储（Standard）作为主要存储方式，也可以选择成本更低、存储期限更长的低频会见存储（Infrequent Access）、归档存储（Archive）、冷归档存储（Cold Archive）作为不经常会见数据的存储方式。基于OSS的这些特性很适合做数据湖的存储。

统一元数据是指，使用数据湖的若干EMR中的组件统一使用一套元数据，好比Hive，Ranger，Hue等。我们把这些EMR元数据统一放在外置的RDS实例上，阿里云关系型数据库RDS（Relational Database Service）是一种稳定可靠、可弹性伸缩的在线数据库服务。

基于阿里云漫衍式文件系统和SSD盘高性能存储，我们可以快速搭建稳定可靠的数据库服务，相比自建数据库有自制易用，具有灵活计费、按需变配、即开即用、高性能、高可用架构、多种容灾方案、高宁静性等特点。也很适合做统一元数据存储。4.2.3 多EMR多OSS桶设计使用统一OSS存储和统一元数据的架构，我们设计了多EMR多OSS桶的框架数据湖上多EMR多OSS桶设计抽数EMR T+1抽取业务RDS到数据湖，焦点数仓EMR在分层数仓中举行一系列ETL操作生成CDM公共维度层数据，业务EMR基于CDM公共维度层数据举行ETL操作生成ADS集市层数据，EMR presto对CDM和ADS的数据举行即席查询。

一个业务EMR主要提供即席查询服务和DAG调理任务服务，用户只能把自己的即席查询和调理任务提交到他所在部门的EMR，且我们可以设置YARN行列资源把两种任务所占资源举行隔离。业务EMR提供服务4.2.4 漫衍式调理系统设计Airflow是一个可编程，调理和监控的事情流平台，基于有向无环图DAG Airflow可以界说一组有依赖的任务，并根据依赖依次执行。Airflow提供了富厚的下令行工具用于系统管控，而其Web治理界面同样也可以利便的管控调理任务，而且对任务运行状态举行实时监控，利便了系统的运维和治理。

Airflow 系统在运行时有许多守护历程，它们提供了 Airflow 的全部功效。守护历程包罗 Web服务器-WebServer、调理法式-Scheduler、执行单元-Worker、消息行列监控工具-Flower等。

这些守护历程相互之间是独立的，他们并不相互依赖，也不相互感知，每个守护历程在运行时只处置惩罚分配到自己身上的任务。基于Airflow的这种特性我们搭建了基于数据湖的Airflow集群高可用的漫衍式调理体系。数据湖上Airflow漫衍式调理体系为了在EMR上便捷执行任务，我们把Airflow Worker部署在EMR的Gateway上，因为Gateway上有所有EMR当前部署组件的客户端下令和设置。

我们也可以通过增加单个Worker节点的守护历程数来垂直扩展Worker能力提高集群任务并发度，也可以添加更多 Gateway（一个Gateway部署一个Worker）来水平扩展Worker能力提高集群任务并发度。现实中我们为了提高任务并发度且减低单个Gateway的压力，为高并发提交作业的焦点数仓集群和抽数集群设置了两个Gateway和Airflow Worker。

后续我们还准备为Airflow Master部署两个节点，解决Master节点单点故障的问题。4.2.5 用户权限系统设计用户权限系统一直是架构设计的焦点。我们设计了基于数据湖上三层用户权限体系，第一层RAM会见控制，第二层EMR执行引擎会见权限，第三层大数据交互式分析会见权限。

数据湖上三层用户权限体系第一层会见控制（RAM）是阿里云提供的治理用户身份与资源会见权限的服务。RAM允许在一个阿里云账号下建立并治理多个身份，并允许给单个身份或一组身份分配差别的权限，从而实现差别用户拥有差别资源会见权限的目的。

我们给每个EMR绑定了一个ECS应用角色，而每个ECS应用角色只能会见数据湖里相应的OSS桶。第二层EMR执行引擎会见权限，包罗HiveServer2，Presto，Spark等执行引擎。首先我们需要相识，认证(Authentication)是指验证用户所用的身份是否是对的，授权(Authorization)是指验证用户所用身份操作是否有权限。

HiveServer2支持多种用户认证方式：NONE、NOSASL、KERBEROS、LDAP、PAM、CUSTOM等。而权限认证可以使用HIVE自带的权限体系、RANGER、SENTRY等开源组件。使用Presto的Hive Connector，Presto和Hive可以共用同套用户权限体系。而经由阿里云EMR大数据团队的支持，Spark客户端也可以支持这套用户权限体系。

最终我们使用EMR Openldap生存用户和用户组信息，EMR Ranger提供集中式的权限治理框架。而EMR Openldap的用户和组信息会和公司的AD举行同步，AD中新进员工或者去职员工信息都市T+1方式同步到EMR Openldap。OpenLdap和Ranger用户权限治理体系第三层大数据交互式分析会见权限。

我们自建了一套类HUE的统一用数大数据交互式分析查询系统，通过限制交互式分析查询系统的EMR会见入口，用户只能会见本部门的EMR。通过这三层用户权限系统，可基本笼罩全场景用户取数需求。4.2.6 EMR弹性伸缩设计EMR的弹性伸缩功效可以凭据业务需求和计谋设置伸缩计谋。

弹性伸缩开启并设置完成后，当业务需求增长时EMR会自动为您增加Task节点以保证盘算能力，当业务需求下降时EMR会自动淘汰Task节点以节约成本。在我们的数据湖上跑了大量的EMR集群，正是由于EMR弹性伸缩的特性，我们能在满足业务需求情况下节约成本和提高执行效率，这也是大数据上云相比传统IDC自建大数据集群最重要的优势之一。我们设置了若干弹性伸缩规则如下，主要遵循弹性扩容要比弹性缩容的阈值门槛低的原则。

4.2.7 负载平衡治理EMR集群是无状态，可随时新建和销毁。可是不能因为EMR集群的新建和销毁影响对外提供的服务接口稳定，于是我们设计了数据湖上EMR集群的统一服务接口层。HAProxy提供高可用性、负载平衡以及基于TCP和HTTP应用的署理，支持虚拟主机，它是免费、快速而且可靠的一种解决方案。

我们接纳HAProxy的四层网络层负载平衡，也就是TCP和UDP的负载平衡来提供统一服务。在实现上，我们主要用HAProxy署理各个EMR的HiveServer2接口，ResouceManger接口，HiveMetaStore接口，Presto Http接口等，且让HAProxy支持 Include 加载多个模块设置文件的方式便于维护和重启。4.2.8 OSS桶生命周期治理数仓ODS层的数据和其他数仓层的数据相比具有不行再生的特性（业务RDS库的数据会定期做删除，数仓负担了数据备份的功效），我们把ODS层的数据放在多版本桶上，能够同样实现Cloudera Hadoop定期打Snapshot快照做定期数据备份，所以我们需要设置ODS桶数据的生命周期一来保障ODS层数据的宁静，二来保持数据量的稳定增长。

ODS多版本桶的生命周期设置Hadoop HDFS文件系统会有一个垃圾箱接纳机制，便于将删除的数据接纳到垃圾桶内里去，制止某些误操作删除一些重要文件。接纳到垃圾桶里内里的资料数据，都可以举行恢复。

HDFS为每一个用户建立一个接纳站，目录为/user/用户名/.Trash/被用户删除的文件或目录，在系统接纳站中都有一个周期(fs.trash.interval)，周期事后HDFS会自动将这些数据彻底删除。而如果是数据湖架构，接纳站目录将被设置在OSS桶上，HDFS不会对这些垃圾文件定期删除，于是我们需要设置OSS文件生命周期（删除3天前的数据）来定期删除这些垃圾文件。垃圾箱的生命周期设置4.2.9 日志治理日志服务（Log Service，简称 SLS）是针对日志类数据一站式服务，用户无需开发就能快捷完成数据收罗、消费、投递以及查询分析等功效，资助提升运维、运营效率，建设 DT 时代海量日志处置惩罚能力。鉴于EMR组件日志的周期性删除，我们必须把EMR上组件的历史日志统一收集在一个地方以便于后续的排盘问题，SLS正适合数据湖上多EMR日志收集这一场景。

我们凭据EMR组件常用日志收集了4.2.10 终端权限治理开发人员需要有特定EMR实例的登录权限，以便于开发操作。终端权限治理终端登录方式如上，通过公司碉堡机，登录大数据VPC下一台特定linux跳板机，从而去登录EMR的实例，差别角色的操作人员有特定的登录权限。其中大数据运维可以用统一密钥对以root账号登录EMR HADOOP集群任意一个实例，然后切换到hadoop账号后，登录EMR集群中任意一个实例。

4.2.11 组件UI治理如上所示knox的地址不太容易影象，我们接纳了云剖析DNS的产物。云剖析DNS（Alibaba Cloud DNS）是一种宁静、快速、稳定、可扩展的权威DNS服务，云剖析DNS为企业和开发者将易于治理识此外域名转换为盘算机用于互连通信的数字IP地址，从而将用户的会见路由到相应的网站或应用服务器。我们使用别名记载，将容易影象的域名指向knox域名很好的解决了这个问题。

4.2.12 监控诉警治理EMR-APM大盘提供EMR集群用户，特别是集群运维人员使用的包罗监控集群、监控服务、监控作业整体运行状况、排查息争决集群作业问题的一套完整工具的产物。常用有YARN-HOME图表，可以看到历史弹性伸缩实例的情况EMR APM大盘中YARN-HOME图表YARN-QUEUE图表，可以看到历史每个行列的资源使用情况和任务执行情况EMR APM大盘中YARN-QUEUE图表EMR APM大盘中YARN-QUEUE图表云监控（CloudMonitor）是一项针对阿里云资源和互联网应用举行监控的服务。云监控服务可用于收集阿里云资源或用户自界说的监控指标，探测服务可用性，以及针对指标设置警报。使您全面相识阿里云上的资源使用情况、业务的运行状况和康健度，并实时收到异常报警做出响应，保证应用法式顺畅运行。

我们接纳让数据湖上的多个EMR焦点组件告警信息接入云监控，让云监控统一电话，钉钉，邮件告警给相关责任人。4.2.13 即席查询设计即席查询能力是数据湖对外输出能力的磨练。我们自研了统一用数大数据交互式查询系统，支持HiveServer2和Presto两种执行引擎。

通过限制统一用数的查询入口，用户只能提交即席查询作业在自己部门所在的EMR上。而Presto所占用的盘算资源会和Hadoop所占用的YARN盘算资源相互影响，我们独立搭建了一套EMR Presto集群，单独为统一用数提供Presto即席查询服务。

数据湖上即席查询设计统一用数在满足用户即席查询基本需求的基础上，我们还做了许多个性化的需求。公司工单审批系统接入组件服务状态监测提醒HiveSQL语法和PrestoSQL语法互转元数据展示，包罗样本数据展示，血缘关系展示，调理信息展示，统计信息等4.2.14 集群宁静组设计ECS实例的宁静组是一种虚拟防火墙，具备状态检测和数据包过滤能力，用于在云端划分宁静域。

宁静组是一个逻辑上的分组，由同一地域内具有相同宁静掩护需求并相互信任的实例组成。在数据湖上的所有EMR必须绑定特定的宁静组来为外界提供服务。我们为大数据集群差别实例组分配了差别的宁静组。4.2.15 数据脱敏设计敏感数据主要包罗客户资料、技术资料、小我私家信息等高价值数据，这些数据以差别形式存在于大数据数仓中，敏感数据的泄露会给企业带来严重的经济和品牌损失。

EMR Ranger支持对Hive数据的脱敏处置惩罚（Data Masking），对Select的返回效果举行脱敏处置惩罚，对用户屏蔽敏感信息。可是EMR Ranger该功效只针对HiveServer2的场景，不适用于Presto的场景。

数据湖的敏感字段扫描根据预设的敏感字段规则举行扫描，分小时级此外增量扫描和天级此外全量扫描。扫描效果通过Ranger Mask Restful API写入Ranger的元数据库，当用户的即席查询通过HiveServer2并掷中敏感字段时，该敏感字段只有预设的前面几个字符是正常显示，后面字符全部用x来脱敏处置惩罚。

ranger脱敏效果4.2.16 YARN行列设计一个业务EMR主要提供即席查询服务和DAG调理任务服务，用户只能把自己的即席查询和调理任务提交到他所在部门的EMR，且我们可以设置YARN行列资源把两种任务所占资源举行隔离。4.3 数据湖EMR治理EMR治理在数据湖治理中具有举足轻重的作用，EMR治理包罗稳定性治理，宁静性治理，执行效率治理和成本治理等。4.3.1 调整EMR预伸缩时间数仓半夜的T+1任务有时效性要求，我们需要在0点数仓作业开始执行时提前准备好富足的盘算资源。由于EMR当前弹性伸缩架构限制，优雅下线会导致缩容和扩容不能并行。

在不影响0点数仓作业的情况下，尽可能推迟预扩容时间定时调理执行EMR OpenAPI，暂时缩短优雅下线参数可以时预扩容时间从22：00延迟到23：30。检察任务运行监控，尽可能提前恢复弹性伸缩时间检察EMR APM大盘监控，视察任务执行时间，提前调整弹性伸缩下限恢复弹性伸缩从10：00提前到6：00。优化前后，22：00-10：00平均在线节点从52台缩减到44台。

4.3.2 更改EMR弹性伸缩计谋 弹性伸缩功效可以凭据业务需求和计谋设置伸缩计谋。弹性伸缩开启并设置完成后，当业务需求增长时EMR会自动增加Task节点以保证盘算能力，当业务需求下降时EMR会自动淘汰Task节点以节约成本。

Task节点的付费方式有包年包月，按量实例和竞价实例。在全弹性伸缩情况下我们应该尽可能使用竞价实例，可以参考阿里云《EMR弹性低成本离线大数据分析最佳实践》竞价实例优先，按量实例兜底此方案兼顾了集群盘算能力，成本和弹性伸缩的稳定性，尽可能多用竞价实例，只有在可用区ECS库存匮乏的情况下才使用按量实例。弹性伸缩设置可用区迁移差别的可用区库存纷歧样，我们应该尽可能把EMR集群部署或迁移到库存丰裕的可用区，这样才气尽可能使用竞价实例降低成本弹性计谋调整夜间和白昼的任务性质纷歧样，好比夜间以调理任务为主，使用的是dw行列，而白昼以即席查询为主，使用的是default行列。

我们可以用调理定时刷新行列资源，有效的使用行列资源从而制止行列资源浪费。经由上述一系列优化后，EMR集群用度淘汰1/54.3.3 优化EMR云盘空间 EMR的弹性实例可以使用云盘，云盘包罗高效云盘，SSD和ESSDESSD云盘：基于新一代漫衍式块存储架构的超高性能云盘产物，联合25GE网络和RDMA技术，单盘可提供高达100万的随机读写能力和更低的单路时延能力。建议在大型OLTP数据库、NoSQL数据库和ELK漫衍式日志等场景中使用。SSD云盘：具备稳定的高随机读写性能、高可靠性的高性能云盘产物。

建议在I/O麋集型应用、中小型关系数据库和NoSQL数据库等场景中使用。高效云盘：具备高性价比、中等随机读写性能、高可靠性的云盘产物。

建议在开发与测试业务和系统盘等场景中使用。当前处于性价比思量我们选择了ESSD云盘。并凭据检察弹性节点逐日云盘监控，合理确定弹性伸缩实例数据盘数量和容量。4.3.4 EMR机械组的选择 在一个业务EMR上，主要提供即席查询服务和DAG调理任务服务。

弹性伸缩比力适合DAG调理任务的场景，而不适合即席查询的场景，因为即席查询具有查询时间短频次高的特点。基于以上因素思量，我们往往会预留牢固数量的TASK实例，而这些实例使用先付费比力合适。

于是我们设置了两个TASK机械组，先付费TASK机械组和后付费TASK机械组，先付费TASK机械组主要满足即席查询的需求，尔后付费弹性TASK机械组满足DAG调理任务的需求4.3.5 EMR成本控制在我们公司的产物消费漫衍中，ECS云服务器占总用度的很大比例，而EMR弹性实例又占ECS云服务器中大多数，所以我们需要关注EMR的用度账单来有效的控制成本。我们可以使用详单订阅服务，挪用SubscribeBillToOSS导出阿里云OSS订阅账单详单数据到大数据Hive表，经由一系列ETL盘算出逐日每个EMR的用度报表。

EMR的用度主要包罗包年包月实例用度，按量实例用度，竞价实例用度，云盘用度和预留券抵扣用度。阿里云提供了给资源打TAG的方式实现分账，详细实现上，我们通过给EMR集群打TAG的方式实现多业务集群之间的分账治理。可以参考[《单账户下企业分账最佳实践》]（https://bp.aliyun.com/detail/168)。

通过报表我们发现EMR-A 30台机械用度和EMR-B 50台机械的用度不成比例，通太过析用度组成我们发现EMR-A处于资源匮乏可用区，用了大量的按量实例和预留实例券，而EMR-B处于资源富余可用区，用了大量的竞价实例，按量实例+预留券用度是远高于竞价实例的。另外我们还盘算了EMR中每个SQL的用度来督促业务优化大SQL和下线无用SQL。我们拉取ResourceManger里的MemorySeconds指标，盘算公式为SQL用度=MemorySeconds Of SQL/Total MemorySeconds Of EMR*EMR总用度。

4.3.6 购置RI预留抵扣券预留实例券是一种抵扣券，可以抵扣按量付费实例（不含抢占式实例）的账单，也能够预留实例资源。相比包年包月实例，预留实例券与按量付费实例这种组合模式可以兼顾灵活性和成本。

预留实例券支持地域和可用区。地域级预留实例券支持在指定地域中可以跨可用区匹配按量付费实例。

可用区级预留实例券只可匹配同一可用区中的按量付费实例。预留实例券支持三种付款类型：全预付、部门预付和0预付。差别付款类型对应差别计费尺度。由于我们使用了竞价实例优先，按量实例兜底的弹性计谋，我们购置了一部门跨可用区0预付的预留实例券用来抵扣弹性伸缩的按量实例。

下图是预留实例券每个账期的使用情况。可以看到，有两款ECS规格的预留实例券的使用率划分是0和百分之六十二点五，没有到达预期的百分之百。其原因是后期资源从按量切换到抢占式实例，而预留实例券是不支持抢占式实例的。

整体上使用预留实例券之后，相比力按量付费成本节约了百分之四十左右。更多详情可以参考《RI和SCU全链路使用实践》。弹性保障弹性保障为灵活付费的日常弹性资源需求提供百分百的资源确定性保障。

通过弹性保障，只需要支付一笔较低的保障用度，即可换取牢固周期（支持1个月~5年）的资源确定性保障。购置弹性保障时设置可用区、实例规格等属性，系统会以私有池的方式预留属性相匹配的资源。在建立按量付费实例时选择使用私有池的容量，即可保证百分百建立乐成。

我们知道双十一前后一段时间阿里云会泛起资源紧张的情况，而公司的一些T+1任务属于极端重要任务，为了低成本保障双十一期间EMR弹性资源，我们为数据湖上一些重要的EMR绑定了弹性保障私有池来保障这些重要EMR上的弹性资源在此期间一定能够获得。4.4 数据湖OSS治理上面先容了数据湖上执行引擎EMR的治理，下面我们先容数据湖的存储介质OSS的治理。4.4.1 数仓ODS多版本桶治理版本控制是针对OSS存储空间（Bucket）级此外数据掩护功效。开启版本控制后，针对数据的笼罩和删除操作将会以历史版本的形式生存下来。

您在错误笼罩或者删除工具（Object）后，能够将Bucket中存储的Object恢复至任意时刻的历史版本。我们在自建Cloudera Hadoop中为了保障数据的宁静使用了HDFS Snapshot的功效。在数据湖架构中，我们使用OSS自带的版本控制功效来保障数据湖上数据的宁静。

OSS支持设置生命周期（Lifecycle）规则，自动删除逾期的文件和碎片，或将到期的文件转储为低频或归档存储类型，从而节约存储用度。我们也需要设置多版本桶的生命周期来节约成本，保留当前版本且自动删除3天后的历史版本。4.4.2 数仓日志桶治理从下图中可以看到9月28日之前尺度存储线性增长，9月28日设置了冷存储生命周期，冷存储线性增长，尺度存储基本稳定，而尺度型单价0.12元/GB/月，归档型单价0.033元/GB/月，330T数据转成冷存储节约百分之七十二点五用度。

4.4.3数仓桶和集市桶治理数据湖架构下EMR的HDFS接纳站目录被设置在OSS桶上，HDFS不会对这些垃圾文件定期删除，于是我们需要设置HDFS垃圾箱的生命周期来定期删除垃圾箱内的这些垃圾文件。4.4.4 监控桶内工具工具存储OSS支持存储空间清单功效，可定期将Bucket内文件（Object）的信息导出到指定Bucket，资助相识Object的状态，简化并加速事情流和大数据作业任务等。

Bucket清单功效以周为单元将Bucket内的Object举行扫描，扫描完成后会生成CSV花样的清单陈诉，并存储到指定的Bucket内。在清单陈诉中可以有选择地导出指定工具的元数据信息，如文件巨细、加密状态等。我们通过设置存储空间清单导出CSV花样的文件放入Hive表中，定期出报表来监控桶内工具的变化情况，找出异常增长情况并加以治理。5. 阿里云第二代数据湖第一代数据湖的执行引擎是EMR存储介质是OSS，当我们公司引入Dataphin数据中台时，他的执行引擎和存储是Maxcompute，和我们当前的数仓执行引擎EMR是两套异构的执行引擎，带来的问题如下存储冗余EMR的存储资源放在OSS工具存储上，MaxCompute的存储资源放在盘古上，造成存储资源的冗余。

元数据不统一EMR的元数据统一放在外置的RDS数据库上，MaxCompute的元数据放在MC元数据库里，两者元数据不统一造成无法共享。用户权限不统一EMR的用户权限体系是用openldap和ranger构建，而MaxCompute的用户权限体系是用MaxCompute自带的用户权限体系。湖仓盘算不能自由流动凭据任务的性质和任务计费规则，高吞吐高庞大度低并发的任务适合在EMR中跑，而低吞吐低庞大度高并发的任务适合在MaxCompute中跑；另外我们可以把双十一的盘算资源放在MaxCompute上，解决EMR资源不足的问题。

而当前情况不能自由选择执行引擎阿里云提供了两套湖仓一体方案，其中基于HDFS存储的方案，通过建立外部项目将Hive元数据映射到MaxCompute（相关最佳实践可以参考 https://bp.aliyun.com/detail/169 ）。我们接纳另外一种基于数据湖构建DLF（DataLake Formation）实现湖仓一体的数据湖方案。将我们EMR的元数据和MaxCompute元数据迁移到DLF，底层使用OSS作统一存储，买通EMR构建的数据湖和MaxCompute构建的数据堆栈两套体系，让数据和盘算在湖和仓之间自由流动，真正实现湖仓一体。

即湖仓一体的数据湖本质：统一的存储，统一的元数据和自由接入执行引擎。5.1 阿里云数据湖构建 阿里云数据湖构建（Data Lake Formation，DLF）是一款全托管的快速资助用户构建云上数据湖的服务，产物提供了云上数据湖统一的权限治理、数据湖元数据治理和元数据自动抽取能力。

统一数据湖存储阿里云数据湖构建使用阿里云工具存储（Object Storage Service，OSS）作为云上数据湖的统一存储，在云上可以使用多种盘算引擎面向差别的大数据盘算场景，开源大数据E-MapReduce，实时盘算，MaxCompute交互式分析（Hologres），机械学习PAI等，但您可以使用统一的数据湖存储方案制止数据同步发生的庞大度和运维成本。多样化入湖模板阿里云数据湖构建可以将多种数据源数据抽取到数据湖中，现在支持的包罗关系型数据库(MySQL)、阿里云日志服务（SLS）、阿里云表格存储（OTS）、阿里云工具服务（OSS）和Kafka等，用户可以指定存储花样，提高盘算和存储效率。数据湖元数据治理用户可以界说数据湖元数据的花样，举行集中和统一治理，保证数据质量。5.2 阿里云数据湖解决方案 我们主要使用阿里云数据湖构建产物的统一元数据治理功效和统一用户权限治理功效。

如图架构EMR和MaxCompute共享数据湖DLF的元数据，用户权限和权限治理功效。基于DLF的数据湖系统架构 数据湖的数据流图如下数据流图EMR ETLX把业务RDS和业务OSS的数据抽取到数据湖中，即ODS层数据落数据湖。Dataphin数据中台对数据湖的数据举行维度建模（建模中间表包罗事实逻辑表和维度逻辑表用MaxCompute内表，不落入数据湖），最后维度建模效果发生在CDM层或者ADS层数据湖上。

EMR或其他执行引擎对数据湖上的ADS层数据举行即席查询分析或者调理使用。作者：程俊杰本文为阿里云原创内容，未经允许不得转载。

本文来源：亚博全站APP登录-www.hzhth.com