腾讯云海外购

专用宿主机

什么叫宿主机_宿主机什么意思_什么系统做宿主机比较好

如果采用Cloudera官方建议的安装方式,即Cloudera Manager使用rpm的方式安装,CDH使用Parcel方式安装,会在操作系统内产生多种多样的目录。CDH安装主要使用的目录包括/etc,/usr,/var,/tmp,/opt共5个目录,不同的目录下保存不同的子文件夹以及多种多样不同的文件内容主要涉及比如安装包,配置文件,执行命令脚本等。本文Fayson会详细讲解各个目录的作用以及...Cloudera从CM6.3版本开始,引入了Red Hat IdM来做整个集群的认证,Red Hat IdM对应的软件为FreeIPA,在本文中描述如何使用FreeIPA来做CDH集群的认证。关于FreeIPA服务器搭建参考<使用FreeIPA对Linux用户权限统一管理>。

专用宿主机

什么叫宿主机_宿主机什么意思_什么系统做宿主机比较好

如果采用Cloudera官方建议的安装方式,即Cloudera Manager使用rpm的方式安装,CDH使用Parcel方式安装,会在操作系统内产生多种多样的目录。CDH安装主要使用的目录包括/etc,/usr,/var,/tmp,/opt共5个目录,不同的目录下保存不同的子文件夹以及多种多样不同的文件内容主要涉及比如安装包,配置文件,执行命令脚本等。本文Fayson会详细讲解各个目录的作用以及...Cloudera从CM6.3版本开始,引入了Red Hat IdM来做整个集群的认证,Red Hat IdM对应的软件为FreeIPA,在本文中描述如何使用FreeIPA来做CDH集群的认证。关于FreeIPA服务器搭建参考<使用FreeIPA对Linux用户权限统一管理>。

0735-什么是Cloudera Management Service - 1

0735-什么是Cloudera Management Service - 1

作者:Eric Lin (林晨辉), Cloudera高级售后技术支持工程师。毕业于Monash大学计算机科学, Sir John Monash的奖学金获得者。曾就业于数据收集公司如Hitwise(现为Experian的子公司)和Effective Measure,担任高级工程师,负责设计,开发和管理用于采集, 处理和报告网络数据的平台(基于PHP,Java和CDH)。现任职Cloudera, 担......

cloudera第六天

cloudera第六天

Cloudera Manager为CDH的简单部署和管理提供端到端系统管理。Cloudera Manager还与现有的第三方工具无缝集成。 在桌面上点击“Launch Cloudera Express”或“Launch Cloudera Enterprise (trial)”即可启动。...

0743-Cloudera Enterprise 6.3.3发布

0743-Cloudera Enterprise 6.3.3发布

2020年2月4日Cloudera宣布正式发布CDH6.3.3,该维护版本(maintenance release)包含以前CDH6.3次要版本(minor release)的所有功能,并添加了许多重要的bug修复。同时官方也发布了一些已知问题(known issue),建议大家可以阅读官网新的升级指南,该指南会指导你如何根据自己特定的环境制定专门的升级方案。...

0497-如何将Kerberos的CDH6.1从Oracle JDK 1.8迁移至OpenJDK 1.8

0497-如何将Kerberos的CDH6.1从Oracle JDK 1.8迁移至OpenJDK 1.8

受前段时间Oracle官宣的从2019年1月之后将不再提供免费的的JDK商业版本的影响,Cloudera开始开发基于OpenJDK的Hadoop平台,参考Fayson之前的文章《Java收费,Hadoop怎么办?》。今年11月29日,Cloudera才发布不久的CDH5.16.1正式提供OpenJDK的支持,参考Fayson之前的文章《0466-CDH5.16.1和CM5.16.1的新功能》和《0......

Noise 框架:构建安全协议的蓝图

Noise 框架:构建安全协议的蓝图

Noise Protocol Framework(以下简称 Noise)是一个用于构建安全协议的框架。与 TLS,IPSec 这样的有完整实现的协议不同,Noise 更多像是一个蓝图,它为那些想创建自己的安全协议的开发者提供了一套模板。就好像元编程之于编程,Noise 是协议的元协议(meta-protocol)。...

cloudera第7天

cloudera第7天

Cloudera实时初学者教程 欢迎来到Cloudera QuickStart VM, Cloudera Live的一部分!跟随本教程,您不仅将了解如何开始使用CDH (Cloudera的开源发行版,包括Apache Hadoop)中提供的一些工具,还将了解提出更大的问题意味着什么。在本教程结束时,您将: 了解如何在CDH中使用一些强大的工具 了解如何设置和执行一些基本的商业智能和分析用例...

0496-使用Parquet矢量化为Hive加速

0496-使用Parquet矢量化为Hive加速

Apache Hive是Hadoop之上最流行的数据仓库引擎。提升Hive性能的功能可以显著提高集群资源的整体利用率。Hive使用一连串的运算符来执行查询。这些运算符包括MapTask,ReduceTask或SparkTask,它们在查询执行计划中进行调度。以前这些运算符被设计为每次处理一行数据。一次处理一行导致运算符效率不高,因为需要许多虚函数调用来处理扫描的每一行。另外,如果运算符一次只处理一......

0741-什么是Apache Ranger - 1

0741-什么是Apache Ranger - 1

作者:Eric Lin (林晨辉), Cloudera高级售后技术支持工程师。毕业于Monash大学计算机科学, Sir John Monash的奖学金获得者。曾就业于数据收集公司如Hitwise(现为Experian的子公司)和Effective Measure,担任高级工程师,负责设计,开发和管理用于采集, 处理和报告网络数据的平台(基于PHP,Java和CDH)。现任职Cloudera, 担......

0509-深入分析CDH的安装目录

0509-深入分析CDH的安装目录

如果采用Cloudera官方建议的安装方式,即Cloudera Manager使用rpm的方式安装,CDH使用Parcel方式安装,会在操作系统内产生多种多样的目录。CDH安装主要使用的目录包括/etc,/usr,/var,/tmp,/opt共5个目录,不同的目录下保存不同的子文件夹以及多种多样不同的文件内容主要涉及比如安装包,配置文件,执行命令脚本等。本文Fayson会详细讲解各个目录的作用以及......

0751-7.0.3-如何在CDP DC7.0.3中启用Kerberos

0751-7.0.3-如何在CDP DC7.0.3中启用Kerberos

在前面的文章中,Fayson介绍了《0733-7.0.3-如何在Redhat7.6中安装CDP DC7.0.3》,这里我们基于这个环境开始安装Kerberos。Kerberos是一个用于安全认证的第三方协议,并不是Hadoop专用,你可以将其用于其他系统。它采用了传统的共享秘钥方式,实现了在网络环境下不一定保证安全的环境下,Client和Server之间的通信,适用于Client/Server模型......

cloudera 第四天 Flume

cloudera 第四天 Flume

Flume是一个可伸缩的、实时的摄取框架,它允许您路由、筛选、聚合和执行数据的“小型操作”,并将其传送到一个可伸缩的处理平台,如CDH。但是,您确实希望最小化在进入集群的过程中完成的逻辑,这将确保其他工作负载的可用性,并防止摄取瓶颈。它仍然允许您利用CDH集群的巨大可伸缩性进行更繁重的处理。如果您需要执行一些繁重的聚合或多步传入数据的ETL,那么您应该使用Spark—一个内存中的处理框架,它可以与......

0484-Cloudera和Hortonworks合并后面临的选择

0484-Cloudera和Hortonworks合并后面临的选择

Cloudera与Hortonworks两家公司在前一段时间提出来合并,虽然两家公司都同时强调两者在产品或者技术上的互补性,但其实合并后的公司也面临一些艰难的选择,可能会对各种与Hadoop相关的开源Apache项目产生较大的影响。本文主要讨论它们接下来可能会如何发展。...

Cloudera安全认证概述

Cloudera安全认证概述

身份验证是任何计算环境的基本安全要求。简单来说,用户和服务必须先向系统证明其身份(身份验证),然后才能在授权范围内使用系统功能。身份验证和授权携手并进,以保护系统资源。授权使用多种方式处理,从访问控制列表(ACL)到HDFS扩展ACL,再到使用Ranger的基于角色的访问控制(RBAC)。...

一步一步理解Impala query profile(一)

一步一步理解Impala query profile(一)

作者:Eric Lin (林晨辉), Cloudera高级售后技术支持工程师。毕业于Monash大学计算机科学, Sir John Monash的奖学金获得者。曾就业于数据收集公司如Hitwise(现为Experian的子公司)和Effective Measure,担任高级工程师,负责设计,开发和管理用于采集, 处理和报告网络数据的平台(基于PHP,Java和CDH)。现任职Cloudera, 担......

0504-使用Pulse为数据管道实现主动告警

0504-使用Pulse为数据管道实现主动告警

2017年年中,我们与世界上最大的医疗保健公司中的一家合作,将新的数据应用投入生产。这家公司通过收购其他公司来进行扩张,为了保持对FDA的合规性,他们需要从公司的数十个不同部门实时汇总数据。这个应用程序的消费者并不关心我们如何构建数据管道。他们关心的是如果数据管道出问题了,导致最终用户没有获得他们的数据,这家公司将因为无法满足合规可能遭受巨额罚款。 ...

Edge2AI自动驾驶汽车:构建Edge到AI数据管道

Edge2AI自动驾驶汽车:构建Edge到AI数据管道

在上一篇文章中,我们从安装在智能车辆上的传感器收集数据,并描述了ROS嵌入式应用程序,以准备用于训练机器学习(ML)模型的数据。本文展示了从边缘到云中数据湖的数据流。数据采用图像的形式以及与我们的自动驾驶汽车收集的每个图像相关的元数据(例如,IMU信息,转向角,位置)。我们将数据流定向到ClouderaDistribution Hadoop(CDH)集群,在该集群中将存储和整理数据以训练模型。...