Flume是一个可伸缩的、实时的摄取框架，它允许您路由、筛选、聚合和执行数据的“小型操作”，并将其传送到一个可伸缩的处理平台，如CDH。但是，您确实希望最小化在进入集群的过程中完成的逻辑，这将确保其他工作负载的可用性，并防止摄取瓶颈。它仍然允许您利用CDH集群的巨大可伸缩性进行更繁重的处理。如果您需要执行一些繁重的聚合或多步传入数据的ETL，那么您应该使用Spark—一个内存中的处理框架，它可以与......
专用宿主机
什么叫宿主机_宿主机什么意思_什么系统做宿主机比较好
hadoop jar /home/hadoop/hadoop-2.6.0-cdh5.5.2/share/hadoop/tools/lib/hadoop-streaming-2.6.0-cdh5.5.2.jar -input /user/hadoop/aa.txt -output /user/hadoop/python_output -mapper "python mapper.py" -redu...在前面的文章中，Fayson介绍了《如何获得Cloudera的Flink Parcel包》和《如何在Redhat7.6中安装CDP DC7.0.3》，基于前面的集群环境，本篇文章Fayson主要介绍如何在CDP DC7.0.3集群中使用Parcel的方式安装Flink1.9.1。
专用宿主机
什么叫宿主机_宿主机什么意思_什么系统做宿主机比较好
hadoop jar /home/hadoop/hadoop-2.6.0-cdh5.5.2/share/hadoop/tools/lib/hadoop-streaming-2.6.0-cdh5.5.2.jar -input /user/hadoop/aa.txt -output /user/hadoop/python_output -mapper "python mapper.py" -redu...在前面的文章中，Fayson介绍了《如何获得Cloudera的Flink Parcel包》和《如何在Redhat7.6中安装CDP DC7.0.3》，基于前面的集群环境，本篇文章Fayson主要介绍如何在CDP DC7.0.3集群中使用Parcel的方式安装Flink1.9.1。
Apache Hive是Hadoop之上最流行的数据仓库引擎。提升Hive性能的功能可以显著提高集群资源的整体利用率。Hive使用一连串的运算符来执行查询。这些运算符包括MapTask，ReduceTask或SparkTask，它们在查询执行计划中进行调度。以前这些运算符被设计为每次处理一行数据。一次处理一行导致运算符效率不高，因为需要许多虚函数调用来处理扫描的每一行。另外，如果运算符一次只处理一......
作者：Eric Lin (林晨辉)， Cloudera高级售后技术支持工程师。毕业于Monash大学计算机科学， Sir John Monash的奖学金获得者。曾就业于数据收集公司如Hitwise（现为Experian的子公司）和Effective Measure，担任高级工程师，负责设计，开发和管理用于采集， 处理和报告网络数据的平台（基于PHP，Java和CDH）。现任职Cloudera， 担......
在前面的文章中，Fayson介绍了《如何获得Cloudera的Flink Parcel包》和《如何在Redhat7.6中安装CDP DC7.0.3》，基于前面的集群环境，本篇文章Fayson主要介绍如何在CDP DC7.0.3集群中使用Parcel的方式安装Flink1.9.1。...
Cloudera在今天主要阐述了将要推出的统一旗舰产品CDP（Cloudera Data Platform），它也是Cloudera新兴的“企业数据云”战略的核心。同时宣布的还有他们将继续支持现有的CDH和HDP平台一直到2022年，同时在这3年对现有的产品还会进行交叉组合。...
Cloudera实时初学者教程 欢迎来到Cloudera QuickStart VM, Cloudera Live的一部分!跟随本教程，您不仅将了解如何开始使用CDH (Cloudera的开源发行版，包括Apache Hadoop)中提供的一些工具，还将了解提出更大的问题意味着什么。在本教程结束时，您将: 了解如何在CDH中使用一些强大的工具 了解如何设置和执行一些基本的商业智能和分析用例...
受前段时间Oracle官宣的从2019年1月之后将不再提供免费的的JDK商业版本的影响，Cloudera开始开发基于OpenJDK的Hadoop平台，参考Fayson之前的文章《Java收费，Hadoop怎么办？》。今年11月29日，Cloudera才发布不久的CDH5.16.1正式提供OpenJDK的支持，参考Fayson之前的文章《0466-CDH5.16.1和CM5.16.1的新功能》和《0......
而Fayson在以前的文章中也基于C5的环境介绍过如何在Hive中使用多分隔符，参考《Hive多分隔符支持示例》。本文主要介绍在CDH6中如何让Hive支持多分隔符。...
之前的文章中我们提到了Hive是Hadoop生态系统中的重要的成员之一，允许用户使用类似SQL的方式，很方便地进行离线数据的统计分析。本节我们就在Hadoop集群的基础上进行Hive的安装与配置。...
Cloudera从CM6.3版本开始，引入了Red Hat IdM来做整个集群的认证，Red Hat IdM对应的软件为FreeIPA，在本文中描述如何使用FreeIPA来做CDH集群的认证。关于FreeIPA服务器搭建参考<使用FreeIPA对Linux用户权限统一管理>。...
作者：Eric Lin (林晨辉)， Cloudera高级售后技术支持工程师。毕业于Monash大学计算机科学， Sir John Monash的奖学金获得者。曾就业于数据收集公司如Hitwise（现为Experian的子公司）和Effective Measure，担任高级工程师，负责设计，开发和管理用于采集， 处理和报告网络数据的平台（基于PHP，Java和CDH）。现任职Cloudera， 担......
hadoop jar /home/hadoop/hadoop-2.6.0-cdh5.5.2/share/hadoop/tools/lib/hadoop-streaming-2.6.0-cdh5.5.2.jar -input /user/hadoop/aa.txt -output /user/hadoop/python_output -mapper "python mapper.py" -redu......
作者：Eric Lin (林晨辉)， Cloudera高级售后技术支持工程师。毕业于Monash大学计算机科学， Sir John Monash的奖学金获得者。曾就业于数据收集公司如Hitwise（现为Experian的子公司）和Effective Measure，担任高级工程师，负责设计，开发和管理用于采集， 处理和报告网络数据的平台（基于PHP，Java和CDH）。现任职Cloudera， 担......
接前文，在安装好Ubuntu 18.04双系统和解决了Windows与Ubuntu的时间同步问题后。正式进入正题了：构建GPU可使用的Kaggle Docker镜像(NVIDIA Only)。为了分享总结经验，同时也方便自己以后有使用需求，现简单总结下构建过程。...
oozie-site.xml 属性：oozie.service.JPAService.jdbc.driver 属性值：com.mysql.jdbc.Driver 解释：JDBC的驱动...
测试环境，最小规模，最少4台服务器。一台做管理节点Cloudera Manager和NameNode等，另外三台用作worker，DATANODE节点，这种最小规模一般仅用于开发和测试。...
身份验证是任何计算环境的基本安全要求。简单来说，用户和服务必须先向系统证明其身份（身份验证），然后才能在授权范围内使用系统功能。身份验证和授权携手并进，以保护系统资源。授权使用多种方式处理，从访问控制列表（ACL）到HDFS扩展ACL，再到使用Ranger的基于角色的访问控制（RBAC）。...
2017年年中，我们与世界上最大的医疗保健公司中的一家合作，将新的数据应用投入生产。这家公司通过收购其他公司来进行扩张，为了保持对FDA的合规性，他们需要从公司的数十个不同部门实时汇总数据。这个应用程序的消费者并不关心我们如何构建数据管道。他们关心的是如果数据管道出问题了，导致最终用户没有获得他们的数据，这家公司将因为无法满足合规可能遭受巨额罚款。 ...
Cloudera从CM6.3版本开始，引入了Red Hat IdM来做整个集群的认证，Red Hat IdM对应的软件为FreeIPA，在本文中描述如何使用FreeIPA来做CDH集群的认证。关于FreeIPA服务器搭建参考<使用FreeIPA对Linux用户权限统一管理>。...
Cloudera与Hortonworks两家公司在前一段时间提出来合并，虽然两家公司都同时强调两者在产品或者技术上的互补性，但其实合并后的公司也面临一些艰难的选择，可能会对各种与Hadoop相关的开源Apache项目产生较大的影响。本文主要讨论它们接下来可能会如何发展。...
在前面的文章中，Fayson介绍了《0733-7.0.3-如何在Redhat7.6中安装CDP DC7.0.3》，这里我们基于这个环境开始安装Kerberos。Kerberos是一个用于安全认证的第三方协议，并不是Hadoop专用，你可以将其用于其他系统。它采用了传统的共享秘钥方式，实现了在网络环境下不一定保证安全的环境下，Client和Server之间的通信，适用于Client/Server模型......
Cloudera Manager为CDH的简单部署和管理提供端到端系统管理。Cloudera Manager还与现有的第三方工具无缝集成。 在桌面上点击“Launch Cloudera Express”或“Launch Cloudera Enterprise (trial)”即可启动。...
Noise Protocol Framework（以下简称 Noise）是一个用于构建安全协议的框架。与 TLS，IPSec 这样的有完整实现的协议不同，Noise 更多像是一个蓝图，它为那些想创建自己的安全协议的开发者提供了一套模板。就好像元编程之于编程，Noise 是协议的元协议（meta-protocol）。...
2020年2月4日Cloudera宣布正式发布CDH6.3.3，该维护版本(maintenance release)包含以前CDH6.3次要版本(minor release)的所有功能，并添加了许多重要的bug修复。同时官方也发布了一些已知问题(known issue)，建议大家可以阅读官网新的升级指南，该指南会指导你如何根据自己特定的环境制定专门的升级方案。...
如果采用Cloudera官方建议的安装方式，即Cloudera Manager使用rpm的方式安装，CDH使用Parcel方式安装，会在操作系统内产生多种多样的目录。CDH安装主要使用的目录包括/etc，/usr，/var，/tmp，/opt共5个目录，不同的目录下保存不同的子文件夹以及多种多样不同的文件内容主要涉及比如安装包，配置文件，执行命令脚本等。本文Fayson会详细讲解各个目录的作用以及......
在上一篇文章中，我们从安装在智能车辆上的传感器收集数据，并描述了ROS嵌入式应用程序，以准备用于训练机器学习（ML）模型的数据。本文展示了从边缘到云中数据湖的数据流。数据采用图像的形式以及与我们的自动驾驶汽车收集的每个图像相关的元数据（例如，IMU信息，转向角，位置）。我们将数据流定向到ClouderaDistribution Hadoop（CDH）集群，在该集群中将存储和整理数据以训练模型。...
今天继续和大家聊一下，kafka的各种发行版。kafka历经数年的发展，从最初纯粹的消息引擎，到近几年开始在流处理平台生态圈发力，衍生出了各种不同特性的版本。 ...