RapidMiner Radoop 安装手册

Transcriptie

1 RapidMiner Radoop 安装手册 本文档介绍了安装 RapidMiner Studio 的系统要求, 配置和安装步骤 如果您 有任何有关操作系统兼容性的问题, 请通过以下方式联系我们 访问 填写联系我们表格, 说明您的问题 版权归 RapidMiner China 所有

2 目录 1. RapidMiner Radoop 兼容性 在 RapidMiner Studio 上安装 RapidMiner Radoop 前提条件 在 RapidMiner Studio 上安装 RapidMiner Radoop 考虑安全性 在 RapidMiner Studio 上配置 Radoop 链接 基本的 RapidMiner Radoop 连接配置 测试 RapidMiner Radoop 集群连接 配置 非默认属性 为 RapidMiner Radoop 连接配置 Spark 分布式节点 Cloudera Quickstart VM Hortonworks Sandbox Cloudera Hadoop CDH 5.x Hortonworks 数据平台 (HDP) 2.2x 和 配置集群 在 RapidMiner Studio 上建 立 HDP 连接 远程连接 Amazon Elastic MapReduce(EMR) 集群 MapR 1.x 和 3.x DataStax Enterprise 3.x 和 4.x 通过 RapidMiner Radoop 中配置 Hadoop Security 配置 Kerberos 身份授权 配置 Apache Sentry 授权 配置 Apache Ranger 授权 配置 Apache 基于 SQL 标准的 Hive 授权 Hadoop 集群 网络配置概览 配置 SOCKS 代理和 SSH tunneling 配置 SSH tunnels 为 SOCKS 和 SSH 配置 RapidMiner Radoop 高级设置 配置虚拟私有 网络 (VPN) 并 手动配置防 火墙 在 RapidMiner Server 上安装 RapidMiner Radoop 扩展 安装前准备 开始安装 修改 Hadoop 连接 配置多连接及其安全性 使 用 Kerberos 验证连接 Hadoop 集群 操作和维护 手动安装 RapidMiner Radoop 函数 清除 RapidMiner Radoop 临时表 电话 :

3 什么是 RapidMiner Radoop? RapidMiner Radoop 是 一个能设计 高级分析流程并将计算推送到 Hadoop 集群 的免代码设计环境 安装 RapidMiner Radoop 要使 用 RapidMiner Radoop, 请遵循以下步骤 : 首先, 在 RapidMiner Studio 上安装 RapidMiner Radoop 作为 RapidMiner Studio 安装的 一部分, 你必须配置链接 您可能需要在客户端或者集群上做更多配置 分配指定节点部分将指 导您进 行这 一过程 如果您的集群使 用 Kerberos 认证或者 Apache Sentry, Hadoop 安全这 一部分将帮助您配置 一个安全的 RapidMiner Radoop 链接 您可以参考 网络设置推荐讨论如何安全链接 Hadoop 集群 如果可 用, 在 RapidMiner Server 上安装 RapidMiner Radoop 对于实际操作推荐, 您可以参考操作与维护 1. RapidMiner Radoop 兼容性 支持的 Hadoop 分布 RapidMiner Radoop 能够兼容 大多数流 行的 Hadoop 分布 参阅提供的 文档以获得配置 Hadoop 集群的信息 支持的分布包括 : Apache Hadoop 1.x, 以及 2.2+ Cloudera Hadoop CDH4, 以及 CDH5 Hortonworks HDP 1.x 以及 HDP 2.x Amazon EMR 3.x MapR Hadoop 1.x 以及 3.x 电话 :

4 DataStax Enterprise 3.x 以及 4.x 支持的数据仓库系统 ( DWS ) RapidMiner Radoop 支持以下数据仓库结构 : Apache Hive 0.8 及以后版本 ( 0.11 及以后版本的 HiveServer 2 ) Cloudera Impala 及以后版本 支持的 Spark 版本 RapidMiner Radoop 支持以下 Spark 版本 : Apache Spark 1.2.x, 1.3.x 及 1.4.x 支持决策树, 线性回归和逻辑回归算 子 Apache Spark 1.5.x 支持所有 Spark 算 子, 包括 Spark Script ( 集群节点上需要 Python 与 / 或 R ) 从 RapidMiner Radoop 2.7 开始 支持 Spark 1.5.x 2. 在 RapidMiner Studio 上安装 RapidMiner Radoop RapidMiner Radoop 是 一款在 Hadoop 集群上处理并分析 大数据的有图形界 面 的客户端软件 它可以被安装在 RapidMiner Studio 与 / 或 RapidMiner Server 上, 提供在 Hadoop 环境中编辑并运 行 ETL, 数据分析以及机器学习过程的平台 RapidMiner Radoop 可以在任何 支持 Java 的平台上运 行 将 RapidMiner Radoop 集成到 RapidMiner 高级分析套装与下载扩展并做 一些 配置更改 一样简单 以下指导描述了安装 RapidMiner Radoop 扩展的过程 2.1 前提条件 安装指导假定你已经完成了以下任务 如果这些前置条件中的任意 一条没有被满 足, 请确保在进 行安装前完成 电话 :

5 组件 RapidMiner RapidMiner Radoop 许可证 Hadoop 集群 备注 你需要 RapidMiner Studio, 最好也安装了 RapidMiner Server 如果需要的话, 可以看 RapidMiner Studio 或者 RapidMiner Server 的安装指导 请联系我们购买 RapidMiner Radoop 许可证 RapidMiner Radoop 需要连接到 一个合适配置的 Hadoop 集群 请参考 Hadoop 集群需求以及 支持的 Hadoop 分布 分布式数据仓库系统 RapidMiner Radoop 支持 Apache Hive 或 Impala 系统必须被安装在 Hadoop 集群上 请查看 支持的数据仓库系统 网络设置 请确保 RapidMiner Radoop 可以链接到您的 Hadoop 集群 在完成 RapidMiner Radoop 安装并创建好链接后, 可以参考 网络设置, 以获取更多信息 为 RapidMiner Radoop 验证端 口可获得性 RapidMiner Radoop 需要访问集群上的各种端 口 在配置集群链接及安全设置时, 请记下端 口分配 方案以备后 面使 用 网络设置章节中的表格列出了各种组件默认分配的端 口 Hadoop 集群需求 RapidMiner Radoop 需要 一个连接到适当配置的 Hadoop 集群的链接, 在这个集群上, 将可以执 行所有的数据处理操作并存储与这些处理相关的数据 该集群包含以下组件 : 一个 支持的 Hadoop 分布, 该分布包含 HDFS 和 MapReduce/YARN 一个分布的数据库仓库系统 (Hive 或 Impala) 在集群结点上安装 Java 1.7 或者更新版本 ( 在 Hadoop 上应 用 RapidMiner 模型是必需的 ) 也可选择 Apache Spark 以下您可以在集群上找到关于 Spark 需求的 详细描述信息 Spark 需求 RapidMiner Radoop 支持从 开始的所有 Spark 版本 机器学习算 子与每 电话 :

6 个 Spark 版本都兼容 Spark 脚本算 子需要集群上集成 Spark 请注意从 Radoop 2.7 开始集群安装 支持 Spark Spark 特征 Spark 版本 1.2.x/1.3.x/1.4.x Spark 版本 线性回归逻辑回归决策树 Spark 脚本 Kerberos 安全 ( 从 RapidMiner Radoop2.7 开始 ) 使 用 Spark 脚本算 子 Apache Spark 在 2015 年 9 月发布, 但还没有包括所有的 Hadoop 分布 如果你想要使 用 Spark 脚本算 子, 并且你的 Hadoop 集群不是 1.5 及以上版本, 那么你需要在集群上进 行 手动安装 您可以从 Apache Spark 下载 页 面进 行下载并安装 请注意安装包类型应当与您的集群设置相匹配 对于 Hadoop 2.6 及以后版本 ( 您需要改变下载链接以及 老版本 Hadoop 的路径 ): 电话 :

7 为了使 用 Spark 脚本算 子, 您需要在集群节点上安装 Python 2.6+ 或者 Python 3.4+( 针对于 PySpark 脚本 ) 以及 R 3.1+( 针对于 Spark R 脚本 ) 为了能在 Python 中 用 MLlib 功能, 请也安装 numpy 包 推荐 PARQUET-136 Hive version 或以后版本 考虑使 用 Hive 和 Impala 作为 RapidMiner Radoop 的查询机制的区别 Impala 限制 以下列表包含发布的 Impala 不 支持的特征 Sort 算 子 : 不指定 LIMIT, Impala 不 支持 ORDER BY 从句 您可能使 用 Hive 脚本算 子通过使 用清楚的 LIMIT 从句来实现排序功能 (Impala 及以后版本 支持 ORDER BY 从句 ) Generate Rank 算 子 :Impala 不 支持 RANK 和 DENSE_RANK 从句 Add Noise 算 子 : 在 Impala 不 支持添加噪声 (Add Noise) Pivot Table 算 子 : 在 Impala 上不 支持转置表格 (Pivot Table) Apply Model 算 子 :Impala 不 支持模型应 用 Updata Model 和 Naive Bayes 算 子 : 在 Impala 上,RapidMiner Radoop 不 支持朴素 贝叶斯 (Naive Bayes) 或者通过算 子进 行模型更新 Correlation Matrix( 相关矩阵 ),Covariance Matrix( 协 方差矩阵 ), 和 Principal Component Analysis( 主成份分析 ) 算 子 : Impala 不 支持 CORR() 函数 Performance( 性能 ) 算 子 : 在 Impala 上不 支持 Performance(Regression 回 归 ) 算 子 对于 Performance(Classification) 算 子, 在 Impala 上只 支持以下 标准 : 准确性, 分类错误, 和 Kappa 聚合函数 : 一些聚合函数不被 Impala 所 支持 这可能影响 Generate Attributes( 产 生属性 ),Normalize( 标准化 ) 和 Aggregate( 聚合 ) 算 子 对于这 电话 :

8 些限制, 即使 Impala 允许运 行它们,RapidMiner Radoop 提供了 design-time errors 非 高级 Hive 设置 : 您不能为 一个 Impala 链接设置 高级 Hive 参数 杀死流程 : 停 止 一个流程不会杀死集群上当前的 工作 ( 当同样也不会开启 一个 新的流程 ) Hadoop 集群注意事项尽管 RapidMiner Radoop 很容易能连接到所有 支持的平台上, 但是当尝试使 用所列分布中的某个遇到问题时, 你可能需要进 行特殊设置 详细信息可以在分布指定节点 (Distribution Specific Notes) 章节中查看 该章列出了您选择 HDFS 或数据仓库平台时应当注意的所有内容 : MapR Hadoop 注意事项 MapR Hadoop 集群需要额外安装 MapR 客户端软件 查看 MapR 分布节点获得配置 RapidMiner Radoop 的指导信息, 进 而可以添加合适的 JAR 文件来访问 MapR 客户端 DataStax 企业版注意事项 RapidMiner Radoop 支持 DataStax 企业版平台, 但是由于许可证问题, 只能包含安装 DataStax 时所带的免费包 您必须获得 DataStax 软件以及 dse.jar ( 或 dse-<version>.jar) 文件, 并将其复制到客户端的本地 目录中 为了配置 RapidMiner Radoop 连接到 DataStax 集群, 请参考 DSE 分布节点 Cloudera Impala 注意事项 Cloudera Impala 是在 Apache Hadoop 上的开源查询机制 它为存储在 HDFS 上的数据进 行 SQL 查询提供了 一个低延迟的接 口, 使 RapidMiner Radoop 的使 用接近于在单 一主机环境使 用的体验 尽管 Cloudera Impala 可以提供 比 Hive 更快的反馈时间, 但它不 支持 HiveQL 的所有特征 电话 :

9 评估 Impala 限制来决定是否要使 用它 比如, 如果您需要 高级特征 ( 像模型评估 ), 您必需使 用 Hive 如果您同时使 用 Hive 和 Impala, 咨询 Impala 文件来获得在两个框架中分享元数据的信息 如果同时使 用这两个, 在 Impala 使 用的元数据必须被重新加载并能反映在 Hive 中对元数据所做的改变 ( 如创建新的表格 ) ( 通过激活 Radoop Nest 的重载 Impala 元数据参数来实现该功能 ) 2.2 在 RapidMiner Studio 上安装 RapidMiner Radoop RapidMiner Radoop 客户端的安装 非常简单, 假设前提条件都已满 足并且有合适的可 用端 口 该扩展可以 非常容易地从 Marketplace 安装 如果您正在使 用 RapidMiner Radoop 2.5 或者更早的版本, 或者如果您想要 手动安装扩展, 请按照以下步骤进 行操作 : 手动安装扩展 在第三步中, 将需要把 文件移动到 : Windows 和 Linux 文件位置 有两个安装选项, 请选择 一个 要让机器上所有 用户都能 用该插件 ( 全局安装 ), 将该 文件移动到安装 文件夹下 lib/plugins 在 RapidMiner Studio 6.4 及以后版本中, 要让该插件只为单 一 用户所 用, 请将该 文件移动到 用户根 文件夹下的 RapidMiner/extensions/ 若该扩展 文件夹不存在, 请 自 行创建 一个 Mac 文件位置 对于使 用 RapidMiner Studio 6.4 及以后版本的 Mac 用户, 请将 文件移动到.RapidMiner/extensions/ 如果扩展 文件夹不存在, 请 自 行创建 一个 注意 RapidMiner Studio 创建了 一个名为.RapidMiner 的隐藏 文件夹, 所以如果您看不到该隐藏 文件夹, 您必须将 Mac 设置为显 示隐藏 文件 对于使 用 RapidMiner Studio 6.4 之前版本的 Mac 用户, 将 文件夹移动到在 lib/plugins 下的安装 文件夹 安装过程如下 : 1) 如果需要的话, 退出 RapidMiner Studio 电话 :

10 2) 从您的确认邮件指定的 网址下载 RapidMiner Radoop 插件 ( 一个 JAR 文件 ) 3) 将以下 文件移到主 文件系统中的 RapidMiner Studio 目录中 : 已下载的 RapidMiner Radoop JAR 文件 (rapidminer-radoop-onsite- <version>.jar); 如果使 用 RapidMiner Radoop 2.5 或者更早版本, 您的 RapidMiner Radoop 许可证 文件可以在确认邮件中找到 (radoop.license) 注意: 此许可证 文件从 2.6 开始不再发挥作 用 4) 将许可证 文件 ( 对于 2.5 或者更早的版本 ) 和 JAR 文件移动后, 重启 RapidMiner 如果扩展已经被成功安装, 在右边将会有 一个新的 Hive 管理将会出现作为 一个新的视图出现在 RapidMiner Studio 的开始界 面 就是红线标出的部分 既然 RapidMiner Radoop 已经安装, 查看配置链接章节来完成安装 2.3 考虑安全性 考虑以下安全措施来确保您的 HDFS 和数据仓库基础设施的安全性 : 为您的数据仓库系统应 用防 火墙设置 ( 最好但是不推荐 ) 使 用 Kerberos 或 Apache Sentry 来保护您的集群 查看 Hadoop 安全章 节来获得安全配置建议 3. 在 RapidMiner Studio 上配置 Radoop 链接 从基础和 高级链接设置窗 口配置 RapidMiner Radoop 和 RapidMiner Studio 以 及 一个或多个 Hadoop 之间的链接 您可以从 工具 (Tools) 菜单,Hive 管理 (Hive Management), 或者设计视窗 (Design Perspective) 访问这些窗 口 电话 :

11 配置并保存这些连接条 目后, 在部署之前您可以进 行测试 测试连到集群的连接的有效性并验证连接设置符合在前提条件章节描述的 RapidMiner Radoop 要求 注意 : 当配置 RapidMiner Radoop 时, 您必须提供主要节点的内部域名或 IP 地址 ( 即主要节点的域名或 IP) 查看 网络设置概览章节以获得如何保证从未 授权途径访问保证数据安全的详细信息 3.1 基本的 RapidMiner Radoop 连接配置 一旦 RapidMiner Radoop 被安装, 您可以创建 一个连接 1. 重启 RapidMiner Studio, 从 而它可以识别 RapidMiner Radoop 扩展 一旦 RapidMiner Studio 重启成功, 您将会在 工具菜单中看到 一个新的管理 Radoop 连接的选项 : 2. 选择管理 Radoop 连接菜单项, 管理 Radoop 连接窗 口打开 : 电话 :

12 3. 完成连接字段填写 字段 名称 主机地址 Hadoop 版本 描述 连接的名称 集群主机的地址 是在集群上运 行名字节点和所有其他主要服务的机器的主机名 如果主要服务在其他节点上运 行, 则不填写该字段, 并使 用 高级连接属性窗 口来指定多个主机 注意 DNS 和反向 DNS 应当为所有指定的地址 工作, 所以客户端机器必须已经连接到集群的 网络名称解析系统或者能够进 行本地地址解析 定义该连接 Hadoop 分布的版本 4. 点击保存将该条 目添加到可 用连接中 5. 测试 RapidMiner Radoop 与 Hadoop 集群间的连接 如果必要的话, 在您 的 Hadoop 管理员的协助下对基于分布的特定节点进 行 高级设置 您的连接设置被保存在.RapidMiner 目录中名字为 radoop_connections.xml 的 文件中 电话 :

13 3.2 测试 RapidMiner Radoop 集群连接 RapidMiner Radoop 的内置测试功能, 在故障发 生之前帮助排除故障 基本连接测试点击在管理 Radoop 连接窗 口的测试按扭来测试到集群的连接 通过 一系列到集群上不同组件 (API) 的简单测试来验证集群正在运 行并且 RapidMiner Radoop 客户端可以对其进 行访问 全连接测试 一旦测试成功, 点击测试按扭下的全测试 (Full Test) 框来进 行 一次完整的测试 ( 该过程可能需要 几分钟 ), 然后再点击测试 (Test) 全测试会在集群上开始 几个 工作和应 用, 然后进 行结果检查 通过 RapidMiner Radoop 与集群之间成功和 广泛的测试, 您会对 RapidMiner Radoop 的流程设计和执 行 非常 自信 除了在第 一次创建 RapidMiner Radoop 配置时进 行连接测试, 在流程执 行过程 中发 生错误时或者在集群上做了改变时, 您也可以使 用全测试 (Full Test) 电话 :

14 全测试的结果可以帮助识别问题的根源, 从 而使排除故障变得容易 您也可以在任何时间通过在接线板 (Connection Panel) 点击取消 (Cancel) 按扭来取消全测试 停 止当前的测试过程可能需要花费 一点时间 注意 : 当您打开 一个包含有 Radoop Nest 算 子的流程时, 集群连接初始化测试 将会 自动开启 ( 会在 RapidMiner Studio 屏幕右下 角的状态栏进 行提 示 ) 高级连接设置使 用 高级连接属性 (Advanced Connection Properties) 窗 口来编辑不太常 见的连接参数 例如, 您可以改变端 口数量或者为 Hadoop 和 Hive 通过使 用键 - 值对的 方式定义任意参数 再没有咨询您所在机构的 IT 管理员之前不要修改 高级设置 要打开 高级连接属性 (Advanced Connection Properties) 窗 口, 请从管理 Radoop 连接窗 口点击 高级 (Advanced) 注意 : 显 示的字段依赖于您所做的选择 ( 比如, 选择的 Hadoop 版本 ) 一些 字段也会根据基本设置中 Hadoop 的版本选择进 行填充 如果窗 口中的字段被 加粗了, 则该字段是必填选项 电话 :

15 电话 :

16 以下表格简单描述了 高级连接属性窗 口的字段 有关您当前环境的 高级配置细 节, 请查看分布式节点 字段 名称 Hadoop 版本 执 行框架 附加库 目录 Hadoop 用户名 主机地址 多主机 名字节点地址 资源管理器地址 / 任务追踪器地址 Hive 服务器地址 /Impala 服务器地址 更改默认端 口 名字节点端 口 资源管理器端 口 / 任务追踪器端 口 描述 连接的名称 为该连接定义 Hadoop 版本类型的分布 集群的执 行框架 可能的值是 MRv1 和 YARN 该字段只为能运 行框架的 Hadoop 版本出现 任何附加库 (JAR 文件 ) 都需要连接到集群上 请到分布节点 (distribution specific notes) 查看 MapR 和 DataStax 库 Hadoop 用户的名称 大多数情况下, 该 用户必须在集群上有 一定的权限 对于新连接来说, 默认是操作系统 用户 集群的主机地址 是在集群上运 行名字节点和其他主要服务的机器的主机名 如果主服务在其他节点上运 行, 点击多节点 (Multiple Masters) 框 注意 :DNS 和反向 DNS 应当对所有指定地址都有效, 因此, 客户端机器必须能够访问集群的域名解析系统或者能够进 行本地地址解析 如果主要服务在其他节点上运 行, 请点击该框 如果勾选, 下 面三个字段将会被激活 只在多主机被勾选的情况下出现 运 行名字节点的节点的主机名 ( 需要 一个正在 工作的 网络名称解析系统 ) 只在多主机被勾选的情况下出现 运 行任务追踪器 (MRv1) 或者资源管理器 (YARN) 服务的节点的主机名 只在多主机被勾选的情况下出现 运 行 Hive 服务器或 Impala 服务器的节点的主机名 如果在 非默认端 口能访问该服务, 可以检查此框 只在更改默认端 口勾选的情况下出现 名字节点服务的端 口 只在更改默认端 口勾选的情况下出现 任务追踪器 (MRv1) 或资源管理器 (YARN) 服务的端 口 Hive 端 口 /Impala 端 口只有在更改默认端 口勾选的情况下出现 Hive 服务器或 Impala 服务器的端 口 SQL 设置 数据库名称 JDBC URL 后缀 用户名 密码 启 用安全 选择适当的数据仓库系统 -HiveServer,HiveServer2 或 Impala. 要连接的数据库的名称 JDBC URLd 的可选后缀 对于 Impala 连接, 默认是 "auth=nosasl" 连接到指定数据库的 用户名 对于所有 HiveServer2 版本的连接默认是 hive 连接到指定数据库的密码 RapidMiner Radoop 使 用 cipher.key 文件来对在 radoop_connections.xml 中的密码进 行加密 选中该框, 连接到安全的 Hadoop 集群 附加安全设置 有关这些设置以及连接到安全集群的更多信息, 请查看 Hadoop 安全章节 电话 :

17 Spark 版本 JAR 位置 Spark 资源分配政策资源分配 % 高级 Spark 参数 高级 Hadoop 参数 高级 Hive 参数 选择合适的 Spark 版本来激活在 Radoop 上 Spark 算 子 要获得使 用 Spark 算 子的更多信息, 请查看配置 Spark 章节 HDFS 位置或者 Spark JAR 套件的本地路径 Spark 任务的资源分配政策 默认情况下, 静态 (Static), 启发式配置 (Heuristic Configuration) 通常是适 用的 分配给 Spark 任务的集群资源的百分 比 当静态 (Static), 启发式配置 (Heuristic Configuration) 是 Spark 资源分配政策时, 该字段才会被激活 自定义 RapidMiner Radoop 的 Spark 任务的键 - 值属性 自定义 Hadoop 连接和 Radoop 的 Yarn/MapReduce 任务的键 - 值属性 一些连接需要某些 高级参数 获得更多详细信息, 请查看分布式节点章节 自定义 Hive 行为的键 - 值属性 使 用 Impala 时, 该段会被隐藏 3.3 配置 非默认属性 如果您的 Hadoop 集群使 用的是 非默认属性, 可能需要附加键 - 值对 集群管理 工具像 Cloudera 管理器和 Ambari 允许您下载客户端配置 文件 您可能需要从这些 文件中将集群连接相关的属性添加到 高级 Hadoop 参数 (Advanced Hadoop Parameters) 列表中 请从下 面查找描述连接到 高可 用性 (HA) 集群的属性描述案例 下 面的表格列出了可能需要的客户端设置的键 值应当从客户端配置 文件中将其设置成合适的属性值 注意, 并不是与这些特征需要的所有键都需要, 需要的键 - 值对依赖于您集群的设置 连接到具有 高可 用性的 HDFS 配置到 高可 用性的可 用 HDFS 集群的连接, 只需要您在 高级 Hadoop 参数窗 口中指定合适的 Hadoop 设置 高可 用性特征通过提供 一个备 用 ( 除了激活 ) 的名字节点来排除集群单 一节点的失败 HA 实现了 手动切换和 自动切换来提供连续的可 用性 以下表格列出了 RapidMiner Radoop 客户端连接到集群所需要的设置 这些属性必须在每个集群节点的配置 文件中被配置 获取更多详细信息, 请查看您的 Hadoop 文档 电话 :

18 键 fs.defaultfs ( 或 fs.default.name) dfs.nameservices dfs.ha.namenodes.<nameservice ID> dfs.namenode.rpc-address.<nameservice ID>.<namenode ID> dfs.client.failover.proxy.provider.<nameservice ID> 描述 Hadoop FS 的默认路径, 包含激活 高可 用性集群的 NameService ID 如 : hdfs://nameservice1 服务的逻辑名称 比如 :nameservice1 以逗号分隔表 示的 NameNode 标识符 比如 :namenode152,namenode92 监听的每个 NameNode 的 PRC 地址 比如 :node01.example.com:8020 HDFS 客户端使 用的来联系活跃 NameNode 的类 当前运 用 Hadoop 只有 一个选择 比如 : org.apache.hadoop.hdfs.server.namenode.h a.configuredfailoverproxyprovider 连接到具有 高可 用性的资源管理器 配置到 高可 用性的可 用资源管理其集群的连接, 只需要您在 高级 Hadoop 参数 窗 口中指定合适的 Hadoop 设置 资源管理器 (RM) 高可 用性 (HA) 特征通过 一个活动的 / 备 用 RM 对排除了集群单 一 节点 ( 添加冗余 ) 的失败 以下表格列出了 RapidMiner Radoop 客户端连接到 集群所需要的设置 这些属性必须在每个集群节点的配置 文件中被配置 获取 更多详细信息, 请查看您的 Hadoop 文档 键 yarn.resourcemanager.ha.enabled yarn.resourcemanager.ha.automaticfailover.enabled yarn.resourcemanager.ha.automaticfailover.embedded yarn.resourcemanager.zk-address yarn.resourcemanager.cluster-id yarn.resourcemanager.ha.id 描述 激活资源管理器 高可 用性 支持 自动失效备援 默认情况下, 只有 HA 被激活, 该服务才会被激活 当 自动失效备援被激活, 使 用嵌 入式 leaderelector 来选择活动的资源管理器 (RM) 默认情况下, 只有 HA 被激活, 该选项才会被激活 ZK-quorum 的地址 用于状态存储和嵌 入式 leader-elector 识别集群 elector 用来确保 RM 不接管其他集群的活动内容 比如 :yarnrm 识别资源管理器 (RM) 此项为可选项, 如果设置的话, 请确保所有的资源管理器 (RMs) 都有 一个唯 一的 ID yarn.resourcemanager.ha.rm-ids 逗号分隔的资源管理器逻辑 IDs 列表 比如 : rm274,rm297 电话 :

19 yarn.resourcemanager.address.<rm-id> yarn.resourcemanager.scheduler.address.<rmid> yarn.resourcemanager.resourcetracker.address.<rm-id> 每个资源管理器 ID 的服务地址 每个资源管理器 ID 的调度地址 每个资源管理器 ID 的资源追踪器地址 yarn.resourcemanager.admin.address.<rm-id> 每个资源管理器 ID 的管理地址 yarn.resourcemanager.store.class 用于资源管理器恢复的持久性存储的类 3.4 为 RapidMiner Radoop 连接配置 Spark 通过为 RapidMiner Radoop 连接配置 Spark, 您可以使 用逻辑回归, 线性回归, 决策树以及 Spark 脚本 (Spark Scrip) 算 子 ( 如果使 用 Spark 1.5 的话 ) 机器学习算 子使 用在 Spark MLlib 中的相关函数 为了能够使 用 Spark, 在 高级连接属性 (Advanced Connection Properties) 窗 口中 Spark 版本下拉列表中选择 Spark 1.4 或以下或者 Spark 1.5 或以上 注意 :RapidMiner Radoop 使 用 YARN 作为 Spark 的资源管理器框架 这意味 着如果您选择 一个有 MRv1 执 行框架的 Hadoop 版本,Spark 版本下拉列表将 不可 用 ( 灰 色的 ) 您必须在 高级连接属性窗 口提供以下强制输 入 : 字段 Spark 版本 JAR 套件位置 Spark 资源分配政策 描述 集群上 JAR 套件的 Spark 版本 对于 Spark 1.2.x, 1.3.x 以及 1.4.x 版本, 请选择 Spark 或以下 如果您在集群上安装了 Spark 1.5.0, 请选择 Spark 或以上 Spark 特定的分布式 JAR 组件 文件的 HDFS 或者本地路径 如果您提供了 一个本地路径,JAR 组件必须在集群上每个节点的相同路径下 如果 Spark 是 自动安装的, 推荐在集群上指定本地路径 ( 比如, 通过 Cloudera 管理器或 Ambari ) 对于部分 Hadoop 版本, 预装的 Spark JAR 组件可以从 Apache Spark 下载 页 面下载 部分供应商 ( 比如 Cloudera) 提供特定的分布式 Spark JAR 组件 对于 JAR 的 HDFS 路径, 请联系您的 Hadoop 管理员 要安装 Spark 1.5, 请参考 Spark 需求章节 如果您跟随其指导步骤进 行操作, 您的 JAR 组件在 HDFS 上以下位置 : hdfs:///tmp/spark/spark-assembly hadoop2.6.0.jar Spark 需要明确的允许使 用的集群资源的分配规范 请查看 Spark 资源分配政策描述 高级 Spark 参数键 - 值对可以被应 用到 一个 Spark-on-YARN 任务 如果该更改未影响您的 Spark 任务, 很 大可能是 YARN 自 身将其忽略了 要检测在应 用 日志 (application log) 中的属性, 请将 spark.logconf 设置未真 电话 :

20 Spark 资源分配政策 RapidMiner Radoop 支持以下资源分配政策 : 静态 (Static), 启发式 (Heuristic) 配置 此项为默认政策 如果您使 用该选项, 您不需要再对其他 高级资源分配进 行设置 资源分配 (Resource Allocation %)% 字段设置 用于 一项 Spark 任务 的集群资源 ( 集群内存, 内核数 ) 的百分 比 注意, 如果您将该值设置的 太 高, 该集群上的其他任务可能会受影响 默认值是 70% 静态 (Static), 默认配置 使 用 Spark 的默认设置来进 行资源分配的政策 该值 非常低, 并且可能不 支持真正的集群, 但对于 VMs/sandboxes 可能是可 行选项 静态 (Static), 手动配置 该政策需要您在 高级连接属性 (Advanced Connection Properties) 窗 口的 高 级 Spark 参数 (Advanced Spark Parameter) 下设置以下属性 Spark 文档描述了每个属性 (YARN 命令 行参数的对应 Spark 在括号内显 示 ) m spark.executor.cores (--executor-cores) mspark.executor.instances(--num-executors) m spark.executor.memory (--executor-memory) m( 可选 )spark.driver.memory(--driver-memory) 动态资源分配 此政策提供了 方便的弹性资源管理, 但是在集群上需要 高级配置步骤 以 下属性必须在 高级连接属性窗 口的 高级 Spark 参数下进 行设定 : m spark.dynamicallocation.minexecutors m spark.dynamicallocation.maxexecutors 电话 :

21 有了该政策, 您必须在集群上配置外部 shuffle 服务 想要更多的集群配置步骤 信息, 请查看 Spark 动态分配 文档 注意 : 由于 SPARK-6962, RapidMiner Radoop 将 spark.shuffle.blocktransferservice 的默认值由 netty 改为 nio 要重写该设置, 在 高级 Spark 参数字段将键 spark.shuffle.blocktransferservice 的值设为 netty 4. 分布式节点 对于确定的 Hadoop 分布, 您可能需要 用 高级连接属性 (Advanced Connection Properties) 进 行额外的客户端配置 集群更改经常需要 一个 SSH 连接或者访问 Hadoop 管理 工具 ( 比如,Cloudera 管理器或者 Ambari ) 您可能需要联系您的 Hadoop 管理员来实现集群更改操作 4.1 Cloudera Quickstart VM 连接到 CDH 5.4 Quickstart VM 启动并配置 Quickstart VM 1. 从 Cloudera 官 网上下载 Cloudera Quickstart VM(5.4 版本 ) 2. 将 OVA 虚拟机包导 入到您的虚拟化环境中 ( 本指南包含 Virtualbox 和 VMware) 3. 如果您正在使 用 Virtualbox, 请将主要 网络适配器的类型从 NAT 改成 Hostonly 在 Virtualbox 环境下, VM 只能在该设置下发挥作 用 4. 启动 VM 并等待开机完成 包含基本信息的浏览器将会出现 5. 如果您将 作为地址, 您必须修改 VM 配置使其能够从 RapidMiner Radoop 进 行访问 如果不是这个地址, 请继续下 一步 打开终端 ( 应 用程序菜单 ( 左上 方 )-> 系统 工具 -> 终端 ) 输 入 ifconfig 并注意主要 网络接 口 ( 取决于您的虚拟环境被称为 etho 或 eth1) 的 IP 地址 ( 输出中的 inet addr) 电话 :

22 在您喜欢的编辑器中 ( 使 用根权限 ) 打开 /usr/bin/cloudera-quickstart-ip 脚本 比如, 输 入 sudo nano /usr/bin/cloudera-quickstart-ip 在第 19 行, 您会找到 一个被设置为 的叫 IP 的变量 请将此 IP 地址改成之前注意的那个 IP 地址 保存脚本 ( 如果您使 用 nano, 按 ctrl+x 然后按 y 进 行保存 ) 重新启动虚拟机 ( 输 入 sudo reboot) 6. 编辑您本地的 hosts 文件 ( 在您的主机操作系统上, 不在虚拟机 里 ) 并添加下 面的 行 ( 用虚拟机的 IP 地址代替 <vm-ip-address>): <vm-ip-address> quickstart.cloudera 7. 如果您想要使 用 Spark 算 子, 您应当把 JAR 组件复制到虚拟机上的 HDFS 上 : hadoop fs -mkdir -p /user/spark hadoop fs -put /usr/jars/spark-assembly-*.jar /user/spark/spark-assembly.jar 如果您正在使 用 Radoop 2.4 或以后的版本, 并且知道虚拟机上 jar 包的确切名 字和位置, 这 一步可以跳过 在 RapidMiner Studio 上安装了连接 1. 将 quickstart.cloudera 添加为主机地址 (Master Address) 2. 选择 Cloudera Hadoop(CDH5) 作为 Hadoop 版本 (Hadoop version) 3. 如果您想要使 用 Spark 算 子, 选择合适的 Spark 版本 ( 如果您想要使 用虚拟机内嵌的 Spark jar 组件, 应该是 Spark 1.4 或以下版本 ) 并将 Jar 组件位置设置为以下值 : hdfs:///user/spark/spark-assembly.jar 如果您在使 用 RapidMiner Radoop 2.4 或以后版本, 您在 高级连接属性窗 口 用 local:// 前缀来提供 JAR 的本地路径 电话 :

23 4.2 Hortonworks Sandbox 连接到 HDP 2.3 Sandbox VM 启动并配置 Sandbox VM 1. 从 Hortonworks 网站下载 Hortonworks Sandbox VM(2.3 版本 ) 2. 将 OVA 虚拟机包导 入到您的虚拟化环境中 ( 本指南包含 Virtualbox 和 VMware) 3. 如果您正在使 用 Virtualbox, 请将主要 网络适配器的类型从 NAT 改成 Hostonly 在 Virtualbox 环境下, Sandbox 只能在该设置下发挥作 用 4. 启动 VM 并等待开机完成 5. 写下 VM 的 IP 地址 : 在 VMware 环境下, 它被打印到控制台 ; 在 Virturalbox 环境下, 您应该切换到登录控制台 (Alt+F5), 用证书 登录 ( 用户名 :root, 密码 :hadoop) 并输 入 ifconfig 6. 编辑您本地的 hosts 文件 ( 在您的主机操作系统上, 不在虚拟机 里 ) 并添加下 面的 行 ( 用前 面步骤的 IP 地址代替 <sandbox-ip-address>): <sandbox-ip-address> sandbox.hortonworks.com 7. 打开 Ambari 网站 : 用 admin/admin 登录 进到 Hive / Configs / Advanced 配置 页 面 在 Custom hive-site 和 Custom hiveserver2-site 添加 hive.security.authorization.sqlstd.confwhitelist.append 设置作为 一个新的属性 值应该是下 面的内容 ( 不能包含空格 ): radoop\.operation\.id mapred\.job\.name hive\.fetch\.task\.conversion hive\.warehous e\.subdir\.inherit\.perms hive\.exec\.max\.dynamic\.partitions hive\.exec\.max\.dynam ic\.partitions\.pernode 电话 :

24 保存配置并重启推荐的服务 8. 如果您想要使 用 Spark 算 子, 您应当把 JAR 组件复制到 Sandbox 机的 HDFS 上 用 root 作为 用户名,hadoop 作为密码进 行额嗯路, 并将 jar 复 制到 HDFS: hadoop fs -mkdir -p /user/spark hadoop fs -put /usr/hdp/ /spark/lib/spark-assembly-*.jar /user/spark/spark-assembly.jar 如果您正在使 用 Radoop 2.4 或以后的版本, 并且知道虚拟机上 jar 包的确切名 字和位置, 这 一步可以跳过 在 RapidMiner Studio 上安装了连接 1. 将 sandbox.hortonworks.com 添加为主机地址 (Master Address) 2. 选择 Hortonworks HDP 2.x 作为 Hadoop 版本 (Hadoop version) 3. 如果您想要使 用 Spark 算 子, 选择合适的 Spark 版本 ( 如果您想要使 用虚拟机内嵌的 Spark jar 组件, 应该是 Spark 1.4 或以下版本 ) 并将 Jar 组件位置设置为以下值 : hdfs:///user/spark/spark-assembly.jar 如果您在使 用 RapidMiner Radoop 2.4 或以后版本, 您在 高级连接属性窗 口 用 local:// 前缀来提供 JAR 的本地路径 电话 :

25 4.3 Cloudera Hadoop CDH 5.x 支持 Cloudera Hadoop CDH 4.x,CDH 5.3 和 5.4 如果集群使 用 Cloudera 管理器默认设置安装, 那么 一般不需要额外的配置操作 选择 Cloudera Hadoop (CDH4) 或者 Cloudera Hadoop (CDH5) 作为 Hadoop 版本, 并提供合适的地址字段 如果在集群上为 HDFS 或 YARN 服务激活 高可 用性, 您必须在 高级连接对话框 中为它们定义 Hadoop 属性 4.4 Hortonworks 数据平台 (HDP) 2.2x 和 2.3 下 面描述了 HDP 2.2.0,2.2.4,2.2.6 和 配置集群如果您集群有 Hive 命令限制 ( 比如, 集群上的 SQL Standard Based Hive Authorization 被激活 ), 通过激活 HiverServer2 对某些属性进 行更改 如果在 RapidMiner Radoop 上进 行全测试时出现以下错误 : 运 行时不能修改 radoop.operation.id, 此更改是需要的 在这种情况下必须添加属性到 Ambari 界 面来解决这个问题 登录到 Ambari 界 面 进 入到 Hive / Configs / Advanced 配置 页 面 在 Custom hive-site 和 Custom hiveserver2-site 添加 hive.security.authorization.sqlstd.confwhitelist.append 设置作为 一个新的属性 值应该是下 面的内容 ( 不能包含空格 ): radoop\.operation\.id mapred\.job\.name hive\.fetch\.task\.conversion hi ve\.warehouse\.subdir\.inherit\.perms hive\.exec\.max\.dynamic\.partitio ns hive\.exec\.max\.dynamic\.partitions\.pernode 电话 :

26 保存配置并重启推荐的服务 获得更多详细解释, 请查看 Hadoop 安全 (Hadoop security ) 章节 在集群上配置 Spark 请查看下 面的 Spark 配置步骤 在 RapidMiner Studio 上建 立 HDP 连接 RapidMiner Radoop 2.4 及以后版本能够 自动连到 HDP 2.x 集群上的 大部分连接 然 而, 如果您仍在使 用 或以下版本, 则需要下 面 子章节中包含的 高级配置步骤 用较新的版本的话, 这些步骤不是必要的, 因为都已经 自动配置了 但是, 如果您想要使 用 Spark 算 子的话, 您可能仍然需要改变 一些设置 RapidMiner Radoop 或以下版本的 手动配置步骤 请使 用 高级连接属性 (Advanced Connection Properties) 窗 口来配置 HDP 连接 下 面的表格包含 hdp.version 属性的值, 依赖于您集群上安装的 HDP 分布的版 本 电话 :

27 HDP 版本 属性值 添加以下键 - 值对到 高级 Hadoop 参数 (Advanced Hadoop Parameters) 列表 : 键 hdp.version hdp.version mapreduce.application.framework. path mapreduce.jobhistory.done-dir mapreduce.jobhistory.intermediatedone-dir 键看上 面的表格 $PWD/mr-framework/hadoop/share/hadoop/mapreduce/*:$PWD/mrframework/hadoop/share/hadoop/mapreduce/lib/*:$PWD/mrframework/hadoop/share/hadoop/common/*:$PWD/mrframework/hadoop/share/hadoop/common/lib/*:$PWD/mrframework/hadoop/share/hadoop/yarn/*:$PWD/mrframework/hadoop/share/hadoop/yarn/lib/*:$PWD/mrframework/hadoop/share/hadoop/hdfs/*:$PWD/mrframework/hadoop/share/hadoop/hdfs/lib/*:/usr/hdp/${hdp.version}/hadoop/lib/ hadoop-lzo ${hdp.version}.jar:/etc/hadoop/conf/secure:/etc/hadoop/conf /hdp/apps/${hdp.version}/mapreduce/mapreduce.tar.gz#mr-framework /mr-history/done /mr-history/tmp 注意, 最后两个属性可能于您集群上的不同 Tez, 建 立批处理和交互式数据处理应 用的 Apache 框架, 作为 Hive 后端是不 支持的 如果 Tez 被配置为 Hive 的默认后端, 将下 面的键 - 值对添加到 高级 Hive 参数 (Advanced Hive Parameters) 列表中来重写该设置 键 hive.execution.engine 值 mr 配置 Spark 算 子如果您想要在 RapidMiner Radoop 上使 用 Spark 算 子, 在 HDFS 上必须有 Spark 组装 文件 (assembly file) 如果您的 HDFS 上没有 Spark 套件, 并且您想在集群上使 用 Spark 算 子, 请参考以下步骤将套件上传到 HDFS: 电话 :

28 HDP Spark 设置 下载套件, 然后按下 面信息将其上传到 HDFS: hadoop fs -mkdir -p /tmp/spark wget -O /tmp/spark bin tgz 1.hortonworks.com/HDP-LABS/Projects/spark/1.2.0/spark bin tgz tar xzvf /tmp/spark bin tgz -C /tmp/ hadoop fs -put /tmp/spark bin /lib/spark-assembly hadoop jar /tmp/spark/ HDP Spark 设置 用 Ambari 安装 Spark, 然后按以下信息将其上传到 HDFS: hadoop fs -mkdir -p /tmp/spark hadoop fs -put /usr/hdp/ /spark/lib/spark-assembly hadoop jar /tmp/spark/ HDP Spark 设置 用 Ambari 安装 Spark, 然后按以下信息将其上传到 HDFS: hadoop fs -mkdir -p /tmp/spark hadoop fs -put /usr/hdp/ /spark/lib/spark-assembly hadoop jar /tmp/spark/ HDP Spark 设置 用 Ambari 安装 Spark, 然后按以下信息将其上传到 HDFS: hadoop fs -mkdir -p /tmp/spark hadoop fs -put /usr/hdp/ /spark/lib/spark-assembly hadoop jar /tmp/spark/ 为了能在 RapidMiner Radoop 中使 用 Spark 算 子, 在 高级连接属性 (Advanced Connection Properties) 窗 口中做以下更改 : 1. 在 Spark 设置中勾选 Enable Spark Operators 选项 2. 将 Assembly Jar Location 设置成 Spark JAR 组件的 HDFS 位置 如果您按 照集群配置指南 ( 看上 面信息 ), 下 面的表格包含了基于 HDP 版本的位置信 息 HDP 版本 Spark JAR 组件位置 hdfs:///tmp/spark/spark-assembly 电话 :

29 hadoop jar hdfs:///tmp/spark/spark-assembly hadoop jar hdfs:///tmp/spark/spark-assembly hadoop jar hdfs:///tmp/spark/spark-assembly hadoop jar 3. 添加下 面的 高级 Spark 参数 (Advanced Spark Parameters) 键 - 值对 : 键 hdp.version 值 看上 面的表格 为 RapidMiner Radoop 2.4 及以上版本的配置 Spark 算 子 为了能在 RapidMiner Radoop 中使 用 Spark 算 子, 请在 高级连接属性 (Advanced Connection Properties) 窗 口中做以下改动 : 1. 对于 Radoop 2.4 以及 2.5: 在 Spark 设置中勾选 Enable Spark Operators 选 项 对于 Radoop 2.6 及以上版本 : 在 Spark Setting 中选择合适的 Spark Version 选项 如果 Spark 是通过 Ambari 安装的话, 该版本应该是 Spark 1.4 or below 2. 将 Spark JAR 组件 (Spark assembly JAR) 的位置设置成 Assembly Jar Location 下 面的表格包含基于您的 HDP 版本的默认本地位置 如果指定 的路径没有发挥作 用, 请参考您的 Hadoop 管理员 HDP 版本 Spark JAR 组件位置 (Spark assembly JAR location) local:///usr/hdp/current/spark-client/lib/spark- assembly hadoop jar 2.3 local:///usr/hdp/current/spark-client/lib/spark- assembly hadoop jar 安全说明 如果在进 行全连接测试的过程中出现许可错误, 验证以下内容 : 在 HDFS 上存在 /user/<hadoop_username> 目录, 且归 电话 :

30 <hadoop_username> 所有 ( 如果 Hadoop 用户名设置为空, 则使 用客户 端操作系统的 用户名 ) <hadoop_username> 在 HDFS 的 /user/history 目录下有写的权限 基于 SQL 标准的 Hive 授权可能需要运 行 HiveServer2 的 用户有对加载到 Hive 里的 文件和 目录的操作权限 这可能会中断 RapidMiner Radoop 的正常操 作 如果出现许可错误, 请联系您的 Hadoop 管理员 4.5 远程连接 Amazon Elastic MapReduce(EMR) 集群 开启 EMR 集群 要开启 一个 EMR 集群 : 1. 选择 Amazon Machine Image(AMI)3.8.0 版本 ( 然 而它也可能连接到其他 的 AMI 版本, 可能需要不同的连接设置 请注意, 在 高级集群创建 页 面还 不 支持 EMR 4.0.0, 只能获得 AMI 3.x ) 2. 如果想要在集群上使 用 Spark 算 子, 您可能需要将 Spark 应 用添加到您的 软件配置中 3. 添加 一个引导将 hadoop.rpc.socket.factory.class.default 属性的默认值设置 成 final 要实现这 一操作, 需要创建并上传 一个名字为 config.xml 的 文本 文 件到可以被集群访问的 S3 存储桶 文件的内容应该是以下信息 : <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>hadoop.rpc.socket.factory.class.default</name> <value>org.apache.hadoop.net.standardsocketfactory</value> <final>true</final> </property> </configuration> 4. 添加 一个有配置 Hadoop 类型的引导程序 将可选参数 (Optional arguments) 字段设置成 --core-config-file s3://<path_including_bucketname>/config.xml, 这 里 <path_including_bucketname> 是在 S3 上您上传的 config.xml 的路径 如果集群启动了,EC2 实例的私有 IP 和域名应当可以获得 为 Hive 开启 SOCKS 代理和 SSH 隧道 电话 :

31 查看 网络设置 (Networking Setup) 章节获取开启 SOCKS 代理和 SSH 隧道的相 关信息 配置集群 使 用 SSH 访问, 配置集群 : 1. 用 hadoop 用户名和私有密钥登录到主机节点 执 行下 面的命令来创建必要 的临时 目录 : hadoop fs -mkdir -p /tmp/hadoop-yarn/staging/history hadoop fs -chmod -R 777 /tmp/hadoop-yarn hadoop fs -mkdir /user hadoop fs -chmod 777 /user 2. 如果您想要在集群和已经安装的 Spark 应 用上使 用 Spark 算 子, 请使 用下 面的命令将 Spark 组件放到 HDFS: hadoop fs -mkdir /user/spark hadoop fs -put /home/hadoop/spark/lib/spark-assembly-*.jar /user/spark/sparkassembly.jar 3. 如果您想要使 用 自定义的 Spark 组件, 请使 用以下命令来安装 Spark 组件 : hadoop fs -mkdir /user/spark wget -O /tmp/spark bin-hadoop2.4.tgz tar xzvf /tmp/spark bin-hadoop2.4.tgz -C /tmp/ hadoop fs -put /tmp/spark bin-hadoop2.4/lib/spark-assembly hadoop2.4.0.jar /user/spark/spark-assembly.jar 在 RapidMiner Studio 设置连接此链接设置是在 网络设置 (Networking Setup) 章节中描述的基于 SOCKS 代理和 SSH 隧道进 行设置 从 高级连接属性 (Advanced Connection Properties) 窗 口 : 1. 选择 Amazon Elastic MapReduce(EMR) or newer 作为 Hadoop 版本 2. 选择多主机 (Multiple Masters) 选项并将地址设为以下内容 : NameNode Address:<master_private_ip_address> Resource Manger Address: <master_private_ip_address> Hive Server Address: localhost 3. 选择更改默认端 口 (Change Default Ports) 并将端 口内容设置为以下信息 : 电话 :

32 NameNode Port: 9000 Resource Manger Port: 9022 Hive Port: 将 hadoop 设置为 Hadoop 用户名和 Hive 用户名 5. 添加以下 高级 Hadoop 参数 (Advanced Hadoop Parameters) 键 - 值对 : 键 hadoop.rpc.socket.factory.class.default hadoop.socks.server dfs.client.use.legacy.blockreader radoop.emr.modify-staging-dir 值 org.apache.hadoop.net.sockssocket Factory localhost:1234 true false 注意 : 对于 EMR 或者更新的版本,radoop.emr.modify-staging-dir 属性 默认为 true 尽管该设置对于 AMI 同样适 用, 然 而对某些版本, 比如 3.7.0, 您必须将属性设置为 false 6. 要在 RapidMiner Radoop 上使 用 Spark 算 子, 通过以下 方式使其可 用 : 在 Spark 设置 (Spark Settings) 中选择合适的 Spark 版本 (Spark Version) 选项 该版本应该是 Spark 1.4 or below, 因为当前 Spark 1.5 不被 Amazon EMR 3.x 如果您按照集群配置步骤 (cluster configuration steps) 来安装 Spark 组 件, 将 Assembly Jar Location 设置为 hdfs:///user/spark/sparkassembly.jar 请注意, 现在不 支持有 Spark 的 EMR MapR 1.x 和 3.x 连接到 MapR 集群 MapR 集群需要额外安装 MapR 客户端软件 以下内容描述了将 RapidMiner Radoop 连接到 MapR 集群的操作步骤 : 1. MapR 描述了在您的操作系统上安装 MapR 客户端 (setting up the MapR client) 的步骤 完成安装并验证已安装的客户端版本是否与您集群上的 电话 :

33 MapR Hadoop 版本相匹配 ( 如果需要的话, 您可以下载 一个 老版本的 MapR) 2. 正如在 MapR 文档 里所描述的, 通过 configure.sh 或者 configure.bat 来配置 MapR 客户端使其连接到您的 MapR 集群 3. 在您的硬盘驱动上为 RapidMiner Radoop 需要的 MapR 客户端 JAR 文件创建 一个 目录以便其进 行连接 这些 jar 文件的名字可能不同, 取决于发布的 MapR 必要的 JAR 文档在 <mapr_home>/lib 和 <mapr_home>/hadoop /hadoop/lib 目录下 不同的 MapR 之间的名字也可能不同, 但是作为 一个样例, 下 面的列表中包含了 MapR M <mapr_home>/lib 目录下所有需要的 JAR 文档 : hadoop auth.jar hadoop dev-core.jar json jar maprfs mapr jar maprfs-core mapr jar maprfs-diagnostic-tools mapr jar maprfs-jni mapr jar protobuf-java lite.jar 以及 <mapr_home>/hadoop/hadoop /lib 目录下的 : amazon-s3.jar zookeeper mapr-1406.jar 4. 将 JAR 文件复制到您已经创建好的 目录下 然后, 在 高级连接属性 (Advanced Connection Properties) 窗 口, 将 Additional Libraries Diectory 字段指定到该 目录 ( 在你选择了 MapR Hadoop 1.x+ Hadoop 版本之后 ) 软件对该 目录下的必要 JAR 文档进 行验证 5. 在管理 Radoop 连接 (Manage Radoop Connections) 窗 口上验证您在 MapR 客户端配置中和在 RapidMiner Radoop 中指定的是相同的集群位置 6. 运 行连接测试, 然后进 行完整测试以对配置进 行验证 电话 :

34 4.7 DataStax Enterprise 3.x 和 4.x 连接到 DataStax 集群 DataStax 许可问题防 止 RapidMiner Radoop 安装者包含任何其他免费获得的 DataStax 包 按照以下步骤连接 DataStax 和 RapdiMiner Radoop 1. 你必须 : 要么下载 DataStax 软件并获得 dse.jar( 或者 dse-<version>.jar) 文件 要么在你集群上任意节点的本地系统上找到该 JAR 文件并将其复制到 客户端的本地 目录下 2. JAR 文件的名字必须为 dse.jar (RapidMiner Radoop 查找这个独 立于平台版本的 文件名 ) 如果您的 文件包含版本号, 请重命名 文件或者 用那个名字创建 一个连接 3. 在从 Manage Radoop Connectios 登录的 Advanced Setting 窗 口, 找到 Additional Libraries Directory 字段并将其指导你已经复制了这个 文档的 目录 4. 在您的集群的 首选节点上 用以下命令开启 Hive server 或者 Hiveserver2 实例 :dse hive --service hiveserver 或 dse hive --service hiveserver2 5. 根据您正在使 用的 Hive 版本设置 SQL 设置 ( SQL Settings) 注意 :DataStax Enterprise 版包含 一个 Hive 相关的 bug, 它可能会导致 在平台上运 行 RapidMiner Radoop 流程出现错误 如果您的连接测试失败, 请 电话 :

35 查看 DataStax troubleshooting 获得配置 工作区信息 5. 通过 RapidMiner Radoop 中配置 Hadoop Security 企业通常在他们的集群上实施 Hadoop Security 来防 止未经授权的数据访问和 其他安全漏洞 例如被 广泛使 用的 Kerberos 授权, 以及其他各种认证和数据加 密技术 欲了解更多信息, 阅读 RapidMiner 的 Hadoop 大数据安全 白 皮书 RapidMiner Radoop 目前 支持 Kerberos 授权,Apache Sentry,Apache Ranger 和 via SQL standards with Apache Hive 数据授权 5.1 配置 Kerberos 身份授权 如果你的 Hadoop 集群是基于 Kerberos 的, 第三 方 工具只能通过 Kerberos 身份授权, 则需要在 RapidMiner Radoop 的 the Advanced Connection Properties 窗 口 里提供必要的 Kerberos 设定 安全配置需要个 人密钥表 (keytab file), 由您 ( 或您的安全管理员 ) 使 用 kadmin 工具 而 生成 如果使 用 256 位 AES 加密的密钥表, 必须安装 Java 加密扩展 1. 在安全设置 面板中 (the Security Settings panel) 勾选 " 启 用安全性 " 复选框 (the Enable security checkbox), 将出现 几个新参数 2. 设定下列参数 ( 黑体名称表 示所需的字段 ): 参数 密钥表 (Keytab File) 客户端主体 (Client Principal) 描述 用户客户端密钥表 文件路径, 输 入或通过浏览 文件按钮选择 文件位置. 用户进 入 Hadoop 的主体 格式为 primary[/<instance>]@<realm>, 其中 primary 通常为 用户名,instance 为可选项,REALM 为 Kerberos 域 示例 : 电话 :

36 域 (REALM) Kerberos 域 通常为 大写字 母域名 示例 : RAPIDMINERCHINA.COM KDC 地址 (KDC Address) Kerberos 配置 文件 (Kerberos Config File ) Hive 登 入 (Hive Principal) SASL Qop 等级 (SASL Qop Level) Kerberos 密钥分发中 心 (KDC) 地址 示例 : kdc.rapidminerchina.com 为避免 RapidMiner 和 Hadoop 集群的运 行配置的差异, 建议提供 Kerberos 配置 文件 ( 通常是 krb5.conf 或 krb5.ini, 可以从您的安全管理员处获取 ) 输 入或通过浏览 文件按钮选择 文件位置. Hive 服务主体 格式为 primary[/<instance>]@<realm>, 其中 primary 通常为服务名或 用户名,instance 为 Host 名, REALM 为 Kerberos 域 注意 instance 不要使 用 _HOST 关键字 若 Hive 未配置 Kerberos 而是配置了其它授权 ( 如 LDAP), 保持此参数为空 示例 : hive/node02.rapidminer.com@rapidminerchina.co M SASL Qop 等级 此处需于集群设定 (cluster setting) 一致 ( 集群设定值位于 文件 hive-site.xml 内 hive.server2.thrift.sasl.qop 值, 默认为 auth) Hive 检索主体 (Retrieve Principals from Hive ) 勾选后, 为了更易于配置,RapidMiner 将 自动检索 Hive 其它所有服务主体 若访问其它服务有问题可停 用此选项 若停 用此选项则需提供 : NameNode Principal, Resource Manager Principal,Job History Server Principal 格式为 primary[/<instance>]@<realm> 示例 : nn/_host@rapidminerchina.com, rm/_host@rapidminerchina.com, jhs/_host@rapidminerchina.com. 你可以使 用 _HOST 关键字作为 instance 值. 注意 : Kerberos 授权也可 用于 Impala 连接 此种情况下需以 Impala Principal 来代替 Hive Principal 同时其它服务 Principal 的 自动检索亦不被 支持, 也需 在此界 面上提供这些 Principal 要配置 RapidMiner Server 的 Hadoop 连接, 请参阅 RapidMiner Radoop Server 版安装 手册 (RapidMiner Radoop installation guide for Server) 若 Keytab File 和 Kerberos Config File 存放于 RapidMiner Server 上另 一路径, 需更新 radoop_connections.xml 值 电话 :

37 并发请求在 RapidMiner Studio 上使 用 RapidMiner Radoop 时, 不能在使 用不同安全设置的集群上进 行并 行通信 例如当 一个进程在 一个单独的 Hadoop 集群上运 行, 你不能使 用 Hive Management Perspective 来从另 一个集群调查数据 在 RapidMiner Server 上使 用 RapidMiner Radoop 时, 所有同时运 行的进程须使 用相同的安全设置 为了避免任何潜在的并发问题, 我们建议对每个安全 Hadoop 集群都使 用 一个单独的 RapidMiner Server 5.2 配置 Apache Sentry 授权 对于存储在 Hadoop 集群上的数据,Apache Sentry 提供了 足够精细的, 基于 角 色的授权 这是个针对 Cloudera 集群 ( 及其它分布 ) 的通 用 工具 遵照下 面的步骤配置 Apache Sentry 以确保 RapidMiner Radoop 的全部功能均可使 用 RapidMiner Radoop 角 色创建 为了可使 用 RapidMiner Radoop 的全部功能, 请在 Sentry 内创建 一个或多个 可应 用于所有 用户的 角 色 因为 Sentry 角 色只能授予组, 所以设置所有 RapidMiner Radoop 用户属于同 一个 ( 或多个 ) 组是最佳做法 执 行下 面的语句创建 角 色并分配给 RapidMiner 的 用户组 在本节的其余部分, 我们将假定 radoop_user_role 被分配到 一个单 一的 RapidMiner 用户, 而其他 用户都有 其它 自 己的 角 色 CREATE ROLE radoop_user_role; GRANT ROLE radoop_user_role TO GROUP group1; 使 RapidMiner Radoop 临时表 RapidMiner Radoop 不仅仅是 一个简单的使 用 Hive 作为数据源的 BI 工具, 它也是 一种使 用 Hadoop 作为 一个执 行环境的先进的分析 工具 RapidMiner Radoop 推动 工作 (job) 和查询 (query) 到 Hadoop 集群去执 行 为了 支持复杂的 电话 :

38 分析流程,RapidMiner Radoop 必须能够在 Hive 上创建新表和存储临时结果 当使 用 Sentry, 您需要所有的权限以便数据库能够创建新表, 不过在具有精细安全设置的共享数据库的情况下授予所有权限可能是不可 行的 此时需要为 RapidMiner Radoop 用户创建 一个沙箱数据库, 并添加必要的输 入表视图来作为沙箱数据库的视图 执 行下列语句以创建数据库 : CREATE DATABASE radoop_user_sandbox; GRANT ALL ON DATABASE radoop_user_sandbox TO ROLE radoop_user_role; 为每个从其它数据库添加 而来的输 入数据表执 行以下语句 : CREATE VIEW radoop_user_sandbox.view1 AS SELECT * FROM other_database.table1; 导 入 rapidminer radoop 数据 RapidMiner 可连接多种不同的数据源 ( 数据库,noSQL 数据存储, 云服务, 多种 文件格式等 ), 也可将这些数据集导 入 Hive 在导 入时和在进 行任何其他内部数据具体步骤时,RapidMiner Radoop 使 用 tmp/radoop/<username>hdfs 文件夹 ( 你可以在设置中改变这个路径 ) 最佳实践建议是由安全管理员创建这些 用户 目录, 并确保只有 <username> 和 Hive 用户拥有所有权限 所有其他 用户应该被拒绝访问此 目录 要启 用数据导 入 文件夹, 请执 行下列语句 : GRANT ALL ON URI "hdfs:///tmp/radoop/<username>/" TO ROLE radoop_user_role; GRANT ALL ON URI "hdfs://<fs.defaultfs>/tmp/radoop/<username>/" TO ROLE radoop_user_role; 用 nameservice 名或者 <namenode:port address> 来代替 <fs.defaultfs>, 使 用 Hadoop 集群 username 来代替 <username>. 电话 :

39 启 用 RapidMiner Radoop UDF RapidMiner Radoop 使 用 自定义 UDF 执 行 Hive 查询 Sentry 不可 用时, 上传 JAR 文件到 HDFS, 并基于这些 JAR 构造 UDF 当可 用时,Sentry 禁 用定义并执 行上传到 HDFS 的 JAR 此时你须将 JAR 加 入 HiveServer2 的本地 文件系统和 Hive classpath. 关于使 用可 用 Sentry 的 RapidMiner Radoop 下的 UDF 支持, 请参阅操作和维护 页 面上的 手动功能安装 (Manual Function Install) 相关部分介绍 更详细的 UDF 和 Sentry 设置请参阅 Cloudera 文档. 5.3 配置 Apache Ranger 授权 以下安装说明是为了在 Apache Ranger 下启 用 RapidMiner Radoop 此授权适 用于 Hive 0.13 或更 高版本, 且为 Hortonworks 分布下的典型安装. 启 用 RapidMiner Radoop 临时表你需要数据库的所有权限以便能创建新表 不过在具有精细安全设置的共享数据库的情况下授予所有权限可能是不可 行的 此时需要为 RapidMiner Radoop 用户创建 一个沙箱数据库, 并添加必要的输 入表视图来作为沙箱数据库的视图 执 行下列语句以创建数据库 : CREATE DATABASE radoop_user_sandbox; 创建 一个 Ranger Hive 策略, 以便此数据库的 用户可以对所有表进 行所有操作. 电话 :

40 为每个从其它数据库添加 而来的输 入数据表执 行以下语句 : CREATE VIEW radoop_user_sandbox.view1 AS SELECT * FROM other_database.table1; 创建 / 删除函数 RapidMiner Radoop 使 用 自定义 UDF 在 Hive 查询 创建这些功能需要管理策略中包含该 用户, 否则永久性的函数须由管理员 手动创建 关于创建这些函数的进 一步信息, 可参阅操作和维护 页 面上的 手动功能安装 (Manual Function Install) 相关部分介绍 5.4 配置 Apache 基于 SQL 标准的 Hive 授权 以下安装说明是为了在 Apache 基于 SQL 标准的 Hive 授权下启 用 RapidMiner Radoop 此授权适 用于 Hive0.13 或更 高版本, 且为 Hortonworks 分布下的典型安装. 电话 :

41 对 Hive 命令和语句的限制为了能在集群上完整运 行,RapidMiner Radoop 需要通过 HiveServer2 服务来修改部分属性的权限 这些属性仅影响 RapidMiner 客户上与 Hadoop 集群的互动, 不影响使 用 HiveServer2 服务的任何其他应 用程序 使 用集群端上的 hive.security.authorization.sqlstd.confwhitelist.append 属性 ( 定义 见下 文 ) 来设置内置 白名单以外的附加属性 ( 见 HIVE-8534) 使 用正则表达式来启 用这些属性 ( 见 HIVE-8937) 如果集群上该属性为空, 则需要下 面显 示的值来确保 RapidMiner Radoop 的完 整功能 如果该属性已经有值, 那么其正则表达式应该包括以下值 更改此属 性需要重新启动 Hive 服务 设置 hive.security.authorization.sqlstd.confwhitelist.append 如下 ( 属性值不能包 含空格 ): radoop\.operation\.id mapred\.job\.name hive\.fetch\.task\.conversion hive\.warehouse\.subdir \.inherit\.perms hive\.exec\.max\.dynamic\.partitions hive\.exec\.max\.dynamic\.partitions\.per node 下表包含了上述正则表达式定义的属性列表, 描述了每个属性和 RapidMiner Radoop 设定的可能值, 还介绍了软件如何使 用这些属性 请注意你不需要设 置这些属性, 表中只是列出了之前 regexp 可 用的属性 属性名 可能的值 描述 radoop.operation.id random id 有助于识别属于某个 Hive 查询的 MapReduce 工作 大多数 RapidMiner Radoop 算 子都可转化为 HiveQL 查询 这些查询通常 又会转化成 MapReduce 代码 当 用户停 止 一个 RapidMiner 流程时, 相应的 MapReduce 工作也会被中 止 该软件使 用此属性来查找应被中 止的 工作 ( 由 用户拥有的 ) 此属性不是 Hadoop 内置属性, 对 Hadoop 代码没有影响 电话 :

42 mapred.job.name job name 设置由当前 HiveQL 查询转化的 MapReduce 工作名 RapidMiner Radoop 设置 工作名为当前算 子名, 让 用户能容易地看到当前哪个算 子在集群上运 行 hive.fetch.task.convers ion hive.warehouse.subdir.inherit.perms hive.exec.max.dynami c.partitions and hive.exec.max.dynami c.partitions.pernode more true custom setting 允许 RapidMiner Radoop 更快速地运 行, 在不启动 MapReduce 工作的前提下运 行 一个简单的 SELECT 查询, 可让 Hive Management Perspectives( 用来浏览 RapidMiner Radoop 内的 Hive 对象 ) 更加易 用 参阅 HIVE-887. 确保 文件系统权限继承 父 用户 目录权限 当数据在 Hadoop 组件间转移 ( 例如在 Hive 和 ( 自定义的 )MapReduce/Pig/Spark) 时,Hive 表可以在 HDFS 上 用户 目录且在 Hive 仓库 目录外创建 允许 RapidMiner Radoop 使 用动态分区 当 用户在 一个分区表中存储数据时, 或是当 Hive 分区在典型数据挖掘 工作流程下 用来分割数据 ( 如分割验证 ) 时, 这可能是必要的 此时您可以使 用 一个 高级参数来重写群集侧动态分区的默认限制 启 用 RapidMiner Radoop 临时表 RapidMiner Radoop 不仅仅是 一个简单的使 用 Hive 作为数据源的 BI 工具, 它也是 一种使 用 Hadoop 作为 一个执 行环境的先进的分析 工具 RapidMiner Radoop 推动 工作 (job) 和查询 (query) 到 Hadoop 集群去执 行 为了 支持复杂的分析流程,RapidMiner Radoop 必须能够在 Hive 上创建新表和存储临时结果 如果 Hive 用户没有创建表 (CREATE TABLE) 或创建视图 (CREATE VIEW) 的权限, 或者你不允许选定的 Hive 数据库中对象能被创建, 可为 RapidMiner Radoop 创建 一个沙箱数据库 : 选择 other_database 源对象, 仅提供 SELECT 权限. 创建 一个 隶属于 Hive 用户的 又有特定 用户的沙箱数据库 ( 如, radoop_user_sandbox) 在沙箱数据库内创建 other_database 表和视图 ( 如 CREATE VIEW radoop_user_sandbox.view1 AS SELECT * FROM 电话 :

43 other_database.table1;) 的视图 创建 / 删除函数 RapidMiner Radoop 使 用 自定义 UDF 在 Hive 查询 创建或注册这些功能需要 admin 权限, 否则永久性的函数须由管理员 手动创建 关于创建这些函数的进 一步信息, 可参阅操作和维护 页 面上的 手动功能安装 (Manual Function Install) 相关部分介绍 在运 行该 页所描述的函数创建语句之前, 确保您已运 行以下命令以获得管理员 角 色. SET ROLE admin; 6. Hadoop 集群网络配置概览 存储在 Hadoop 集群中的数据通常是机密的, 所以保证数据安全 非常重要 许 多公司因此决定将 Hadoop 集群部署到在防 火墙后 面的单独的 网络中 下 面的 部分提供了 一些 方法让 RapidMiner Radoop 连接到这些集群 注意 : 在使 用 RapidMiner Radoop 之前, 你必须有 一个功能完全的 Hadoop 集 群 Hadoop 集群管理员可以使 用下 面的提 示, 但是这些提 示仅供参考, 并不 能作为专业的 支持 文档 RapidMiner Radoop 需要连接到集群的下列端 口进 行正常 工作 : 组件 默认端 口 备注 HDFS NameNode 8020 或 9000 在 NameNode 主节点上必须 JobTracker (MapReduce) 9001 或 8021 在 JobTracker 主节点上必须, 在 MR 版本 1 (MRv1) 集群中会 用到 ResourceManager (YARN) 8032 或 8050 和 8030, 8031,8033 JobHistory Server Port (YARN) ResourceManager 主节点上的资源管理平台 在 YARN 集群中会 用到 MapReduce 任务终 止后获取任务信息的端 口 DataNode ports 和 每个从属节点都必须连接到 这些端 口 Hive server port Hive 主节点中 Hive 服务器 电话 :

44 端 口 请使 用这个端 口或 ( 下 面的 )Impala port Impala daemon port 运 行 Impala 守护进程的节点上 Impala 使 用的端 口 请使 用这个端 口或 ( 上 面的 )Hive 端 口 Application Manager 所有可能的端 口 应 用程序管理器在绑定时使 用随机端 口 您可以在第三部分提到的 Advanced Connection Properties 中设定 yarn.app.mapreduce.am.job. client.port-range 的值来设定可 用端 口的范围 RapidMiner Radoop 会根据您选择的 Hadoop 版本 自 行设定默认端 口, 这些端 口可以在 Manage Radoop Connection 窗 口中查看 您可以在 Advanced Connection Properties 窗 口中选择 Change Default Ports 修改默认端 口 如 果您已经可以从 RapidMiner Radoop 客户端中连接到集群的这些端 口, 您可以 跳过这部分 下列选项描述了保证这些端 口安全性的 方法, 并保证了 RapidMiner Radoop 客 户端可以连接到这些端 口 6.1 配置 SOCKS 代理和 SSH tunneling 保证 Hadoop 集群安全性最常 见的 方法是将集群放到私 人 网络中, 关闭所有的对外端 口 要使 用这个模型, 您必须保证 RapidMiner Radoop 客户端可以连接到这个私 人集群 / 网络 您可以通过两个步骤设置 Hadoop SOCKS 代理和 Hive ( 或 Impala)SSH tunnel: 配置 SSH tunnels 下列步骤可以在客户端上设置 tunnel 和创建 SOCKS 代理 SOCKS 代理 用于 Hadoop API,tunnel 用于 Hive/Impala JDBC 连接 1) 在本地机器上选取两个端 口号 大于 1024 的闲置端 口, 这个例 子中使 用 1234 和 1235 再使 用端 口 作为 Hive Server 端 口 此外, 您也可以为 Impala 添加第 二个 tunnel 电话 :

45 2) 在您的 SSH 客户端中, 建 立 SSH tunnel 并创建 SOCKS 代理 例如 : 在端 口 1234 上建 立 SOCKS 代理 从本地端 口 1235 创建 SSH tunnel 连接到 Hive Server 节点端 口 如果您想使 用 Impala, 从本地端 口 1236 添加另外 一个 tunnel 连接到 Impala 节点的端 口 ( 默认为 21050) 在 Windows 中使用 SSH 此处使 用免费的 SSH 客户端 PuTTY 和上 面提到的端 口作为例 子 1) 在 用户界 面上配置端 口转发 将 1234 作为 Dynamic 转发端 口 将 1235 作为 Source 端 口 将 localhost:10000 作为 Destination 电话 :

46 2) 您必须在建 立 SSH tunnel 后, 才能使 用 RapidMiner Radoop 连接远程集群 要保持 tunnel 一直开启, 在 PuTTY 的 Connection 面板中将 Seconds between keepalives 属性的值设为 大于 0 的值 ( 例如,60 秒 ) 3) 如果您想要使 用 Impala, 添加额外的 tunnel: 将 1236 作为 Source 端 口 将 localhost:21050 作为 Destination 注意 : 这个例 子假设主节点上运 行了 Impala 守护进程且使 用的是默认端 口 如果 您没有使 用默认配置, 您可以 用您的配置替换掉地址和端 口 在 Linux 和 Mac 中使用 SSH 要在基于 Linux 的系统中建 立 SSH 连接, 请在终端中运 行以下命令 同样使 用 1234 和 1235 端 口 电话 :

47 ssh -L :1236: : N -D L :1235: : ) 如果您使 用了私 人密钥进 行验证, 添加 -i /path/to/private.key 2) 您必须在建 立 SSH tunnel 后, 才能使 用 RapidMiner Radoop 连接远程集群 要保持 tunnel 一直开启, 请修改 ~/.ssh/config 文件, 设定 ServerAliveInterval 的值 通常来说, 间隔 60 秒已经 足够 此外, 您也可以通过修改系统配置 文件或 用户配置 文件, 或者在 SSH 命令 行中加 入 -o 参数设定 ServerAliveInterval 的值 3) 如果您想要使 用 Impala, 添加额外的 tunnel: 为 SOCKS 和 SSH 配置 RapidMiner Radoop 高级设置 要在 RapidMiner Radoop 中使 用 SOCKS 代理和 SSH tunneling, 需要做 一些 额外配置 1) 在 Tools 菜单下, 选择 Manage Radoop Connections 2) 在 Manage Radoop Connections 窗 口中点击 Advanced 按钮, 打开 Advanced Connection Properties 窗 口 电话 :

48 1) 各参数如下表 : 参数名 Multiple Master 配置 NameNode Address Resource Manager Address Hive Server Address Impala Address Change Default Port 设置勾选了这个选项后, 可以修改地址 输 入 HDFS 主节点的私有主机名 /IP 地址 输 入 YARN 主节点的私有主机名 /IP 地址 输 入 localhost ( 只有在 SQL Settings 被设为 Hive server 的时候才可 用 ) 输 入 localhost ( 只有在 SQL Settings 被设为 Impala 的时候才可 用 ) 勾选这个选项后, 可以修改端 口 电话 :

49 NameNode Port Resource Manager Port Hive Server Port Impala Daemon Port Advanced Hadoop Parameters Advanced Hadoop Parameters Advanced Hadoop Parameters ( 为了在使 用代理时避免发 生错误 HDFS-3068) 默认和 Hadoop 值相同 ; 不需修改 默认和 Hadoop 值相同 ; 不需修改 默认为 1235 或您配置的端 口号 ( 只有在 SQL Settings 被设为 Hive server 的时候才可 用 ) 默认为 1236 或您配置的端 口号 ( 只有在 SQL Settings 被设为 Impala 的时候才可 用 ) Key:hadoop.rpc.socket.factory.class.default Value : org.apache.hadoop.net.sockssocketfactory Enabled:yes Key:hadoop.socks.server Value: localhost:1234 Enabled: yes Key:dfs.client.use.legacy.blockreader Value:true Enabled:yes 电话 :

50 2) 单击 OK 保存连接 3) 点击 Test 按钮测试连接 如果测试成功, 说明您已经成功建 立了到 Hadoop 集群的连接 修改集群端配置 文件在 Advanced Connection Properties 窗 口中做的只是针对 RapidMiner Radoop 客户端的配置 因此, 您需要防 止这些客户端配置 ( 在双 方的交互中 ) 覆盖 Hadoop 集群配置 要实现这个功能, 请查看集群上名为 core-site.xml 的配置 电话 :

51 <property> <name>hadoop.rpc.socket.factory.class.default</name> <value>org.apache.hadoop.net.standardsocketfactory</value> <final>true</final> </property> 文件, 将属性名为 hadoop.rpc.socket.factory.class.default 的值设为 org.apache.hadoop.net.standardsocketfactory 并在所有的集群节点中标记为 final ( 这是属性的默认值, 但把这个值设为 final 保证了集群服务不糊被客户端配置所影响 ) 在集群端修改这个属性值需要重启集群 例如, 如果您使 用的是 Cloudera Hadoop 分布, 您可以按照下 面的 方法修改属性值 : 1) 在 Configuration 面板的 Cloudera Manager 界 面中, 找到 Cluster-wide Configuration Safety Value for core-sitel.xml 属性, 按照下 面的代码 片段设定它的值 : 2) 对于 HDFS 和 MR1 或 MR2/YARN 服务修改该属性值 6.2 配置虚拟私有 网络 (VPN) 并 手动配置防 火墙 将客户节点加 入到私有 网络中的 一个 方法是定义虚拟私有 网络 (VPN) 详细信息请参考 OpenVPN 文档或者咨询您的 网络管理员 在定义了 VPN 并把客户端连接到集群之后, 你就可以从客户端访问所有 Hadoop 端 口 ; 不需要再多配置 如果 Hadoop 集群节点不在私有 网络中且连接到了因特 网, 您需要配置防 火墙保护您的数据 因为 一个 Hadoop 集群通常由许多节点组成, 一个节点上的服务会和另外节点上的其他服务交互, 如果您有防 火墙的话, 所有的服务端 口必须打开 通常的做法是在您的集群内部打开所有的 Hadoop 节点端 口 此外, 您必须为所有的 RapidMiner Radoop 客户端打开必要的端 口 ( 本节开头 表格中列出的所有端 口 ) 请注意在您添加越来越多的节点的时候, 设置也会 变得更为复杂和困难 我们推荐您将所有的 Hadoop 节点放在 一个私有 网络中, 电话 :

52 如 SOCKS 代理那部分所述的那样 7. 在 RapidMiner Server 上安装 RapidMiner Radoop 扩展 7.1 安装前准备 在 RapidMiner Server 上安装 RapidMiner Radoop 扩展之前, 必须满 足下列要求 : RapidMiner Radoop 扩展已经在 RapidMiner Studio 上安装并测试过 有必要的话, 请查看第三部分的配置 Radoop 连接, 确保您的 RapidMiner Studio 能够连接到 Hadoop 集群 7.2 开始安装 想要在 RapidMiner Server 上安装 RapidMiner Radoop, 您需要把 RapidMiner Studio 中对应的配置 文件复制到 RapidMiner Server 的安装路径下 请按以下步骤进 行安装 : 1) 停 止 RapidMiner Server 2) 从 Marketplace 中下载 RapidMiner Radoop 扩展, 将下载的 文件上传到 RapidMiner Server 用于存储扩展的 文件夹路径下 如果您 无法确定 RapidMiner Server 存储扩展的 文件夹路径, 请在 RapidMiner Server 网 页接 口 首 页上打开 Administration, 然后再点击 System Settings 找到名为 com.rapidanalytics.plugindir 的系统参数, 它的值即为扩展存储路径 3) 在您安装 RapidMiner Studio 的机器上, 找到名为.RapidMiner 的配置存储 目录 ( 该 目录由 RapidMiner Studio 自动创建, 默认位于安装 RapidMiner Studio 的 用户 目录下, 若找不到, 请显 示隐藏 文件后再查看 ) 将名为 cipher.key 和 radoop_connections.xml 的 文件复制到安装 RapidMiner Server 的机器中 请在安装 RapidMiner Server 的 用户根 目录 电话 :

53 下, 找到同样名为.RapidMiner 的 目录, 然后复制到该 目录下 4) 重新启动 RapidMiner Server 7.3 修改 Hadoop 连接 如果您在 RapidMiner Studio 中修改了 Hadoop 连接, 您必须在 RapidMiner Server 中做同样的修改 1) 停 止 RapidMiner Server 2) 重新上传 radoop_connections.xml 3) 重新启动 RapidMiner Server 7.4 配置多连接及其安全性 在 一个多 用户的 RapidMiner Server 环境中, 管理员需要 手动编辑 radoop_connections.xml 文件, 从 而确保所有的 用户连接都可 用 在 radoop_connections.xml 文件中, 管理员可以配置任意数量的连接, 这些连接可以指向同 一个 Hadoop 集群, 也可以指向不同的 Hadoop 集群 他们也可以为同 一个 用户或不同 用户创建连接 ( 例如, 通过不同的 Hadoop 用户名域 ) 您必须在连接配置 文件中列出所有有可能被流程 用到的连接, 且在 RapidMiner Server 上为连接定义的名称必须与上传流程的 RapidMiner Studio 中相同 但是 RapidMiner Studio 用户只需在本地机器中配置 自 己所需的连接即可 命名连接的例 子 :<cluster_name>_<username>, 其中 <cluster_name> 是 Hadoop 集群的标识符,<username> 是 用户的标识符 ( 可以与 Hadoop 中 用户名域的值相同 ) 从 RapidMiner Radoop 开始, 您可以配置某些 用户或某个组的 用户才能使 用某个 Hadoop 连接 这意味着如果 一个 RapidMiner Server 用户不在可以使 用连接的 用户 白名单上, 那么他在上传 Radoop 流程时就不能使 用这个连接 通过这种 方式, 管理员可以确保 用户不能使 用未被授权的连接, 也 无法通过修改流程中的标识符来逃避限制 要定义连接 白名单, 您可以在 radoop_connections.xml 文件中的 radoop-connection-entry 下添加 电话 :

54 <radoop-connection-entry>... <accesswhitelist>john scott allen</accesswhitelist> </radoop-connection-entry> accesswhitelist 标签 这个标签的值可以是任意正则表达式, 只有配置这个正则表达式的 用户可以使 用这个连接 如果 accesswhitelist 标签没有指定连接, 则任何 用户都可以使 用它 7.5 使 用 Kerberos 验证连接 Hadoop 集群 如果您想配置使 用 Kerberos 验证的 Hadoop 集群连接, 详情请查阅第五部分 的 Hadoop 安全 但是使 用时请注意以下 几点 注意 : 一个 RapidMiner Server 只能与 一个单个的 Kerberized Hadoop 集群对话, 更准确地说, 是 一个单个的 Kerberos Realm 这种限制是由 Java Kerberos 架构决定的 但是, 多个 用户可以通过 RapidMiner Server 实例并发地使 用这个 kerberized Hadoop 集群 所有到 Kerberized Hadoop 集群的连接必须指定 用户 keytab 文件的路径 也就是说,RapidMiner Server 可以访问本地 文件系统中的 用户 keytab 文件 通常地,RapidMiner Server 上的这个路径与 用户在 RapidMiner Studio 中使 用的路径不同 管理员必须在 radoop_connections.xml 文件中指定 keytabfile 属性的值指向服务器上正确的路径 运 行 RapidMiner Server 的 用户要有访问这些 keytab 文件的权限 8. 操作和维护 8.1 手动安装 RapidMiner Radoop 函数 RapidMiner Radoop 会 自动上传两个 文件 (radoop_hive.jar 和 电话 :

55 rapidminer_libs-<version>.jar) 到 HDFS 上, 并 用它们来定义 自定义的 Hive 函数 (UDFs) 对于 一个安全环境下的 Hadoop 集群来说, 这通常是禁 用的 所以管理需要 手动安装这些 UDFs 即使是在没有进 行安全配置的 Hadoop 集群中, 管理员也需要考虑到性能问题 而 手动安装这些函数 请注意这种情况下 RapidMiner Radoop 的升级可能也许要 手动进 行 注意 :Hive 0.13 及之后的版本才 支持永久函数 早期版本不能进 行 手动安装 1) 下载 RapidMiner Radoop UDF JAR 文件 :Model scoring UDF,Hive UDF 2) 将下载的 JAR 文件复制到 Hadoop 集群的每个节点的本地 文件系统中 每个节点中 JAR 的路径必须是相同的 例如, /usr/local/lib/radoop/radoop_hive-v2.jar 和 /usr/local/lib/radoop/rapidminer_libs jar 3) 复制 JAR 文件到 $HIVE_HOME/lib/ 文件夹下, 以便将 JAR 文件添加到 Hive 的 classpath 中 这个操作只需要在运 行 HiveServer2 服务的节点上进 行 注意不要修改 JAR 文件的名称 4) 编辑 mapred-site.xml 文件中的 mapreduce.application.classpath 属性, 将 JAR 文件添加到 MapReduce 的 classpath 中 您也可以对 Ambari 或 Cloudera Manager 做相同操作 例如, 将 /usr/local/lib/radoop/radoop_hivev2.jar:/usr/local/lib/radoop/rapidminer_libs jar 添加到当前值的末尾, 以 : 分隔 请注意对于某些发布版本来收, 这个属性可能是空的 做完修改后, 您可能需要重启 YARN 5) 重启 HiveServer2 6) 作为管理员 用户 ( 安全环境下的集群 ), 连接到 HiveServer2( 例如, 使 用 Beeline), 然后在 RapidMiner Radoop 用户会 用到的所有数据中创建永久函数 您可以修改下 面脚本中第 一 行的数据库名, 然后对所有相关数据库运 行该脚本 7) 在 RapidMiner Radoop 2.2 中创建函数 电话 :

56 USE radoop_user_sandbox; DROP FUNCTION IF EXISTS r_add_file; DROP FUNCTION IF EXISTS r_apply_model; DROP FUNCTION IF EXISTS r_correlation_matrix; DROP FUNCTION IF EXISTS r_esc; DROP FUNCTION IF EXISTS r_gaussian_rand; DROP FUNCTION IF EXISTS r_greatest; DROP FUNCTION IF EXISTS r_is_eq; DROP FUNCTION IF EXISTS r_least; DROP FUNCTION IF EXISTS r_max_index; DROP FUNCTION IF EXISTS r_nth; DROP FUNCTION IF EXISTS r_pivot_collect_avg; DROP FUNCTION IF EXISTS r_pivot_collect_count; DROP FUNCTION IF EXISTS r_pivot_collect_max; DROP FUNCTION IF EXISTS r_pivot_collect_min; DROP FUNCTION IF EXISTS r_pivot_collect_sum; DROP FUNCTION IF EXISTS r_pivot_createtable; DROP FUNCTION IF EXISTS r_score_naive_bayes; DROP FUNCTION IF EXISTS r_sum_collect; DROP FUNCTION IF EXISTS r_which; CREATE FUNCTION r_add_file AS 'eu.radoop.datahandler.hive.udf.genericudfaddfile'; CREATE FUNCTION r_apply_model AS 'eu.radoop.datahandler.hive.udf.genericudtfapplymodel'; CREATE FUNCTION r_correlation_matrix AS 'eu.radoop.datahandler.hive.udf.genericudafcorrelationmatrix'; CREATE FUNCTION r_esc AS 'eu.radoop.datahandler.hive.udf.genericudfescapechars'; CREATE FUNCTION r_gaussian_rand AS 'eu.radoop.datahandler.hive.udf.genericudfgaussianrandom'; CREATE FUNCTION r_greatest AS 'eu.radoop.datahandler.hive.udf.udfgreatest'; CREATE FUNCTION r_is_eq AS 'eu.radoop.datahandler.hive.udf.genericudfisequal'; CREATE FUNCTION r_least AS 'eu.radoop.datahandler.hive.udf.udfleast'; CREATE FUNCTION r_max_index AS 'eu.radoop.datahandler.hive.udf.udfmaxindex'; CREATE FUNCTION r_nth AS 'eu.radoop.datahandler.hive.udf.udfnth'; CREATE FUNCTION r_pivot_collect_avg AS 'eu.radoop.datahandler.hive.udf.genericudafpivotavg'; CREATE FUNCTION r_pivot_collect_count AS 'eu.radoop.datahandler.hive.udf.genericudafpivotcount'; CREATE FUNCTION r_pivot_collect_max AS 'eu.radoop.datahandler.hive.udf.genericudafpivotmax'; CREATE FUNCTION r_pivot_collect_min AS 'eu.radoop.datahandler.hive.udf.genericudafpivotmin'; CREATE FUNCTION r_pivot_collect_sum AS 'eu.radoop.datahandler.hive.udf.genericudafpivotsum'; CREATE FUNCTION r_pivot_createtable AS 'eu.radoop.datahandler.hive.udf.genericudtfcreatepivottable'; CREATE FUNCTION r_score_naive_bayes AS 'eu.radoop.datahandler.hive.udf.genericudfscorenaivebayes'; CREATE FUNCTION r_sum_collect AS 'eu.radoop.datahandler.hive.udf.genericudafsumcollect'; CREATE FUNCTION r_which AS 'eu.radoop.datahandler.hive.udf.udfwhich'; 电话 :

57 USE radoop_user_sandbox; DROP FUNCTION IF EXISTS r_add_file; DROP FUNCTION IF EXISTS r_apply_model; DROP FUNCTION IF EXISTS r_correlation_matrix; DROP FUNCTION IF EXISTS r_esc; DROP FUNCTION IF EXISTS r_gaussian_rand; DROP FUNCTION IF EXISTS r_greatest; DROP FUNCTION IF EXISTS r_is_eq; DROP FUNCTION IF EXISTS 在 RapidMiner r_least; Radoop 2.3 或之后版本中创建函数 DROP FUNCTION IF EXISTS r_max_index; DROP FUNCTION IF EXISTS r_nth; DROP FUNCTION IF EXISTS r_pivot_collect_avg; DROP FUNCTION IF EXISTS r_pivot_collect_count; DROP FUNCTION IF EXISTS r_pivot_collect_max; DROP FUNCTION IF EXISTS r_pivot_collect_min; DROP FUNCTION IF EXISTS r_pivot_collect_sum; DROP FUNCTION IF EXISTS r_pivot_createtable; DROP FUNCTION IF EXISTS r_score_naive_bayes; DROP FUNCTION IF EXISTS r_sum_collect; DROP FUNCTION IF EXISTS r_which; CREATE FUNCTION r_add_file AS 'eu.radoop.datahandler.hive.udf.genericudfaddfile'; CREATE FUNCTION r_apply_model AS 'eu.radoop.datahandler.hive.udf.genericudtfapplymodel'; CREATE FUNCTION r_correlation_matrix AS 'eu.radoop.datahandler.hive.udf.genericudafcorrelationmatrix'; CREATE FUNCTION r_esc AS 'eu.radoop.datahandler.hive.udf.genericudfescapechars'; CREATE FUNCTION r_gaussian_rand AS 'eu.radoop.datahandler.hive.udf.genericudfgaussianrandom'; CREATE FUNCTION r_greatest AS 'eu.radoop.datahandler.hive.udf.genericudfgreatest'; CREATE FUNCTION r_is_eq AS 'eu.radoop.datahandler.hive.udf.genericudfisequal'; CREATE FUNCTION r_least AS 'eu.radoop.datahandler.hive.udf.genericudfleast'; CREATE FUNCTION r_max_index AS 'eu.radoop.datahandler.hive.udf.genericudfmaxindex'; CREATE FUNCTION r_nth AS 'eu.radoop.datahandler.hive.udf.genericudfnth'; CREATE FUNCTION r_pivot_collect_avg AS 'eu.radoop.datahandler.hive.udf.genericudafpivotavg'; CREATE FUNCTION r_pivot_collect_count AS 'eu.radoop.datahandler.hive.udf.genericudafpivotcount'; CREATE FUNCTION r_pivot_collect_max AS 'eu.radoop.datahandler.hive.udf.genericudafpivotmax'; CREATE FUNCTION r_pivot_collect_min AS 'eu.radoop.datahandler.hive.udf.genericudafpivotmin'; CREATE FUNCTION r_pivot_collect_sum AS 'eu.radoop.datahandler.hive.udf.genericudafpivotsum'; CREATE FUNCTION r_pivot_createtable AS 'eu.radoop.datahandler.hive.udf.genericudtfcreatepivottable'; CREATE FUNCTION r_score_naive_bayes AS 'eu.radoop.datahandler.hive.udf.genericudfscorenaivebayes'; CREATE FUNCTION r_sum_collect AS 'eu.radoop.datahandler.hive.udf.genericudafsumcollect'; CREATE FUNCTION r_which AS 'eu.radoop.datahandler.hive.udf.genericudfwhich'; 8.2 清除 RapidMiner Radoop 临时表 作为 一种 高级的分析解决 方案,RapidMiner Radoop 能够把 非常复杂的流程推送到 Hadoop 它可以在 Hadoop 进 行流程验证, 流程运 行, 数据导 入或者连接测试时创建临时对象 ( 表, 视图, 目录, 文件 ) 这些对象在 用完之后就会被删除 也可以说, 在 一项任务完成或失败时, 所有相关的对象都会被删除 电话 :

58 对于流程来说, 默认的 行为可能会被修改 : 如果 Radoop Nest 算 子的 cleaning 参数没有被勾选, 流程运 行完成后这些对象就不会被删除 这种情况只可能在需要调试的时候发 生 在正常的操作中, 由于临时对象会占 用越来越多的 HDFS 空间, 您应该启 用这个功能 正常情况下, 各项任务完成后, 任务进 行过程中创建的所有临时对象都应该被删除 但是也有 一些情况不会删除临时对象 : 在流程或者清除进程还在运 行的时候退出了 RapidMiner Studio( 或者 RapidMiner Server 被终 止 ) 使 用了断点, 流程被停 止并且不再继续 在流程或者清除进程完成前连接被断开 在这些情况下, 临时对象仍然会被定时的清除服务 自动移除 当你在 RapidMiner Studio 中运 行 RapidMiner Radoop 的时候, 应 用程序会 自动检测超过 5 天 ( 默认的 ) 的临时对象并移除它们 您可以在 Tools/Preferences/Radoop/Automatic cleaning interval 设置中修改时间间隔 您也可以在 Hive Management 视窗中移除这些临时对象 右键点击连接名称, 选择菜单项 Clean Temporary Data 弹出的对话框中您可以填写需要检查多少天以前的对象 您可以选择 0, 表 示需要移除所有临时对象 请注意如果在当前集群上您有流程正在运 行, 移除所有临时对象可能会导致流程崩溃 弹出的对话框会 马上报告有多少对象会被删除 电话 :

59 用户也可以 手动移除临时对象, 但是需要具有合适的权限, 例如管理员权限 用这种 方式, 您可能会删除其他 用户的临时对象导致他们的流程运 行失败 所以请在您确认这么做是安全的情况下使 用这种 方式 1) 临时表和视图与普通标和视图很容易区分, 因为表名默认使 用统 一的前缀 : radoop_ 表名中也包含了创建这些对象的 用户名称( 仅由 小写字 母, 数字和下划线组成 ) 您可以在 Tools/Preferences/Radoop/Table prefix 或 Radoop Nest 算 子的 table prefix 参数中修改表前缀 在 Hive Management 视窗中, 您可以 用前缀对表进 行过滤, 选择所有留下的临时表并删除它们 对象名也包含时间戳, 因此升序排序时最先显 示的是最早的对象 2) 在 HDFS 上的临时 文件和 目录不会在对象列表中出现, 因此它们在 RapidMiner Studio 中是不可 见的 这些临时 文件不 大可能会占 用 HDFS 上很 大的空间,Hadoop 管理员可以从 hdfs:///tmp/radoop/<username>/ 目录下移除它们 所有的临时 文件以 tmp_ 开头 下 面的命令会移除某个 用 电话 :