|
关于 Apache Hadoop
|
u 为什么是 Hadoop?
|
|
|
|
u Hadoop 的核心部件
|
|
|
|
u 基础概念
|
|
|
HDFS
|
u HDFS 特性
|
|
|
|
u 读，写文件
|
|
|
|
u NameNode 内存的考虑
|
|
|
|
u HDFS 安全性简介
|
|
|
|
u 使用 Namenode Web 用户界面
|
|
|
|
u 使用 Hadoop 文件 Shell
|
|
|
数据导入 HDFS
|
u 用 Flume 将数据从外部源导入
|
|
|
|
u 用 Sqoop 将数据从关系数据库导入
|
|
|
|
u REST 接口
|
|
|
|
u 输入数据的最佳实践
|
|
|
YARN 和 MapReduce
|
u 什么是 MapReduce?
|
|
|
|
u MapReduce 基本概念
|
|
|
|
u YARN 集群的架构
|
|
|
|
u 资源分配
|
|
|
|
u 故障恢复
|
|
|
|
u 使用 YARN Web 用户界面
|
|
|
|
u MapReduce 版本 1
|
|
|
为你的 Hadoop 集群做计划
|
u 通用计划的考虑
|
|
|
|
u 选择正确的硬件
|
|
|
|
u 对网络的考虑
|
|
|
|
u 配置节点
|
|
|
|
u 为集群管理做计划
|
|
|
Hadoop 安装和初始配置
|
u 部署的类型
|
|
|
|
u 安装 Hadoop
|
|
|
|
u 具体化 Hadoop 的配置
|
|
|
|
u 执行 HDFS 的初始配置
|
|
|
|
u 执行 YARN 和 MapReduce 的初始配置
|
|
|
|
u Hadoop 日志系统
|
|
|
安装配置 Hive, Impala 和 Pig
|
u Hive
|
|
|
|
u Impala
|
|
|
|
u Pig
|
|
|
Hadoop 客户端
|
u 什么是 Hadoop 客户端?
|
|
|
|
u 安装配置 Hadoop 客户端
|
|
|
|
u 安装配置 Hue
|
|
|
|
u Hue 授权和认证 集群的
|
|
|
Cloudera 管理器
|
u Cloudera 管理器的动机
|
|
|
|
u Cloudera 管理器的特性
|
|
|
|
u 快速版和企业版
|
|
|
|
u Cloudera 管理器拓扑
|
|
|
|
u 安装 Cloudera 管理器
|
|
|
|
u 用 Cloudera 管理器安装 Hadoop
|
|
|
|
u 用 Cloudera 管理器执行基本的管理任务
|
|
|
集群的高级配置
|
u 高级配置参数
|
|
|
|
u 配置Hadoop 端口
|
|
|
|
u 显性地添加或移除主机
|
|
|
|
u 配置HDFS 的机架认知
|
|
|
|
u 配置HDFS 高可用性
|
|
|
Hadoop 的安全方案
|
u Hadoop 的安全性的重要
|
|
|
|
u Hadoop 的安全系统的概念
|
|
|
|
u Kerberos 是什么，它如何工作
|
|
|
|
u 用 Kerberos 来守卫 Hadoop 集群
|
|
|
管理， 计划工作任务
|
u 管理正在运行的工作
|
|
|
|
u 计划 Hadoop 工作
|
|
|
|
u 配置 FairScheduler
|
|
|
|
u Impala 的查询计划
|
|
|
集群的维护
|
u 检查 HDFS 状态
|
|
|
|
u 在不同集群间拷贝数据
|
|
|
|
u 添加和挪去集群的节点
|
|
|
|
u 重新平衡集群
|
|
|
|
u 集群升级
|
|
|
集群的监控和故障诊断
|
u 通用系统监控
|
|
|
|
u 监控 Hadoop 集群
|
|
|
|
u 常见的 Hadoop Clusters 的故障排除
|
|
|
|
u 常见的错误配置
|
|