任务3 安装Hadoop平台

关键步骤如下。

虚拟机安装。

CentOS安装。

Hadoop伪分布式环境搭建。

1.3.1 安装虚拟机

1.虚拟机概述

虚拟机软件使你可以在一台机器上同时运行两个或更多个Windows、Linux系统。它可以模拟一个标准的PC环境，这个环境和真实的计算机一样，也有芯片组、CPU、内存、显卡、声卡、网卡、软驱、硬盘、光驱、串口、并口、USB控制器等。

常用的虚拟机软件：

（1）VMware Workstation（本书采用该软件，版本可以任意选择，区别不大）。

（2）Virtual Box。

2.VMware安装

（1）点击安装文件后启动界面，欢迎界面如图1.2所示。

（2）点击“下一步”按钮，界面如图1.3所示。

（3）选择“我接受许可协议中的条款”后点击“下一步”按钮，点击“自定义”按钮，如图1.4所示。

（4）更改安装位置和选择安装功能后如图1.5所示。

（5）点击“下一步”按钮后如图1.6所示。

（6）勾选“桌面”和“开始菜单程序文件夹”复选框后点击“下一步”按钮，如图1.7所示。

（7）点击“继续”按钮，界面如图1.8所示。

（8）“安装向导完成”界面如图1.9所示。

1.3.2 安装Linux系统

1.Linux概述

Linux是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的免费使用和自由传播的类UNIX操作系统。它能运行主要的UNIX工具软件、应用程序和网络协议，它支持32位和64位硬件。Linux继承了UNIX以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。

Linux操作系统诞生于1991年10月5日（这是其第一次正式对外公布的时间）。Linux可安装在手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机等各种设备中。

严格来讲，Linux这个词本身只表示Linux内核，但实际上人们已经习惯了用Linux来形容整个基于Linux内核并且使用GNU 工程各种工具和数据库的操作系统。

Linux是一种自由和开放源码的系统，并有GPL授权，全世界的任何人都可以对其源代码进行修改然后发布使用，所以存在着许多不同的Linux版本，但它们都使用了Linux内核。所以Linux存在很多的变种以及版本。

（1）Ubuntu：2004年9月发布，最为流行的桌面Linux发行版；个人应用比较多，社区力量很庞大。

（2）Red Hat：使用最广，性能稳定；商业版。

（3）CentOS：2003年底推出，RHEL的重新编译版，免费；服务器发行版；本书将采用该版本。

为什么选择CentOS?

（1）主流：目前的Linux操作系统主要应用于生产环境，主流企业级Linux系统仍旧是Red Hat或者CentOS。

（2）免费：Red Hat和CentOS差别不大。CentOS是一个基于Red Hat Linux提供的可自由使用源代码的企业级Linux发行版。

（3）更新方便：CentOS独有的yum命令支持在线升级，可以即时更新系统，不像Red Hat那样需要花钱购买支持服务。

2.CentOS安装

（1）首先安装VMware Workstation，安装过程参见VMware安装。

（2）点击【文件】/【新建虚拟机】或直接点击【创建新的虚拟机】图标，如图1.10所示。

（3）在图1.11中选择“典型（推荐）”，点击“下一步”按钮。

（4）在图1.12中选择“稍后安装操作系统”。

（5）在图1.13中选择操作系统和版本。

（6）在图1.14中输入虚拟机名称和安装路径。

（7）在图1.15中设置磁盘大小。

（8）在图1.16中自定义硬件。

（9）在图1.17中选择CentOS安装镜像文件。

（10）在图1.18中点击“完成”按钮。

（11）在图1.19中启动虚拟机。

（12）在图1.20中选择第一项，安装全新操作系统或升级现有操作系统。

（13）在图1.21中按Tab键选择Skip，退出检测。

（14）在图1.22中点击Next按钮。

（15）在图1.23中选择语言，这里选择的是中文（简体）。

（16）在图1.24中选择键盘样式。

（17）在图1.25中选择存储设备。

如果以前安装过虚拟机，会出现图1.26所示的警告，选择“是，忽略所有数据”。

（18）在图1.27中输入主机名。

（19）在图1.28中配置网络。

（20）在图1.29中设置时区，勾选“系统时钟使用UTC时间”。

（21）在图1.30中输入根用户（root）的密码。

如果密码过于简单会出现提示，点击“无论如何都使用”，如图1.31所示。

（22）在图1.32中根据此Linux的具体功能，选择其他软件。

（23）在图1.32中选择“现在自定义”，自定义安装需要的软件，如桌面配置，如图1.33所示。

可以根据具体的情况来配置，如图1.34中选择安装Eclipse。

还可以如图1.35所示安装Java平台、Perl支持等。

在图1.36中选择语言支持。

（24）在图1.37中点击“下一步”按钮，开始安装。

（25）安装完成后，在图1.38所示界面点击“重新引导”按钮。

（26）点击“前进”按钮，如图1.39所示。

（27）在图1.40中点击“是，我同意该许可证协议”，再点击“前进”按钮。

（28）创建用户，如图1.41所示。

（29）在图1.42中设置日期和时间，如果可以上网，勾选“在网络上同步日期和时间”。

（30）最后点击“前进”按钮，完成安装！

1.3.3 安装Hadoop伪分布式环境

Hadoop集群安装

1.Hadoop安装包下载

本书采用的是CDH版本的hadoop-2.6.0-cdh5.7.0，相关的下载地址为：http://archive.cloudera.com/cdh5/cdh/5/；下载完存放在~/software/目录下，相关的软件安装在~/app目录下。

2.Hadoop安装包解压

将下载的Hadoop安装包解压到~/app目录下。

tar -zxvf ~/software/hadoop-2.6.0-cdh5.7.0.tar.gz -C /app

3.Hadoop伪分布式环境搭建

Hadoop启动后，Name Node是通过SSH（Secure Shell）来启动和停止各个Data Node上的进程，所以先在本机上实现SSH免密码登录。

ssh-keygen -t rsa

ssh-copy-id localhost

成功执行上述两条命令后即可免密码登录至本机：

ssh localhost

其中localhost可为主机名或IP地址。

在进行伪分布式环境部署之前，先来了解下伪分布式环境部署和分布式环境部署的区别：

（1）伪分布式：在一台机器上启动Hadoop需要的所有进程进行工作。

（2）分布式：在多台机器上都部署Hadoop，按照集群的规划在不同的机器上启动各自需要的Haodop进程进行相互协调工作。

环境搭建的步骤如下。

（1）将Hadoop安装目录添加到系统环境变量（~/.bash_profile）中。

vi ~/.bash_profile

export JAVA_HOME=/home/hadoop/app/jdk1.7.0_79

export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0

export PATH=.:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH

执行“source ~/.bash_profile”命令使得环境变量生效。

（2）配置Hadoop环境的配置文件hadoop-env.sh。

//设置JDK的安装路径

export JAVA_HOME=/home/hadoop/app/jdk1.7.0_79

（3）配置Hadoop核心文件core-site.xml。

//配置Name Node的主机名和端口号

<property>

　　<name>fs.default FS</name>

　　<value>hdfs://hadoop000:8020</value>

</property>

（4）配置HDFS文件hdfs-site.xml。

//设置HDFS元数据文件存放路径

<property>

　　<name>dfs.namenode.name.dir</name>

　　<value>/home/hadoop/tmp/dfs/name</value>

</property>

<property>

　　<name>dfs.datanode.data.dir</name>

　　<value>/home/hadoop/tmp/dfs/data</value>

</property>

//设置HDFS文件副本数

<property>

　　<name>dfs.replication</name>

　　<value>1</value>

</property>

//设置其他用户执行操作时会提醒没有权限的问题

<property>

　　<name>dfs.permissions</name>

　　<value>false</value>

</property>

注意

各目录一定要是非/tmp下的目录，否则默认是在/tmp下。如果是在虚拟机环境操作的话，每次重启后都会删除/tmp中的文件；该文件在Hadoop启动的时候会自动创建。

（5）配置Map Reduce文件mapred-site.xml。

<property>

　　<name>mapreduce.framework.name</name>

　　<value>yarn</value>

</property>

（6）配置YARN文件yarn-site.xml。

<property>

　　<name>yarn.nodemanager.aux-services</name>

　　<value>mapreduce_shuffle</value>

</property>

（7）从节点配置文件slaves。

hadoop000

4.格式化HDFS系统

hadoop namenode -format

注意

格式化HDFS操作只有第一次才使用，如果对已有的集群再一次执行格式化操作，那么已有集群上的数据会全部丢失。

5.启动HDFS

（1）常用的启动方式有两种。

启动方式一：一次启动所有进程

$HADOOP_HOME/sbin/start-dfs.sh

启动完成后可以通过jps命令检测是否启动成功，如果正常启动会有如下3个进程：

jps

Secondary Name Node

Name Node

Data Node

启动方式二：单独启动每个进程

//启动namenode

hadoop-daemon.sh start namenode

//jps检测会有Name Node进程

//启动datanode

hadoop-daemon.sh start datanode

//jps检测会有Data Node进程

//启动secondarynamenode

hadoop-daemon.sh start secondarynamenode

//jps检测会有Secondary Name Node进程

（2）使用命令操作HDFS文件系统。

详细的HDFS脚本命令会在第2章中详细讲解，本章只做一个简单的应用。

//创建HDFS目录

hadoop fs -mkdir /helloworld

//查看目录是否创建成功

hadoop fs -ls /

（3）HDFS界面浏览器访问：http://hadoop000:50070。

6.启动YARN

（1）常用的启动方式有两种。

启动方式一：一次启动所有进程

$HADOOP_HOME/sbin/start-yarn.sh

启动完成后可以通过jps命令检测是否启动成功，如果正常启动会有如下两个进程。

jps

Node Manager

Resource Manager

启动方式二：单独启动每个进程

//启动resourcemanager

yarn-daemon.sh start resourcemanager

//jps检测会有jps: Resource Manager进程

//启动resourcemanager

yarn-daemon.sh start nodemanager

//jps检测会有jps: Node Manager进程

（2）运行wordcount测试案例。

Hadoop安装包中自带了wordcount的应用程序，jar包所处路径为：$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar。

//wordcount要测试的数据文件：hello.txt，使用制表符进行分隔

hello world hello

hello welcome world

//将hello.txt文件上传到HDFS文件系统上去

Hadoop fs -put hello.txt /

//提交mapreduce作业到yarn上运行

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar wordcount /hello.txt /wc_out/

//查看wordcount统计结果

hadoop fs -text /wc_out/part*

hello 3

welcome 1

world 2

（3）YARN界面浏览器访问：http://hadoop000:8088。