伪分布式系统的配置
基于香港服务器进行Hadoop伪分布式部署
1.准备 Linux 环境
1.1 点击 VMware 快捷方式
1.2 修改主机名 vim /etc/sysconfig/network HOSTNAME=名字
1.3 修改IP
vim /etc/sysconfig/network-scripts/ifcfg-eth0
onboot=yes
BOOTPROTO=static
IPADDR=VM1 卡上的 ID
NETMASK="255.255.255.0" GATEWAY=网关
<
重启网络： service network restart
注解： 如果是 host only 无需执行 ping 命令
{
检查：ping网关(两个)ping www.baidu.com
设置dns服务 vi /etc/resolv.conf
nameserver 114.114.114.114
}
1.4克隆
克隆之后的操作系统需要重新分配物理地址
删除/etc/sysconfig/network-scripts/ifcfg-eth0 文件中的物理地址，删除两行：UUID 和物理地址
b、删除文件/etc/udev/rules.d/70-persistent-net.rules rm -rf /etc/udev/rules.d/70-persistent-net.rules
然后重启
1.4 修改主机名和 IP 的映射关系
vim /etc/hosts VM 安装系统的 IP 主机名
1.5 关闭防火墙
查看防火墙状态 service iptables status
关闭防火墙 service iptables stop
查看防火墙开机启动状态 chkconfig iptables --list
关闭防火墙开机启动 chkconfig iptables off
1.6 重启 Linux reboot 或者 init 6
对这两个操作使用 man 命令看到的内容如下：
"init 6" 基于一系列/etc/inittab 文件，并且每个应用都会有一个相应shutdown 脚本。'init 6' 调用一系列 shutdown 脚本(/etc/rc0.d/K*) 来使系统优雅关机;'reboot' 并不执行这些过程， reboot 更是一个 kernel 级别的命令，不对应使用 shutdown 脚本。
我们应该在通常情况下使用 init 6，在出问题的状况下或强制重启时使用 reboot
2安装 JDK
2.1 上传
2.2 解压 jdk
创建文件夹 mkdir /usr/java
解压 tar -zxvf jdk-7u55-linux-i586.tar.gz -C /usr/java/
2.3 将 java 添加到环境变量中
vim /etc/profile export JAVA_HOME= /usr/java/jdk1.8.0_101 export PATH = $ PATH : $JAVA_HOME/bin
刷新配置 source /etc/profile
3.安装 Hadoop
3.1 上传 hadoop 安装包
3.2 解压 hadoop 安装包 mkdir /YBZ
解压到/YBZ/目录下 tar -zxvf hadoop-2.4.1.tar.gz -C /YBZ/
3.3 修改配置文件( 5 个)
cd /YBZ/hadoop2.4.1/etc/hadoop
第一个：
hadoop-env.sh export JAVA_HOME=/usr/java/jdk1.8.0_101
第二个：
core-site.xml
第三个： hdfs-site.xml
第四个： mapred-site.xml.template
需要重命名： mv mapred-site.xml.template mapred-site.xml
第五个： yarn-site.xml
3.4 将 hadoop 添加到环境变量
vim /etc/profile export JAVA_HOME=/usr/java/jdk1.8.0_101
Export HADOOP_HOME=/YBZ/hadoop-2.4.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
重新生成环境变量 source /etc/profile
3.5 格式化 HDFS( namenode)第一次使用时要格式化 hdfs
namenode -format
3.6 启动 hadoop(在 hadoop 的 sbin 目录下)
先启动 HDFS ./start-dfs.sh
再启动YARN ./start-yarn.sh
3.7 验证是否启动成功
使用jps 命令验证
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode http://192.168.204.110:50070 (HDFS 管理界面)
在这个文件中添加 linux 主机名和 IP 的映射关系
C:\Windows\System32\drivers\etc\hosts
192.168.1.119 YBZhttp://192.168.204.110:8088 ( MR 管理界面)
3.8 上传资料
Hadoop fs -put /root/soft/ying.txt hdfs://YBZ01:9000/xinyin
3.9 上传之后统计数据 hadoop.jar
hadoop-mapreduce-examples-2.4.1.jar wordcount hdfs://YBZ01:9000/yin hdfs://YBZ01:9000/ying
4.配置 ssh 免登陆
注解： centos6 版本也上 ssh 在/ect/目录下
4.1 生成 ssh 免登陆密钥 ssh-keygen -t rsa (四个回车)
生成公钥的目录在 cd ~/
输入 ls -la
本次讲解就到这里，相信小编已经给大家对于Hadoop的伪分布式运行详解做了一些正确合理的普及，大家现在应该理解Hadoop的伪分布式是如何运行的了，喜欢动手的朋友可以安装上述步骤自行安装一遍Hadoop框架进行伪分布式系统研究(上述操作本人都亲自试验过)。
希望大家踊跃的购买我们公司的香港服务器，更好的进行hadoop相关的研究和实战。
如果还有什么不明确或者不懂的地方，欢迎来到新世界主机咨询了解，详情请咨询Skpey咨询：vpssj.net@hotmail.com， 。我们必将竭诚为您服务。