基于香港服务器Linux系统下的Hadoop部署
针对香港服务器这种性能比较高端的服务器,又安装了开源的Linux操作系统(Ubuntu14.04)。如此优越的服务器和开源的操作系统,我们是不是得做点实验来体现它的价值所在。最近比较热门、比较流行的就是大数据、云计算、机器学习和人工智能。下面小编给大家讲一下基于香港服务器下的Ubuntu14.04环境下的Hadoop单机模式部署。
首先安装Ubuntu14.04操作系统或者在VMware虚拟机中安装虚拟Ubuntu14.04操作系统。(因为本文重点讲解Hadoop,因此安装Ubuntu14.04操作系统这里就不多赘述了)
其次安装Hadoop单机模式:
(1)创建新用户组,起名myhadoop,同时将操作系统转换到myhadoop用户组中。
代码如下:sudoaddgroupmyhadoop(增加用户组)
(2)创建新用户(基于myhadoop用户组创建新用户),也起名为myhadoop1
代码如下:sudoadduser-ingroupmyhadoopmyhadoop1(在myhadoop用户组存在情况下创建myhadoop1用户)
(3)扩大myhadoop1用户权限
代码如下:输入:sudovim/etc/sudoers回车打开sudoers赋予hadoop1用户跟root用户一样的权限写入:hadoop1ALL=(ALL:ALL)ALL这样就赋予了hadoop1最高权限。
(4)安装ssh并启动服务
代码如下:安装:sudoapt-getinstallopenssh-server启动:sudo/etc/init.dssdstart
检查是否已经启动ps-e|grepssh成功启动界面(出现这个界面则成功)
设置免密码登录生成公钥和私钥,并且将公钥加载到authorized_keys中使其密码密码登录,然后登录ssh(代码如下):
生成公钥私钥ssh-keygen-trsa-P""加载公钥cat到authorized_keys~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys
登录sshlocalhost
(5)安装java-jdk
代码如下:sudoapt-getinstallopenjdk-7-jdk
检验是否安装成功:java-version
(6)安装hadoop2.7.0
去官网下载然后解压
代码如下:sudotar-zxvfhadoop-2.7.0.tar.gz直接解压到/usr/local/hadoop文件夹下并赋予最高权限sudochmod777hadoop
最后配置hadoop和测试hadoop安装成功(该操作都在/usr/local/hadoop文件夹下进行)
配置~/,bashrc文件
代码如下:sudovim~/.bashrc
添加如下标准代码在该文件中
#HADOOPVARIABLESSTART
exportJAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
exportHADOOP_INSTALL=/usr/local/hadoop
exportPATH=$PATH:$HADOOP_INSTALL/bin
exportPATH=$PATH:$HADOOP_INSTALL/sbin
exportHADOOP_MAPRED_HOME=$HADOOP_INSTALL
exportHADOOP_COMMON_HOME=$HADOOP_INSTALL
exportHADOOP_HDFS_HOME=$HADOOP_INSTALL
exportYARN_HOME=$HADOOP_INSTALL
exportHADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
exportHADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
#HADOOPVARIABLESEND
使配置环境变量生效:source~./bashrc
编辑/usr/local/hadoop/etc/hadoop/hadoop-env.sh文件
将JAVA_HOME变量加载到hadoop-env.sh文件中
标准代码如下:打开此文件sudovim/usr/local/hadoop/etc/hadoop/hadoop-env.sh
添加:exportJAVA_HOME=/usr/lib/jvm/java-7-openjdk-arm64
测试文件:
Hadoop中自带实例测试:
(1)先创建一个文件mkdirshuru
将hadoop中自带的README.txt拷入到shuru文件夹中
cpREADME.txtshuru
(2)执行实例测试
标准代码如下:
bin/hadoopjarshare/hadoop/mapreduce/sources/hadoop-mapreduce-expample-2.4.7-source.jarorg.apache.examples.WordCountshuruoutput
执行结果如下:
执行catoutput/*查看字符统计结果
输入:localhost:8080就可登陆到hadoop网页(网页上显示你的注册安装信息)
输入:localhost:50070,就可以看到hdfs管理网页
本次讲解就到这里,相信小编已经给大家对于Hadoop的安装部署做了一些正确合理的普及,大家现在应该理解Hadoop是如何安装的了,喜欢动手的朋友可以安装上述步骤自行安装一遍(上述操作本人都亲自试验过。)。
希望大家踊跃的购买我们公司的香港服务器,更好的进行hadoop相关的研究和实战。
如果还有什么不明确或者不懂的地方,欢迎来到新世界主机咨询了解,详情请咨询Skpey咨询:vpssj.net@hotmail.com, 。我们必将竭诚为您服务。