站长杂谈

基于香港服务器Linux系统下的Hadoop部署

时间:2017-04-13 16:50 点击:

  基于香港服务器Linux系统下的Hadoop部署

  针对香港服务器这种性能比较高端的服务器,又安装了开源的Linux操作系统(Ubuntu14.04)。如此优越的服务器和开源的操作系统,我们是不是得做点实验来体现它的价值所在。最近比较热门、比较流行的就是大数据、云计算、机器学习和人工智能。下面小编给大家讲一下基于香港服务器下的Ubuntu14.04环境下的Hadoop单机模式部署。

  首先安装Ubuntu14.04操作系统或者在VMware虚拟机中安装虚拟Ubuntu14.04操作系统。(因为本文重点讲解Hadoop,因此安装Ubuntu14.04操作系统这里就不多赘述了)

  其次安装Hadoop单机模式:

  (1)创建新用户组,起名myhadoop,同时将操作系统转换到myhadoop用户组中。

  代码如下:sudoaddgroupmyhadoop(增加用户组)

  (2)创建新用户(基于myhadoop用户组创建新用户),也起名为myhadoop1

  代码如下:sudoadduser-ingroupmyhadoopmyhadoop1(在myhadoop用户组存在情况下创建myhadoop1用户)

  (3)扩大myhadoop1用户权限

  代码如下:输入:sudovim/etc/sudoers回车打开sudoers赋予hadoop1用户跟root用户一样的权限写入:hadoop1ALL=(ALL:ALL)ALL这样就赋予了hadoop1最高权限。

  (4)安装ssh并启动服务

  代码如下:安装:sudoapt-getinstallopenssh-server启动:sudo/etc/init.dssdstart

  检查是否已经启动ps-e|grepssh成功启动界面(出现这个界面则成功)

基于香港服务器Linux系统下的Hadoop部署

  设置免密码登录生成公钥和私钥,并且将公钥加载到authorized_keys中使其密码密码登录,然后登录ssh(代码如下):

  生成公钥私钥ssh-keygen-trsa-P""加载公钥cat到authorized_keys~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys

  登录sshlocalhost

  (5)安装java-jdk

  代码如下:sudoapt-getinstallopenjdk-7-jdk

  检验是否安装成功:java-version

基于香港服务器Linux系统下的Hadoop部署

  (6)安装hadoop2.7.0

  去官网下载然后解压

  代码如下:sudotar-zxvfhadoop-2.7.0.tar.gz直接解压到/usr/local/hadoop文件夹下并赋予最高权限sudochmod777hadoop

  最后配置hadoop和测试hadoop安装成功(该操作都在/usr/local/hadoop文件夹下进行)

  配置~/,bashrc文件

  代码如下:sudovim~/.bashrc

  添加如下标准代码在该文件中

  #HADOOPVARIABLESSTART

  exportJAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

  exportHADOOP_INSTALL=/usr/local/hadoop

  exportPATH=$PATH:$HADOOP_INSTALL/bin

  exportPATH=$PATH:$HADOOP_INSTALL/sbin

  exportHADOOP_MAPRED_HOME=$HADOOP_INSTALL

  exportHADOOP_COMMON_HOME=$HADOOP_INSTALL

  exportHADOOP_HDFS_HOME=$HADOOP_INSTALL

  exportYARN_HOME=$HADOOP_INSTALL

  exportHADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

  exportHADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

  #HADOOPVARIABLESEND

  使配置环境变量生效:source~./bashrc

  编辑/usr/local/hadoop/etc/hadoop/hadoop-env.sh文件

  将JAVA_HOME变量加载到hadoop-env.sh文件中

  标准代码如下:打开此文件sudovim/usr/local/hadoop/etc/hadoop/hadoop-env.sh

  添加:exportJAVA_HOME=/usr/lib/jvm/java-7-openjdk-arm64

  测试文件:

  Hadoop中自带实例测试:

  (1)先创建一个文件mkdirshuru

  将hadoop中自带的README.txt拷入到shuru文件夹中

  cpREADME.txtshuru

  (2)执行实例测试

  标准代码如下:

  bin/hadoopjarshare/hadoop/mapreduce/sources/hadoop-mapreduce-expample-2.4.7-source.jarorg.apache.examples.WordCountshuruoutput

  执行结果如下:

基于香港服务器Linux系统下的Hadoop部署

  执行catoutput/*查看字符统计结果

基于香港服务器Linux系统下的Hadoop部署

  输入:localhost:8080就可登陆到hadoop网页(网页上显示你的注册安装信息)

基于香港服务器Linux系统下的Hadoop部署

  输入:localhost:50070,就可以看到hdfs管理网页

基于香港服务器Linux系统下的Hadoop部署

  本次讲解就到这里,相信小编已经给大家对于Hadoop的安装部署做了一些正确合理的普及,大家现在应该理解Hadoop是如何安装的了,喜欢动手的朋友可以安装上述步骤自行安装一遍(上述操作本人都亲自试验过。)。

  希望大家踊跃的购买我们公司的香港服务器,更好的进行hadoop相关的研究和实战。

  如果还有什么不明确或者不懂的地方,欢迎来到新世界主机咨询了解,详情请咨询Skpey咨询:vpssj.net@hotmail.com, 。我们必将竭诚为您服务。