菜单

澳门金沙国际Hadoop 二.陆.0伪遍及式配置详解

2019年5月4日 - www6165com

  首先先不看理论,搭建起情况之后再看;

Hadoop新生报到(1) hadoop二.陆.0伪分布式配置详解,hadoophadoop二.六.0

  首先先不看理论,搭建起景况之后再看;

  搭建伪分布式是为了仿效条件,调试方便。

  Computer是win十,用的虚构机VMware Workstation 12Pro,跑的Linux系统是centos陆.伍 ,装的hadoop2.陆.0,jdk一.8;

  一.妄图职业

  盘算职业:把JDK和Hadoop安装包上传到linux系统(hadoop用户的根目录)

  系统碰着:IP:1九二.168.80.9⑨,

  linux用户:

  root/123456,hadoop/123456

  主机名:node

  把防火墙关闭,root实行:service iptables stop

  2.jdk安装

  1.在hadoop用户的根目录,Jdk解压,(hadoop用户操作)tar -zxvf
jdk-八u六伍-linux-x6四.tar.gz 解压完结后,在hadoop用户的根目录有八个jdk1.8.0_65目录

  2.配备情状变量,供给修改/etc/profile文件(root用户操作)切到root用户,输入su命令 vi
/etc/profile 进去编辑器后,输入i,进入vi编辑器的插入方式在profile文件最终增多

JAVA_HOME=/home/hadoop/jdk1.8.0_65

export PATH=$PATH:$JAVA_HOME/bin

  编辑实现后,按下esc退出插入格局输入:,那时在左下角有二个冒号的标记

  q   退出不保留

  wq  保存退出

  q!   强制退出

  叁.把修改的景况变量生效(hadoop用户操作)

  执行source /etc/profile

  4.实行 java -version 查看版本,纵然成功验证jdk配置成功

  

  3.Hadoop 安装

   一.在hadoop用户的根目录,解压(hadoop用户操作)

    tar -zxvf hadoop-2.6.0.tar.gz

   解压完结在hadoop用户的根目录下有叁个hadoop-二.陆.0目录

  二.修改配置文件hadoop-二.陆.0/etc/hadoop/hadoop-env.sh(hadoop用户操作)

    export JAVA_HOME=/home/hadoop/jdk1.8.0_65

  三.改变配置文件hadoop-贰.六.0/etc/hadoop/core-site.xml,增多(hadoop用户操作)

  

<property>

<name>fs.defaultFS</name>

<value>hdfs://node:9000</value>

</property>

  四.改变配置文件hadoop-2.陆.0/etc/hadoop/hdfs-site.xml,加多(hadoop用户操作)

  

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

  五.改造修改配置文件hadoop-②.六.0/etc/hadoop/mapred-site.xml
(hadoop用户操作),这一个文件未有,供给复制一份

    cp etc/hadoop/mapred-site.xml.template
etc/hadoop/mapred-site.xml

    添加

<property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

  六.退换配置文件hadoop-二.陆.0/etc/hadoop/yarn-site.xml,增加(hadoop用户操作)

<property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

  

  7.改造主机名称(root用户操作),重启生效

    vi /etc/sysconfig/network

  修改HOSTNAME的值为用户名

  捌.修改/etc/hosts文件(root用户操作),增多: ip 主机名称

    19二.16八.4四.19玖(用自身的ip,上面讲哪些获取)  node

  附:查看ip地址

  编辑–>虚拟互连网编辑器

澳门金沙国际 1

  net格局,选DHCP设置,获得ip地址初叶

澳门金沙国际 2

  

 net设置,得到网关

澳门金沙国际 3

点左边小计算机,选拔 VPN Connections–>Configue VPN

澳门金沙国际 4

选中eth0,点有左边edit

澳门金沙国际 5

挑选IP Settings
,根据自个儿的ip按图修改,Address正是您的ip地址,在起头ip地址和得了ip地址之间接选举1个就行

澳门金沙国际 6

  九.格式化HDFS,在hadoop解压目录下,实践如下命令:(hadoop用户操作)

    bin/hdfs namenode -format

  注意:格式化只可以操作一遍,如若因为某种原因,集群不可能用,
需求再度格式化,须要把上三遍格式化的音讯删除,在/tmp目录里实行 rm –rf *

  10.起步集群,在hadoop解压目录下,实施如下命令:(hadoop用户操作,截图用机后来改过,主机为gp)

    运维集群:sbin/start-all.sh
  须求输入5回当前用户的密码(通过安插ssh互信消除,截图用机已经布置过ssh不用输密码)

澳门金沙国际 7

   启动后,在命令行输入jps有以下输出

澳门金沙国际 8

闭馆集群:sbin/stop-all.sh
 必要输入6次当前用户的密码(通过安顿ssh互信化解,小编的同上)

 澳门金沙国际 9

  四.SSH互信配置(hadoop用户操作)
  rsa加密方法,公钥和私钥
  壹.生成公钥和私钥
  在命令行执行ssh-keygen,然后回车,然后会提示输入内容,什么都无须写,一路回车
  在hadoop用户根目录下,有一个.ssh目录
  id_rsa 私钥
  id_rsa.pub 公钥
  known_hosts 通过SSH链接到本主机,都会在此间有记录
  二.把公钥给信任的主机(本机)
  在命令行输入ssh-copy-id 主机名称
  ssh-copy-id hadoop
  复制的进度中须要输入信任主机的密码
  三.证实,在命令行输入:ssh 信任主机名称
  ssh hadoop
  如若未有提醒输入密码,则配备成功

 澳门金沙国际 10

   至此,水到渠成。

hadoop二.6.0伪布满式配置详解,hadoophadoop2.陆.0
首先先不看理论,搭建起意况之后再看;
搭建伪遍布式是为着仿效条件,调…

  首先先不看理论,搭建起情形之后再看;搭建伪布满式是为了仿效条件,调节和测试方便。

  搭建伪布满式是为着模仿条件,调试方便。

  Computer是Windows 十,用的虚拟机VMware Workstation 12Pro,跑的Linux系统是CentOS6.5
,安装的Hadoop2.6.0,jdk1.8;

  电脑是win十,用的虚拟机VMware Workstation 12Pro,跑的Linux系统是centos陆.5 ,装的hadoop贰.陆.0,jdk1.捌;

  1.预备干活

  一.预备职业

  图谋专门的职业:把JDK和Hadoop安装包上传到linux系统(hadoop用户的根目录)

  打算工作:把JDK和Hadoop安装包上传到linux系统(hadoop用户的根目录)

  系统遭受:IP:1九贰.16八.80.9九,

  系统景况:IP:19二.16八.80.9玖,

  linux用户:

  linux用户:

  root/123456,hadoop/123456

  root/123456,hadoop/123456

  主机名:node

  主机名:node

  把防火墙关闭,root实践:service iptables stop

  把防火墙关闭,root实行:service iptables stop

  2.jdk安装

  2.jdk安装

  1.在hadoop用户的根目录,Jdk解压,(hadoop用户操作)tar -zxvf
jdk-八u6伍-linux-x6四.tar.gz 解压完成后,在hadoop用户的根目录有一个jdk壹.8.0_65目录

  1.在hadoop用户的根目录,Jdk解压,(hadoop用户操作)tar -zxvf
jdk-8u65-linux-x64.tar.gz 解压完结后,在hadoop用户的根目录有二个jdk1.八.0_65目录

  二.布局情形变量,需求修改/etc/profile文件(root用户操作)切到root用户,输入su命令 vi /etc/profile 进去编辑器后,输入i,进入vi编辑器的插入情势在profile文件最终增多

  2.布局情况变量,须要修改/etc/profile文件(root用户操作)切到root用户,输入su命令 vi /etc/profile 进去编辑器后,输入i,进入vi编辑器的插入方式在profile文件最终增添

 

JAVA_HOME=/home/hadoop/jdk1.8.0_65

export PATH=$PATH:$JAVA_HOME/bin

JAVA_HOME=/home/hadoop/jdk1.8.0_65

  编辑完结后,按下esc退出插入方式输入:,那时在左下角有3个冒号的标记

 

  q   退出不保留

export PATH=$PATH:$JAVA_HOME/bin

  wq  保存退出

 

  q!   强制退出

  编辑实现后,按下esc退出插入格局输入:,那时在左下角有贰个冒号的标记

  三.把修改的情状变量生效(hadoop用户操作)

  q   退出不保留

  执行source /etc/profile

  wq  保存退出

  四.实行 java -version 查看版本,假诺成功验证jdk配置成功

  q!   强制退出

  

  叁.把修改的景况变量生效(hadoop用户操作)

  3.Hadoop 安装

  执行source /etc/profile

   ①.在hadoop用户的根目录,解压(hadoop用户操作)

  4.实践 java -version 查看版本,假如成功验证jdk配置成功

    tar -zxvf hadoop-2.6.0.tar.gz

  

   解压达成在hadoop用户的根目录下有叁个hadoop-二.六.0目录

  3.Hadoop 安装

  2.修改配置文件hadoop-二.陆.0/etc/hadoop/hadoop-env.sh(hadoop用户操作)

   一.在hadoop用户的根目录,解压(hadoop用户操作)

    export JAVA_HOME=/home/hadoop/jdk1.8.0_65

    tar -zxvf hadoop-2.6.0.tar.gz

  3.改变配置文件hadoop-二.陆.0/etc/hadoop/core-site.xml,增多(hadoop用户操作)

   解压完结在hadoop用户的根目录下有三个hadoop-二.六.0目录

相关文章

发表评论

电子邮件地址不会被公开。 必填项已用*标注

网站地图xml地图