一、创建Hadoop用户 ~$ sudo addgroup hadoop ~$ sudo adduser --ingroup hadoop hadoop 但是，所创建的用户还不具备admin权限，所以需要赋予admin权限。 ~$ sudo gedit /etc/sudoers # Members of the admin group may gain root privileges %admin ALL=(ALL) ALL hadoop ALL=(ALL) ALL 这样，就可以使用hadoop用户，并且拥有admin权限了。以下操作，都是在hadoop用户下进行的。而且，集群中的每一台机器都要创建这样的用户，并且在这样的用户下进行如下操作。 二、基本准备之JAVA&JDK 这一部分参见我之前写的博文：http://my.oschina.net/jamesju/blog/94916 每一台机器，都要配置好Java环境。不过，话说这部分我的集群上的集群是一个64位3个32位，而且一个是jdk1.7其它的多是openjdk，结果事实证明，没有问题出现。 三、基本准备之修改/etc/hosts文件 ~$ sudo gedit /etc/hosts 127.0.0.1 localhost 192.168.1.102 zhangju-ThinkPad-T420 192.168.1.107 jojo-Thinkpad-R60 192.168.1.100 ubuntu 192.168.1.104 zhaohui-ThinkPad-X230 # The following lines are desirable for IPv6 capable hosts ::1 ip6-localhost ip6-loopback fe00::0 ip6-localnet ff00::0 ip6-mcastprefix ff02::1 ip6-allnodes ff02::2 ip6-allrouters 集群中的每一台机器，都要填好以上的信息。这里需要强调的是，我们一开始是用无线路由器配置的，后来，证明速度有些慢，后来改成了网线，建议大家一开始就用网线固定IP地址的分配。 四、安装配置SSH 需要注意的事情是，所有的集群都需要关闭防火墙： ~$ sudo ufw disable ~$ sudo apt-get install ssh 这个安装完后，可以直接使用ssh命令了。 执行$ netstat -nat 查看22端口是否开启了。 测试：ssh localhost。 输入当前用户的密码，回车就ok了。说明安装成功，同时ssh登录需要密码。 （这种默认安装方式完后，默认配置文件是在/etc/ssh/目录下。sshd配置文件是：/etc/ssh/sshd_config）： 注意：在所有机子都需要安装ssh。 安装之后： ~$ cd /home/hadoop ~$ ssh-keygen -t rsa 然后一直回车，完成后，在home跟目录下会产生隐藏文件夹.ssh。 ~$ cd .ssh ~$ ls ~$ cp id_rsa.pub authorized_keys 测试： ~$ ssh localhost 第一次ssh会有提示信息：
The authenticity of host ‘node1 (10.64.56.76)’ can’t be established.
RSA key fingerprint is 03:e0:30:cb:6e:13:a8:70:c9:7e:cf:ff:33:2a:67:30.
Are you sure you want to continue connecting (yes/no)?
输入 yes 来继续。这会把该服务器添加到你的已知主机的列表中 发现链接成功，并且无需密码。 复制authorized_keys到集群其他机器上，为了保证主节点可以无需密码自动登录到其他机器，先在其他机器上执行： ~$ su hadoop ~$ cd /home/hadoop ~$ ssh-keygen -t rsa 一路按回车. 然后回到主节点，复制authorized_keys到其他集群的机器上： ~$ cd /home/hadoop/.ssh ~$ scp authorized_keys node1.2.3.....n:/home/hadoop/.ssh/ 这里会提示输入密码,输入hadoop账号密码就可以了。 改动你的 authorized_keys 文件的许可权限 ~$ sudo chmod 644 authorized_keys 测试：ssh node1.2.....n（第一次需要输入yes）。 如果不须要输入密码则配置成功，如果还须要请检查上面的配置能不能正确。 五、安装Hadoop ~$ sudo wget http://apache.mirrors.tds.net//hadoop/common/hadoop-0.20.203.0/hadoop-0.20.203.0rc1.tar.gz 下载安装包后，直接解压安装即可： ~$ tar -zxvfhadoop-0.20.203.0rc1.tar.gz 注意： 1.安装Hadoop集群通常要将安装软件解压到集群内的所有机器上。并且安装路径要一致，如果我们用HADOOP_HOME指代安装的根路径，通常，集群里的所有机器的HADOOP_HOME路径相同。 2.如果集群内机器的环境完全一样，可以在一台机器上配置好，然后把配置好的软件即hadoop-0.20.203整个 文件夹拷贝到其他机器的相同位置即可。 3.可以将Master上的Hadoop通过scp拷贝到每一个Slave相同的目录下，同时根据每一个Slave的Java_HOME 的不同修改其hadoop-env.sh 。 4.为了方便，使用hadoop命令或者start-all.sh等命令，修改Master上/etc/profile 新增以下内容： export HADOOP_HOME=/home/hadoop/hadoop-0.20.203 exportPATH=$PATH:$HADOOP_HOME/bin 修改完毕后，执行source /etc/profile 来使其生效。 集群配置： 配置文件： conf/core-site.xml <strong><?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>fs.default.name</name> <value>hdfs://192.168.1.102:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/tmp</value> </property> </configuration></strong> conf/mapred-site.xml <strong><?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>mapred.job.tracker</name> <value>192.168.1.102:9001</value> </property> <!--<property> <name>mapred.local.dir</name> <value>/home/hadoop/hadoop_home/var</value> </property> --> </configuration></strong> conf/hdfs-site.xml <strong><?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <!--<name>dfs.name.dir</name> <value>/home/hadoop/name1, /home/hadoop/name2</value> #hadoop的name目录 <description> </description> </property> <property> <name>dfs.data.dir</name> <value>/home/hadoop/data1, /home/hadoop/data2</value> <description> </description> </property> <property> --> <name>dfs.replication</name> <!-- 我们的集群有四个结点，所以rep两份 --> <value>4</value> </property> </configuration></strong> 配置masters和slaves主从节点： 配置conf/masters和conf/slaves来设置主从结点，注意最好使用主机名，并且保证机器之间通过主机名可以互相访问，每个主机名一行。 <strong>~$ sudo gedit masters</strong> zhangju-ThinkPad-T420 ~$ sudo gedit slaves jojo-Thinkpad-R60 ubuntu zhangju-ThinkPad-T420 zhaohui-ThinkPad-X230 最后,将hadoop文件夹拷贝到集群中的各个机器上： ~$ scp -r /home/hadoop/hadoop root@node1.2.....n: /home/hadoop/ 六、hadoop启动以及测试： ~$ cd /home/hadoop/hadoop/bin ~$ hadoop namenode -format 成功情况下系统将输出类似如下信息： 12/02/06 00:46:50 INFO namenode.NameNode:STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting NameNode STARTUP_MSG: host = ubuntu/127.0.1.1 STARTUP_MSG: args = [-format] STARTUP_MSG: version = 0.20.203.0 STARTUP_MSG: build =http://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20-security-203-r 1099333; compiled by 'oom' on Wed May 4 07:57:50 PDT 2011 ************************************************************/ 12/02/0600:46:50 INFO namenode.FSNamesystem: fsOwner=root,root 12/02/06 00:46:50 INFO namenode.FSNamesystem:supergroup=supergroup 12/02/06 00:46:50 INFO namenode.FSNamesystem:isPermissionEnabled=true 12/02/06 00:46:50 INFO common.Storage: Imagefile of size 94 saved in 0 seconds. 12/02/06 00:46:50 INFO common.Storage: Storagedirectory /opt/hadoop/hadoopfs/name1 has been successfully formatted. 12/02/06 00:46:50 INFO common.Storage: Imagefile of size 94 saved in 0 seconds. 12/02/06 00:46:50 INFO common.Storage: Storagedirectory /opt/hadoop/hadoopfs/name2 has been successfully formatted. 12/02/06 00:46:50 INFO namenode.NameNode:SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down NameNode atv-jiwan-ubuntu-0/127.0.0.1 ************************************************************/ 启动服务： ~$ start-all.sh 停止服务： ~$ stop-all.sh 查看： NameNode - http://node1:50070/ JobTracker - http://node1:50030/ 如果操作正确，就会看到，集群的节点数，以及所有的相关信息显示。 七、运行实例 <strong>~$ cd /home/hadoop/hadoop/bin ~$ hadoop fs -mkdir input ~$ hadoop fs ls ~$ cd .. ~$ hadoop fs -put NOTICE.txt REDME.txt input ~$ hadoop fs -ls input ~$ hadoop jar hadoop-examples-1.0.4.jar wordcount input output </strong> 然后就可以看到map reduce的过程。 <strong>~$ hadoop fs -ls output ~$ hadoop fs -cat output/part-r-00000</strong> 就可以看到相关的程序结果了。 以上操作就是关于ubuntu上进行hadoop reduce集群的环境搭建，并且进行了测试和实例的运行，在这个基础上就可以进行mapreduce的学习编程和大数据的处理了。 转载请保留固定链接： https://linuxeye.com/configuration/1195.html |