hadoop集群搭建

Comments: No Comments
Published on: 2012 年 03 月 28 日


这篇介绍需要结合着前一篇hadoop单机搭建的介绍一起看。说到的地方不懂的就请看前一篇,有详细操作方法和命令。

集群的搭建需要做的事情我一步一步的写一下,相应的步骤不会就看前一篇:

1、在想搭建hadoop的机器上安装hadoop程序和java。需要hadoop和java的安装程序路径一致,即三台一摸一样的绝对路径。这里举例有以下三台服务器:

192.168.1.1
192.168.1.2
192.168.1.3

我们用1号服务器当主节点,即master节点。备份节点也暂时先用这台,即运行secondarynamenode的节点。这里需要配置相应的java和hadoop的/etc/profile里边的环境变量信息。然后source这个文件,使之生效。

2、在3台服务器上都创建hadoop的用户账号,需要用户名一样,密码也尽量一样吧。然后在主节点创建一个ssh通信用的公钥密钥对,把公钥使用scp命令分发给2、3号服务器,即分发生成的id_***.pub文件,然后添加到authorized_keys文件里。主节点也需要添加。完成这些任务之后可以尝试ssh链接,如果不需要密码就成功了。不成功的话单机搭建篇里有详细方法排错。

3、主节点修改配置文件hadoop-env.sh的JAVA_HOME的值。如果集群里java版本有所不同,就尽量配置指定到java目录下的default软连上,但是尽量不要版本不同。

然后修改三个配置文件:
core-site.xml:

<property>
<name>fs.default.name</name>
<value>hdfs://192.168.1.1:9000</value>
</property>

hdfs-site.xml:

<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.http.address</name>
<value>192.168.1.1:50070</value>
</property>

mapred-site.xml:

<property>
<name>mapred.job.tracker</name>
<value>192.168.1.1:9001</value>
</property>

这几个基本的复制进去就行了,其他的属性单机搭建里有给官方链接,可以进去自己看。
接下来还有两个文件需要配置,一个是master,里边写的是secondarynamenode的运行服务器,这里就填写192.168.1.1。然后配置slaves文件,里边一行填写一个ip,把192.168.1.2和192.168.1.3填写进去。这样conf里的配置信息就简单完成了。同样的我们使用scp命令把这份配置拷贝到集群里所有机器。

4、现在就可以格式化hadoop集群了:

hadoop namenode -format

然后启动hadoop集群:

start-all.sh

OK!大功告成,简单4步,so easy!麻麻再也不用担心我的hadoop集群配置了。

以上内容也是向hadoop集群添加节点的方法,安装程序、配置文件、添加slaves IP、然后启动新添节点的DataNode和TaskTracker守护进程。然后结束。

个人原创,转载请注明:三江小渡

我猜你可能也喜欢:

No Comments - Leave a comment

Leave a comment

电子邮件地址不会被公开。 必填项已用*标注

You may use these HTML tags and attributes: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>


Welcome , today is 星期日, 2017 年 12 月 17 日