ubuntu下hadoop的部署
_rsa
-rw-r--r-- 1 root root 221 Apr 25 17:51 id_rsa.pub -rw-r--r-- 1 root root 442 Apr 25 17:37 known_hosts id_rsa是密钥文件,id_rsa.pub是公钥文件. [root@codfei .ssh]# scp id_rsa.pub192.168.1.4:/root/.ssh/192.168.1.6 root@192.168.1.4''s password: id_rsa.pub 100% 221 0.2KB/s 00:00 这里把公钥文件取名为本机的ip地址就是为了以后和更多的机器建立信任关系不发生混淆. 现在登陆到192.168.1.4机器 [root@codfei ~]# cd .ssh/ [root@codfei .ssh]# cat 192.168.1.6 >> authorized_keys 然后回到192.168.1.6机器直接 [root@codfei .ssh]# ssh 192.168.1.4 Last login: Wed Aug 8 12:14:42 2007 from 192.168.1.6 这样就可以了,里面偶尔涉及到权限问题.一般./ssh文件夹是755 authorized_keys为600或者644 拥有帝国一切,皆有可能。欢迎访问phome.net *************************
**************************************************** 3.关闭防火墙 sa@sa:~$ sudo ufw disable 防火墙在系统启动时自动禁用 **************************************************** 4安装JDK,hadoop 分别到官网下载tar.gz文件,解压缩至sa文件夹下.两台机子文件目录保持一样,以免不必要都麻烦.我都机器分别下载的是jdk.1.6.0_21和hadoop-0.20.2. 之后将下列语句添加至etc/profile文件中: export JAVA_HOME=/home/sa/jdk1.6.0_21 export JRE_HOME=/home/sa/jdk1.6.0_21/jre export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH export HADOOP_HOME=/home/sa/hadoop-0.20.2 export PATH=$HADOOP_HOME/bin:$PATH /* 改完之后进行测试,参考http://blog.csdn.net/wh62592855/archive/2010/07/14/5733130.aspx 1.java -version查看版本号. sa@sa:/etc$ java -version java version "1.6.0_21" Java(TM) SE Runtime Environment (build 1.6.0_21-b06) Java HotSpot(TM) Server VM (build 17.0-b16, mixed mode) 2.运行java程序 在/home/sa下建立一个hello.java都文件,输入以下内容: public class hello { public static void main(String args [ ]) { System.out.println("Hello World!"); System.out.println("看到这些代表安装成功啦!"); System.out.println("2005/9/5"); } } 3.编译:javac hello.java 4.执行:java hello sa@sa:~$ javac hello.java sa@sa:~$ java hello Hello World! 看到这些代表安装成功啦! 2005/9/5 **************************************************** 5.配置hadoop 此处参考www.hadoopor.com网站制作的《Hadoop 开发者入门专刊》 以下是我针对自己都机器做的工作: *************************** hadoop 的主要配置都在 hadoop-0.20.2/conf 下. (1)在 conf/hadoop-env.sh 中配置 Java 环境(namenode 与 datanode 的都做): 拥有帝国一切,皆有可能。欢迎访问phome.net $ gedit hadoop-env.sh $ export JAVA_HOME=/home/sa/jdk1.6.0_21 (2)配置 conf/masters 和 conf/slaves 文件: masters: sa(只在 namenode 上配置) slaves:(namenode 与 datanode 的都做) ubuntu (3)配置 conf/core-site.xml, conf/hdfs-site.xml 及 conf/mapre |
凌众科技专业提供服务器租用、服务器托管、企业邮局、虚拟主机等服务,公司网站:http://www.lingzhong.cn 为了给广大客户了解更多的技术信息,本技术文章收集来源于网络,凌众科技尊重文章作者的版权,如果有涉及你的版权有必要删除你的文章,请和我们联系。以上信息与文章正文是不可分割的一部分,如果您要转载本文章,请保留以上信息,谢谢! |