Hadoop在Windows环境下的部署

安装JDK
1.下载JDK
http://www.oracle.com/technetwork/java/javaee/downloads/java-ee-sdk-6u3-jdk-6u29-downloads-523388.html

2.解压
或者直接运行.exe安装
后面根据项目的实际需要来进行调整。

安装 Cygwin
1.下载Cygwin
网址： http://www.cygwin.com/setup.exe

2.安装Cygwin

Net Category 下的OpenSSL, Openssh

Base Category 下的sed

Editors Category 下的vim

Devel Category 下subversion

后面根据项目的实际需要来进行调整。

配置环境变量
1.配置JAVA 环境变量
PATH 和JAVA_HOME,CLASSPATH：
JAVA_HOME 指向JDK安装目录；
PATH 指向JDK的bin
CLASSPATH: .;%JAVA_HOME%/lib/dt.jar;%JAVA_HOME%/lib/tools.jar;

启动 SSHD 服务
1.安装SSHD
ssh-host-config

启动SSHD
net start sshd
ssh 的安装和配置
实现ssh无密码登陆
$ssh-keygen -t rsa
直接回车，完成后会在~/.ssh/生成两个文件：id_dsa 和id_dsa.pub。这两个是成对出现，类似钥匙和锁。再把id_dsa.pub 追加到授权key 里面(当前并没有authorized_keys
$cat~/.ssh/id_rsa.pub»~/.ssh/authorized_keys完成后可以实现无密码登录本机

安装 Hadoop
1.下载Hadoop
http://labs.mop.com/apache-mirror/hadoop/common/hadoop-1.0.0/
下载可下载1.2.X版本的,不一定需要下载0.2x,后面会发现有些库的引用不全.

2.解压Hadoop
tar xzvf hadoop-0.21.0.tar.gz

配置 Hadoop

配置hadoop-env.sh
2 .配置conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml文件

概念
HDFS:

NameNode  ：管理节点
DataNode   ：数据节点
SecondaryNamenode : 数据源信息备份整理节点

MapReduce

JobTracker  ：任务管理节点
Tasktracker  ：任务运行节点

配置文件

   core-site.xml   common属性配置
   hdfs-site.xml    HDFS属性配置
   mapred-site.xml  MapReduce属性配置
   hadoop-env.sh     hadooop 环境变量配置

修改 hadoop-env.sh
配置JDK即可
export JAVA_HOME=/cygdrive/d/tools/jdk 此处注意修改为你的机器上的安装目录
core-site.xml

<configuration>       
<property>    
       <name>fs.default.name</name>    
       <value>hdfs://localhost:9000</value>    
</property>    
<property>  
       <name>hadoop.tmp.dir</name>  
        <value>/hadoop</value>  
     </property>  
</configuration>  

hdfs-site.xml

<configuration>       
   <property>    
         <name>dfs.replication</name>    
         <value>1</value>    
    </property>    
</configuration> 

mapred-site.xml

<configuration>       
    <property>    
         <name>mapred.job.tracker</name>    
         <value>localhost:9001</value>    
    </property>    
</configuration>

启动 Hadoop
1.格式化文件系统

hadoop namenode –format

启动hadoop

启动所有任务start-all.sh/stop-all.sh
启动关闭HDFS: start-dfs.sh/stop-dfs.sh
启动关闭MapReduce: start-mapred.sh/stop-mapred.sh

用jps命令查看进程,确保有 namenode,dataNode,JobTracker,TaskTracker
此处我的机器上没有那么多进程,不知道是不是没有显示

Hadoop 重要的端口
1.Job Tracker 管理界面：50030
2.HDFS 管理界面：50070
3.HDFS通信端口：9000
4.MapReduce通信端口：9001
常用访问页面

HDFS 界面

http://hostname:50070
MapReduce 管理界面

http://hostname:50030

安装差不多就这么多了.

参考文章: http://sishuok.com/forum/blogPost/list/5337.html

Mars(hnynes)

Keep hungury, keep fooling.

Hadoop在Windows环境下的部署