Mac下搭建Hadoop环境

安装JDK

安装JDK,安装成功后在终端中输入java -version,显示如下

1
2
3
java version "1.7.0_51"
Java(TM) SE Runtime Environment (build 1.7.0_51-b13)
Java HotSpot(TM) 64-Bit Server VM (build 24.51-b03, mixed mode)

安装Hadoop

下载Hadoop,将该文件解压至/usr/local目录下

配置系统环境变量

1
2
3
4
5
6
7
8
9
10
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_51.jdk/Contents/Home
export HADOOP_HOME=/usr/local/hadoop-2.4.1
export HADOOP_PREFIX=${HADOOP_HOME}
export HADOOP_COMMON_HOME=${HADOOP_PREFIX}
export HADOOP_HDFS_HOME=${HADOOP_PREFIX}
export HADOOP_MAPRED_HOME=${HADOOP_PREFIX}
export HADOOP_YARN_HOME=${HADOOP_PREFIX}
export HADOOP_CONF_DIR="$HADOOP_HOME/etc/hadoop/"
export YARN_CONF_DIR=${HADOOP_CONF_DIR}
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin

配置ssh

测试ssh是否可以登录

输入ssh localhost显示

1
ssh: connect to host localhost port 22: Connection refused

表示ssh未配置,需要进行配置;

“系统偏好设置”–>”共享”–>”远程登录”;

再次输入ssh localhost,输入密码后可以看到连接成功的信息

1
Last login: Mon Jul 14 23:41:32 2014 from localhost

设置ssh免登录

  • 构造秘钥
    ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
    -t: 秘钥类型
    -P: 提供密语
    -f: 生成的秘钥文件
    执行指令后,.ssh目录中将出现id_dsa私钥和id_dsa公钥
  • 将公钥追加到授权key中
    cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

配置Hadoop环境

###

参考资料

在Mac上安装Hadoop
hadoop 2.2.0 单节点安装和测试
在Mac OS上配置hadoop伪分布式环境【下】

转载

本文出自<<arccode>>, 欢迎转载, 转载请注明出处.