Mac OS X Yosemite上安装Hadoop教程

这篇文章主要介绍了Mac OS X Yosemite上安装Hadoop教程,本文讲解了安装Homebrew和Cask、安装Java、配置SSH、安装Hadoop、配置Hadoop等内容,需要的朋友可以参考下

1. 安装Homebrew和Cask

打开Mac终端, 安装OS X 不可或缺的套件管理器homebrew和homebrew cask

复制代码代码如下:
$ ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" $ brew install caskroom/cask/brew-cask


2. 安装Java

Hadoop是由Java编写, 所以需要预先安装Java 6或者更高的版本

复制代码代码如下:
$ brew update && brew upgrade brew-cask && brew cleanup && brew cask cleanup $ brew cask install java

测试是否安装成功

复制代码代码如下:
$ java -version

3. 配置SSH

为了确保在远程管理Hadoop以及Hadoop节点用户共享时的安全性, Hadoop需要配置使用SSH协议

首先在系统偏好设置->共享->打开远程登录服务->右侧选择允许所有用户访问

生成密钥对,执行如下命令

复制代码代码如下:
$ ssh-keygen -t rsa

执行这个命令后, 会在当前用户目录中的.ssh文件夹中生成id_rsa文件, 执行如下命令:

复制代码代码如下:
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

使用下面命令测试是否能够不使用密码登录

复制代码代码如下:
$ ssh localhost # Last login: Thu Mar 5 17:30:07 2015

4. 安装Hadoop

复制代码代码如下:
$ brew install hadoop

Hadoop会被安装在/usr/local/Cellar/hadoop目录下

4.1. 配置Hadoop

配置hadoop-env.sh

在目录/usr/local/Cellar/hadoop/2.6.0/libexec/etc/hadoop下找到hadoop-env.sh文件

找到其中一行:

怎么查看自己MAC电脑上的IP地址和MAC地址

IP地址与MAC地址的区别，想必大家都知道了，该怎么查看自己电脑上的IP地址和MAC地址呢？你知道吗？下面以图文的形式为大家详细介绍下

复制代码代码如下:
export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"

修改为:

复制代码代码如下:
export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true -Djava.security.krb5.realm= -Djava.security.krb5.kdc="

在目录/usr/local/Cellar/hadoop/2.6.0/libexec/etc/hadoop下找到core-site.xml

复制代码代码如下:
<configuration> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/Cellar/hadoop/hdfs/tmp</value> <description>A base for other temporary directories.</description> </property> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>

在目录/usr/local/Cellar/hadoop/2.6.0/libexec/etc/hadoop下找到mapred-site.xml, 在其中添加:

复制代码代码如下:
<configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9010</value> </property> </configuration>

在目录/usr/local/Cellar/hadoop/2.6.0/libexec/etc/hadoop下找到hdfs-site.xml

复制代码代码如下:
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>

在运行后台程序前, 必须格式化新安装的HDFS, 并通过创建存储目录和初始化元数据创新空的文件系统, 执行下面命令:

复制代码代码如下:
$ hadoop namenode -format #生成类似下面的字符串: DEPRECATED: Use of this script to execute hdfs command is deprecated. Instead use the hdfs command for it. 15/03/05 20:04:27 INFO namenode.NameNode: STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting NameNode STARTUP_MSG: host = Andrew-liudeMacBook-Pro.local/192.168.1.100 STARTUP_MSG: args = [-format] STARTUP_MSG: version = 2.6.0 ... #此书省略大部分 STARTUP_MSG: java = 1.6.0_65 ************************************************************ /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at Andrew-liudeMacBook-Pro.local/192.168.1.100 ************************************************************/

4.2. 启动后台程序

在/usr/local/Cellar/hadoop/2.6.0/sbin目录下, 执行如下命令

复制代码代码如下:
$ ./start-dfs.sh #启动HDFS $ ./stop-dfs.sh #停止HDFS

成功启动服务后, 可以直接在浏览器中输入http://localhost:50070/访问Hadoop页面

上一篇：MAC系统下的DwellClick软件使用介绍 下一篇：怎么查看自己MAC电脑上的IP地址和MAC地址

相关文章

• 苹果MAC教程 Pixelmator Pro 教程「82」，如何在 Pixelmator Pro 中锐化图像？

  欢迎观看 Pixelmator Pro 教程，小编带大家学习 Pixelmator Pro 的基本工具和使用技巧，了解如何在 Pixelmator Pro 中锐化图像。......

  2023-01-31

  详细阅读
• 苹果MAC教程 Pixelmator Pro 教程「81」，如何在 Pixelmator Pro 中反转图像的颜色？

  欢迎观看 Pixelmator Pro 教程，小编带大家学习 Pixelmator Pro 的基本工具和使用技巧，了解如何在 Pixelmator Pro 中反转图像的颜色。......

  2023-01-31

  详细阅读
• 苹果MAC教程 Pixelmator Pro 教程「80」，如何在 Pixelmator Pro 中淡化图像的阴影？

  欢迎观看 Pixelmator Pro 教程，小编带大家学习 Pixelmator Pro 的基本工具和使用技巧，了解如何在 Pixelmator Pro 中淡化图像的阴影。......

  2023-01-30

  详细阅读
• 苹果MAC教程 Pixelmator Pro 教程「79」，如何在 Pixelmator Pro 中对图像应用老照片风格？

  欢迎观看 Pixelmator Pro 教程，小编带大家学习 Pixelmator Pro 的基本工具和使用技巧，了解如何在 Pixelmator Pro 中对图像应用老照片风格。......

  2023-01-30

  详细阅读
• 苹果MAC教程 Mac游戏软件安装常见问题处理办法

  PKG安装包的游戏安装开始后，再最后阶段基本都会有下图的权限提示，这个时候要按照下面的操作设置选择，不然选错了地方就不在启动台里面看到游戏图标！......

  2023-01-30

  详细阅读

热门文章

• 1如何在 iPhone 或 iPad 上设置 VPN？
• 2苹果Mac邮件不能登陆QQ邮箱解决方法分享
• 3如何在 Mac 上查找已保存的密码？
• 4PhotoShop 各历史版本介绍，你最熟悉哪版？
• 5MacBook Pro用法攻略：如何在MacBook Pro中开启F1、F2快捷键？
• 6苹果电脑如何抹掉mac磁盘？
• 7苹果Mac如何清除dns缓存？
• 8Apple Watch耗电快？8个技巧让你的Apple Watch超省电

最新文章

• Pixelmator Pro 教程「82」，如何在 Pixelmator Pro 中锐化图像？
• Pixelmator Pro 教程「81」，如何在 Pixelmator Pro 中反转图像的颜色？
• Pixelmator Pro 教程「80」，如何在 Pixelmator Pro 中淡化图像的阴影？
• Pixelmator Pro 教程「79」，如何在 Pixelmator Pro 中对图像应用老照片风格？
• Mac游戏软件安装常见问题处理办法
• Pixelmator Pro 教程「76」，如何在 Pixelmator Pro 中使用通道混合器？
• Pixelmator Pro 教程「77」，如何在 Pixelmator Pro 中将彩色图像转换为黑白？
• Pixelmator Pro 教程「78」，如何在 Pixelmator Pro 中使用彩色单色化调整图像？

标签列表

Win10(14523)

Word(12026)

excel(11873)

excel教程(11781)

WPS(10781)

表格(10678)

WPS文字(9982)

win7(7162)

设置(5667)

如何(4964)

win10教程(4889)

excel函数(4705)

word教程(4599)

微信(4505)

方法(4101)

单元格(4044)

文字(3954)

函数(3760)

Mac(3589)

路由器(3517)

Copyright © 2016-2023 office学习教程网 office.tqzw.net.cn. All Rights Reserved.

MAC中快速安装卸载大型软件的技巧

MAC系统是不是也可以通过Setup.exe之类的文件进行软件安装，在MAC系统中是可以做到的，今天小编就给介绍一下这种方法吧，想学习的朋友可以看看