root@alleni123
1. 首先下载
http://www.apache.org/dyn/closer.cgi/hadoop/common/
2. 解压缩到usr/local/hadoop
3. 设置环境变量
sudo vi $HOME/.bashrc
加入
export HADOOP_PREFIX=/usr/local/hadoop
export PATH=$PATH:$HADOOP_PREFIX/bin
然后在终端窗口输入$PATH, 就可以看到hadoop/bin被加入进去了。
4. 在hadoop的配置文件中设置java路径, 告诉hadoop Java在哪里。
sudo vi /usr/local/hadoop/conf/hadoop-env.sh
找到#The java implementation to use. Required.
修改下面的java_home路径为系统上的jdk的home路径。
这里要禁止ipv6.
在#Extra Java runtime options. Empty by default下面修改为:
export HADOOP_OPTS=-Djava.net.preferIPV4Stack=true
5. 配置namenode端口地址
sudo vi /usr/local/hadoop/conf/core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>
6.
sudo vi /usr/local/hadoop/conf/mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
之前把name这里写成了mapred.jobtracker, 结果导致启动后jobtracker和tasktracker自动关闭。
7. sudo mkdir /usr/local/hadoop/tmp
sudo chown root /usr/local/hadoop/tmp
//这里配置,视频24分钟。 视频的窗口上方显示的是: nuggestuser@HNName
//而我的是root@alleni123
//视频的指令是 sudo chown nuggestuser /usr/local/hadoop/tmp
//所以我把nuggestuser改为root
//这里的chown指令如果不输入, 则会在执行format时抛出hadoop java.net.unknownhostexception
//说alleni123.linux:未知的名称或服务
8. hadoop namenode -format
//这里会出现错误, 参考==分界线下面的内容
9. 输入start-all.sh
然后输入jps
如果能看到
TaskTracker
JobTracker
NameNode
DataNode
SecondaryNameNode
Jps
那应该就是成功了。
====================
关于/etc/hosts
输入#hostname
可以看到我这里是alleni123.linux
也就是说, linux是我的localdomain, 而alleni123是localhost名称。
这样会导致一个错误,参考
http://blog.csdn.net/shirdrn/article/details/6562292
Hadoop格式化HDFS报错java.net.UnknownHostException
因为hadoop找到了alleni123.linux, 却无法从这个域名映射我的localhost的地址。
所以就照着修改。
改了半天没作用。。
最后在
http://www.jb51.net/LINUXjishu/10958.html看到赫然的四个字。
记得重启!!!
简直想骂人了。。
分享到:
相关推荐
Hadoop环境安装设置(最简单的hadoop单机环境部署教程) 安装前设置 SSH设置和密钥生成 安装Java.下载Java (JDK<最新版> - X64 ... 下载Hadoop.下载来自Apache基金会软件,使用下面 ... Hadoop操作模式 在单机模式下...
安装Hadoop(单机版和集群)详细步骤
本文主要介绍了在Ubuntu系统上Hadoop单机版测试环境的搭建过程。
Hadoop单机环境搭建,实战篇
Cygwin+Eclipse搭建Hadoop单机开发环境 cygwin安装后文件备份
Cygwin+Eclipse搭建Hadoop单机开发环境 cygwin安装后文件备份
王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第二讲Hadoop图文训练课程:全球最详细(不放过任何一个细节)的从零起步搭建Hadoop单机和伪分布式开发环境图文教程.pdf
hadoop的单机伪分布安装笔记,使用虚拟机方式、端口转发、搭建hadoop的单机环境。学习hadoop的入门文档之一。
Cygwin+Eclipse搭建Hadoop单机开发环境 cygwin安装后文件备份
Hadoop超详细介绍,详情介绍了Hadoop的安装
win7(32位)平台下Cygwin+Eclipse搭建Hadoop单机开发环境 Cygwin(32位)的安装 + ssh的配置 离线安装包
Hadoop2.4linux安装配置过程详细过程。
hadoop环境配置(单机集群),图文并茂
详实的记录了搭建Hadoop云计算环境的过程,希望能帮助他人快速搭建Hadoop云计算环境,目录如下: 1引言 1 1.1 编写目的 1 2搭建过程 1 2.1 所需软件 1 2.2 VMware Workstation安装 1 2.3 Ubuntu安装 2 2.4 VMware ...
在单机环境下,搭建hadoop的过程说明
本文从零起步构建Hadoop单机版本和伪分布式的开发环境,涉及: 1, 开发Hadoop需要的基本软件; 2, 安装每个软件; 3, 配置Hadoop单机模式并运行Wordcount示例; 4, 配置Hadoop伪分布式模式并运行Wordcount示例;
windows下搭建hadoop开发环境(Eclipse)
Hadoop:2.8.4 (hadoop-2.8.4.tar.gz) Hive:2.3.3 (apache-hive-2.3.3-bin.tar.gz)
自己配了一遍hadoop2.2.0,写给新手,绝对详细,后面还有一个配好了的测试文档,在我的资源里找
windows+linux双系统的安装,hadoop集群的安装配置,单机环境和多机环境的配置安装