当前位置:首页 » Linux技术知识

hadoop搭建在Ubuntu16.04上

2017-08-12 23:21 本站整理 浏览(13)

一、环境

Ubuntu16.04、Hadoop2.7.3、java8

系统安装完成后建议先更新一下 apt源

1、复制原文件备份

sudo cp /etc/apt/source.list /etc/apt/source.list.bak

2、编辑源列表文件

sudo vim /etc/apt/source.list

3、将原来的列表删除,添加如下内容(更换阿里的镜像,也可以更换其他的)

deb http://mirrors.aliyun.com/ubuntu/ vivid main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ vivid-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ vivid-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ vivid-proposed main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ vivid-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ vivid main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ vivid-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ vivid-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ vivid-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ vivid-backports main restricted universe multiverse

4、运行sudo apt-get update

5、运行sudo apt-get upgrade

二、安装SSH、配置SSH无密码登陆

  1. sudo apt-get install openssh-server
  2. ssh localhost
  3. 输入yes,输入当前帐号的密码
  4. exit # 退出刚才的 ssh localhost
    cd ~/.ssh/ # 若没有该目录,请先执行一次ssh localhost
    ssh-keygen -t rsa # 会有提示,都按回车就可以
    cat ./id_rsa.pub >> ./authorized_keys # 加入授权

这样就可以无密码登录了。

三、安装Java环境

随意搜索一下就好,注意安装java8

四、安装hadoop

Hadoop 2 可以通过 http://mirror.bit.edu.cn/apache/hadoop/common/ 或者 http://mirrors.cnnic.cn/apache/hadoop/common/ 下载,一般选择下载最新的稳定版本,即下载 “stable” 下的 hadoop-2.X这个格式的文件,这是编译好的,另一个包含 src 的则是 Hadoop 源代码,需要进行编译才可使用。

选择将 Hadoop 安装至 /usr/local/ 中:

sudo tar -zxf ~/downloads/hadoop-2.7.3.tar.gz -C /usr/local # 解压到/usr/local中
cd /usr/local/
sudo chown -R hadoop ./hadoop-2.7.3 # 修改文件权限

Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用,成功则会显示 Hadoop 版本信息:

cd /usr/local/hadoop
./bin/hadoop version