昭通建设局网站,临沂招聘网最新招聘,安徽省铜陵市建设局网站,WordPress采集微信参考#xff1a;林子雨老师网站博客 Hadoop安装搭建伪分布式教程#xff08;全面#xff09;吐血整理
环境
Vmare12 Ubuntu16.04
创建Hadoop用户
若安装Ubuntu不是用的“hadoop”用户#xff0c;则需要增加一个名为hadoop的用户
直接快捷键ctrlaltt或者点…参考林子雨老师网站博客 Hadoop安装搭建伪分布式教程全面吐血整理
环境
Vmare12 Ubuntu16.04
创建Hadoop用户
若安装Ubuntu不是用的“hadoop”用户则需要增加一个名为hadoop的用户
直接快捷键ctrlaltt或者点击小箭头以打开终端窗口输入该命令创建新用户
$ sudo useradd -m hadoop -s /bin/bash该条命令创建了可以登录的hadoop用户且使用/bin/bash作为shell
sudo命令Ubuntu中一种权限管理机制。管理员可以授权给一些普通用户去执行一些需要root权限执行的操作。 当使用sudo命令时需要输入当前用户密码密码在linux的终端中输入密码终端不显示任何你当前输入的密码也不会提示已输入了多少字符密码在windows系统中输入密码往往会是*输入法中英文切换ubuntu中终端输入的命令一般是用英文输入。Ubuntu终端复制快捷键ctrlvshift
设置密码 以密码hadoop为例
$ sudo passwd hadoop可以给hadoop用户增加管理员权限方便部署
$ sudo adduser hadoop sudo注销当前用户 点击屏幕右上角的齿轮选择注销返回登陆界面。在登陆界面选择刚创建的hadoop用户进行登录。
更新apt
(1)为后续一些apt软件安装更新apt
$ sudo apt-get update (2)系统设置左边的小齿轮→软件和更新系统→from中选择other→列表中选[mirrors.aliyun.com]→choose server右下角→关闭→重新载入 (3)再次执行sudo apt-get update 2. 为后续方便更改配置文件安装vim sudo apt-get install vim 安装时照例有确认输入y即可 vim常用模式命令模式插入模式可视模式正常模式 1正常模式 主要用来浏览文本内容。 一开始打开vim是正常模式且在任何模式下按esc键可以返回正常模式 2插入编辑模式 用来向文本添加内容。 在正常模式下输入i键进入插入编辑模式 3推出vim 利用vim修改任何文本时都别忘了保存。 esc键退回到正常模式中输入:wq可保存并退出vim 安装SSH、配置SSH无密码登录
SSH登录类似于远程登录可以登录某台Linux主机且在上面运行命令在集群、单节点模式都需用到。 Ubuntu默认已安装了SSH client此外还需要安装SSH server
sudo apt-get install openssh-server安装后登录本机
ssh localhostSSH首次登录提示输入yes再按提示输入密码以登录本机但该种登录方式需要密码
配置SSH无密码登录 推出刚才的ssh,回到原先的终端窗口利用ssh-keygen生成密钥并把密钥加入到授权中
exit # 退出刚才的ssh localhostcd ~/.ssh/ # 若没有该目录先执行一次ssh localhostssh-keygen -t rsa # 会有提示按回车即可当前面又是$再输入下条命令cat ./id_rsa.pub ./authorized_keys #加入授权~ 在Linux系统中~代表的是用户的主文件夹即/home/用户名。如你的用户名是hadoop则 ~ 代表/home/hadoop/ #: 其后的内容为注释
此时再用ssh localhost命令无需输入密码就可以直接登录
安装Java环境
版本匹配Hadoop3.1.3需要JDK版本在1.8及以上。
本机文件传输到虚拟机
借助FileZilla
在Linux命令行界面中执行如下Shell命令(当前登录用户名是hadoop)
cd /usr/lib
sudo mkdir jvm #创建/usr/lib/jvm目录来存放JDK文件
cd ~ # 进入hadoop用户的主目录
cd Downloads # 注意区分大小写字母刚才通过FTP软件把JDK安装包jdk.8u162-linux-x64.tar.gz上传到该目录下
sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm # 把JDK文件解压到/usr/lib/jvm目录下(复制加shift)
确认是否添加成功
cd /usr/lib/jvm
ls看到/usr/lib/jvm目录下有jd1.8.0目录
设置环境变量
cd ~
vim ~/.bashrc使用vim编辑器输入i进入编辑状态 在文件开头添加
export JAVA_HOME/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME${JAVA_HOME}/jre
export CLASSPATH.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH${JAVA_HOME}/bin:$PATH按esc键退出编辑状态输入:wq保存并退出
让.bashrc文件的配置立即生效
source ~/.bashrc查看是否安装成功
java -version返回版本号啥的说明
安装hadoop3.1.3 hadoop3.1.3 链接https://pan.baidu.com/s/1BnF9IaBMH8QazFe7BurxOw 提取码j756 同上用FileZilla传到Ubuntu中以保存在Downloads为例
sudo tar -zxf ~/Downloads/hadoop-3.1.3.tar.gz -C /usr/local # 解压到/usr/local中
cd /usr/local
sudo mv ./hadoop-3.1.3/ ./hadoop #将文件夹改为hadoop
sudo chown -R hadoop ./hadoop # 修改文件权限hadoop解压后即可使用。 输入命令检查Hadoop是否可用显示Hadoop版本信息即为欧克
cd /usr/local/hadoop
./bin/hadoop version./ 相对路径以/usr/local/hadoop为当前目录配置方式单机伪单机
Hadoop单机配置非分布式
Hadoop默认模式就是非分布式模式本地模式无需进行其他配置即可运行。 非分布式即单Java进程方便进行调试。
运行./bin/hadoop jar ./share/hadoop/marreduce/hadoop-mapreduce-examples-3.1.3.jar可以看到所有例子。Hadoop附带了丰富的例子例如wordcount,terasort,join,grep
例如运行grep例子把input文件夹中的所有文件作为输入筛选当中符合正则表达式dfs[a-z.]的单词并统计出现的次数最后输出结果到output文件夹中
cd /usr/localhadoop
mkdir ./input
cp ./etc/hadoop/*.xml ./input #把配置文件作为输入文件
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar grep ./input ./output dfs[a-z.]
cat ./output/* #查看运行结果符合正则规矩的单词出现了一次Hadoop默认不会覆盖结果文件则再次运行上面实例的话会提示出错需要先把./output 删除
rm -r ./outputHadoop伪分布式配置
配置 Hadoop的配置文件位于/usr/local/hadoop/etc/hadoop/中
cd /usr/local/hadoop
cd etc
cd hadoop伪分布式需要修改两个配置文件core-site.xml和hdfs-site.xml.
vim core-site.xml把其中的
configuration
/configuration改为(退出的时候记得保存)
configurationpropertynamehadoop.tmp.dir/namevaluefile:/usr/local/hadoop/tmp/valuedescriptionAbase for other temporary directories./description/propertypropertynamefs.defaultFS/namevaluehdfs://localhost:9000/value/property
/configuration同理把hdfs-site.xml中修改为
configurationpropertynamedfs.replication/namevalue1/value/propertypropertynamedfs.namenode.name.dir/namevaluefile:/usr/local/hadoop/tmp/dfs/name/value/propertypropertynamedfs.datanode.data.dir/namevaluefile:/usr/local/hadoop/tmp/dfs/data/value/property
/configurationHadoop的运行方式是由配置文件决定的运行Hadoop时会读取配置文件。 若需要从伪分布式模式切换为非分布式模式需要删除core-site.xml中的配置项。 格式化
cd /usr/local/hadoop
./bin/hdfs namenode -format返回的一大堆信息中后半部分有“successfully formatted”即为成功
启动Namenode和DataNode守护进程
cd /usr/local/hadoop # 已进入该目录则无需重复
./sbin/start-dfs.sh # start-dfs.sh是个完整的可执行文件中间没有空格检查是否启动成功
jps若出现了以下三个进程除jps的三个缺一不可说明
简单运行Hadoop伪分布式实例
创建多级目录并检查
