Hadoop 虚拟机集群搭建

时间：2023-06-28 20:42:02 | 来源：网站运营

时间：2023-06-28 20:42:02 来源：网站运营

Hadoop 虚拟机集群搭建：

转载：搭建 Hadoop 虚拟机集群 - 本站 (zhihu.com)

搭建 Hadoop 虚拟机集群

一、实验题目

搭建 Hadoop 集群。

二、实验目的

掌握 Linux 虚拟机安装方法或双操作系统安装方法。Hadoop 在 Linux 操作系统上运行可以发挥最佳性能，鉴于目前很多人可能正在使用 Windows 操作系统，因此，为了完成本课程的后续实验，这里有必要通过本实验让大家掌握在Windows 操作系统上搭建 Linux 虚拟机的方法。
掌握 Hadoop 集群安装方法。很多人并不具备集群环境，需要在一台机器上模拟一个小的集群。

三、实验搭建标准

在CentOS环境中搭建Hadoop平台并计算π小数点后10位。

四、实验平台

操作系统：Windows 系统或者 Ubuntu。
虚拟机软件：推荐使用 VMWare 或开源虚拟机软件 VirtualBox。VMware 是一款功能强大的免费虚拟机软件，它不仅具有丰富的特色，而且性能优异，简单易用，可虚拟的系统包括 Windows、Mac OS X、Linux、OpenBSD、Solaris、IBM OS2 甚至 Android 4.0 系统等操作系统。大家可以在 Windows 系统上安装虚拟机软件，然后在虚拟机上安装并且运行 Linux 操作系统。本次实验默认的 Linux 版本为 CentOS 7。

五、实验内容和要求

大家需要构建起 Linux 系统环境，并在 Linux 系统上安装 Hadoop。
构建 Linux 系统环境，有两种方式：（1）在 Windows 系统上安装 Linux 虚拟机；（2）安装双操作系统，即在计算机上同时安装 Windows 和 Linux 系统，计算机开机时，可以选择登录哪个系统。
建议计算机比较新或者配置存储器 4G 以上的计算机可以选择虚拟机安装，计算机较旧或配置存储器小于等于 4G 的计算机强烈建议选择双系统安装，否则，在配置较低的计算机上运行 Linux 虚拟机，系统运行速度会非常慢。


5.1相關軟件

• VMWare/VirtualBox
• Putty
• WinSCP
• CentOS7 ISO
• JDK 1.8.1
• Hadoop v2.8.5

5.2安裝 Linux 系統虛擬機

• master 192.168.88.100
• slave1 192.168.88.101
• slave2 192.168.88.102
• slave3 192.168.88.103

5.3進行 Hadoop 分佈式安裝


在 Linux 环境下完成伪分布式环境的搭建，并运行 Hadoop 自带的 Pi 计算实例检测是否运行正常。


6.1在安装虚拟机前，我们还要进入BIOS开启CPU的虚拟化。


6.1.1进入BIOS


大部分计算机品牌厂商的计算机进入Bios，只需要在开机的第一时间按下键盘上Del键即可进入Bios系统。如果您的计算机按Del热键不能进入Bios，那么就需要您去百度计算机对应主板进入Bios的方法，比如我使用的lenovo台式机是使用F1热键进入Bios.


6.1.2开启CPU 虚拟化


把Virtualization设置为Enabled状态。







F10 Save Changes and Exit

6.2运行安装程序


打开档夹，双击“VMware-workstation-full-14.0.0-6661328.exe”，启动VMware Workstation 14 Pro安装程序；





下一步





接受，下一步




更改默认目录










下一步





无心更新，不用加入计划，下一步




默认，下一步





安装





秘钥：
FF31K-AHZD1-H8ETZ-8WWEZ-WUUVA














安装完成。




点击VMnet1，子网IP设为：192.168.88.0









创建一个虚拟机





自定义




默认





稍后安装，下一步
























































































































Done





















Root Password: r00tqwer





等待完成











快照!!

八、开机初始化

登录：root
密码：r00tqer




复制代码，编辑—→粘贴
cd /etc/sysconfig/network-scripts








Lsvi ifcfg-ens33i（进入插入模式）*ONBOOT=yes (no)*BOOTPROTO=static (dhcp)IPADDR=192.168.88.100PREFIX=24
（注意：冒号为半角）





#





修改主机名及绑定hostname与IP


修改主机名

vi /etc/hostname删除里面内容 改成 master
绑定hostname与IP





创建hadoopGroup /etc/group (file)

添加hadoop用户


设置hadoop的密码爲:【had00p】







快照！！


九、安装JDK
方法一下载：

方法二WinSCP传送程序
打开WinSCP



yes





OK





使用方法一或方法二后：
连接Putty










登录到root（密码：r00tqwer）





安装JDK：
Tip：复制代码后在Putty中按右键直接粘贴，更可以直接把回车一块复制





设置环境变量
i #进去插入模式
copy and paste below




按键盘左上角的Esc，退出插入模式
输入 :wq

立即生效配置

测试java是否配置成功




出现版本信息，则安装成功

Tip：拍摄快照，做错了可以恢复





起个名字，因为我们刚刚安装好了java，所以可起名为java





十、安装 MySQL ver8.0

download





install




-y











啓动MySQL
systemctl start mysqld

设置开机啓动
systemctl enable mysqld

查看root临时密码
grep 'temporary password' /var/log/mysqld.log

如果没有返回任何结果，表示密码是“空”

if get result like below
2018-10-05T14:00:08.854192Z 5 [Note] [MY-010454] [Server] A temporary password is generated for root@localhost: Y/q*P:sgD0TB





==登录MySQL

==输入密码





设置新密码
ALTER USER 'root'@'localhost' IDENTIFIED BY 'Hadoop@123';

创建账号
CREATE USER 'hadoop'@'localhost' IDENTIFIED BY 'Hadoop@123';
CREATE USER 'hadoop'@'%' IDENTIFIED BY 'Hadoop@123';

to list all users
SELECT user FROM mysql.user;






添加权限

刷新权限

SQL commands










SHOW TABLES;





CREATE DATABASE dbname;
USE dbname;


快照！！

十一、安装NTP
【未安装 -bash: ntpstat: command not found】





配置时间同步NTP










同步时间=
【停止NTP：】
【重啓NTP：systemctl restart ntpd】






==修改日期、时间==
{
}





{
==若有需要可以手动添加同步服务器
==添加下列
}


快照！！

十二、克隆虚拟机

































同理做slave2和slave3










做完后如下图：（重命名为master，并移动到“教程集群”档夹内）









快照！！
十三、Hostname IP
启动全部虚拟机，在VM软件中的slave1登录到root：

虚拟机slave1：
==修改主机名





改为slave1





不用重啓，立即生效, 执行下列命令==
hostname slave1




==修改IP address




==不用重啓，立即生效, 执行下列命令==




slave2同理
==修改主机名为slave2




==不用重啓，立即生效, 执行下列命令==
hostname slave2




==修改IP address




==不用重啓，立即生效, 执行下列命令==




slave3同理
==修改主机名为slave3




==不用重啓，立即生效, 执行下列命令==
hostname slave3




==修改IP address




==不用重啓，立即生效, 执行下列命令==






快照！！

十四、SSH免密匙登录
SSH免密匙登录
==master虚拟机，登录到hadoop：
回车
回车
回车









密码：



成功





密码：





成功




















密码：
































==测试SSH免密匙登录==










两次，到hadoop@master（从hadoop@master登录root@slave1）





快照！！


十五、安装hadoop





had00p






























目录规划： （主程序，集羣数据，文件系统元数据，真正的数据，日志信息，临时文件：）










把Hadoop2.8加入hadoopGroup组






快照！！


配置Hadoop环境变量【登录到root】





copy and paste below





立即生效配置





测试Hadoop是否配置成功





7. 修改Hadoop配置文件

(1)hadoop-env.sh, yarn-env.sh, mapred-env.sh

插入下列







插入下列







插入下列




==

(2)修改slaves（仍然在root@master上操作）





==改为下列





(3)配置core-site.xml





paste below code






(4)配置hdfs-site.xml





paste below code






(5)配置mapred-site.xml


paste below code






(6)配置yarn-site.xml





paste below code





SSH免密匙登录【login as “hadoop”】
【若不登出root，用 su - hadoop可登入用户名"hadoop"】






传送Hadoop到各slave 【login as “hadoop”】




















===【hadoop@master】format文件系统












master 运行




结果like below：
4980 ResourceManager
5287 Jps
4764 SecondaryNameNode
4541 NameNode

slave1/2/3 运行













结果like below：
4201 NodeManager
4095 DataNode
4335 Jps


关闭firewall 于 master & slave1/2/3【login as root】

















==开啓浏览器
http://192.168.88.100:50070










==测试圆周率
hadoop jar /home/hadoop/hadoop2.8/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.5.jar pi 100 100000000













yarn jar /home/hadoop/hadoop2.8/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.5.jar pi 16 1000







至此，hadoop虚拟机集群搭建完成。