一、集群

root

123456

shutdown -h now 关机

第一章 集群

1.1. 安装集群

将集群目录 复制 d:/opt/shixun2 目录中

​

双击 node1.vmx 文件即可启动

1.2. 配置网卡(每天开机后都需要配置)

1.2.1. 配置vmware的网卡

1.2.2. 配置windows系统的网卡信息

1.2.3. 测试是否可以连上互联网?

1.3. 通过crt客户端操作linux

1.3.1. 通过在windows中是否可以连上linux系统

1.3.2. 通过客户端操作linux系统

1.4. 一键启动集群

/onekey/my-start-all.sh 

1.5. 一键启动hive

cd /export/server/hive-2.1.0/bin
expect beeline.exp

show databases;

1.6. 查看进程

jps

1.7. 集群的页面访问

1.7.1. IP访问

一旦Hadoop集群启动并运行，可以通过web-ui进行集群查看，如下所述：

查看NameNode页面地址:

http://192.168.52.161:50070/

​

查看Yarn集群页面地址:

http://192.168.52.161:8088/cluster

​

查看MapReduce历史任务页面地址:

http://192.168.52.161:19888/jobhistory

​

1.7.2. 主机名访问

请注意，以上的访问地址只能使用IP地址，如果想要使用主机名，则对Windows进行配置。

配置方式:

1、打开Windows的C:\Windows\System32\drivers\etc目录下hosts文件

2、在hosts文件中添加以下域名映射

192.168.52.161  node1  node1.itcast.cn
192.168.52.162  node2  node2.itcast.cn
192.168.52.163  node3  node3.itcast.cn

配置完之后，可以将以上地址中的IP替换为主机名即可访问，如果还不能访问，则需要重启Windows电脑，比如访问NameNode，可以使用http://node1:50070/ 。

1.8. Hadoop初体验: HDFS使用

1、从Linux本地上传一个文本文件到hdfs的/目录下

#在/export/data/目录中创建a.txt文件，并写入数据
cd /export/data/
touch a.txt
echo "hello" > a.txt 

#将a.txt上传到HDFS的根目录
hadoop fs -put a.txt  /

1、通过页面查看

通过NameNode页面.进入HDFS：http://node1:50070/

查看文件是否创建成功.

​

1.9. 一键关闭集群

1.9.1. 关闭 hdfs 和 yarn 和 historyserver

/onekey/my-stop-all.sh

1.9.2. 关闭跟hive相关的服务

查询进程号

jps

杀掉 RunJar 对应的进程号

kill -9 xxxx

1.9.3. 关闭系统

shutdown -h now

1.10. 给集群拍摄快照

注意: 一定要在关机的状态下拍摄快照!