Hadoop环境建设中的问题及解决方案

1.在启动hadoop之前，ssh登录从主机是正常的。使用start-all.sh命令启动hadoop时，需要输入从主机的密码，表示ssh文件权限有问题，需要执行以下操作：

1)输入。ssh目录查看是否有公钥和私钥文件authorized_keys、id_rsa和id_rsa.pub

2)如果没有公钥和私钥文件，执行ssh-keygen -t rsa生成密钥(主主机和从主机都需要执行)

3)公钥和私钥文件生成完成后，执行cat id_rsa.pub authorized_keys，并将生成的公钥添加到认证文件中

4)将从服务器公钥写入主服务器的authorized_keys文件

[[email protected]~]# ssh-copy-id-isslave 01[[email protected]~]# ssh-copy-id-isslave 025)登录从属服务器(sshsslave01)查看是否需要输入密码。如果您仍然需要输入密码，这意味着uthorized _ keys文件的权限有问题，请转到下一步。

6)使用ssh -vvv slave01调试命令进入slave01调试界面

7)将authorized_keys文件权限设置为600，chmod 600 ~/。ssh/授权密钥

8)同样，slave01也应以同样的方式设置，并在主机终端继续执行步骤6和步骤7中的命令

9)设置完成后，登录主机中的slave01和slave02。如果不需要输入密码，配置就完成了

10)停止所有hadoop进程：stop-all.sh

11)重启Hadoop: start-all.sh。

2.启动hadoop后，使用jps检查主服务器中是否没有namenode服务，解决方案如下：

1)首先停止所有hadoop进程：stop-all.sh

2)格式名称节点：hdfs名称节点-格式

3)重启Hadoop:从头开始

4)输入要查看的jps，可以看到名称节点流程

3.启动hadoop后，使用jps检查从服务器中是否没有datanode服务，解决方案如下：

1)首先停止所有hadoop进程：stop-all.sh

2)进入hadoop安装目录：/software/hadoop，删除hadoopdate文件夹

3)进入hadoop安装目录：删除/software/hadoop中hadoop-2.7.3文件夹中的logs文件夹

4)在slave01主机和slave02主机的终端上执行步骤2和3，确保步骤2和3的文件夹被完全删除

5)格式名称节点：hdfs名称节点-格式

6)重启Hadoop:从头开始

7)在slave01主机和slave02主机终端输入jps进行查看，可以看到数据节点进程

摘要

以上就是边肖介绍的搭建Hadoop环境过程中遇到的问题和解决方法，希望对大家有所帮助。如果你有任何问题，请给我留言，边肖会及时回复你。非常感谢您对我们网站的支持！如果你觉得这篇文章对你有帮助，请转载，请注明出处，谢谢！