hadoop集群怎么配置(Hadoop3.2.0集群搭建常见注意事项)
hadoop集群怎么配置
Hadoop3.2.0集群搭建常见注意事项一 端口变化
3.2.0版本中namenode页面端口是9870,datanode管理端口是8088,所以需要开放这两个端口还给web页面访问
二but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation
hadoop-env.sh中不光需要配置java-home,还需要声明下面这些用户变量,不然无法启动:
export JAVA_HOME=/usr/local/jdk/jdk1.8.0_191
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
三 3.2.0版本mapred-site.xml 文件配置需要加mapreduce.application.classpath属性
<property> <name>mapreduce.application.classpath</name> <value> /usr/local/hadoop3/etc/hadoop, /usr/local/hadoop3/share/hadoop/common/*, /usr/local/hadoop3/share/hadoop/common/lib/*, /usr/local/hadoop3/share/hadoop/hdfs/*, /usr/local/hadoop3/share/hadoop/hdfs/lib/*, /usr/local/hadoop3/share/hadoop/mapreduce/*, /usr/local/hadoop3/share/hadoop/mapreduce/lib/*, /usr/local/hadoop3/share/hadoop/yarn/*, /usr/local/hadoop3/share/hadoop/yarn/lib/* </value> </property>
四 salave文件编程workers文件了,内容配置是一样的
五 启动成功不报错,但最蛋疼的Live Nodes为0问题
解决步骤:
一 先查看datanode 日志:
如果出现这个说明连接配置有问题,查看core-site.xml配置,这个是配置datanode和namnode通信的:
一看
这里配置的连接地址有问题
hdfs应该配置成namnode的地址,不能配置成datanode的地址,所有节点都一样,这个地址,配置完成重启成功
网上还有说/etc/hots解析不成功的,这个也是一个原因,配置好域名映射就可以了,重要的是先看日志分析是什么问题
最后成功页面
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持开心学习网。
- docker集群安装教程(使用docker部署hadoop集群的详细教程)
- 仅主机模式搭建hadoop集群(阿里云服务器搭建hadoop集群补充)
- virtualbox服务器搭建centos(VirtualBox安装CentOS及JDK、Hadoop的安装与配置详细教程)
- hadoop集群怎么配置(Hadoop3.2.0集群搭建常见注意事项)
- ubuntu安装hadoop单机版(VMware + Ubuntu18.04 搭建Hadoop集群环境的图文教程)
- linux hadoop client 连接hbase(使用docker部署hbase的方法)
- 王铲铲的致富之路无限金币卡法攻略教学(王铲铲的致富之路无限金币卡法攻略教学)
- 文明6金币太少怎么办 文明6无限刷钱教程(文明6金币太少怎么办)
- 开国中将,王牌军63军首任政委,两个连襟一个上将一个少将传为佳话(王牌军63军首任政委)
- 臭名昭著的731部队最高负责人 石井四郎(臭名昭著的731部队最高负责人)
- 王牌部队,你看的剧情我看的时尚(你看的剧情我看的时尚)
- 被鉴定的古董价值300万 当心,你可能遇到诈骗了(被鉴定的古董价值300万)
热门推荐
- Request获取URL的各种信息
- sql server 视图操作(Sql Server 视图数据的增删改查教程)
- python爬虫爬取网页信息教程(python爬虫爬取微博评论案例详解)
- SQL Server与Oracle数据类型的对应关系
- HttpServerUtility类的常用方法
- dedecms无缩略图怎么设置(DEDECMS系统分页标签自定义二次开发实例)
- css3水平移动效果(利用css3 translate完美实现表头固定效果)
- 宝塔面板必须安装哪些软件(宝塔面板安装后必要的安全设置说明)
- dedecms增加导航内容(Dedecms搜索时 当然关键词和栏目名相同时 搜索结果为空的问题的解决方法)
- css3基础选择器有哪些(对CSS3选择器的研究详解)