查询hadoop集群默认配置,端口配置,目录配置 | 张恒镭的博客

查询hadoop集群默认配置,端口配置,目录配置

时间:13-11-28 栏目:hadoop 作者:恒镭, 张 评论:0 点击: 3,667 次

我们知道配置hadoop最主要的是配置三个文件:

core-site.xml,hdfs-site.xml,mapred-site.xml.

其中core-site.xml是全局配置,hdfs-site.xml和mapred-site.xml分别是hdfs和mapred的局部配置。

他们都在conf目录下.默认情况下都是空的.我们无法得知有哪些配置项.这个时候可以去网上搜索,但是鉴于大家的版本不尽相同,建议可以在

自己的hadoop目录下搜索*default.xml的文件.如下.

hadoop@long-pc:~/hadoop-0.20.2-cdh3u6$ find ./* -name "*default.xml"
./contrib/hdfsproxy/conf/hdfsproxy-default.xml
./src/hdfs/hdfs-default.xml
./src/core/core-default.xml
./src/contrib/hdfsproxy/conf/hdfsproxy-default.xml
./src/mapred/mapred-default.xml

我们查看一个,里面很详细的说明了用途和设置类别.如

./src/core/core-default.xml

<property>
  <name>hadoop.http.filter.initializers</name>
  <value></value>
  <description>A comma separated list of class names. Each class in the list
  must extend org.apache.hadoop.http.FilterInitializer. The corresponding
  Filter will be initialized. Then, the Filter will be applied to all user
  facing jsp and servlet web pages.  The ordering of the list defines the
  ordering of the filters.</description>
</property>

<property>
  <name>hadoop.security.group.mapping</name>
  <value>org.apache.hadoop.security.ShellBasedUnixGroupsMapping</value>
  <description>Class for user to group mapping (get groups for a given user)
  </description>
</property>

 

当然大家也可以去官网查询(注意选择同样的版本)

http://hadoop.apache.org/docs/r1.0.4/core-default.html

其他配置

Hadoop常用的端口配置

HDFS端口

参数 描述 默认 配置文件 例子值
fs.default.name namenode RPC交互端口 8020 core-site.xml hdfs://master:8020/
dfs.http.address NameNode web管理端口 50070 hdfs-site.xml 0.0.0.0:50070
dfs.datanode.address datanode 控制端口 50010  hdfs-site.xml 0.0.0.0:50010
dfs.datanode.ipc.address datanode的RPC服务器地址和端口 50020 hdfs-site.xml 0.0.0.0:50020
dfs.datanode.http.address datanode的HTTP服务器和端口 50075 hdfs-site.xml 0.0.0.0:50075

   
 
  
   
       

 

 

 

MR端口

参数 描述 默认 配置文件 例子值
mapred.job.tracker job tracker交互端口 8021 mapred-site.xml hdfs://master:8021/
mapred.job.tracker.http.address job tracker的web管理端口 50030 mapred-site.xml 0.0.0.0:50030
mapred.task.tracker.http.address task tracker的HTTP端口 50060 mapred-site.xml 0.0.0.0:50060

           
     
   

 

 

其他端口

参数 描述 默认 配置文件 例子值
dfs.secondary.http.address secondary NameNode web管理端口 50090 hdfs-site.xml 0.0.0.0:28680

 

 

集群目录配置

参数 描述 默认 配置文件 例子值
dfs.name.dir name node的元数据,以,号隔开,hdfs会把元数据冗余复制到这些目录,一般这些目录是不同的块设备,不存在的目录会被忽略掉

{hadoop.tmp.dir}

/dfs/name

hdfs-site.xm /hadoop/hdfs/name
dfs.name.edits.dir  node node的事务文件存储的目录,以,号隔开,hdfs会把事务文件冗余复制到这些目录,一般这些目录是不同的块设备,不存在的目录会被忽略掉  ${dfs.name.dir} hdfs-site.xm ${dfs.name.dir}
fs.checkpoint.dir secondary NameNode的元数据以,号隔开,hdfs会把元数据冗余复制到这些目录,一般这些目录是不同的块设备,不存在的目录会被忽略掉

${hadoop.tmp.dir}

/dfs/namesecondary

core-site.xml /hadoop/hdfs/namesecondary
fs.checkpoint.edits.dir secondary NameNode的事务文件存储的目录,以,号隔开,hdfs会把事务文件冗余复制到这些目录 ${fs.checkpoint.dir} core-site.xml ${fs.checkpoint.dir}
hadoop.tmp.dir 临时目录,其他临时目录的父目录 /tmp/hadoop-${user.name} core-site.xml /hadoop/tmp/hadoop-${user.name}
dfs.data.dir data node的数据目录,以,号隔开,hdfs会把数据存在这些目录下,一般这些目录是不同的块设备,不存在的目录会被忽略掉

${hadoop.tmp.dir}

/dfs/data

hdfs-site.xm

/hadoop/hdfs/data1/data,

/hadoop/hdfs/data2/data

mapred.local.dir MapReduce产生的中间数据存放目录,以,号隔开,hdfs会把数据存在这些目录下,一般这些目录是不同的块设备,不存在的目录会被忽略掉

${hadoop.tmp.dir}

/mapred/local

mapred-site.xml

/hadoop/hdfs/data1/mapred/local,

/hadoop/hdfs/data2/mapred/local

mapred.system.dir MapReduce的控制文件

${hadoop.tmp.dir}

/mapred/system

mapred-site.xml /hadoop/hdfs/data1/system

默认的副本数: dfs.support.append 支持文件append,主要是支持hbase false hdfs-site.xml true dfs.replication 文件复制的副本数,如果创建时不指定这个参数,就使用这个默认值作为复制的副本数 3 hdfs-site.xml 2

声明: 本文由( 恒镭, 张 )原创编译,转载请保留链接: 查询hadoop集群默认配置,端口配置,目录配置

查询hadoop集群默认配置,端口配置,目录配置:等您坐沙发呢!

发表评论




------====== 本站公告 ======------
欢迎关注我的博客。

其他