Flume OG基本架构 | 张恒镭的博客

Flume OG基本架构

时间:14-01-05 栏目:hadoop 作者:恒镭, 张 评论:1 点击: 5,010 次

 

image

image

agent


1、 用于采集数据
2、 数据流产生的地方
 3、通常由source和sink两部分组成
 Source用于获取数据,可从文本文件,syslog,HTTP等获取数据;
 Sink将Source获得的数据进一步传输给后面的Collector。
 Flume自带了很多source和sink实现
 syslogTcp(5140) | agentSink("localhost",35853)
 tail("/etc/services") | agentSink("localhost",35853)  

Collector

 >汇总多个Agent结果
> 将汇总结果导入后端存储系统,比如HDFS,HBase
> Flume自带了很多collector实现
  collectorSource(35853) | console
 collectorSource(35853) |
    collectorSink("file:///tmp/flume/collected", "syslog");
 collectorSource(35853) |
    collectorSink("hdfs://namenode/user/flume/ ","syslog");

 

Agent与Collector对应关系

image

Agent与Collector对应关系


> 可手动指定,也可自动匹配
 >自动匹配的情况下,master会平衡collector之间的负载

image

 

Master


> 管理协调 agent 和collector的配置信息;
> Flume集群的控制器;
>跟踪数据流的最后确认信息,并通知agent;
>通常需配置多个master以防止单点故障;
>借助zookeeper管理管理多Master。

声明: 本文由( 恒镭, 张 )原创编译,转载请保留链接: Flume OG基本架构

Flume OG基本架构:目前有1 条留言

  1. 沙发
    longteng:

    内容不错

    2014-01-07 下午4:06 [回复]

发表评论




------====== 本站公告 ======------
欢迎关注我的博客。

其他