请教flume如何将数据写入HDFS

redhatuser

请教如何将flume采集到的日志数据写入到HDFS中，

结构图：


应用端大概有70台服务器，需要采集日志，而且日志需要写入到HDFS系统上的不同路径下，这样的话汇聚端的agent就没办法写了（请教）


那么可不可以直接将数据从应用服务器采集上传到HDFS节点上呢？？？

像这样：



可以好像这样的结构图是必须flume的agent要跟hadoop的在同一节点上。



flume agent配置：

1. a1.sources = r1
   
2. a1.sinks = k1
   
3. a1.channels = c1
   
4. 
   
5. a1.sources.r1.type = exec
   
6. a1.sources.r1.channels = c1
   
7. a1.sources.r1.command = tail -n +0 -F /home/hadoop/catalina.out
   
8. a1.sources.r1.bind = 0.0.0.0
   
9. a1.sources.r1.port = 44444
   
10. 
    
11. a1.sinks.k1.type = hdfs
    
12. a1.sinks.k1.hdfs.path = hdfs://Hadoop-Namenode:9000/flume/apache-tomcat-base
    
13. a1.sinks.k1.hdfs.filePrefix = events-
    
14. a1.sinks.k1.hdfs.fileType = DataStream
    
15. a1.sinks.k1.hdfs.writeFormat = Text
    
16. a1.sinks.k1.hdfs.roundUnit = minute
    
17. 
    
18. a1.channels.c1.type = memory
    
19. a1.channels.c1.capacity = 1000
    
20. a1.channels.c1.transactionCapacity = 100
    
21. 
    
22. a1.sources.r1.channels = c1
    
23. a1.sinks.k1.channel = c1

复制代码

然后启动：

1. flume-ng agent -c conf -f flume.conf -n a1 -Dflume.root.logger=INFO.console
   
2. Info: Including Hive libraries found via () for Hive access
   
3. + exec /export/java/jdk1.7.0_67/bin/java -Xmx20m -Dflume.root.logger=INFO.console -cp 'conf:/export/server/flume/lib/*:/lib/*' -Djava.library.path= org.apache.flume.node.Application -f flume.conf -n a1
   
4. log4j:WARN No appenders could be found for logger (org.apache.flume.lifecycle.LifecycleSupervisor).
   
5. log4j:WARN Please initialize the log4j system properly.
   
6. log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.

复制代码

卡住不动，HDFS也没有数据。。。。请教各位大神。。。。。网上太多帖子都只是做一个简单示例，请教生产中到底是如何实现日志分类采集存储到HDFS上的。。。