agent.channels=c1 agent.channels.c1.capacity=20000 agent.channels.c1.transactionCapacity=10000 agent.channels.c1.type=memory agent.sinks=k1 agent.sinks.k1.channel=c1 agent.sinks.k1.hdfs.batchSize=8000 agent.sinks.k1.hdfs.filePrefix=log agent.sinks.k1.hdfs.fileType=DataStream agent.sinks.k1.hdfs.path=hdfs://NNHA/data/flume/%{category}/%Y%m%d agent.sinks.k1.hdfs.rollCount=0 agent.sinks.k1.hdfs.rollInterval=86400 agent.sinks.k1.hdfs.round=true agent.sinks.k1.hdfs.roundUnit=minute agent.sinks.k1.hdfs.roundValue=1 agent.sinks.k1.hdfs.serializer.appendNewline=false agent.sinks.k1.hdfs.useLocalTimeStamp=true agent.sinks.k1.hdfs.writeFormat=TEXT agent.sinks.k1.type=hdfs agent.sources=r1 agent.sources.r1.channels=c1 agent.sources.r1.host=0.0.0.0 agent.sources.r1.port=1463 agent.sources.r1.type=org.apache.flume.source.scribe.ScribeSource agent.sources.r1.workerThreads=5主要是serializer.appendNewline设置为false,否则会每条自动添加一个回车上去,其他也没什么太多好解释的,用过flume的自然秒懂,hdfs.path里面,%{category}就是意味着原来scribe里面的category。 flume 1.6的新特性里面是加入了对kafka的source和sink的支持,以及对数据内容的正则过滤传递,这点很有用,貌似下个月或者下下个月会有本关于flume的新书上市。 转载请保留固定链接: https://linuxeye.com/Linux/2714.html |