CSDN

flume基本安装与使用

2023-04-11 20:41 由 gudeman 发表于 #数据库

解压flume包 到/usr/local/src/目录下 

[root@hadoopha01 pack]# tar -zxvf apache-flume-1.7.0-bin.tar.gz -C /usr/local/src/

配置flume环境变量

#FLUME_HOME
export FLUME_HOME=/usr/local/src/flume
export PATH=$PATH:$FLUME_HOME/bin

修改flume中flume-env.sh文件，先将修改名称为flume-env.sh，或者直接新建一个

其中配置jdk

export JAVA_HOME=/usr/local/src/jdk

flume,安装成功

查看版本

[root@hadoopha01 conf]# flume-ng version

flume的基本使用

使用flume传输数据至hdfs中

查询dfs中有那些文件

[root@hadoopha01 conf]# hdfs dfs -ls /

创建一个flume文件夹

[root@hadoopha01 conf]# hdfs dfs -mkdir  /flume

创建一个job目录用于存放flume配置文件

mkdir job
[root@hadoopha01 job]# vi hdfs_k.conf

文件内容

a1.sources = r1
a1.channels = c1
a1.sinks = k1

a1.sources.r1.type = netcat
a1.sources.r1.bind = 主机名
a1.sources.r1.port = 自己设置端口号

a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://主机名称+hdfs端口号/flume/events/%y-%m-%d/%H/%M/%S
a1.sinks.k1.hdfs.filePrefix = events-

#是否是产生新目录,每十分钟产生一个新目录,一般控制的目录方面。
#2017-12-12 -->
#2017-12-12 -->%H%M%S

a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 10
a1.sinks.k1.hdfs.roundUnit = second

a1.sinks.k1.hdfs.useLocalTimeStamp=true

#是否产生新文件。
a1.sinks.k1.hdfs.rollInterval=10
a1.sinks.k1.hdfs.rollSize=10
a1.sinks.k1.hdfs.rollCount=3

a1.channels.c1.type=memory

a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

一个终端启用文件

[root@hadoopha01 job]# flume-ng agent  -f hdfs_k.conf  -n a1

另一个终端传输文件

[root@hadoopha01 job]# nc 主机名 自己设置端口号

 

热门相关：这个人仙太过正经   现在就想要   仗剑高歌   第一神算：纨绔大小姐   致灿烂的你