如何获取Flume连接HDFS所需要的包
在学习Hadoop工具中的Flume时,有的小伙伴会遇到这句话:
“Flume要想将数据输出到HDFS,必须持有Hadoop相关jar包”
然后小伙伴就懵逼了,这些包要去什么地方来找呢?
(远在天边,近在眼前)
首先,我们需要的包有
commons-configuration-1.6.jar、
hadoop-auth-2.7.6.jar、
hadoop-common-2.7.6.jar、
hadoop-hdfs-2.7.6.jar、
commons-io-2.4.jar、
htrace-core-3.1.0-incubating.jar
这些包要放在/flume/lib文件夹下。
其中,后两个jar为1.99版本flume必须引用的jar。其他版本可以不引用。
接下来找到你的Hadoop文件
都学到Flume了,肯定能找到自己的Hadoop文件吧(心虚)
进入hadoop-3.3.0\share\hadoop路径
然后在这个位置搜索上面你所需要的几个包
注意:搜索时只能搜索包的名字,不要带版本号,不然容易搜不到
这样就找到了,接下来只需要打开你的Xshell或者其他什么东西连接linux主机,把这些文件拖拽进/flume/lib就可以用了