centos7-datax和datax-web安装以及安装中问题的解决
一、下载这些软件(见)
系统变量设置(安装maven和jdk略)
vi /etc/profile
JAVA_HOME=/usr/local/jdk1.8.0_40
CLASSPATH=$JAVA_HOME/lib/
PATH=$PATH:$JAVA_HOME/bin
DATAX_HOME=/usr/local/datax
PATH=$PATH:$DATAX_HOME/bin
export MAVEN_HOME=/usr/local/apache-maven-3.6.3
export PATH=$PATH:$MAVEN_HOME/bin
生效系统变量
source /etc/profile
yum install python
二、安装配置datax
wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
tar -zxvf datax.tar.gz && mv datax /usr/local/ cd /usr/local/datax/bin/ python datax.py /usr/local/datax/job/job.json
报错:
com.alibaba.datax.common.exception.DataXException: Code:[Common-00], Describe:[您提供的配置文件存在错误信息,请检查您的作业配置 .] - 配置信息错误,您提供的配置文件[/usr/local/datax/plugin/reader/._drdsreader/plugin.json]
进入查询,删除文件
cd /usr/local/datax/plugin/reader
ll -a
[root@Data1 reader]# ll -a
total 76
drwxr-xr-x 21 502 games 4096 Feb 19 21:05 .
drwxr-xr-x 4 502 games 66 Feb 19 21:05 ..
drwxr-xr-x 3 502 games 224 Feb 19 21:05 cassandrareader
-rwxr-xr-x 1 502 games 212 Oct 12 2019 ._cassandrareader
....
删除._开头语文件
rm -f ._*
cd /usr/local/datax/plugin/writer/
rm -f ._*
再次运行成功安装完成:
python /usr/local/datax/bin/datax.py /usr/local/datax/job/job.json
由于/etc/profile中加了DATAX_HOME的环境变量,也可以用下面语句测试dataX是否安装成功:
[root@node-4 bin]# python $DATAX_HOME/bin/datax.py $DATAX_HOME/job/job.json
安装datax-web
centos7安装DataX可视化工具DataX-web
三、安装环境:Centos7,JDK1.8, Python 2.7.5,Datax 最新版本,Datax-web-2.1.2
1、下载datax-web免编译压缩包
datax-web压缩包:https://pan.baidu.com/s/13yoqhGpD00I82K4lOYtQhg 提取码:cpsk
2、解压压缩包
tar -xvf datax-web-2.1.2.tar.gz
3、安装
cd datax-web-2.1.2/bin
./install.sh #一键安装
会有交互 提示,一路输入 y就行
4、配置
cd datax-web-2.1.2/modules/datax-execute/bin
cd /usr/local/datax-web-2.1.2/modules/datax-admin/bin
配置datax-web的数据库:
四、在navicat里面执行sql文件
MySQL8.0及以上版本创建数据库并分配用户授权
1)create database `datax_web` character set utf8mb4;
2)CREATE USER 'root'@'%' IDENTIFIED BY 'jysj@123456';
3)flush privileges;
4)grant all privileges on *.* to root@'%' with grant option;
5)ALTER USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY 'jysj@123456';
6)flush privileges;
执行一键安装脚本
进入解压后的目录,找到bin目录下面的install.sh文件,如果选择交互式的安装,则直接执行
./bin/install.sh
在交互模式下,对各个模块的package压缩包的解压以及configure配置脚本的调用,都会请求用户确认,可根据提示查看是否安装成功,如果没有安装成功,可以重复尝试; 如果不想使用交互模式,跳过确认过程,则执行以下命令安装
./bin/install.sh --force
启动datax-web服务
cd datax-web-2.1.2/bin
./start-all.sh
访问web页面:http://192.168.100.4:9527/index.html
默认admin/123456
5、
报错:[odpsreader,mysqlwriter]加载失败,1s后重试... Exception:Code:[Common-00], Describe:[您提供的配置文件存在错误信息,请检查您的作业配置 .] - 配置信息错误,
您提供的配置文件[/home/lijixin/datax/datax/plugin/reader/._oraclereader/plugin.json]不存在. 请检查您的配置文件.
经DataX智能分析,该任务最可能的错误原因是:
com.alibaba.datax.common.exception.DataXException: Code:[Common-00], Description:[您提供的配置文件存在错误信息,请检查您的作业配置。].
-配置信息错误 ,您提供的配置文件:/Users/hn/datax/plugin/reader/.DS_Store/plugin.json]不存在,请检查您的配置文件。
查看plugins里是否有clickhouse的writer和reader的文件夹,文件夹里面是jar包,下载从百度网盘
里面找到文件夹上传到对应的centos7上的对应文件夹里面,并且保证里面没有垃圾文件,全部是文件夹,没有._的开头的文件。