【Kettle实现神通（数据库）MPP增量、全量数据ETL，同步任务Linux运行（通用）】

1、背景介绍

具体Kettle操作步骤不做过多介绍，主要技术方案说明，Kettle8.2版本放在底部链接提取，本次采用Kettle实现源端：神通数据通用库、目标端：神通MPP增量数据同步，并在服务器端运行Job。

2、windows本地job开发

（1）Kettle压缩包解压到本地，将需要连接的数据库JDBC包上传到安装目录lib下

（2）双击Spoon.bat运行，DB连接配置，具体ETL转换配置不做过多介绍，想了解可以参考Kettle的操作文档 Kettle操作手册

（3）Windows开发好的ETL流程保存到本地上传至Linux端，在这里我创建了个Job目录存放ktr文件（Linux端一样的操作步骤解压Kettle安装包即可）

3、Linux端执行Job文件(ktr文件)

（1）在这里新建了个Shell脚本，处理逻辑可以随意处理，本次只做演示

（2）Linux执行转换命令（进入Kettle安装目录）：file（ktr文件存放目录）、logfie(日志目录)、 norep(表明不是资源库的文件)

./pan.sh -file=/data/kettle/job/st_mpp0719.ktr -norep -logfile= /data/kettle/logs/kettle.log 

（3）Linux执行作业命令

./kitchen.sh -file=/data/kettle/job/st_mpp0719.ktr 

4、定时任务调度

编辑定时任务：crontab -e

每天1点执行：00 01 * * * /data/kettle/shell/kettle_crontab.sh

查看定时任务：crontab -l

5、Kettle8.2安装包

Kettle8.2.0安装包链接：https://pan.baidu.com/s/1QM0Uphv91MAsRpqDkAuU2Q
提取码：0323