kettle定时任务配置_kettle任务调度系统

kettle作业的调度方式

前面我们介绍了 Kettle的Spoon的转换和作业定时任务GUI设计方式以及运行，但是在实际应用中，我们需要任务是在后台运行。

在我们辛辛苦苦地把转换、作业都调试好后，最希望看到的估计就是它能按我们设置好的时间自动运行，满满的成就感，今天就来看看kettle是怎么设置调度运行的。

kettle定时任务配置_kettle任务调度系统

2017/12/07 16:51:26 - Kitchen - Start of run.

种方式：

新建作业，然后在作业START组件中设置自动运行的频次，同时把需要运行的转换、作业连接起来，然后启动运行，同时保证界面不关闭，这样就可以按设置好的时间自动运行了。

第二种方式：

新建普通作业test.kjb，不直接在START组件中设置运行频次，然后新建test.bat批处理文件，内容如下：

C:

cd C:\tools\data-integration

@pause

保存bat文件后，直接在windows下搜索“任务程序”新建定时任务。

按上面设置好后windows就会定时运行test.bat文件，bat文件会启动kitchen.bat运行kettle作业，这样就完成了定时运行。

有更好的办法？欢迎双击图标‘START’，弹出配置窗口讨论。

Kettle入门之四 Kettle定时任务（后台任务）

Repeat：重复—将此项勾选，表示按下面配置的周期重复

首先我们需要了解Kettle的Kitchen和Pan

Kitchen——作业(job)执行器 (命令行方式)

Pan——转换(trasform)执行器 (命令行方式)

1、新建一个bat文件，命名job.bat，然后编辑，输入内容如下：

注意：确保路径的正确性。

2、双击job.bat，即可运打开任务设计窗口‘General’将‘START’和’Transformation’图标拖入右侧窗口，再将‘Scripting’中‘SQL’拖入右侧窗口，并将图标连接起来。行。

我们已经建立了命令行运行的bat文件，并且已经可以正确执行我们的ETL任务了，但是现在我们在运行bat后，桌面上面会一直存在一个控制台的黑窗口，我们可以使用bat命令中的隐藏窗口的命令。

修改我们的job.bat文件

2017/12/07 16:51:31 - job2 - 开始执行任务

2017/12/07 16:51:31 - job2 - job2

2017/12/07 1使用bat运行作业方式效率会比直接在spoon中低，谨慎使用。6:53:31 - job2 - 开始项[简单表同步]

2017/12/07 16:53:31 - 简单表同步 - Loading transformation from XML file [file:///D:/KettleProject/TEST2.ktr]

2017/12/07 16:53:31 - 简单表同步 - Using run configuration [Pentaho local]

2017/12/07 16:53:31 - 简单表同步 - Using legacy execution engine

2017/12/07 16:53:31 - TEST2 - 为了转换解除补丁开始 [TEST2]

2017/12/07 16:53:32 - 插入 / 更新.0 - 完成处理 (I=3, O=0, R=3, W=3, U=1, E=0)

下一篇： Kettle入门之五 Kettle应用场景（增量插入和更新）

如何使用kettle自带的‘Star’定时功能

kitchen.bat /file C:\kettle\test.kjb /ll Basic /logfile C:\kettle\kettle_test.log

打开‘File’—‘New’—‘Jo因为上述编写过的转换只能实现将PC02的数据抽取到PC01中（即将PC01与PC02有的数据更新和PC01中没有而PC02中有的数据插入PC01中），而不能实现保持PC01与PC02数据完全相同（即不能将PC02中已经没有的数据从PC01中删除），所以在执行转换前要编写个SQL语句，在插入PC02数据之前将PC01中的数据先清空，双击‘SQL’图标，弹出配置界面b’，新建一个任务Job

为任务Job创建一个数据库连接即指向PC01的连接，双击Job视图窗口的‘Database Connection’弹出配置界面

创建任务关系

配置START信息

Type：周期类型—Weekly,按周重复

Time of day：时分设置—当天的17：10

Day of week：星期选择—Saturday，定在每周六执行

编写S配置好后，执行，会看到它自动重复调度QL语句

步骤阅读

6导入转换

双击‘Transformation’图标，将已经编写好的转换导入进来

Kettle作业定时调度

2017/12/07 16:53:32 - 表输入.0 - Finished reading query, closing connection.

ETL是一项周期性的任务，需要定时执行，调度Kettle有几种方式：

2017/12/07 16:53:32 - 表输入.0 - 完成处理 (I=3, O=0, R=0, W=3, U=0, E=0)

这回，主要介绍下这个自带的调度小功能。

这是一个空的作业，只有开始和成功，加一个写日志控件

我们双击这个START，就可以设置定时调度了。

我们勾选重复，然后选择调度周期就行了···

这个程序就会一直在后台调度，但是界面不能关，关掉后就不会调度了。

当然，我们也可以在后台调度这个任务，它也会按照调度来执行

kettle内存占用怎么解决？

kettle启动起来就是双击spoon.bat，然后执行这个job，就是那个绿色的三角按钮，但是如若你这时上一篇： Kettle入门之三 Kettle定时任务（GUI）候把kettle关掉了，那这个job也不会按你设置的时间执行了，这种需要你保持kettle窗口一致打开。

kettle工具本身也会占用很大的内存，可以将需要执行的job用k2017/12/07 16:51:26 - Kitchen - Logging is at ll : 基本日志itchen命令写成bat脚本，这样就可以直接在windows上运行，节省很大的内存占用，如果需要定时执行，可以添加到任务中。

kettle定时执行任务设置

还有就是可以使用Kitchen或者Pan命令行，新建.bat文件，然后用windows任务在此双击job.bat运行，我们将不会再看到控制台黑窗口继续保留下面我们将重点讲创建数据库连接解经常会用到的 作业执行器 Kitchen.bat 。在桌面上，并且等待设置的间隔时间后，我们可以看到日志文件记录。执行器定时执行，就避免了一直保持kettle窗口了，具体可以参考我的博客