kettle过滤记录教程

❶ kettle随机数的过滤有什么用

通过正则表达式，可以过滤符合要求的随机数，比如生成的随机数不包含“4”等等

❷ kettle 黑马教程PPT，求大神分享一下

一、Kettle database repository，即保存在各种常见的数据库资源库类型，用户通过用户名/密码来访问资源库中的资源，默认的用户名/密码是admin/admin和guest/guest。

二、Kettle file repository，保存在服务器硬盘文件夹内的资源库类型，此类型的资源库无需用户进行登录，直接进行操作。

当然，资源库并不是必须的，如果没有资源库，用户还可以把转换任务保存在xml文件中。为了方便管理，建议用户建立并使用数据库类型资源库Kettle database repository。

温馨提示：

一、在删除资源库中单个内容时，不会提示“是否确定需要删除”，需要特别注意。 二、win7系统下，“Kettle file repository”类型资源库创建文件夹后，无法删除文件夹，不确定是Kettle工具本身的bug或者是在win7操作系统下的bug。

三、“Kettle database repository”类型资源库虽然有需要用户和密码进行登录，但目前还没有相应的权限控制。

❸ 怎样利用kettle去一次性读取表中所有的数据

拖动表输入控件，绑定数据源连接你要查询的数据库
SQL语句
select * frm table
此时你已经可以获取表中所有数据，根据你后续的需要，再去执行后续相关的操作。
例如过滤就用过滤控件，同步就用表输出控件插入另一张表（甚至可以不同数据源）

❹ kettle教程是什么

kettle 是纯 java 开发，开源的 ETL工具，用于数据库间的数据迁移 。可以在 Linux、windows、unix 中运行。有图形界面，也有命令脚本还可以二次开发。

kettle 的官网是https://community.hitachivantara.com/docs/DOC-1009855，github地址是https://github.com/pentaho/pentaho-kettle。

安装。

这边以 windows 下的配置为例，linux 下配置类似。

jdk 安装及配置环境变量。

由于 kettle 是基于 java 的，因此需要安装 java 环境，并配置 JAVA_HOME 环境变量。

建议安装 JDK1.8 及以上，7.0以后版本的 kettle 不支持低版本 JDK。

下载 kettle。

从 官网 下载 kettle ，解压到本地即可。

下载相应的数据库驱动。

由于 kettle 需要连接数据库，因此需要下载对应的数据库驱动。

例如 MySQL 数据库需要下载 mysql-connector-java.jar，oracle 数据库需要下载 ojdbc.jar。下载完成后，将 jar 放入 kettle 解压后路径的 lib 文件夹中即可。

注意：本文基于 pdi-ce-7.0.0.0-25 版本进行介绍，低版本可能有区别。

启动。

双击 Spoon.bat 就能启动 kettle 。

转换。

转换包括一个或多个步骤，步骤之间通过跳（hop）来连接。跳定义了一个单向通道，允许数据从一个步骤流向另一个步骤。在Kettle中，数据的单位是行，数据流就是数据行从一个步骤到另一个步骤的移动。

1、打开 kettle，点击 文件->新建->转换。

2、在左边 DB 连接处点击新建。

3、根据提示配置数据库，配置完成后可以点击测试进行验证，这边以 MySQL 为例。

4、在左侧找到表输入（核心对象->输入->表输入），拖到右方。

5、双击右侧表输入，进行配置，选择数据源，并输入 SQL。可以点击预览进行预览数据。

6、在左侧找到插入/更新（核心对象->输出->插入/更新），拖到右方。

7、按住 Shift 键，把表输入和插入/更新用线连接起来。

8、双击插入/更新进行配置。

9、点击运行，就可以运行这一个转换。

10、运行结束后，我们可以在下方看到运行结果，其中有日志，数据预览等，我们可以看到一共读取了多少条数据，插入更新了多少数据等等。

这样就完成了一个最简单的转换，从一个表取数据，插入更新到另一个表。

作业。

如果想要定时运行这个转换，那么就要用到作业。

1、新建一个作业。

2、从左侧依次拖动 START 、转换、成功到右侧，并用线连接起来。

3、双击 START，可以配置作业的运行间隔，这边配置了每小时运行一次。

4、双击转换，选择之前新建的那个转换。

5、点击运行，就能运行这次作业，点击停止就能停止。在下方执行结果，可以看到运行的日志。

这样就完成了一个最简单的作业，每隔1小时，将源表的数据迁移到目标表。

总结：kettle 是一个非常强大的 ETL 工具，通过图形化界面的配置，可以实现数据迁移，并不用开发代码。

通过它的作业，kettle 能自动地运行转换。

❺ 通过取出kettle日志里过滤数据的条数来记录，java有这样的包吗

这个我没遇到过。不过可以这样：你在kettle里做个过滤，吧过滤出的数据单独写到 txt或者数据表里，然后 java调 ktr ，然后开个线程 扫描过滤的数据。

❻ 使用kettle过滤组件前，一定要对数据排序吗

悬浮液中的固体颗粒大、粒度均匀时，过滤的滤渣层孔隙较为畅通，滤液通过滤渣层的速度较大。应用凝聚剂将微细的颗粒集合成较大的团块，有利于提高过滤速度。

对于固体颗粒沉降速度快的悬浮液，应用在过滤介质上部加料的过滤机，使过滤方向与重力方向一致，粗颗粒首先沉降，可减少过滤介质和滤渣层的堵塞；在难过滤的悬浮液(如胶体)中混入如硅藻土

❼ 怎么通过kettle 删除mysql数据

一、准备工作
源数据库 目标数据库MongoDB，在源数据库添加删除、更新触发器
二、操作步骤
添加表输入组件，连接ORACLE触发器记录表
添加JAVA代码组件，进行步骤跳转，根据输入的数据判断是删除或者更新，如果是删除，则跳转至MongoDB Delete步骤中，如果是更新的话，跳转至字段选择步骤中。JAVA代码中的详细信息如下：
import java.util.List;

import org.pentaho.di.core.exception.KettleException;
import org.pentaho.di.core.row.RowDataUtil;
import org.pentaho.di.core.row.RowMeta;
import org.pentaho.di.core.row.RowMetaInterface;
import org.pentaho.di.core.row.ValueMeta;
import org.pentaho.di.trans.Trans;
import org.pentaho.di.trans.TransMeta;

private Object[] previousRow;//上一行
private RowSet t1 = null;//业务表步骤
private RowSet t2 = null;//删除步骤

public boolean processRow(StepMetaInterface smi, StepDataInterface sdi) throws KettleException
{
Object[] r = getRow(); //获取输入行

if ( first ) {
if ( getInputRowMeta() == null ) {
setOutputDone();//设置输出完成
return false;
}

❽ ETL之kettle学习

Kettle是一款国外开源的ETL工具，纯java编写，可以在Windows、Linux、Unix上运行，数据抽取高效稳定。

Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。

• 外文名

• Kettle

• 中文名

• 水壶

• 产品

• Spoon、Pan、CHEF、Kitchen

• 脚本文件

• transformation和job，

• 特点

• 绿色无需安装

• 最新版本

• 8.2

❾ kettle 怎么根据时间字段进行过滤

今天使用kettle从mysql导数到oracle，发现只导了7行后，数据传输就终止了，查看日志信息，报内错如下容：

image

报：Couldn't get row from result set问题。

发现从这行开始这个时间字段除了正常的时间数据以外还有NULL值，难道这类的值引起的错误，在查询了相关资料后，才知道jdbc(默认行为)认为null或'0000-00-00'这样的日期时间值是无效的。如果想避开这个问题，需要编辑jdbc的连接属性，添加如下属性值：

zeroDateTimeBehavior=convertToNull

image

设置之后导数成功进行。

image

所以，设计生产系统中的相关表时，默认值最好不要使用'0000-00-00'或null这样的值。

❿ kettle合并记录 新旧表明明关键字段id一致结果老数据标记删除，新数据标记插入，求解

因为“合并记录”前面必须要先按照指定字段排序！！

你在两个表输入后分别添加“排序记录”，按照关键字段ID排序

谢谢采纳