kettle過濾記錄教程

❶ kettle隨機數的過濾有什麼用

通過正則表達式，可以過濾符合要求的隨機數，比如生成的隨機數不包含「4」等等

❷ kettle 黑馬教程PPT，求大神分享一下

一、Kettle database repository，即保存在各種常見的資料庫資源庫類型，用戶通過用戶名/密碼來訪問資源庫中的資源，默認的用戶名/密碼是admin/admin和guest/guest。

二、Kettle file repository，保存在伺服器硬碟文件夾內的資源庫類型，此類型的資源庫無需用戶進行登錄，直接進行操作。

當然，資源庫並不是必須的，如果沒有資源庫，用戶還可以把轉換任務保存在xml文件中。為了方便管理，建議用戶建立並使用資料庫類型資源庫Kettle database repository。

溫馨提示：

一、在刪除資源庫中單個內容時，不會提示「是否確定需要刪除」，需要特別注意。 二、win7系統下，「Kettle file repository」類型資源庫創建文件夾後，無法刪除文件夾，不確定是Kettle工具本身的bug或者是在win7操作系統下的bug。

三、「Kettle database repository」類型資源庫雖然有需要用戶和密碼進行登錄，但目前還沒有相應的許可權控制。

❸ 怎樣利用kettle去一次性讀取表中所有的數據

拖動表輸入控制項，綁定數據源連接你要查詢的資料庫
SQL語句
select * frm table
此時你已經可以獲取表中所有數據，根據你後續的需要，再去執行後續相關的操作。
例如過濾就用過濾控制項，同步就用表輸出控制項插入另一張表（甚至可以不同數據源）

❹ kettle教程是什麼

kettle 是純 java 開發，開源的 ETL工具，用於資料庫間的數據遷移 。可以在 Linux、windows、unix 中運行。有圖形界面，也有命令腳本還可以二次開發。

kettle 的官網是https://community.hitachivantara.com/docs/DOC-1009855，github地址是https://github.com/pentaho/pentaho-kettle。

安裝。

這邊以 windows 下的配置為例，linux 下配置類似。

jdk 安裝及配置環境變數。

由於 kettle 是基於 java 的，因此需要安裝 java 環境，並配置 JAVA_HOME 環境變數。

建議安裝 JDK1.8 及以上，7.0以後版本的 kettle 不支持低版本 JDK。

下載 kettle。

從 官網 下載 kettle ，解壓到本地即可。

下載相應的資料庫驅動。

由於 kettle 需要連接資料庫，因此需要下載對應的資料庫驅動。

例如 MySQL 資料庫需要下載 mysql-connector-java.jar，oracle 資料庫需要下載 ojdbc.jar。下載完成後，將 jar 放入 kettle 解壓後路徑的 lib 文件夾中即可。

注意：本文基於 pdi-ce-7.0.0.0-25 版本進行介紹，低版本可能有區別。

啟動。

雙擊 Spoon.bat 就能啟動 kettle 。

轉換。

轉換包括一個或多個步驟，步驟之間通過跳（hop）來連接。跳定義了一個單向通道，允許數據從一個步驟流向另一個步驟。在Kettle中，數據的單位是行，數據流就是數據行從一個步驟到另一個步驟的移動。

1、打開 kettle，點擊 文件->新建->轉換。

2、在左邊 DB 連接處點擊新建。

3、根據提示配置資料庫，配置完成後可以點擊測試進行驗證，這邊以 MySQL 為例。

4、在左側找到表輸入（核心對象->輸入->表輸入），拖到右方。

5、雙擊右側表輸入，進行配置，選擇數據源，並輸入 SQL。可以點擊預覽進行預覽數據。

6、在左側找到插入/更新（核心對象->輸出->插入/更新），拖到右方。

7、按住 Shift 鍵，把表輸入和插入/更新用線連接起來。

8、雙擊插入/更新進行配置。

9、點擊運行，就可以運行這一個轉換。

10、運行結束後，我們可以在下方看到運行結果，其中有日誌，數據預覽等，我們可以看到一共讀取了多少條數據，插入更新了多少數據等等。

這樣就完成了一個最簡單的轉換，從一個表取數據，插入更新到另一個表。

作業。

如果想要定時運行這個轉換，那麼就要用到作業。

1、新建一個作業。

2、從左側依次拖動 START 、轉換、成功到右側，並用線連接起來。

3、雙擊 START，可以配置作業的運行間隔，這邊配置了每小時運行一次。

4、雙擊轉換，選擇之前新建的那個轉換。

5、點擊運行，就能運行這次作業，點擊停止就能停止。在下方執行結果，可以看到運行的日誌。

這樣就完成了一個最簡單的作業，每隔1小時，將源表的數據遷移到目標表。

總結：kettle 是一個非常強大的 ETL 工具，通過圖形化界面的配置，可以實現數據遷移，並不用開發代碼。

通過它的作業，kettle 能自動地運行轉換。

❺ 通過取出kettle日誌里過濾數據的條數來記錄，java有這樣的包嗎

這個我沒遇到過。不過可以這樣：你在kettle里做個過濾，吧過濾出的數據單獨寫到 txt或者數據表裡，然後 java調 ktr ，然後開個線程 掃描過濾的數據。

❻ 使用kettle過濾組件前，一定要對數據排序嗎

懸浮液中的固體顆粒大、粒度均勻時，過濾的濾渣層孔隙較為暢通，濾液通過濾渣層的速度較大。應用凝聚劑將微細的顆粒集合成較大的團塊，有利於提高過濾速度。

對於固體顆粒沉降速度快的懸浮液，應用在過濾介質上部加料的過濾機，使過濾方向與重力方向一致，粗顆粒首先沉降，可減少過濾介質和濾渣層的堵塞；在難過濾的懸浮液(如膠體)中混入如硅藻土

❼ 怎麼通過kettle 刪除mysql數據

一、准備工作
源資料庫 目標資料庫MongoDB，在源資料庫添加刪除、更新觸發器
二、操作步驟
添加表輸入組件，連接ORACLE觸發器記錄表
添加JAVA代碼組件，進行步驟跳轉，根據輸入的數據判斷是刪除或者更新，如果是刪除，則跳轉至MongoDB Delete步驟中，如果是更新的話，跳轉至欄位選擇步驟中。JAVA代碼中的詳細信息如下：
import java.util.List;

import org.pentaho.di.core.exception.KettleException;
import org.pentaho.di.core.row.RowDataUtil;
import org.pentaho.di.core.row.RowMeta;
import org.pentaho.di.core.row.RowMetaInterface;
import org.pentaho.di.core.row.ValueMeta;
import org.pentaho.di.trans.Trans;
import org.pentaho.di.trans.TransMeta;

private Object[] previousRow;//上一行
private RowSet t1 = null;//業務表步驟
private RowSet t2 = null;//刪除步驟

public boolean processRow(StepMetaInterface smi, StepDataInterface sdi) throws KettleException
{
Object[] r = getRow(); //獲取輸入行

if ( first ) {
if ( getInputRowMeta() == null ) {
setOutputDone();//設置輸出完成
return false;
}

❽ ETL之kettle學習

Kettle是一款國外開源的ETL工具，純java編寫，可以在Windows、Linux、Unix上運行，數據抽取高效穩定。

Kettle 中文名稱叫水壺，該項目的主程序員MATT 希望把各種數據放到一個壺里，然後以一種指定的格式流出。

• 外文名

• Kettle

• 中文名

• 水壺

• 產品

• Spoon、Pan、CHEF、Kitchen

• 腳本文件

• transformation和job，

• 特點

• 綠色無需安裝

• 最新版本

• 8.2

❾ kettle 怎麼根據時間欄位進行過濾

今天使用kettle從mysql導數到oracle，發現只導了7行後，數據傳輸就終止了，查看日誌信息，報內錯如下容：

image

報：Couldn't get row from result set問題。

發現從這行開始這個時間欄位除了正常的時間數據以外還有NULL值，難道這類的值引起的錯誤，在查詢了相關資料後，才知道jdbc(默認行為)認為null或'0000-00-00'這樣的日期時間值是無效的。如果想避開這個問題，需要編輯jdbc的連接屬性，添加如下屬性值：

zeroDateTimeBehavior=convertToNull

image

設置之後導數成功進行。

image

所以，設計生產系統中的相關表時，默認值最好不要使用'0000-00-00'或null這樣的值。

❿ kettle合並記錄 新舊表明明關鍵欄位id一致結果老數據標記刪除，新數據標記插入，求解

因為「合並記錄」前面必須要先按照指定欄位排序！！

你在兩個表輸入後分別添加「排序記錄」，按照關鍵欄位ID排序

謝謝採納