kettle數據過濾分流

1. kettle 怎麼根據時間欄位進行過濾

今天使用kettle從mysql導數到oracle，發現只導了7行後，數據傳輸就終止了，查看日誌信息，報內錯如下容：

image

報：Couldn't get row from result set問題。

發現從這行開始這個時間欄位除了正常的時間數據以外還有NULL值，難道這類的值引起的錯誤，在查詢了相關資料後，才知道jdbc(默認行為)認為null或'0000-00-00'這樣的日期時間值是無效的。如果想避開這個問題，需要編輯jdbc的連接屬性，添加如下屬性值：

zeroDateTimeBehavior=convertToNull

image

設置之後導數成功進行。

image

所以，設計生產系統中的相關表時，默認值最好不要使用'0000-00-00'或null這樣的值。

2. kettle一個資料庫表數據抽取到另一個資料庫，中間想對幾個欄位下的值先進行解密再存到另一個資料庫怎麼做

Kettle學習一：簡單的表輸入輸出
1.創建兩個DB連接，test和test1，分別連接兩個不同的資料庫
2.拖拽專表輸入，欄位轉換，屬表輸出圖標到界面，並住shift鍵連接它們
3.表輸入：用於查詢出一個數據表中需要搬運的數據。
雙擊表輸入——>選擇需要搬運的資料庫(test)——>獲取 SQL查詢語句——>確定

3. 通過取出kettle日誌里過濾數據的條數來記錄，java有這樣的包嗎

這個我沒遇到過。不過可以這樣：你在kettle里做個過濾，吧過濾出的數據單獨寫到 txt或者數據表裡，然後 java調 ktr ，然後開個線程 掃描過濾的數據。

4. kettle 處理來自兩個數據流的數據

使用Merge Join，按照你說的「同時在兩個filed裡面的數據被篩選出來」，應該使用內連接【INNER】方式，然後再在後續步驟中將自己需要的欄位輸出。

5. 過濾記錄這個步驟在kettle集群里應該怎麼做

首先：使用Sort rows控制項，根據需要分組的欄位AA排序下；其次：使用Group by控制項，分組欄位為：AA，Aggredates部分Name為新欄位名，Subjest為BB,Type選擇Concatenate strings separated by ,

6. kettle怎麼過濾掉某個欄位空字元串數據

利用Kettle的「過濾記錄」
字元串替換」,「字元串操作」組件,實現記錄的過濾,字元串替換及字元串的去空格功能。

7. 怎樣利用kettle去一次性讀取表中所有的數據

拖動表輸入控制項，綁定數據源連接你要查詢的資料庫
SQL語句
select * frm table
此時你已經可以獲取表中所有數據，根據你後續的需要，再去執行後續相關的操作。
例如過濾就用過濾控制項，同步就用表輸出控制項插入另一張表（甚至可以不同數據源）

8. kettle隨機數的過濾有什麼用

通過正則表達式，可以過濾符合要求的隨機數，比如生成的隨機數不包含「4」等等

9. 為什麼kettle可以接入多種數據源

kettle可以接入多種數據源原因：由於kettle是純java編輯，所以kettle連接mysql庫的時候需要mysql的java連接包，網路下載一個mysql的java連接驅動。

kettle使用文件資源庫不需要用戶名和密碼，如果沒有資源庫可以點擊右上角的"+"新建資源庫。為建立資料庫的資源庫，本例選擇使用文件資源庫，選擇確定後會要求選擇文件資源庫的路徑，並給文件資源庫設置一個ID和名稱。

kettle無代碼拖拽式構建數據管道：

kettle可Pentaho採用拖拽組件、連線、配置的方式來構建數據管道，透過超過200個不同的組件，用戶可以在不編寫一句代碼就能輕松完成對數據源讀取。

對數據進行關聯、過濾、格式轉換、計算、統計、建模、挖掘、輸出到不同的數據目標。極大程度地降低開發技術門檻和有效減低開發和維護成本。