實時storm協同過濾演算法

⑴ 大數據技術包括哪些

大數據技術包括數據收集、數據存取、基礎架構、數據處理、統計分析、數據挖掘、模型預測、結果呈現。

1、數據收集：在大數據的生命周期中，數據採集處於第一個環節。根據MapRece產生數據的應用系統分類，大數據的採集主要有4種來源：管理信息系統、Web信息系統、物理信息系統、科學實驗系統。

2、數據存取：大數據的存去採用不同的技術路線，大致可以分為3類。第1類主要面對的是大規模的結構化數據。第2類主要面對的是半結構化和非結構化數據。第3類面對的是結構化和非結構化混合的大數據，

3、基礎架構：雲存儲、分布式文件存儲等。

4、數據處理：對於採集到的不同的數據集，可能存在不同的結構和模式，如文件、XML 樹、關系表等，表現為數據的異構性。對多個異構的數據集，需要做進一步集成處理或整合處理，將來自不同數據集的數據收集、整理、清洗、轉換後，生成到一個新的數據集，為後續查詢和分析處理提供統一的數據視圖。

5、統計分析：假設檢驗、顯著性檢驗、差異分析、相關分析、T檢驗、方差分析、卡方分析、偏相關分析、距離分析、回歸分析、簡單回歸分析、多元回歸分析、逐步回歸、回歸預測與殘差分析、嶺回歸、logistic回歸分析、曲線估計、因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應分析、多元對應分析(最優尺度分析)、bootstrap技術等等。

6、數據挖掘：目前，還需要改進已有數據挖掘和機器學習技術；開發數據網路挖掘、特異群組挖掘、圖挖掘等新型數據挖掘技術；突破基於對象的數據連接、相似性連接等大數據融合技術；突破用戶興趣分析、網路行為分析、情感語義分析等面向領域的大數據挖掘技術。

7、模型預測：預測模型、機器學習、建模模擬。

8、結果呈現：雲計算、標簽雲、關系圖等。

⑵ Storm與Spark，Hadoop相比是否有優勢

Storm優勢就在於Storm是實時的連續性的分布式的計算框架,一旦運行起來,除非你將它殺掉,否則它一直處理計算或等待計算的狀態.Spark和hadoop都做不到.
當然它們各自都有其應用場景,各有各的優勢.可以配合使用.
下面我轉一份別人的資料,講的很清楚.
Storm與Spark、Hadoop這三種框架，各有各的優點，每個框架都有自己的最佳應用場景。
所以，在不同的應用場景下，應該選擇不同的框架。
Storm是最佳的流式計算框架，Storm由Java和Clojure寫成，Storm的優點是全內存計算，所以它的定位是分布式實時計算系統，按照Storm作者的說法，Storm對於實時計算的意義類似於Hadoop對於批處理的意義。
Storm的適用場景：
1）流數據處理
Storm可以用來處理源源不斷流進來的消息，處理之後將結果寫入到某個存儲中去。
2）分布式RPC。由於Storm的處理組件是分布式的，而且處理延遲極低，所以可以作為一個通用的分布式RPC框架來使用。
SparkSpark是一個基於內存計算的開源集群計算系統，目的是更快速的進行數據分析。Spark由加州伯克利大學AMP實驗室Matei為主的小團隊使用Scala開發開發，類似於Hadoop MapRece的通用並行計算框架，Spark基於Map Rece演算法實現的分布式計算，擁有Hadoop MapRece所具有的優點，但不同於MapRece的是Job中間輸出和結果可以保存在內存中，從而不再需要讀寫HDFS，因此Spark能更好地適用於數據挖掘與機器學習等需要迭代的Map Rece的演算法。
Spark的適用場景：
1）多次操作特定數據集的應用場合
Spark是基於內存的迭代計算框架，適用於需要多次操作特定數據集的應用場合。需要反復操作的次數越多，所需讀取的數據量越大，受益越大，數據量小但是計算密集度較大的場合，受益就相對較小。
2）粗粒度更新狀態的應用
由於RDD的特性，Spark不適用那種非同步細粒度更新狀態的應用，例如Web服務的存儲或者是增量的Web爬蟲和索引。就是對於那種增量修改的應用模型不適合。
總的來說Spark的適用面比較廣泛且比較通用。
Hadoop是實現了MapRece的思想，將數據切片計算來處理大量的離線數據數據。Hadoop處理的數據必須是已經存放在HDFS上或者類似HBase的資料庫中，所以Hadoop實現的時候是通過移動計算到這些存放數據的機器上來提高效率。
Hadoop的適用場景：
1）海量數據的離線分析處理
2）大規模Web信息搜索
3）數據密集型並行計算
簡單來說：
Hadoop適合於離線的批量數據處理適用於對實時性要求極低的場景
Storm適合於實時流數據處理，實時性方面做得極好
Spark是內存分布式計算框架，試圖吞並Hadoop的Map-Rece批處理框架和Storm的流處理框架，但是Spark已經做得很不錯了，批處理方面性能優於Map-Rece，但是流處理目前還是弱於Storm，產品仍在改進之中

⑶ Storm Spark Hadoop 這三個流行並行計算框架有什麼不同

storm是實時處理，spark和hadoop是批處理，兩者是互補。而spark和hadoop比較的話，spark主要是充分利用內存計算並且支持的操作而不僅是map/rece，這樣有些迭代密集的演算法執行效率會更高。而hadoop可能需要多個mr任務來完成。在2.0之後，hadoop使用了新的yarn框架，map/rece只是其中一種默許了，spark也可以在hadoop的yarn框架下運行的，所以2者還會是融合的。

⑷ 大數據培訓內容，大數據要學哪些課程

《大數據實訓課程資料》網路網盤資源免費下載

鏈接:https://pan..com/s/1RiGvjn2DlL5pPISCG_O0Sw

大數據實訓課程資料|雲計算與虛擬化課程資源|課程實驗指導書綜合版|機器學習與演算法分析課程資源|Spark課程資源|Python課程資源|Hadoop技術課程資源|雲計算課程資料.zip|微課.zip|演算法建模與程序示例.zip|spark課程資源.zip|hadoop課程資源.zip|實驗指導書|教學視頻|教學PPT

⑸ 有了spark的streaming，還有必要學習storm嗎

你再把它和hadoop比較快慢。

兩個框架都用於處理大量數據的並行計算。

所以這是把過程傳遞給數據,metaQ、hadoop：Hadoop使用磁碟作為中間交換的介質.容錯性，再小的話hdfs上會一堆小文件），而是比較的吞吐了，在於rece任務通過網路拖過去運算：
1，只需實現一個簡單的Storm通信協議即可，數據直接通過網路導入內存，產生一行就通過一個傳輸系統發給流式計算系統。Storm保證每個消息至少能得到一次完整處理、多份復制等。二者在延時和吞吐上沒太大區別。但是吞吐也低於maprece，可以在處理過程中完全模擬Storm集群，基於流，facebook的puma就是基於hadoop做的流計算系統。而maprece一般需要整個運算結束後將結果批量導入到結果集中，而storm的數據是一直在內存中流轉的，目前典型的處理處理策略，盡管並非完全一樣。類似於MapRece降低了並行批處理復雜性，資料庫，Hadoop可以看作是純凈水.Storm為什麼被稱之為流式計算系統
3；而Storm是用水管、Ruby和Python，這時候，其時延必然比hadoop的通過hdfs傳輸低得多。

storm的網路直傳，比較慢
C. 數據計算（涉及計算中的中間存儲），Storm降低了進行實時處理的復雜性、內存計算.本地模式。讀寫內存比讀寫磁碟速度快n個數量級，除了積極使用內存來避免I#47，Storm之於實時處理。默認支持Clojure;O操作。你可以在Storm之上使用各種編程語言。下面對流計算和批處理系統流程

這個個數據處理流程來說大致可以分三個階段。storm是典型的流計算系統，進行計算時。
3。
以水為例。
3，在資源充足時可以在毫秒級別完成.水平擴展，Spark基於in-memory管理可以進行快訊掃描。
5，像storm的trident也有批概念、數據壓縮：
1，也省去了作業調度的時延。所以從時延上來看，假設機器特別多。
2，什麼情況下使用hadoop
4。

--------------------------------------------------------------------------------------------------------------------------------
Storm的主工程師Nathan
Marz表示，一般來說storm的延時低於maprece： stom每個計算單元之間數據之間通過網路（zeromq）直接傳輸，其實比較的不是時延，水就源源不斷地流出來了。

從原理角度來講。

Storm 基於ZeroMQ這個高性能的消息通訊庫。Storm有一個「本地模式」，tasktacker啟動相關的運算進程
B。
Storm的主要特點如下， 指數據從產生到運算產生結果的時間。
而流式計算則是數據產生時，然後作業運行起來，當然也有使用消息隊列的。
6：數據的產生系統一般出自頁面打點和解析DB的log：Hadoop是磁碟級計算。要增加對其他語言的支持，然後再開始調度任務又花了一分鍾，需要進行一些ETL操作存入一個資料庫。Storm是一個分布式流計算引擎；因為storm是服務型的作業。

總結下。

--------------------------------------------------------------------------------------------------------------------------------
在消耗資源相同的情況下。

為什麼storm比hadoop快，批處理一系統一般會攢一大批後批量導入到計算系統（hadoop）。
4. 吞吐： storm 進程是常駐的，下面舉一個應用場景
說一個典型的場景，流計算將數據採集中消息隊列（比如kafaka，Jobtracker計算任務分配、排序。

Spark工作於現有的數據全集（如Hadoop數據）已經被導入Spark集群。更棒的是你可以使用任意編程語言來做開發。每個節點實現一個基本的計算過程。

不過Spark流模塊（Streaming Mole）倒是和Storm相類似（都是流計算引擎），有些map操作沒有意義的

3）數據結果展現
流計算一般運算結果直接反饋到最終結果集中（展示頁面。我們暫且把消息隊列和文件系統稱為預處理存儲，效率較低，按每一分鍾切一個文件的粒度來算（這個粒度已經極端的細了？

為了區別hadoop和Storm。根據Harvard CS61課件，maprece是典型的批處理系統，這樣。

--------------------------------------------------------------------------------------------------------------------------------
最主要的方面。和Spark相反，每秒可以處理數以百萬計的消息。這和Hadoop map#47，一個是批量處理，搜索引擎的索引）、Java。任務失敗時，數據在磁碟上， 題主中的「那些方面決定」應該主要是指這個階段處理方式，基於任務調度的，則需要先存入hdfs。每個節點存儲（或緩存）它的數據集。這讓你可以快速進行開發和單元測試。

同時說一下另外一個場景、Storm該選哪一個。

Shark只是一個基於Spark的查詢引擎（支持ad-hoc臨時性的分析查詢）

而Storm的架構和Spark截然相反，而數據項在互相連接的網路節點中流進流出： 對於復雜運算
storm的運算模型直接支持DAG（有向無環圖）
maprece 需要肯多個MR過程組成。

假設利用hadoop，則有一個程序去一直監控日誌的產生，hadoop開始計算時。
2，而Storm是只要接收到數據就實時處理並分發，有數據就可以進行實時的處理
maprece 數據攢一批後由作業管理系統啟動任務，幾鈔鍾就算完了。

注釋，這個是把數據傳遞給過程，流計算系統（storm）的延時低主要有一下幾個方面（針對題主的問題）
A，然後任務被提交給節點。系統的設計保證了消息能得到快速的處理，1分鍾已經過去了，每條數據從產生到寫入資料庫.hadoop。

不確定哪種方式在數據吞吐量上要具優勢.簡單的編程模型。

Spark流模塊先匯聚批量數據然後進行數據塊分發（視作不可變數據進行處理），預先接好（Topology）。Storm保證每個消息都會得到處理;R基於HDFS，使用MQ作為其底層消息隊列. 延時 。所以Storm更快。
7。
2）數據計算階段，不過Storm計算時間延遲要小：
Storm可以方便地在一個計算機集群中編寫與擴展復雜的實時計算.什麼是吞吐量

首先整體認識。
兩者面向的領域也不完全相同，幾千個日誌生產方產生日誌文件，然後打開水龍頭，該部分將回答如下問題;rece非常相似，把它放到storm上進行流式的處理.可靠的消息處理，storm的流式處理. 數據結果展現（反饋）

1）數據採集階段，而maprece可以將每次運算的數據集縮小（比如幾分鍾啟動一次），流計算一般在實時的讀取消息隊列進入流計算系統（storm）的數據進行運算。Storm會管理工作進程和節點的故障，「快」應該主要指這個，不持久化數據，它會負責從消息源重試消息，需要切分輸入數據：
1。

實際流計算和批處理系統沒有本質的區別.快速. 數據採集與准備
2。

Storm在動態處理大量生成的「小數據塊」上要更好（比如在Twitter數據流上實時計算一些匯聚功能或分析）,timetunle）等。

二，這里就有了延時的區別。計算是在多個線程，需要讀寫磁碟.hadoop適合什麼場景，而Spark Steaming才和Storm類似，一桶桶地搬，然後寫資料庫假設也花了很少的時間，storm要快於hadoop，並最小化迭代演算法的全局I#47， 指系統單位時間處理的數據量、進程和伺服器之間並行進行的、Storm各是什麼運算
2，當數據龐大時：
如果一個大文件的wordcount，而且它很快——在一個小集群中，磁碟訪問延遲約為內存訪問延遲的75000倍。批處理系統一般將數據採集進分布式文件系統（比如HDFS），就好比Hadoop之於批處理，這時，省去了批處理的收集數據的時間、產生中間數據文件，等所有已有數據處理完才讓storm輸出結果；當計算模型比較適合流式時，Spark和Storm設計相反。相對來說多了磁碟讀寫，把計算過程傳遞給數據要比把數據傳遞給計算過程要更富效率：

Hadoop M#47，接下來從這個預處理存儲進入到數據計算階段有很大的區別；Storm是內存級計算，從數據產生到最後可以使用已經過去了至少兩分多鍾，而後者需要自己去維護這個窗口.可以使用各種編程語言，處理完之後直接寫入資料庫，然後流式計算系統直接處理。
maprece map任務運算的結果要寫入到HDFS：
1，前者有數據平滑窗口（sliding window），以使得迭代演算法（前一步計算輸出是下一步計算的輸入）性能更高;O操作、高性能並行計算引擎Storm和Spark比較

Spark基於這樣的理念；另外一個是實時處理一

⑹ GitHub上面有哪些經典的java框架源碼

• Bazel：來自的構建工具，可以快速、可靠地構建代碼。官網

• Gradle：使用Groovy（非XML）進行增量構建，可以很好地與Maven依賴管理配合工作。官網

• Buck：Facebook構建工具。官網

位元組碼操作

編程方式操作位元組碼的開發庫。

• ASM：通用底層位元組碼操作和分析開發庫。官網

• Byte Buddy：使用流式API進一步簡化位元組碼生成。官網

• Byteman：在運行時通過DSL（規則）操作位元組碼進行測試和故障排除。官網

• Javassist：一個簡化位元組碼編輯嘗試。官網

集群管理

在集群內動態管理應用程序的框架。

• Apache Aurora：Apache Aurora是一個Mesos框架，用於長時間運行服務和定時任務（cron job）。官網

• Singularity：Singularity是一個Mesos框架，方便部署和操作。它支持Web Service、後台運行、調度作業和一次性任務。官網

代碼分析

測量代碼指標和質量工具。

• Checkstyle：代碼編寫規范和標准靜態分析工具。官網

• Error Prone：將常見編程錯誤作為運行時錯誤報告。官網

• FindBugs：通過位元組碼靜態分析查找隱藏bug。官網

• jQAssistant：使用基於Neo4J查詢語言進行代碼靜態分析。官網

• PMD：對源代碼分析查找不良的編程習慣。官網

• SonarQube：通過插件集成其它分析組件，對過去一段時間內的數據進行統計。官網

編譯器生成工具

用來創建解析器、解釋器或編譯器的框架。

• ANTLR：復雜的全功能自頂向下解析框架。官網

• JavaCC：JavaCC是更加專門的輕量級工具，易於上手且支持語法超前預測。官網

外部配置工具

支持外部配置的開發庫。

• config：針對JVM語言的配置庫。官網

• owner：減少冗餘配置屬性。官網

約束滿足問題求解程序

幫助解決約束滿足問題的開發庫。

• Choco：可直接使用的約束滿足問題求解程序，使用了約束規劃技術。官網

• JaCoP：為FlatZinc語言提供了一個介面，可以執行MiniZinc模型。官網

• OptaPlanner：企業規劃與資源調度優化求解程序。官網

• Sat4J：邏輯代數與優化問題最先進的求解程序。官網

持續集成

• Bamboo：Atlassian解決方案，可以很好地集成Atlassian的其他產品。可以選擇開源許可，也可以購買商業版。官網

• CircleCI：提供託管服務，可以免費試用。官網

• Codeship：提供託管服務，提供有限的免費模式。官網

• fabric8：容器集成平台。官網

• Go：ThoughtWork開源解決方案。官網

• Jenkins：支持基於伺服器的部署服務。官網

• TeamCity：JetBrain的持續集成解決方案，有免費版。官網

• Travis：通常用作開源項目的託管服務。官網

• Buildkite: 持續集成工具，用簡單的腳本就能設置pipeline，而且能快速構建，可以免費試用。官網

CSV解析

簡化CSV數據讀寫的框架與開發庫

• uniVocity-parsers：速度最快功能最全的CSV開發庫之一，同時支持TSV與固定寬度記錄的讀寫。官網

資料庫

簡化資料庫交互的相關工具。

• Apache Phoenix：HBase針對低延時應用程序的高性能關系資料庫層。官網

• Crate：實現了數據同步、分片、縮放、復制的分布式數據存儲。除此之外還可以使用基於SQL的語法跨集群查詢。官網

• Flyway：簡單的資料庫遷移工具。官網

• H2：小型SQL資料庫，以可以作為內存資料庫使用著稱。官網

• HikariCP：高性能JDBC連接工具。官網

• JDBI：便捷的JDBC抽象。官網

• Protobuf：Google數據交換格式。官網

• SBE：簡單二進制編碼，是最快速的消息格式之一。官網

• Wire：整潔輕量級協議緩存。官網

幫實現依賴翻轉範式的開發庫。官網

• Apache DeltaSpike：CDI擴展框架。官網

• Dagger2：編譯時注入框架，不需要使用反射。官網

• Guice：可以匹敵Dagger的輕量級注入框架。官網

• HK2：輕量級動態依賴注入框架。官網

開發流程增強工具

從最基本的層面增強開發流程。

• ADT4J：針對代數數據類型的JSR-269代碼生成器。官網

• AspectJ：面向切面編程（AOP）的無縫擴展。官網

• Auto：源代碼生成器集合。官網

• DCEVM：通過修改JVM在運行時支持對已載入的類進行無限次重定義。官網

• HotswapAgent：支持無限次重定義運行時類與資源。官網

• Immutables：類似Scala的條件類。官網

• JHipster：基於Spring Boot與AngularJS應用程序的Yeoman源代碼生成器。官網

• JRebel：無需重新部署，可以即時重新載入代碼與配置的商業軟體。官網

• Lombok：減少冗餘的代碼生成器。官網

• Spring Loaded：類重載代理。官網

• vert.x：多語言事件驅動應用框架。官網

分布式應用

用來編寫分布式容錯應用的開發庫和框架。

• Akka：用來編寫分布式容錯並發事件驅動應用程序的工具和運行時。官網

• Apache Storm：實時計算系統。官網

• Apache ZooKeeper：針對大型分布式系統的協調服務，支持分布式配置、同步和名稱注冊。官網

• Hazelcast：高可擴展內存數據網格。官網

• Hystrix：提供延遲和容錯。官網

• JGroups：提供可靠的消息傳遞和集群創建的工具。官網

• Orbit：支持虛擬角色（Actor），在傳統角色的基礎上增加了另外一層抽象。官網

• Quasar：為JVM提供輕量級線程和角色。官網

分布式資料庫

對應用程序而言，在分布式系統中的資料庫看起來就像是只有一個數據源。

• Apache Cassandra：列式資料庫，可用性高且沒有單點故障。官網

• Apache HBase：針對大數據的Hadoop資料庫。官網

• Druid：實時和歷史OLAP數據存儲，在聚集查詢和近似查詢方面表現不俗。官網

• Infinispan：針對緩存的高並發鍵值對數據存儲。官網

發布

以本機格式發布應用程序的工具。

• Bintray：發布二進制文件版本控制工具。可以於Maven或Gradle一起配合使用。提供開源免費版本和幾種商業收費版本。官網

• Central Repository：最大的二進制組件倉庫，面向開源社區提供免費服務。Apache Maven默認使用Central官網Repository，也可以在所有其他構建工具中使用。

• IzPack：為跨平台部署建立創作工具（Authoring Tool）。官網

• JitPack：打包GitHub倉庫的便捷工具。可根據需要構建Maven、Gradle項目，發布可立即使用的組件。官網

• Launch4j：將JAR包裝為輕量級本機Windows可執行程序。官網

• Nexus：支持代理和緩存功能的二進制管理工具。官網

• packr：將JAR、資源和JVM打包成Windows、Linux和Mac OS X本地發布文件。官網

文檔處理工具

處理Office文檔的開發庫。

• Apache POI：支持OOXML規范（XLSX、DOCX、PPTX）以及OLE2規范（XLS、DOC、PPT）。官網

• documents4j：使用第三方轉換器進行文檔格式轉換，轉成類似MS Word這樣的格式。官網

• jOpenDocument：處理OpenDocument格式（由Sun公司提出基於XML的文檔格式）。官網

函數式編程

函數式編程支持庫。

• Cyclops：支持一元（Monad）操作和流操作工具類、comprehension（List語法）、模式匹配、trampoline等特性。官網

• Fugue：Guava的函數式編程擴展。官網

• Functional Java：實現了多種基礎和高級編程抽象，用來輔助面向組合開發（composition-oriented development）。官網

• Javaslang：一個函數式組件庫，提供持久化數據類型和函數式控制結構。官網

• jOOλ：旨在填補Java 8 lambda差距的擴展，提供了眾多缺失的類型和一組豐富的順序流API。官網

游戲開發

游戲開發框架。

• jMonkeyEngine：現代3D游戲開發引擎。官網

• libGDX：全面的跨平台高級框架。官網

• LWJGL：對OpenGL/CL/AL等技術進行抽象的健壯框架。官網

GUI

現代圖形化用戶界面開發庫。

• JavaFX：Swing的後繼者。官網

• Scene Builder：開發JavaFX應用的可視化布局工具。官網

高性能計算

涵蓋了從集合到特定開發庫的高性能計算相關工具。

• Agrona：高性能應用中常見的數據結構和工具方法。官網

• Disruptor：線程間消息傳遞開發庫。官網

• fastutil：快速緊湊的特定類型集合（Collection）。官網

• GS Collections：受Smalltalk啟發的集合框架。官網

• HPPC：基礎類型集合。官網

• Javolution：實時和嵌入式系統的開發庫。官網

• JCTools：JDK中缺失的並發工具。官網

• Koloboke：Hash set和hash map。官網

• Trove：基礎類型集合。官網

• High-scale-bli:Cliff Click 個人開發的高性能並發庫官網

IDE

簡化開發的集成開發環境。

• Eclipse：老牌開源項目，支持多種插件和編程語言。官網

• IntelliJ IDEA：支持眾多JVM語言，是安卓開發者好的選擇。商業版主要針對企業客戶。官網

• NetBeans：為多種技術提供集成化支持，包括Java SE、Java EE、資料庫訪問、HTML5

• Imgscalr：純Java 2D實現，簡單、高效、支持硬體加速的圖像縮放開發庫。官網

• Picasso：安卓圖片下載和圖片緩存開發庫。官網

• Thumbnailator：Thumbnailator是一個高質量Java縮略圖開發庫。官網

• ZXing：支持多種格式的一維、二維條形碼圖片處理開發庫。官網

• im4java: 基於ImageMagick或GraphicsMagick命令行的圖片處理開發庫，基本上ImageMagick能夠支持的圖片格式和處理方式都能夠處理。官網

• Apache Batik：在Java應用中程序以SVG格式顯示、生成及處理圖像的工具集，包括SVG解析器、SVG生成器、SVG DOM等模塊，可以集成使用也可以單獨使用，還可以擴展自定義的SVG標簽。官網

JSON

簡化JSON處理的開發庫。

• Genson：強大且易於使用的Java到JSON轉換開發庫。官網

• Gson：谷歌官方推出的JSON處理庫，支持在對象與JSON之間雙向序列化，性能良好且可以實時調用。官網

• Jackson：與GSON類似，在頻繁使用時性能更佳。官網

• LoganSquare：基於Jackson流式API，提供對JSON解析和序列化。比GSON與Jackson組合方式效果更好。官網

• Fastjson：一個Java語言編寫的高性能功能完善的JSON庫。官網

• Kyro：快速、高效、自動化的Java對象序列化和克隆庫。官網

JVM與JDK

目前的JVM和JDK實現。

• JDK 9：JDK 9的早期訪問版本。官網

• OpenJDK：JDK開源實現。官網

基於JVM的語言

除Java外，可以用來編寫JVM應用程序的編程語言。

• Scala：融合了面向對象和函數式編程思想的靜態類型編程語言。官網

• Groovy：類型可選（Optionally typed）的動態語言，支持靜態類型和靜態編譯。目前是一個Apache孵化器項目。官網

• Clojure：可看做現代版Lisp的動態類型語言。官網

• Ceylon：RedHat開發的面向對象靜態類型編程語言。官網

• Kotlin：JetBrain針對JVM、安卓和瀏覽器提供的靜態類型編程語言。官網

• Xtend：一種靜態編程語言，能夠將其代碼轉換為簡潔高效的Java代碼，並基於JVM運行。官網

日誌

記錄應用程序行為日誌的開發庫。

• Apache Log4j 2：使用強大的插件和配置架構進行完全重寫。官網

• kibana：分析及可視化日誌文件。官網

• Logback：強健的日期開發庫，通過Groovy提供很多有趣的選項。官網

• logstash：日誌文件管理工具。官網

• Metrics：通過JMX或HTTP發布參數，並且支持存儲到資料庫。官網

• SLF4J：日誌抽象層，需要與具體的實現配合使用。官網

機器學習

提供具體統計演算法的工具。其演算法可從數據中學習。

• Apache Flink：快速、可靠的大規模數據處理引擎。官網

• Apache Hadoop：在商用硬體集群上用來進行大規模數據存儲的開源軟體框架。官網

• Apache Mahout：專注協同過濾、聚類和分類的可擴展演算法。官網

• Apache Spark：開源數據分析集群計算框架。官網

• DeepDive：從非結構化數據建立結構化信息並集成到已有資料庫的工具。官網

• Deeplearning4j：分布式多線程深度學習開發庫。官網

• H2O：用作大數據統計的分析引擎。官網

• Weka：用作數據挖掘的演算法集合，包括從預處理到可視化的各個層次。官網

• QuickML：高效機器學習庫。官網、GitHub

消息傳遞

在客戶端之間進行消息傳遞，確保協議獨立性的工具。

• Aeron：高效可擴展的單播、多播消息傳遞工具。官網

• Apache ActiveMQ：實現JMS的開源消息代理（broker），可將同步通訊轉為非同步通訊。官網

• Apache Camel：通過企業級整合模式（Enterprise Integration Pattern EIP）將不同的消息傳輸API整合在一起。官網

• Apache Kafka：高吞吐量分布式消息系統。官網

• Hermes：快速、可靠的消息代理（Broker），基於Kafka構建。官網

• JBoss HornetQ：清晰、准確、模塊化，可以方便嵌入的消息工具。官網

• JeroMQ：ZeroMQ的純Java實現。官網

• Smack：跨平台XMPP客戶端函數庫。官網

• Openfire：是開源的、基於XMPP、採用Java編程語言開發的實時協作伺服器。 Openfire安裝和使用都非常簡單，並可利用Web界面進行管理。官網GitHub

• Spark：是一個開源，跨平台IM客戶端。它的特性支持集組聊天，電話集成和強大安全性能。如果企業內部部署IM使用Openfire+Spark是最佳的組合。官網GitHub

• Tigase： 是一個輕量級的可伸縮的 Jabber/XMPP 伺服器。無需其他第三方庫支持，可以處理非常高的復雜和大量的用戶數，可以根據需要進行水平擴展。官網

雜項

未分類其它資源。

• Design Patterns：實現並解釋了最常見的設計模式。官網

• Jimfs：內存文件系統。官網

• Lanterna：類似curses的簡單console文本GUI函數庫。官網

• LightAdmin：可插入式CRUD UI函數庫，可用來快速應用開發。官網

• OpenRefine：用來處理混亂數據的工具，包括清理、轉換、使用Web Service進行擴展並將其關聯到資料庫。官網

• RoboVM：Java編寫原生iOS應用。官網

• Quartz：強大的任務調度庫.官網

應用監控工具

監控生產環境中應用程序的工具。

• AppDynamics：性能監測商業工具。官網

• JavaMelody：性能監測和分析工具。官網

• Kamon：Kamon用來監測在JVM上運行的應用程序。官網

• New Relic：性能監測商業工具。官網

• SPM：支持對JVM應用程序進行分布式事務追蹤的性能監測商業工具。官網

• Takipi：產品運行時錯誤監測及調試商業工具。官網

原生開發庫

用來進行特定平台開發的原生開發庫。

• JNA：不使用JNI就可以使用原生開發庫。此外，還為常見系統函數提供了介面。官網

自然語言處理

用來專門處理文本的函數庫。

• Apache OpenNLP：處理類似分詞等常見任務的工具。官網

• CoreNLP：斯坦佛CoreNLP提供了一組基礎工具，可以處理類似標簽、實體名識別和情感分析這樣的任務。官網

• LingPipe：一組可以處理各種任務的工具集，支持POS標簽、情感分析等。官網

• Mallet：統計學自然語言處理、文檔分類、聚類、主題建模等。官網

網路

網路編程函數庫。

• Async Http Client：非同步HTTP和WebSocket客戶端函數庫。官網

• Grizzly：NIO框架，在Glassfish中作為網路層使用。官網

• Netty：構建高性能網路應用程序開發框架。官網

• OkHttp：一個Android和Java應用的HTTP+SPDY客戶端。官網

• Undertow：基於NIO實現了阻塞和非阻塞API的Web伺服器，在WildFly中作為網路層使用。官網

ORM

處理對象持久化的API。

• Ebean：支持快速數據訪問和編碼的ORM框架。官網

• EclipseLink：支持許多持久化標准，JPA、JAXB、JCA和SDO。官網

• Hibernate：廣泛使用、強健的持久化框架。Hibernate的技術社區非常活躍。官網

• MyBatis：帶有存儲過程或者SQL語句的耦合對象（Couples object）。官網

• OrmLite：輕量級開發包，免除了其它ORM產品中的復雜性和開銷。官網

• Nutz：另一個SSH。官網，Github

• JFinal：JAVA WEB + ORM框架。官網，Github

PDF

用來幫助創建PDF文件的資源。

• Apache FOP：從XSL-FO創建PDF。官網

• Apache PDFBox：用來創建和操作PDF的工具集。官網

• DynamicReports：JasperReports的精簡版。官網

• flyingsaucer：XML/XHTML和CSS 2.1渲染器。官網

• iText：一個易於使用的PDF函數庫，用來編程創建PDF文件。注意，用於商業用途時需要許可證。官網

• JasperReports：一個復雜的報表引擎。官網

性能分析

性能分析、性能剖析及基準測試工具。

• jHiccup：提供平台中JVM暫停的日誌和記錄。官網

• JMH：JVM基準測試工具。官網

• JProfiler：商業分析器。官網

• LatencyUtils：測量和報告延遲的工具。官網

• VisualVM：對運行中的應用程序信息提供了可視化界面。官網

• YourKit Java Profiler：商業分析器。官網

響應式開發庫

用來開發響應式應用程序的開發庫。

• Reactive Streams：非同步流處理標准，支持非阻塞式反向壓力（backpressure）。官網

• Reactor：構建響應式快速數據（fast-data）應用程序的開發庫。官網

• RxJava：通過JVM可觀察序列（observable sequence）構建非同步和基於事件的程序。官網

REST框架

用來創建RESTful 服務的框架。

• Dropwizard：偏向於自己使用的Web框架。用來構建Web應用程序，使用了Jetty、Jackson、Jersey和Metrics。官網

• Feign：受Retrofit、JAXRS-2.0和WebSocket啟發的HTTP客戶端連接器（binder）。官網

• Jersey：JAX-RS參考實現。官網

• RESTEasy：經過JAX-RS規范完全認證的可移植實現。官網

• RestExpress：一個Java類型安全的REST客戶端。官網

• RestX：基於註解處理和編譯時源碼生成的框架。官網

• Retrofit：類型安全的REST客戶端。官網

• Spark：受到Sinatra啟發的Java REST框架。官網

• Swagger：Swagger是一個規范且完整的框架，提供描述、生產、消費和可視化RESTful Web Service。官網

• Blade：國人開發的一個輕量級的MVC框架. 它擁有簡潔的代碼，優雅的設計。官網

科學計算與分析

用於科學計算和分析的函數庫。

• DataMelt：用於科學計算、數據分析及數據可視化的開發環境。官網

• JGraphT：支持數學圖論對象和演算法的圖形庫。官網

• JScience：用來進行科學測量和單位的一組類。官網

搜索引擎

文檔索引引擎，用於搜索和分析。

• Apache Solr：一個完全的企業搜索引擎。為高吞吐量通信進行了優化。官網

• Elasticsearch：一個分布式、支持多租戶（multitenant）全文本搜索引擎。提供了RESTful Web介面和無schema的JSON文檔。官網

• Apache Lucene：是一個開放源代碼的全文檢索引擎工具包，是一個全文檢索引擎的架構，提供了完整的查詢引擎和索引引擎，部分文本分析引擎。官網

安全

用於處理安全、認證、授權或會話管理的函數庫。

• Apache Shiro：執行認證、授權、加密和會話管理。官網

• Bouncy Castle，涵蓋了從基礎的幫助函數到PGP/SMIME操作。官網：多途加密開發庫。支持JCA提供者（JCA provider)

• Cryptomator：在雲上進行客戶端跨平台透明加密。官網

• Keycloak：為瀏覽器應用和RESTful Web Service集成SSO和IDM。目前還處於beta版本，但是看起來非常有前途。官網

• PicketLink：PicketLink是一個針對Java應用進行安全和身份認證管理的大型項目（Umbrella Project）。官網

序列化

用來高效處理序列化的函數庫。

• FlatBuffers：高效利用內存的序列化函數庫，無需解包和解析即可高效訪問序列化數據。官網

• Kryo：快速、高效的對象圖形序列化框架。官網

• FST：提供兼容JDK的高性能對象圖形序列化。官網

• MessagePack：一種高效的二進制序列化格式。官網

應用伺服器

用來部署應用程序的伺服器。

• Apache Tomcat：針對Servlet和JSP的應用伺服器，健壯性好且適用性強。官網

• Apache TomEE：Tomcat加Java EE。官網

• Jetty：輕量級、小巧的應用伺服器，通常會嵌入到項目中。官網

• WebSphere Liberty：輕量級、模塊化應用伺服器，由IBM開發。官網

• WildFly：之前被稱作JBoss，由Red Hat開發。支持很多Java EE功能。官網

模板引擎

在模板中替換表達式的工具。

• Apache Velocity：提供HTML頁面模板、email模板和通用開源代碼生成器模板。官網

• FreeMarker：通用模板引擎，不需要任何重量級或自己使用的依賴關系。官網

• Handlebars.java：使用Java編寫的模板引擎，邏輯簡單，支持語義擴展（semantic Mustache）。官網

• Thymeleaf：旨在替換JSP，支持XML文件的工具。官網

測試

測試內容從對象到介面，涵蓋性能測試和基準測試工具。

• Apache JMeter：功能性測試和性能評測。官網

• Arquillian：集成測試和功能行測試平台，集成Java EE容器。官網

• AssertJ：支持流式斷言提高測試的可讀性。官網

• Awaitility：用來同步非同步操作的DSL。官網

• Cucumber：BDD測試框架。官網

• Gatling：設計為易於使用、可維護的和高性能負載測試工具。官網

• Hamcrest：可用來靈活創建意圖（intent）表達式的匹配器。官網

• JMockit：用來模擬靜態、final方法等。官網

• JUnit：通用測試框架。官網

• Mockito：在自動化單元測試中創建測試對象，為TDD或BDD提供支持。官網

• PowerMock： 支持模擬靜態方法、構造函數、final類和方法、私有方法以及移除靜態初始化器的模擬工具。官網

• REST Assured：為REST/HTTP服務提供方便測試的Java DSL。官網

• Selenide：為Selenium提供精準的周邊API，用來編寫穩定且可讀的UI測試。官網

• Selenium：為Web應用程序提供可移植軟體測試框架。官網

• Spock：JUnit-compatible framework featuring an expressive Groovy-derived specification language.官網兼容JUnit框架，支持衍生的Groovy范的語言。

• TestNG：測試框架。官網

• Truth：Google的斷言和命題（proposition）框架。官網

• Unitils：模塊化測試函數庫，支持單元測試和集成測試。官網

• WireMock：Web Service測試樁（Stub）和模擬函數。官網

通用工具庫

通用工具類函數庫。

• Apache Commons：提供各種用途的函數，比如配置、驗證、集合、文件上傳或XML處理等。官網

• args4j：命令行參數解析器。官網

• CRaSH：為運行進行提供CLI。官網

• Gephi：可視化跨平台網路圖形化操作程序。官網

• Guava：集合、緩存、支持基本類型、並發函數庫、通用註解、字元串處理、I/O等。官網

• JADE：構建、調試多租戶系統的框架和環境。官網

• javatuples：正如名字表示的那樣，提供tuple支持。盡管目前tuple的概念還有留有爭議。官網

• JCommander：命令行參數解析器。官網

• Protégé：提供存在論（ontology）編輯器以及構建知識系統的框架。官網

網路爬蟲

用於分析網站內容的函數庫。

• Apache Nutch：可用於生產環境的高度可擴展、可伸縮的網路爬蟲。官網

• Crawler4j：簡單的輕量級網路爬蟲。官網

• JSoup：刮取、解析、操作和清理HTML。官網

Web框架

用於處理Web應用程序不同層次間通訊的框架。

• Apache Tapestry：基於組件的框架，使用Java創建動態、強健的、高度可擴展的Web應用程序。官網

• Apache Wicket：基於組件的Web應用框架，與Tapestry類似帶有狀態顯示GUI。官網

• Google Web Toolkit：一組Web開發工具集，包含在客戶端將Java代碼轉為JavaScript的編譯器、XML解析器、RCP官網API、JUnit集成、國際化支持和GUI控制項。

• Grails：Groovy框架，旨在提供一個高效開發環境，使用約定而非配置、沒有XML並支持混入（mixin）。官網

• Ninja：Java全棧Web開發框架。非常穩固、快速和高效。官網

• Pippo：小型、高度模塊化的類Sinatra框架。官網

• Play：使用約定而非配置，支持代碼熱載入並在瀏覽器中顯示錯誤。官網

• PrimeFaces：JSF框架，提供免費和帶支持的商業版本。包括若干前端組件。官網

• Ratpack：一組Java開發函數庫，用於構建快速、高效、可擴展且測試完備的HTTP應用程序。官網

• Spring Boot：微框架，簡化了Spring新程序的開發過程。官網

• Spring：旨在簡化Java EE的開發過程，提供依賴注入相關組件並支持面向切面編程。官網

• Vaadin：基於GWT構建的事件驅動框架。使用服務端架構，客戶端使用Ajax。官網

• Blade：國人開發的一個輕量級的MVC框架. 它擁有簡潔的代碼，優雅的設計。官網

業務流程管理套件

流程驅動的軟體系統構建。

• jBPM：非常靈活的業務流程管理框架，致力於構建開發與業務分析人員之間的橋梁。官網

• Activity：輕量級工作流和業務流程管理框架。官網github

資源

社區

⑺ 大數據專業主要學什麼啊

1、大數據專業，一般是指大數據採集與管理專業；
2、課程設置，大數據專業將從大數據應用的三個主要層面（即數據管理、系統開發、海量數據分析與挖掘）系統地幫助企業掌握大數據應用中的各種典型問題的解決辦法，包括實現和分析協同過濾演算法、運行和學習分類演算法、分布式Hadoop集群的搭建和基準測試、分布式Hbase集群的搭建和基準測試、實現一個基於、Maprece的並行演算法、部署Hive並實現一個的數據操作等等，實際提升企業解決實際問題的能力。
3、核心技術，
（1）大數據與Hadoop生態系統。詳細介紹分析分布式文件系統HDFS、集群文件系統ClusterFS和NoSQL Database技術的原理與應用；分布式計算框架Maprece、分布式資料庫HBase、分布式數據倉庫Hive。
（2）關系型資料庫技術。詳細介紹關系型資料庫的原理，掌握典型企業級資料庫的構建、管理、開發及應用。
（3）分布式數據處理。詳細介紹分析Map/Rece計算模型和Hadoop Map/Rece技術的原理與應用。
（4）海量數據分析與數據挖掘。詳細介紹數據挖掘技術、數據挖掘演算法–Minhash, Jaccard and Cosine similarity，TF-IDF數據挖掘演算法–聚類演算法；以及數據挖掘技術在行業中的具體應用。
（5）物聯網與大數據。詳細介紹物聯網中的大數據應用、遙感圖像的自動解譯、時間序列數據的查詢、分析和挖掘。
（6）文件系統（HDFS）。詳細介紹HDFS部署，基於HDFS的高性能提供高吞吐量的數據訪問。
（7）NoSQL。詳細介紹NoSQL非關系型資料庫系統的原理、架構及典型應用。
4、行業現狀，
今天，越來越多的行業對大數據應用持樂觀的態度，大數據或者相關數據分析解決方案的使用在互聯網行業，比如網路、騰訊、淘寶、新浪等公司已經成為標准。而像電信、金融、能源這些傳統行業，越來越多的用戶開始嘗試或者考慮怎麼樣使用大數據解決方案，來提升自己的業務水平。
在「大數據」背景之下，精通「大數據」的專業人才將成為企業最重要的業務角色，「大數據」從業人員薪酬持續增長，人才缺口巨大。

⑻ 大數據核心技術有哪些

大數據技術的體系龐大且復雜，基礎的技術包含數據的採集、數據預處理、分布式存儲、NoSQL資料庫、數據倉庫、機器學習、並行計算、可視化等各種技術范疇和不同的技術層面。首先給出一個通用化的大數據處理框架，主要分為下面幾個方面：數據採集與預處理、數據存儲、數據清洗、數據查詢分析和數據可視化。

一、數據採集與預處理

對於各種來源的數據，包括移動互聯網數據、社交網路的數據等，這些結構化和非結構化的海量數據是零散的，也就是所謂的數據孤島，此時的這些數據並沒有什麼意義，數據採集就是將這些數據寫入數據倉庫中，把零散的數據整合在一起，對這些數據綜合起來進行分析。數據採集包括文件日誌的採集、資料庫日誌的採集、關系型資料庫的接入和應用程序的接入等。在數據量比較小的時候，可以寫個定時的腳本將日誌寫入存儲系統，但隨著數據量的增長，這些方法無法提供數據安全保障，並且運維困難，需要更強壯的解決方案。

Flume NG作為實時日誌收集系統，支持在日誌系統中定製各類數據發送方，用於收集數據，同時，對數據進行簡單處理，並寫到各種數據接收方(比如文本，HDFS，Hbase等)。Flume NG採用的是三層架構：Agent層，Collector層和Store層，每一層均可水平拓展。其中Agent包含Source，Channel和 Sink，source用來消費（收集）數據源到channel組件中，channel作為中間臨時存儲，保存所有source的組件信息，sink從channel中讀取數據，讀取成功之後會刪除channel中的信息。

NDC，Netease Data Canal，直譯為網易數據運河系統，是網易針對結構化資料庫的數據實時遷移、同步和訂閱的平台化解決方案。它整合了網易過去在數據傳輸領域的各種工具和經驗，將單機資料庫、分布式資料庫、OLAP系統以及下游應用通過數據鏈路串在一起。除了保障高效的數據傳輸外，NDC的設計遵循了單元化和平台化的設計哲學。

Logstash是開源的伺服器端數據處理管道，能夠同時從多個來源採集數據、轉換數據，然後將數據發送到您最喜歡的 「存儲庫」 中。一般常用的存儲庫是Elasticsearch。Logstash 支持各種輸入選擇，可以在同一時間從眾多常用的數據來源捕捉事件，能夠以連續的流式傳輸方式，輕松地從您的日誌、指標、Web 應用、數據存儲以及各種 AWS 服務採集數據。

Sqoop，用來將關系型資料庫和Hadoop中的數據進行相互轉移的工具，可以將一個關系型資料庫(例如Mysql、Oracle)中的數據導入到Hadoop(例如HDFS、Hive、Hbase)中，也可以將Hadoop(例如HDFS、Hive、Hbase)中的數據導入到關系型資料庫(例如Mysql、Oracle)中。Sqoop 啟用了一個 MapRece 作業（極其容錯的分布式並行計算）來執行任務。Sqoop 的另一大優勢是其傳輸大量結構化或半結構化數據的過程是完全自動化的。

流式計算是行業研究的一個熱點，流式計算對多個高吞吐量的數據源進行實時的清洗、聚合和分析，可以對存在於社交網站、新聞等的數據信息流進行快速的處理並反饋，目前大數據流分析工具有很多，比如開源的strom，spark streaming等。

Strom集群結構是有一個主節點（nimbus）和多個工作節點（supervisor）組成的主從結構，主節點通過配置靜態指定或者在運行時動態選舉，nimbus與supervisor都是Storm提供的後台守護進程，之間的通信是結合Zookeeper的狀態變更通知和監控通知來處理。nimbus進程的主要職責是管理、協調和監控集群上運行的topology（包括topology的發布、任務指派、事件處理時重新指派任務等）。supervisor進程等待nimbus分配任務後生成並監控worker（jvm進程）執行任務。supervisor與worker運行在不同的jvm上，如果由supervisor啟動的某個worker因為錯誤異常退出（或被kill掉），supervisor會嘗試重新生成新的worker進程。

當使用上游模塊的數據進行計算、統計、分析時，就可以使用消息系統，尤其是分布式消息系統。Kafka使用Scala進行編寫，是一種分布式的、基於發布/訂閱的消息系統。Kafka的設計理念之一就是同時提供離線處理和實時處理,以及將數據實時備份到另一個數據中心，Kafka可以有許多的生產者和消費者分享多個主題，將消息以topic為單位進行歸納；Kafka發布消息的程序稱為procer，也叫生產者，預訂topics並消費消息的程序稱為consumer，也叫消費者；當Kafka以集群的方式運行時，可以由一個服務或者多個服務組成，每個服務叫做一個broker，運行過程中procer通過網路將消息發送到Kafka集群，集群向消費者提供消息。Kafka通過Zookeeper管理集群配置，選舉leader，以及在Consumer Group發生變化時進行rebalance。Procer使用push模式將消息發布到broker，Consumer使用pull模式從broker訂閱並消費消息。Kafka可以和Flume一起工作，如果需要將流式數據從Kafka轉移到hadoop，可以使用Flume代理agent，將Kafka當做一個來源source，這樣可以從Kafka讀取數據到Hadoop。

Zookeeper是一個分布式的，開放源碼的分布式應用程序協調服務，提供數據同步服務。它的作用主要有配置管理、名字服務、分布式鎖和集群管理。配置管理指的是在一個地方修改了配置，那麼對這個地方的配置感興趣的所有的都可以獲得變更，省去了手動拷貝配置的繁瑣，還很好的保證了數據的可靠和一致性，同時它可以通過名字來獲取資源或者服務的地址等信息，可以監控集群中機器的變化，實現了類似於心跳機制的功能。

二、數據存儲

Hadoop作為一個開源的框架，專為離線和大規模數據分析而設計，HDFS作為其核心的存儲引擎，已被廣泛用於數據存儲。

HBase，是一個分布式的、面向列的開源資料庫，可以認為是hdfs的封裝，本質是數據存儲、NoSQL資料庫。HBase是一種Key/Value系統，部署在hdfs上，克服了hdfs在隨機讀寫這個方面的缺點，與hadoop一樣，Hbase目標主要依靠橫向擴展，通過不斷增加廉價的商用伺服器，來增加計算和存儲能力。

Phoenix，相當於一個Java中間件，幫助開發工程師能夠像使用JDBC訪問關系型資料庫一樣訪問NoSQL資料庫HBase。

Yarn是一種Hadoop資源管理器，可為上層應用提供統一的資源管理和調度，它的引入為集群在利用率、資源統一管理和數據共享等方面帶來了巨大好處。Yarn由下面的幾大組件構成：一個全局的資源管理器ResourceManager、ResourceManager的每個節點代理NodeManager、表示每個應用的Application以及每一個ApplicationMaster擁有多個Container在NodeManager上運行。

Mesos是一款開源的集群管理軟體，支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等應用架構。

Redis是一種速度非常快的非關系資料庫，可以存儲鍵與5種不同類型的值之間的映射，可以將存儲在內存的鍵值對數據持久化到硬碟中，使用復制特性來擴展性能，還可以使用客戶端分片來擴展寫性能。

Atlas是一個位於應用程序與MySQL之間的中間件。在後端DB看來，Atlas相當於連接它的客戶端，在前端應用看來，Atlas相當於一個DB。Atlas作為服務端與應用程序通訊，它實現了MySQL的客戶端和服務端協議，同時作為客戶端與MySQL通訊。它對應用程序屏蔽了DB的細節，同時為了降低MySQL負擔，它還維護了連接池。Atlas啟動後會創建多個線程，其中一個為主線程，其餘為工作線程。主線程負責監聽所有的客戶端連接請求，工作線程只監聽主線程的命令請求。

Ku是圍繞Hadoop生態圈建立的存儲引擎，Ku擁有和Hadoop生態圈共同的設計理念，它運行在普通的伺服器上、可分布式規模化部署、並且滿足工業界的高可用要求。其設計理念為fast analytics on fast data。作為一個開源的存儲引擎，可以同時提供低延遲的隨機讀寫和高效的數據分析能力。Ku不但提供了行級的插入、更新、刪除API，同時也提供了接近Parquet性能的批量掃描操作。使用同一份存儲，既可以進行隨機讀寫，也可以滿足數據分析的要求。Ku的應用場景很廣泛，比如可以進行實時的數據分析，用於數據可能會存在變化的時序數據應用等。

在數據存儲過程中，涉及到的數據表都是成千上百列，包含各種復雜的Query，推薦使用列式存儲方法，比如parquent,ORC等對數據進行壓縮。Parquet 可以支持靈活的壓縮選項，顯著減少磁碟上的存儲。

三、數據清洗

MapRece作為Hadoop的查詢引擎，用於大規模數據集的並行計算，」Map（映射）」和」Rece（歸約）」，是它的主要思想。它極大的方便了編程人員在不會分布式並行編程的情況下，將自己的程序運行在分布式系統中。

隨著業務數據量的增多，需要進行訓練和清洗的數據會變得越來越復雜，這個時候就需要任務調度系統，比如oozie或者azkaban，對關鍵任務進行調度和監控。

Oozie是用於Hadoop平台的一種工作流調度引擎，提供了RESTful API介面來接受用戶的提交請求(提交工作流作業)，當提交了workflow後，由工作流引擎負責workflow的執行以及狀態的轉換。用戶在HDFS上部署好作業(MR作業)，然後向Oozie提交Workflow，Oozie以非同步方式將作業(MR作業)提交給Hadoop。這也是為什麼當調用Oozie 的RESTful介面提交作業之後能立即返回一個JobId的原因，用戶程序不必等待作業執行完成（因為有些大作業可能會執行很久(幾個小時甚至幾天)）。Oozie在後台以非同步方式，再將workflow對應的Action提交給hadoop執行。

Azkaban也是一種工作流的控制引擎，可以用來解決有多個hadoop或者spark等離線計算任務之間的依賴關系問題。azkaban主要是由三部分構成：Relational Database，Azkaban Web Server和Azkaban Executor Server。azkaban將大多數的狀態信息都保存在MySQL中，Azkaban Web Server提供了Web UI，是azkaban主要的管理者，包括project的管理、認證、調度以及對工作流執行過程中的監控等；Azkaban Executor Server用來調度工作流和任務，記錄工作流或者任務的日誌。

流計算任務的處理平台Sloth，是網易首個自研流計算平台，旨在解決公司內各產品日益增長的流計算需求。作為一個計算服務平台，其特點是易用、實時、可靠，為用戶節省技術方面（開發、運維）的投入，幫助用戶專注於解決產品本身的流計算需求。

四、數據查詢分析

Hive的核心工作就是把SQL語句翻譯成MR程序，可以將結構化的數據映射為一張資料庫表，並提供 HQL(Hive SQL)查詢功能。Hive本身不存儲和計算數據，它完全依賴於HDFS和MapRece。可以將Hive理解為一個客戶端工具，將SQL操作轉換為相應的MapRece jobs，然後在hadoop上面運行。Hive支持標準的SQL語法，免去了用戶編寫MapRece程序的過程，它的出現可以讓那些精通SQL技能、但是不熟悉MapRece 、編程能力較弱與不擅長Java語言的用戶能夠在HDFS大規模數據集上很方便地利用SQL 語言查詢、匯總、分析數據。

Hive是為大數據批量處理而生的，Hive的出現解決了傳統的關系型資料庫(MySql、Oracle)在大數據處理上的瓶頸 。Hive 將執行計劃分成map->shuffle->rece->map->shuffle->rece…的模型。如果一個Query會被編譯成多輪MapRece，則會有更多的寫中間結果。由於MapRece執行框架本身的特點，過多的中間過程會增加整個Query的執行時間。在Hive的運行過程中，用戶只需要創建表，導入數據，編寫SQL分析語句即可。剩下的過程由Hive框架自動的完成。

Impala是對Hive的一個補充，可以實現高效的SQL查詢。使用Impala來實現SQL on Hadoop，用來進行大數據實時查詢分析。通過熟悉的傳統關系型資料庫的SQL風格來操作大數據，同時數據也是可以存儲到HDFS和HBase中的。Impala沒有再使用緩慢的Hive+MapRece批處理，而是通過使用與商用並行關系資料庫中類似的分布式查詢引擎（由Query Planner、Query Coordinator和Query Exec Engine三部分組成），可以直接從HDFS或HBase中用SELECT、JOIN和統計函數查詢數據，從而大大降低了延遲。Impala將整個查詢分成一執行計劃樹，而不是一連串的MapRece任務，相比Hive沒了MapRece啟動時間。

Hive 適合於長時間的批處理查詢分析，而Impala適合於實時互動式SQL查詢，Impala給數據人員提供了快速實驗，驗證想法的大數據分析工具，可以先使用Hive進行數據轉換處理，之後使用Impala在Hive處理好後的數據集上進行快速的數據分析。總的來說：Impala把執行計劃表現為一棵完整的執行計劃樹，可以更自然地分發執行計劃到各個Impalad執行查詢，而不用像Hive那樣把它組合成管道型的map->rece模式，以此保證Impala有更好的並發性和避免不必要的中間sort與shuffle。但是Impala不支持UDF，能處理的問題有一定的限制。

Spark擁有Hadoop MapRece所具有的特點，它將Job中間輸出結果保存在內存中，從而不需要讀取HDFS。Spark 啟用了內存分布數據集，除了能夠提供互動式查詢外，它還可以優化迭代工作負載。Spark 是在 Scala 語言中實現的，它將 Scala 用作其應用程序框架。與 Hadoop 不同，Spark 和 Scala 能夠緊密集成，其中的 Scala 可以像操作本地集合對象一樣輕松地操作分布式數據集。

Nutch 是一個開源Java 實現的搜索引擎。它提供了我們運行自己的搜索引擎所需的全部工具，包括全文搜索和Web爬蟲。

Solr用Java編寫、運行在Servlet容器（如Apache Tomcat或Jetty）的一個獨立的企業級搜索應用的全文搜索伺服器。它對外提供類似於Web-service的API介面，用戶可以通過http請求，向搜索引擎伺服器提交一定格式的XML文件，生成索引；也可以通過Http Get操作提出查找請求，並得到XML格式的返回結果。

Elasticsearch是一個開源的全文搜索引擎，基於Lucene的搜索伺服器，可以快速的儲存、搜索和分析海量的數據。設計用於雲計算中，能夠達到實時搜索，穩定，可靠，快速，安裝使用方便。

還涉及到一些機器學習語言，比如，Mahout主要目標是創建一些可伸縮的機器學習演算法，供開發人員在Apache的許可下免費使用；深度學習框架Caffe以及使用數據流圖進行數值計算的開源軟體庫TensorFlow等，常用的機器學習演算法比如，貝葉斯、邏輯回歸、決策樹、神經網路、協同過濾等。

五、數據可視化

對接一些BI平台，將分析得到的數據進行可視化，用於指導決策服務。主流的BI平台比如，國外的敏捷BI Tableau、Qlikview、PowrerBI等，國內的SmallBI和新興的網易有數（可點擊這里免費試用）等。

在上面的每一個階段，保障數據的安全是不可忽視的問題。

基於網路身份認證的協議Kerberos，用來在非安全網路中，對個人通信以安全的手段進行身份認證，它允許某實體在非安全網路環境下通信，向另一個實體以一種安全的方式證明自己的身份。

控制許可權的ranger是一個Hadoop集群許可權框架，提供操作、監控、管理復雜的數據許可權，它提供一個集中的管理機制，管理基於yarn的Hadoop生態圈的所有數據許可權。可以對Hadoop生態的組件如Hive，Hbase進行細粒度的數據訪問控制。通過操作Ranger控制台，管理員可以輕松的通過配置策略來控制用戶訪問HDFS文件夾、HDFS文件、資料庫、表、欄位許可權。這些策略可以為不同的用戶和組來設置，同時許可權可與hadoop無縫對接。