EMC 推出全球最強大 Hadoop distribution 軟體Pivotal HD

EMC® 公司 (紐約證交所代碼：EMC)發表一款全新Apache Hadoop distribution 軟體Pivotal HD 。 Pivotal HD以原生模式整合 EMC 領先業界的 Greenplum® 大規模平行處理 (massively parallel processing，MPP) 資料庫並搭載 Apache Hadoop ，成為史上成本效益最高且最富彈性的開放原始碼巨量資料平台。新的 HAWQ™ 技術以 EMC Greenplum 發展，並將累積 10 年的大規模資料管理 (large scale data management) 研發成果導入 Hadoop ，相較於建構在 Hadoop 基礎上各種現有的SQL服務，效能可提高 100 倍以上， 也讓Pivotal HD 成為業界最強大的單一 Hadoop distribution 軟體。

Hadoop 迅速成為各種巨量資料分析應用的首選解決方案，因為它能處理大量的非結構化資料。由於它具備彈性、擴充性、平價、容錯等特性，因此用戶急速攀升，加上各界大規模的投資造就出豐富的產業體系。然而，礙於商業智慧 (Business Intelligence， BI)資料採集方面仍欠缺實用的介面與高階工具，這些元件對資料分析與建立資料驅動的企業至關重要，客戶若要全面採用 Hadoop 作為單一化資料儲存庫，依舊面臨許多障礙。作為全球首款真正搭配 Hadoop 的 SQL 處理方案， Pivotal HD 能克服上述挑戰。

有鑑於提供全方位的 SQL 介面並擴大支援 SQL 的整個產品產業體系，客戶不再需要依賴開發商來建構儀表板程式或匯整出報表。不同於其他Hadoop distribution 軟體， Pivotal HD 在執行上述工作時不用在系統間移動資料，亦不需要使用要求使用者重複儲存資料兩次的連結器。 Pivotal HD 讓 Hadoop 在使用上不再複雜，除了能擴展平台的潛力與生產力，客戶也能享受史上最具成本效益與彈性的資料處理平台。

關於HAWQ

HAWQ (發音為 hawk) 是 EMC Greenplum 的工程研發成果，將累積 10 年的大規模資料管理研發導入 Apache Hadoop 框架。結合領先業界 Greenplum MPP 分析資料庫的豐富功能與成熟度，這項創新造就出全球第一個真正建構在 Hadoop 分散式檔案系統 (Hadoop Distributed File System ， HDFS) 的 SQL 平行式資料庫。 HAWQ 是讓 Pivotal HD 成為全球最強大的Hadoop distribution 軟體的關鍵差異化技術。其重要功能包括世界級查詢最佳化 (query optimizer) 的Dynamic Pipelining 、水平式擴充、SQL相容性、互動式查詢、深層分析、並支援各種通用Hadoop格式。

Pivotal HD 與 HAWQ 提供：

•       真正 SQL資料庫查詢功能—透過 Pivotal HD的先進資料庫服務 (HAWQ)，企業現在能釋放 Hadoop 可擴充容錯性儲存功能的潛力，並將大量的「data worker」工具與語言導入 Hadoop 產業體系。透過支援 Pivotal HD且真正SQL 標準相容查詢介面的資料採集工具，加上受 SQL 訓練的資料分析以及標準商業智慧工具，便能輕易與儲存在 Hadoop 檔案系統 (HDFS) 內的資料進行連結、查詢、以及分析。

•       前所未有的查詢效能— Pivotal HD 將累積超過 10 年的平行資料庫處理技術導入 Hadoop ，相較於目前 Hadoop 專屬的類 SQL 介面，查詢反應時間加快超過 600 倍。

 

•       紮實的營運支援—指揮中心 (Command Center) 讓管理員與開發者能透過互動式網頁操作介面，輕易安裝與管理大型叢集系統。指揮中心還提供命令列介面 (Command Line Interface) ，讓使用者針對複雜的自動化作業撰寫 script 指令與程式。透過指揮中心，管理者可佈建大型叢集系統、設定服務/角色、管理服務、以及監視 HDFS 作業與任務。

Hadoop—改變的基礎

EMC 相信 Hadoop 有超越巨量資料的潛力，達到更上一層樓的商業生產力並帶動轉型。作為企業改變的基礎， Hadoop 象徵一個前所未有的機會，協助組織從大量的資料中擷取最多的價值。採用 Hadoop 作為基礎設施核心的企業，不僅能對大量資料進行分析，還能進一步在資料層的基礎上建構有意義的應用，並與資料之間維持緊密的耦合關係。 Consumer Internet 公司即從這種作法獲得許多利益， EMC 相信越來越多傳統企業將採用相同的模式，著手推動企業的演進與轉型。

Pivotal HD 預計將於今年第一季末推出純軟體或裝置型解決方案，且具備 EMC 的全球 24 小時支援架構。

主管意見：

EMC 公司 Greenplum 產品部資深副總裁 Scott Yara 表示：「 Hadoop 能協助釋放巨量資料的轉型潛力，對許多企業而言意義重大。將 Greenplum 卓越的技術與其精髓，結合令人驚艷的開放原始碼策略，能引發可觀的成效。除此之外，我們投入所有資源，所付出的手筆遠超越其他公司，以促使各界廣泛採納 Hadoop 。」

紐約泛歐證券交易所 (NYSE Euronext) 資料長暨全球資料服務資深副總裁Steven Hirsch表示：「 Pivotal HD能滿足許多 Hadoop 的需求項目，包括像產業體系工具的外掛支援、增進資料管理效率、以及提升儲存與運算層面的彈性。更重要的是，此軟體不是現今常見的粗略方案，而是根據原生模式，設計出真實的SQL處理與最佳化，提供資料工作者與工具真正的SQL查詢介面。有了查詢與分析巨量資料的單一 Hadoop 架構後，將能徹底改變局面。現在加入這項功能後，SQL的效能比其他廠商的方案高出100倍，就能和紐約泛歐證交所一樣樂於擁有如此完善的環境。」

The Wikibon Project巨量資料分析師Jeff Kelly表示：「 Pivotal HD 在原生模式下整合 Greenplum 資料庫與 Hadoop ，將巨量資料分析普及至新的用戶群 ，即熟悉技術的企業用戶，不僅透過大家熟悉的 SQL 介面提供即時的查詢回覆，而且無須在 Hadoop 與另外的分析資料庫之間移動資料。更重要的是，Pivotal HD在單一環境中提供即時與批次分析功能，讓 Hadoop 更能發揮潛力，廣泛成為 21 世紀巨量資料的標準平台。」

Enterprise Management Associates 資深分析師John Myer表示：「 Pivotal HD 的推行反映出最近 Enterprise Management Associates 在巨量資料研究的結果，以及我們對混合資料產業體系 (Hybrid Data Ecosystem) 所抱持的願景。透過 HDFS 分享通用資料儲存資源，以及透過SQL或NoSQL存取管道來處理各種商業需求方面的資訊， Pivotal 體認到不同的分析挑戰需要不同的處理/存取分層。」

EMC Isilon行銷部副總裁暨產品經理Sam Grocott表示：「 Pivotal HD的推行加上EMC Isilon以原生模式整合 Hadoop 分散式檔案系統 (HDFS) 協定，延續了過去的演進腳步，而且在橫向擴充 (scale-out) NAS架構上，成為業界第一而且也是唯一通過企業環境考驗的 Hadoop 解決方案。這款強大的組合成功降低以往 Hadoop 佈建工作的複雜性，並讓企業能輕易從非結構化資料中擷取商業價值。」

合作夥伴對於 Pivotal HD 的支持宣言：

想瞭解我們夥伴對 Pivotal HD 的看法，請點選這裡

更多資源


關於Greenplum ( EMC 子公司)

Greenplum 是 EMC 的子公司，以突破性的產品推動巨量資料分析的未來，運用資料科學家團隊的技能協助全球企業實現業務敏捷性，使之成為以資料為導向、有預見能力的企業。 Greenplum 的產品包括 Greenplum 統一分析平台 (Unified Analytics Platform) 、 Greenplum Data Computing Appliance 、 Greenplum Database 、 Greenplum Analytics Lab 、 Greenplum HD 和 Greenplum Chorus 。 Greenplum 使開放系統、雲端運算、虛擬化和社交合作的力量具體化，使全球企業得以從資料中發掘從未想像到的更多洞察力與價值。詳細資訊請瀏覽www.greenplum.com。

關於EMC

EMC 是全球轉變企業與服務供應商營運並提供 IT 即服務的領導者，雲端即是轉變的基礎，透過創新的產品和服務， EMC 不僅加速雲端端旅程、幫助 IT 部門儲存，管理、並且以更靈活、可靠、具成本效益的方式保護和分析最寶貴的資產—資料。更多 EMC 的訊息，請查詢http://taiwan.emc.com/。