Hadoop之父 Doug Cutting 去年十月在Hadoop World 上一場名為 Beyond Batch 的演講,揭開了整個社群探索即時運算 (real-time) 的浪潮。隨後半年內,探討如何在Hadoop生態系中導入即時運算的討論與分享蓬勃發展,例如最先達陣的Cloudera Impala,以及最為人寄予厚望的 Apache Drill,還有架構上令人為之一亮的 Apache Tez + Stinger。
Hadoop具備高吞吐量的運算優勢,但企業對即時運算的需求卻是無法忽視的。面對這麼多如雨後春筍般冒出的解決方案,該如何選擇及導入? 導入後又如何與原本的運算架構整合,以符合企業需求?又或者,採用這些解決方案真的是唯一的王道? 其實在採用這些新技術之前,有許多事情是我們目前立即就可以做的,可用 near real-time 的方式立即填補批次與即時中間的空隙,為邁向美麗新世界預作準備。