每日經濟新聞 2019-01-28 21:16:49
業內人士分析認為,當前實時計算正處于上升期,除了Flink之外還有Spark、Storm等多個技術流派,谷歌、英特爾、IBM等全球科技公司都在積極布局,無論是誰,在實時計算平臺上的重磅押注都將成為其未來的核心競爭力之一。
每經記者|宗旭 每經編輯|宋思艱
圖片來源:攝圖網
1月28日,阿里云正式宣布對外開源(開放源代碼)實時計算平臺Blink。
其實關于阿里云對外開源實時計算平臺的動作早有預兆,本月初,曾有媒體報道阿里巴巴收購科技公司Data Artisans的消息,而Data Artisans擁有全球頂級的開源大數據流處理引擎Flink,可以解決傳統數據只能離線計算的問題。
這次阿里云對外開源的實時計算平臺Blink,就是對Flink改造后的內部版本。
2004年,谷歌曾開啟大數據離線計算時代,但伴隨著大數據、人工智能、物聯網、邊緣計算等新技術的興起,有延遲的計算結果已遠遠不能滿足開發者尤其是企業的需要。在典型的大數據業務場景下,通用的做法是:選用批處理的技術處理全量數據,采用流式計算處理實時增量數據。因此,用戶通常需要寫兩套代碼。毫無疑問,這帶來了一些額外的負擔和成本。
盡管當前開源大數據計算引擎有很多選擇,比如流計算平臺有Storm、Samza、Flink、Kafka Stream等,批處理平臺有Spark、Flink等,但同時支持流處理(對隨時進入系統的數據進行計算)和批處理(將作業按照它們的性質分組或分批,然后再成組或成批地提交給計算機系統,由計算機自動完成后再輸出結果)的計算引擎,阿里巴巴計算平臺事業部資深技術專家莫問此前曾提到只有兩種選擇:一個是Apache Spark,一個是Apache Flink。
雖然當下Flink代表了一種全新的計算方式,但2015年的Flink還不夠成熟,早期只適用于小流量互聯網場景的數據處理,不管是規模還是穩定性尚未經歷實踐,并未被大范圍看好。
據阿里云方面介紹,Blink最初是基于社區開源的版本做改進,真正和Data Artisans公司緊密合作是在2016年,“當初改造的時候也不知道會不會成功,那個時候我們還有另外兩個實時計算技術阿里中間件團隊在做Jstorm和阿里云的Galaxy,最終因為Blink表現最好,我們才選擇了這項技術。”
經過阿里云的改造之后,現在Blink已經將計算延遲降低到人類無法感知的毫秒級。在阿里集團內部,目前全部核心業務已經用上Blink。除了技術大考“雙11”之外,ET城市大腦實時計算規劃著杭州交通,淘寶、天貓每天為數億用戶展現實時的“專屬”頁面。
其實不僅僅是阿里云,騰訊內部也基于Flink打造了一站式實時計算平臺Oceanus。據記者了解,之前騰訊實時計算團隊也曾基于Apache Storm構建了早期的實時計算平臺。但在長期的維護過程中,Apache Storm一些設計和實現上的缺陷逐漸暴露出來。Apache Flink出現之后,其在計算接口、計算性能和可靠性上的優異表現,使騰訊實時計算團隊決定使用Apache Flink作為新一代實時計算平臺的計算引擎。
阿里巴巴集團副總裁周靖人認為,不論阿里還是Uber、Netflix等,都是Flink的受益者。業內人士分析認為,當前實時計算正處于上升期,除了Flink之外還有Spark、Storm等多個技術流派,谷歌、英特爾、IBM等全球科技公司都在積極布局,無論是誰,在實時計算平臺上的重磅押注都將成為其未來的核心競爭力之一。
如需轉載請與《每日經濟新聞》報社聯系。
未經《每日經濟新聞》報社授權,嚴禁轉載或鏡像,違者必究。
讀者熱線:4008890008
特別提醒:如果我們使用了您的圖片,請作者與本站聯系索取稿酬。如您不希望作品出現在本站,可聯系我們要求撤下您的作品。
歡迎關注每日經濟新聞APP