我們開源啦!一鍵部署免費使用!Kubernetes上直接運行大數據平臺!
導語:市場上首個 K8s 上的大數據平臺,開源了!
智領云自主研發的首個完全基于Kubernetes的容器化大數據平臺
Kubernetes Data Platform (簡稱KDP)
開源啦!
開發者只要準備好命令行工具,一鍵部署
Hadoop,Hive,Spark,Kafka, Flink, MinIO ...
就可以創建以前要花幾十萬甚至幾百萬才可以買到的大數據平臺
無需再花大量的時間和經費去做重復的研發
高度集成,單機即可體驗大數據平臺
在高級安裝模式下
用戶可在現有的K8s集群上集成運行大數據組件
不用額外單獨建設大數據集群
項目地址:
https://github.com/linktimecloud/kubernetes-data-platform
辛辛苦苦研究出來的成果,為什么要開源?
這波格局開大,老板有話說
問題1:我們為什么要開源?
我們的產品一直是基于大數據開源生態體系建設的。之前就一直有開源回饋社區的計劃,但是因為之前Kubernetes對于大數據組件的支持還不夠成熟,我們也一直在迭代與Kubernetes的適配。現在我們的企業版已經在很多頭部客戶落地并且在生產環境下高效運行,覺得這個版本已經可以達到大部分生產級項目的需求,集成度以及可用性是能夠幫到有類似需求的用戶的,希望這次開源能夠降低在Kubernetes上集成大數據組件的門檻,讓更多Kuberenetes和big data社區的同行們可以使用。
問題2:開源版本的KDP,能干啥?
KDP可以很方便的在Kubenetes上安裝和管理常用的大數據組件,Hadoop,Hive,Spark,Kafka, Flink, MinIO 等等,不需要自己一個一個去適配,可以直接開始使用。然后KDP也提供集成的運維管理界面,用戶可以從界面管理所有組件的安裝配置,運行狀況,資源使用情況,修改配置。而且KDP會將一個大數據組件的所有負載(容器,pod)作為一個整體管理,用戶不需要在Kubernetes的控制平面上去管理單獨的負載。
問題3:最大的亮點是?
只要你已經在使用Kubernetes,那么在現有集群上十幾分鐘就可以啟動一個完整的大數據集群,馬上開始使用,極大的降低了大數據平臺的使用門檻。因為我們這個流程是高度集成的,整個安裝過程在一個單機環境下也都能啟動(例如使用單機kind虛擬集群都可以),所以在測試和實驗環境下都可以高效使用。當然,啟動之后Day 2的很多好處,例如資源的高效利用和集成的運維管理,也是KDP提供的重要功能。
KDP,即在Kubernetes上使用原生的分布式功能搭建及管理大數據平臺。
將多套大數據組件集成在Kubernetes之上,同時提供一個整體的管理及運維工具體系,形成一個完全基于Kubernetes的大數據平臺。企業級KDP更是支持在同一個Kubernetes集群中同時運行多個大數據平臺以及多租戶管理的能力,充分發揮Kubernetes云原生體系的優勢。

KDP,通過對開源大數據組件的擴展和集成,實現了傳統大數據平臺到K8s大數據平臺的平穩遷移。
作為市場上首個可完全在Kubernetes上部署的容器化云原生大數據平臺,智領云自主研發的KDP,深度整合云原生架構優勢,將大數據組件、數據應用及資源調度混排,納入Kubernetes管理體系,從而帶你真正玩轉云原生!

總體框架
簡單來講,KDP可以允許客戶在Kubernetes上運行它所有的大數據組件,并把它們作為一個整體管理起來。
在Kubernetes上運行大數據平臺有三個好處:
第一,更高效的大數據組件集成:KDP提供標準化自動化的大數據組件部署和配置,極大地縮短了大數據項目開發和上線時間;
第二,更高效的大數據集群運管:KDP通過大數據組件與K8s的集成,在K8s之上搭建了一個大數據組件管理抽象層,標準化大數據組件生命周期管理,并提供UI界面進一步提升了部署、升級等操作的效率;
第三,更高的集群資源利用率:利用K8s的資源管理和配額機制,與其它系統共享K8s資源池,精細化資源管理,對比傳統大數據平臺約30%左右的資源利用率,KDP可大幅提升至60%以上。
社區
我們期待您的貢獻和建議!最簡單的貢獻方式是參與Github議題/討論的討論。 如果您有任何問題,請與我們聯系,我們將確保盡快為您解答。
微信群:添加小助手微信拉您進入交流群
釘釘群:搜索公開群組號 82250000662
貢獻
參考開發者指南,了解如何開發及貢獻 KDP。
https://linktimecloud.github.io/kubernetes-data-platform/docs/zh/developer-guide/developer-guide.html
免責聲明:市場有風險,選擇需謹慎!此文僅供參考,不作買賣依據。
標簽:
推薦
- 
			                
			                
             - 
			                
			                
             - 
			                
			                
             - 
			                
			                
             - 
			                
			                
             - 
			                
			                
             - 
			                
			                
             - 
			                
			                
             - 
			                
			                
             - 
			                
			                
             - 
			                
			                
             - 
			                
			                
             - 
			                
			                
             - 
			                
			                
             - 
			                
			                
             - 
			                
			                
             - 
			                
			                
             - 
			                
			                
             - 
			                
			                
             - 
			                
			                3E飛龘,七星越朤!AOC顯示器2024年渠道大會在河內召開,攜手伙伴「齊聚升龍?新篇」
2024年4月9日,全球知名專業顯示設備提供商和品牌商AOC顯示器,與全國渠道伙伴龍年聚首,在越南河內這座...
來源:  - 
			                
			                
             - 
			                
			                
             - 
			                
			                
             - 
			                
			                
             - 
			                
			                
             - 
			                
			                
             - 
			                
			                
             - 
			                
			                
             - 
			                
			                
             - 
			                
			                
             - 
			                
			                
             - 
			                
			                
             - 
			                
			                
             - 
			                
			                
             - 
			                
			                
             - 
			                
			                
             - 
			                
			                
             - 
			                
			                
             - 
			                
			                
             - 
			                
			                
             - 
			                
			                
             - 
			                
			                
             - 
			                
			                
             - 
			                
			                
             - 
			                
			                
             - 
			                
			                
             - 
			                
			                
             - 
			                
			                
             - 
			                
			                
             
財富更多》
- 
                    
                    印尼民眾“零距離”體驗雅萬高鐵列車
印尼民眾“零距離”體驗雅萬高鐵列車---...
 - 
                        
人民幣兌美元中間價報7.1986 調升162個基點
人民幣兌美元中間價報7 1986調升162個...
 - 
                        
茶飲“卷”到健康戰
茶飲“卷”到健康戰---從卷規模、卷價格...
 - 
                        
我國清潔能源建設景氣持續向好 電力建設呈現結構優化發展態勢
我國清潔能源建設景氣持續向好電力建設...
 - 
                        
劉玉民任北京密云區委常委
劉玉民任北京密云區委常委---中國經濟網...
 
動態更多》
熱點
- realme10系列正式宣布 采用雙曲面屏正面頂部居中挖孔
 - 五菱全新微型電動車內飾官圖發布 座椅采用星際形打孔工藝
 - 努比亞Z40星空典藏版正式開售 采用微米級油畫筆觸紋理技術
 - iQOO11系列正式官宣 首批搭載驍龍8Gen2機型之一
 - 海信34英寸帶魚屏顯示器發布 支持165Hz刷新率
 - OPPO明年將商用240W超級閃充 新一代電芯支持更高倍率充電
 - 第一款Android手機渲染圖曝光 橫向滑蓋設計和全尺寸鍵盤
 - 吉利首款純電皮卡11月9日上市 車輛續航里程超過610公里
 - 努比亞Z40SPro星空典藏版正式公布 堪稱窄邊框天花板
 - vivo無線運動耳機2今日正式上市 首銷只要119元
 - 智能降噪、多語言轉寫,科大訊飛SR302錄音筆助你輕松應對各種專業錄音需求!
 - Lexar雷克沙簽約BLG戰隊,成為官方唯一指定存儲品牌
 - 聯想Agent個人助理“小樂同學”初成型,AI PC生態新未來正探索
 - 成功盛會:2024年深圳PMO年度論壇成功舉行
 - 浙商銀行點贊東軟 數智檔案再獲認可
 - CES大展觀察:激光顯示唱主角,顯示界的“變形金剛”引外媒點贊
 - 東軟攜手天津濱海新區 構建整合型醫療健康服務體系
 - XIN.G極聚,競勢能!機械師2024春季新品發布會全回顧!
 - 2023新經濟企業TOP500發布 騰訊連續三年蟬聯桂冠
 - 幾何之美 全按心境——施耐德電氣境尚系列開關插座評測
 - 在科技與人文的十字路口,星紀魅族為聽障人群帶來新的希望
 - 2023百度品牌之夜石家莊站成功舉辦抓住大模型時代商業機遇
 - 為各種工作負載加速 全新英特爾至強可擴展處理器創“芯”無所不及
 - 讓電視更“綠”!海信激光電視打造千家萬戶的綠色客廳
 - 生成式AI就緒 英特爾發布第五代至強可擴展處理器
 - Flat Ads入選《中國數字營銷生態圖(2023版)》5大賽道,獲行業認可
 - KIDE榮獲“中國光伏20年創新先鋒獎”,助力中國光伏蓬勃發展
 - 居家養老喜迎國家標準,三胞袁亞非曾建言智慧養老標準化建設
 - 交強險和第三者責任險的區別
 - 數字世界的基石:英特爾以太網800系列適配器技術指南
 - ?重新定義人像新美學標準 vivo S18 系列新機即將正式發布
 - 輕薄機身用上旗艦級配置,vivo S18系列成年底中端領域的卷王
 - 讓電影短片被看到:企業搭臺+鏈接產教+面向觀眾
 - 東軟入圍賽迪顧問2023中國數據中臺領導者象限
 - 東軟獲國家數據管理能力成熟度四級認證
 - 強基建鏈 共融共贏 | 2023大理數字經濟階段成果匯報暨生態共建簽約儀式成功舉辦
 - 對話李傳剛:以顛覆式創新,洞見消費電子未來
 - 祝寧斯主任是整形外科專業出身
 - 融資消息 | 長揚科技完成新一輪戰略融資!
 - 與兄弟DCP-T426W共度寒冷冬日
 - 兄弟DCP-T426W助您歡度圣誕節
 - 全國示范!東軟助力北京市檔案館數字化通過國家檔案局專家組驗收
 - 首屆全球實驗室建設創新與發展高峰論壇在廣州舉辦
 - 復雜任務拆解、物體尋找,星火大模型助力機器人發展
 - 不停拿獎還有超多福利?哈弗二代大狗別提有多香了
 - 看病、買藥、查報告,一個APP全搞定!訊飛曉醫,你的私人AI健康助手來了
 - 出海服務選擇海外VPS供應商Tothost
 - 東軟宣布將打造下一代智能化解決方案
 - 華為負一屏外賣“18元大額神券”來襲!搶券當天領取當天花
 - AI時代,FPGA如何全線賦能云網邊
 - 宇視亮相中國電信數字科技生態展,鑄造數字科技新生態
 - 聯發科第二代硬件光追上線,天璣9300帶來游戲主機級的全局光照
 - 數智重塑企業增長,2023愛采購城市行深圳站圓滿落幕!
 - 全新天璣9300支持第二代硬件光追,可支持熱門手游60FPS順暢運行
 - 騰訊再赴“烏鎮之約”,助力建設包容普惠有韌性的數字世界
 - 天璣9300帶來首款硬件生成式AI引擎,強悍AI算力生圖只需1秒
 - 天璣9300全大核架構上演高能效魔法,性能猛增40%,功耗大降33%
 - 創新提速眼病防控數字化 協同構建臨床診療新范式
 - 如何贏在大模型時代,百名年輕創業者在Create@AI創客松上給了答案
 - 相約臨港新片區! 首屆國際頂尖孵化器論壇將于12月5日至6日舉行
 - 僅剩1天 | 11月8日愛采購城市行亮點劇透!快來報名
 - 2023年第三屆和田地區“京和科技月”參與人數再創新高
 - 為創新成長提速—「阿里云創業者計劃」云棲大會專場活動圓滿舉行!
 - 中運恒通(廣東)能源科技完成一千萬A輪融資
 - 讓MPV也能開出樂趣,從此高端MPV市場只有魏牌高山MPV和其他
 - 引入創新火種,33家創業公司入選第二屆寧波海曙“科創中國”賽道明星
 - 佳能“巴蜀影像爭霸賽”火熱進行中 戶外潮流文化節 快閃活動“坐標重慶”
 - 好貨提前GO,福利享不停!這些雙十一優惠不允許你還不知道
 - 雙11打印好物推薦:兄弟Brother DCP-T426W
 - 7位企業家齊聚騰訊產業科技大會,分享中國產業創新經驗
 - 2023CITC·網易創新創業大賽全國12強出爐!
 - Veritas宣布微軟成為首個通過Veritas REDLab安全解決方案驗證的Veritas 360 Defense合作伙伴
 - 北斗航天科技發展集團有限公司出海馬拉西亞,促進科技合作,共享創新成果
 - 2023CITC·網易創新創業大賽全國半決賽即將啟幕
 - 科大訊飛智能辦公本X3:讓你的工作更輕松,生活更美好
 - Veritas推出Veritas? 360 Defense,為企業本地部署和跨云提供網絡韌性
 - 奧運冠軍林丹、抖音大V小黑兄弟空降Cleer抖音直播間,引爆雙十一購物熱潮!
 - Farseer洞視科技助力香港金融探索深度數字化轉型
 - 世界冠軍林丹,演員朱梓驍、趙奕歡....空降Cleer抖音直播間,雙十一開門紅超多福利送不停!
 - 云思智慧, 助力華建集團數字化泛辦公轉型
 - 海爾勁爽空調,以可變分流技術引領行業技術變革
 - 格之格專注用戶體驗,打造差異化服務生態圈
 - 15組創作達人齊聚飛宇科技,穩定器新品提前曝光?!
 - Veritas最新研究:近半數的企業低估其自身風險水平
 - 充得快、上車快、量產快,見證“神行速度”
 - 百利好環球:WTT球星挑戰賽圓滿落幕 祝賀國乒豪奪4冠!
 - 助力便捷辦公,兄弟DCP-B7535DW
 - 墨爾本電動汽車展落幕,歐拉好貓力壓比亞迪元榮登最佳用車成本榜
 - 奔圖M6700DW Plus,助力業務靈動而上
 - “創客北京2023”中國電信?5G+AI數字化創新專項賽決賽成功舉辦
 - 無極品牌第五年,隆鑫跑通高端化之路
 - 奔圖M6700DW Plus,助力圓夢舞蹈奇跡
 - 奔圖P1新品單功能激光打印機,讓學習如此輕松
 - 三星新一代Thom Browne限量版二輪再售罄 Galaxy Z Fold5持續熱銷中
 - 百利好環球:杭州亞運熱血開戰 全力支持國乒
 - 歐孚科技總經理Laura:工具未來式
 - 數通世界,智創未來 | 歐孚科技亮相黃河流域首屆人力資源數字化主題交流暨數字化產品應用展覽會
 - 入手15萬級高品質電四驅SUV,哈弗梟龍MAX帶你暢享美好“車生活”
 - 無兄弟,不越野,長城越野家族向你發來巡游邀請
 - 訊飛聽見會寫:智能語音生成文案,顛覆你的工作方式
 - ALIENWARE外星人助力BLG選手為國出征
 - 戴森開展多元公益科普活動,響應全國科普日號召
 - 英特爾超能云終端3.0再進化,助力千行百業云終端新體
 - 宮庭海首度打造自己廠牌音樂節
 - AI引領潮流,高效工作新伙伴 數珩S-GPT明鏡打造全新工作體驗
 - G9有足夠的底氣,為中國純電爭氣,做高端內銷轉出口的先行者
 - 國慶長假必備品,Brother DCP-T426W 為你留存記憶
 - 自主品牌競爭激烈,哈弗二代大狗與捷途旅行者誰才是真的輕越野?
 - 計算機軟件國家工程研究中心成立三十周年,新一屆技術委員會亮相
 - 電動滑板車行業煥發新生:HX歡喜引領智能化時代
 - 思特奇深度參與國家信息中心數字政府建設暨數字安全技術研討會
 - 人民幣兌美元中間價報7.1986 調升162個基點
 - 實華股份在新三板掛牌公開轉讓
 - 易事特在廣東成立鈉電科技公司 注冊資本5000萬
 - 劉玉民任北京密云區委常委
 - 龍傳君安獲天使輪融資
 - 強信心 穩經濟 促發展 | 山東:精準助企紓困 提升民營企業發展能級
 - “好品山東”金字招牌激揚民營企業澎湃動能
 - 更美APP等被恢復執行5520萬
 - 聰脈信息獲數千萬元A輪融資
 - 茶飲“卷”到健康戰
 - 我國清潔能源建設景氣持續向好 電力建設呈現結構優化發展態勢
 - 印尼民眾“零距離”體驗雅萬高鐵列車
 - 熱搜里的山東文化“兩創”
 - “強國復興有我”全市學校國防教育系列活動啟動暨全國國防教育示范學校授牌儀式成功舉辦
 - 騰騰窯火出美器 精品陶琉迎客來
 - 36氪首發|服飾創作生態服務公司「元衣科技」完成數百萬天使輪融資
 - 同時出戰:國足VS弱旅切忌陰溝翻船,國奧想要出線必須狂勝對手
 - G15嘉瀏段數字化改建,打造智慧高速示范樣板
 - 太無憂綜合意外險拒保是為什么呢?可以保障哪些方面?
 - 一圖看懂華為Mate 60 Pro+:史上最強Mate機皇
 - 良品鋪子尋味溯源直播首站走進云南萬畝夏威夷果基地
 - 斗破蒼穹:蕭炎對云山懟臉開大,三色火蓮爆發震退在場所有人!
 - 鄧普頓“股票愿望清單”
 - Roblox計劃今年10月登陸索尼PlayStation平臺