我们从2011年坚守至今,只想做存粹的技术论坛。  由于网站在外面,点击附件后要很长世间才弹出下载,请耐心等待,勿重复点击不要用Edge和IE浏览器下载,否则提示不安全下载不了

 找回密码
 立即注册
搜索
查看: 766|回复: 0

[最新新闻] Apache頂級專案再添一套大資料串流和批次分析引擎Apex,連

[复制链接]

该用户从未签到

1359

主题

487

回帖

127

积分

二级逆天

积分
127

社区居民原创达人忠实会员社区劳模终身成就奖特殊贡献奖原创先锋奖金点子奖

QQ
发表于 2016-4-30 14:22:10 | 显示全部楼层 |阅读模式
Apache大資料串流和批次處理的通用平臺Apex晉升為頂級專案,連大廠商如奇異公司、美國智慧電網供應商銀泉電網公司等都採用,Apex具備管線化處理架構,可以進行即時和批次的資料處理,另外,Apex也簡化Hadoop應用程式的開發和產品化,降低大資料技術門檻,以及加速產品上市。


20160428_apache_apex.jpg

Apache軟體基金會(Apache Software Foundation,ASF)日前宣布,又有一套通用型的大資料串流和批次處理平臺Apex晉升為頂級專案(Top-Level Project,TLP),這表示Apex專案的社群和產品已經有良好的治理原則且發展成熟,連大廠商如奇異公司(GE)、美國智慧電網供應商銀泉電網公司(Silver Spring Networks)和行銷自動化軟體廠商PubMatic等都採用Apex的大資料分析技術。
Apex一開始是由大資料軟體廠商DataTorrent在2012年所打造的大資料即時串流分析軟體,在2015年8月時,DataTorrent貢獻Apex給Apache育成中心(Apache Incubator),成為開源專案。
根據ASF基金會,Apex是大規模、高吞吐量、低延遲,且具備容錯能力的大資料串流和批次處理通用平臺,可以用來做資料提取、即時分析、ETL(Extract-Transform-Load)、資料遷移、批次分析、發出警示通知、即時反應等。
而Apex是Hadoop原生YARN架構,以及預設HDFS(Hadoop Distributed File System)為檔案系統,讓Hadoop平臺能夠處理串流資料分析,且Apex的管線化(Pipeline)處理架構讓Apex可以進行即時和批次的資料處理。
另外,Apex具備連接器(Connector)和Malhar函式庫,其中連接器是用來整合其他外部系統,包括了訊息匯流排(Message Bus)、資料庫、檔案系統和社群媒體動態消息,例如,Apache開源資料庫Cassandra、Apache HBase、Apache Kafka、JDBC等。而Malhar函式庫則支援多種檔案傳輸協定、資料庫和訊息佇列,例如,檔案傳輸協定FTP、NFS、Java訊息服務JMS、訊息管理服務RabbitMQ、NoSQL資料庫等。
除此之外,Apex也簡化了Hadoop應用程式的開發和產品化,允許開發者可以編寫或重複使用通用的Java程式碼,以降低使用Apex的進入障礙,而這也增加開發者的生產力,加速商業邏輯的開發,讓產品可以更快上市。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

论坛开启做任务可以
额外奖励金币快速赚
积分升级了


Copyright ©2011-2024 NTpcb.com All Right Reserved.  Powered by Discuz! (NTpcb)

本站信息均由会员发表,不代表NTpcb立场,如侵犯了您的权利请发帖投诉

平平安安
TOP
快速回复 返回顶部 返回列表