博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Apache Beam 传 大数据杂谈
阅读量:7085 次
发布时间:2019-06-28

本文共 709 字,大约阅读时间需要 2 分钟。

 

1月10日,Apache软件基金会宣布,Apache Beam成功孵化,成为该基金会的一个新的顶级项目,基于Apache V2许可证开源。

2003年,谷歌发布了著名的大数据三篇论文,史称三驾马车:Google FS、MapReduce、BigTable。虽然谷歌没有公布这三个产品的源码,但是她这三个产品的详细设计论文开启了全球的大数据时代!从Doug Cutting大神根据谷歌的论文实现出Hadoop+MapReduce的雏形,到Hadoop生态圈各种衍生产品的蓬勃发展,再到后来的Spark、流式计算等等,所有的一切都要归功于、源自这三篇论文。

可惜谷歌虽然开启了这个伟大的时代,却始终仅仅满足于偶尔发表一两篇论文以强调自己在理论和工程上的领导地位,从来没有亲身参与进来,尤其是没有为开源生态做出什么贡献,因而一直没有从大数据市场获得什么实在的好处。

痛定思痛,谷歌开始走开源之路,将自己的标准推广给社区。从众所周知的Kubernetes,到2016年2月谷歌高调宣布将Apache Beam(原名Google DataFlow)贡献给Apache基金会孵化,再到最近大热的Tensorflow等等,动作不断。Apache Beam被认为是继MapReduce,GFS和BigQuery等之后,谷歌在大数据处理领域对开源社区的又一个非常大的贡献。

也就是说,在大数据处理的世界里,谷歌一直在内部闭源,开发并使用着BigTable、Spanner、Millwheel等让大家久闻大名而又无缘一见的产品,开源世界演进出了Hadoop、Spark、Apache Flink等产品,现在他们终于殊途同归,走到一起来了。

转载地址:http://ydgml.baihongyu.com/

你可能感兴趣的文章
JVM Input Arguments Lookup (JMX)(转)
查看>>
我持续推动Rust语言支持Windows XP系统
查看>>
Http状态码说明
查看>>
浏览器缓存相关http头
查看>>
Autofac.Integration.Owin
查看>>
NGINX反向代理
查看>>
完整部署CentOS7.2+OpenStack+kvm 云平台环境(6)--在线调整虚拟机的大小
查看>>
[LeetCode] Sort Characters By Frequency 根据字符出现频率排序
查看>>
lower_bound与upper_bound
查看>>
vue2
查看>>
质量评估面面观--聊一聊软件上线前的质量评估
查看>>
Appfabric caching 使用半年总结
查看>>
20个代码生成框架
查看>>
树莓派3b配置耳机音频输出
查看>>
ES6 Class
查看>>
python -- lambda表达式
查看>>
在centos搭建git服务器时,不小心把/home/git目录删除了,我是怎么恢复的
查看>>
EM算法原理
查看>>
力软移动框架 ionic cordova插件jpush-phonegap-plugin 极光推送配置方法 vs2017
查看>>
H5触摸事件判断滑动方向
查看>>