第五次上海大数据流处理 Meetup
收起
第五次上海大数据流处理 Meetup 继续由英特尔主办,邀请到了阿里巴巴,唯品会和英特尔的专家分享大数据和流处理领域的进展和实践。场地席次有限,赶快报名:)
12:30 - 13:00 签到
13:00 - 13:05 开场白
13:05 - 13:55 Blink: 阿里新一代计算平台
14:00 - 14:50 实时离线融合在唯品会的进展
14:50 - 15:10 茶歇
15:10 - 16:00 Hadoop 3.0 及下一步发展
16:00 - 17:00 交流时间
主题一: Blink: 阿里新一代计算平台
讲者简介:
王绍翾,花名大沙。在阿里巴巴从事大数据计算平台的架构设计和开发,现在主要负责blink实时计算平台的tableAPI和SQL的设计和开发。加入阿里巴巴之前,曾就职于Facebook core data infra部门。本科与硕士毕业于北京大学,博士毕业于加州大学圣迭戈分校。
主题二: 实时离线融合在唯品会的进展
内容摘要:
随着大数据应用的深度和广度不断扩展,应用对数据时效性的要求也在逐步提高。对于这些时效性的要求是一定需要用到流式计算/实时计算才能实现吗?这些的计算又带来了哪些方面的问题呢?这里我们来简单分享下离线和实时计算各自的问题,以及我们认为的实时离线融合的大趋势。
讲者简介:
姜伟华,唯品会高级开发经理。复旦大学博士毕业,在Intel工作多年,专注于大数据的研究开发,是国内最早的Hadoop发行版:IDH的产品开发经理。从事大数据开源工作,团队培养出10位committer,创建2个新的Apache项目。目前在唯品会负责实时平台
主题三: Hadoop 3.0 及下一步发展
内容摘要:
Apache Hadoop3.0 即将发布, 此次我们将向大家介绍3.0中最重要的新功能纠删码技术。 纠删码技术旨在帮助用户降低存储开销,减轻存储成本压力。
另外我们还会和大家分享一些Hadoop下一步发展的最新情况, 主要包括:
1。 随着新的存储介质发布,Hadoop HDFS 如何更好的支持利用新的存储介质, HDFS智能存储管理,可以帮助用户解决哪些面临的问题和挑战
2。 存储和计算相分离,大数据加速向云端迁移, HDFS 如何支持和适应云环境
3。 深度学习和深度学习框架的快速发展对资源管理提出了新的要求,YARN如何支持主流的深度学习框架
讲者简介:
陈怡,英特尔大数据研发工程师,目前专注于Apache Hadoop HDFS 社区开源贡献,包括纠删码功能的开发和智能存储管理功能的开发。
龚奇源,英特尔大数据研发工程师,主要负责Deep Learning on Hadoop、算法设计和开发等工作。