免费发布

Apache Flink x Iceberg Meetup · 上海站

Sat, 17 Apr 2021 13:00:00 GMT+08 ~ Sat, 17 Apr 2021 17:30:00 GMT+08
Limited 530
Flink China

Show

Please select the order price

第三方登录:

More Details

Event DetailsHide...

2021年4月17日 13:00-17:30Apache Flink x Iceberg Meetup · 上海站 将在上海市 长宁区 金钟路968号凌空SOHO 携程总部12号楼11层举办 !



活动亮点


【大咖云集】

  • 来自阿里巴巴、腾讯、戴尔科技集团、汽车之家的4位资深行业技术专家分享数据湖及湖仓一体新架构、新方案及生产环境实践

【爆款话题】

  • 如何基于对象存储和Iceberg来构建数据湖生态、批流一体、湖仓一体、如何借助Flink和Iceberg来解决数据入湖等内容。

【社区交流】

  • 汇聚技术行业的精英人脉,碰撞全新思想交流

【多重大礼】

  • 报名参加,就有机会获得超多Flink独家定制的精美礼物!


直播链接


4月17日当天免登录即可观看:点击直播观看,建议收藏



大咖阵容


邸星星-圆.png

邸星星

汽车之家 实时计算平台负责人


分享主题:汽车之家基于Apache Iceberg的湖仓一体架构实践


演讲简介:

近年来,批流一体、湖仓一体成为大数据领域十分火热的话题,汽车之家也在持续探索如何对大数据架构进行升级转型,充分发挥“新鲜”数据的价值,为用户带来更好的使用体验。本文将分享汽车之家基于Apache Iceberg 进行数仓架构升级过程中的一些实践。


嘉宾简介:

邸星星,汽车之家实时计算平台负责人,长期从事实时计算与 OLAP 方面的平台建设工作,致力于为公司提供大规模、高效、稳定的计算与查询服务。


孙伟-圆.png

孙伟

Dell科技集团 高级软件研发经理


分享主题:《Iceberg和对象存储构建数据湖方案


演讲简介:

本演讲主题将论述如何基于对象存储和iceberg来构建数据湖生态。讲述对象存储作为iceberg 的数据湖存储支撑所需要解决的一些问题以及优化思路,提供了开源S3 catalog可行实现方案,并给出对比其他存储方案(如HDFS)的优势。

演讲将进一步给出商业对象存储与iceberg适配的另一种最佳实践方法,并构建Flink+Iceberg+对象存储的数据湖进行实例演示。同时本演讲将基于面向存储空间优化的思路,通过改造对象存储和iceberg 结合方式,给出一种源数据和iceberg table 共享数据源的方法来适配不同的应用场景。


嘉宾简介:

孙伟,Dell科技集团,高级软件研发经理,2014年加入DellEMC,深入参与Atmos到ECS两代对象存储产品的设计和研发,有丰富的分布式系统和对象存储架构设计经验。现致力于将对象存储和开源大数据平台深度结合,帮助客户搭建完整数据湖方案。


陈俊杰-圆.png

陈俊杰

腾讯 数据湖研发高级工程师


分享主题:《百亿级实时数据入湖实战》


演讲简介:

你是否有过流批技术栈不统一的抓狂? 你是否有过流批数据对不上的烦恼? 你是否有过,海量数据更新时效性跟不上的无奈?腾讯应用业界最新技术flink + Iceberg技术帮助多个业务方实现了业务数据实时入仓入湖,端到端数据可见性提高到秒级。本次分享将介绍腾讯如何将flink + Iceberg技术应用到多个百亿级数据入湖任务,入湖过程中遇到的挑战,入湖数据如何进行优化保证分析引擎的高效查询。


嘉宾简介:

陈俊杰,腾讯数据湖研发高级工程师,多年大数据工作经验,开源大数据组件spark, iceberg, parquet等贡献者。


胡争-圆.png

胡争

阿里巴巴  Apache Iceberg Committer,阿里巴巴技术专家


分享主题:《Flink和Iceberg如何解决数据入湖面临的挑战》


演讲简介:

我们经常会把来源不同的数据定期或实时地同步到数仓/数据湖中,其中有一些令人头痛的问题:

  1. 任务同步一半数据中断,导致原有的数据湖报表不准确,这时怎么办?

  2. 持续的数据导入后,业务方发现作业越跑越慢?

  3. 老板说:怎么把MySQL的数据报表做的更实时一些,比如分钟级别?

  4. 数据同步作业跑着跑着突然中断,原来是上游改了schema ?

  5. 其他问题

本次分享我们将借助Flink和Iceberg来尝试解决上述数据入湖的相关挑战,帮助业务同学更加高效地聚焦在自身的业务挑战上。


嘉宾简介:

胡争(子毅),目前主要负责Apache Flink数据湖方案的设计和研发工作,是Apache Iceberg及Apache Flink项目的长期活跃贡献者。同时也是Apache HBase PMC成员,合著有《HBase原理与实践》。



如何参加社区


社区3群.png


(扫码加入Flink China社区钉钉3群,更多技术交流尽在这里)


合作伙伴


合作伙伴-.png


Event Tags

Recent Participation

Perhaps you'd be interested in

Question

All Questions

Haven't posted any questions yet, grab a sofa!

Location...(Map Detail)

OrganizersMore

WeChat Scan

Share to WeChat→

Event Calendar   Apr
M T W Th F Sat Sun
29 30 31 1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30 1 2