收起
13:40 - 14:20 Druid精确去重功能的设计与实现 by 邓钫元@快手
14:25 - 15:05 从0到1,从1到2 ---- 基于Druid的苏宁OLAP引擎构建过程 by 李成露@苏宁
15:10 - 15:50 深入了解 TiDB SQL 优化器 by 张建@PingCAP
15:50 - 16:00 茶歇
16:00 - 16:40 Druid SQL和Security在美团点评的实践 by 高大月@美团点评
16:45 - 17:25 Apache Doris - 一个开源MPP数据库的架构与实践 by 赵纯@百度
17:30 - 18:10 Druid在字节跳动的实践,改进和平台化建设 by 周挺乐@字节跳动
18:10 - 18:30 圆桌讨论:Druid未来和大数据分析技术
议题简介:
Druid在快手落地近一年时间,支持了公司绝大部分OLAP分析需求。为了保障性能,稳定性,功能性等要求,快手对Druid内核进行大量改进,建设周边系统,以及开发新feature。本次分享主要介绍快手Druid精确去重功能的设计与实现,以及部分实用功能的改进。
讲师简介:
邓钫元,快手大数据架构团队研发工程师,毕业于浙江大学,曾就职于百度、贝壳,目前负责快手Druid平台研发工作,多年底层集群以及OLAP引擎研发、分布式系统的优化经验,热衷开源,为hadoop/kylin/druid等社区贡献代码。
议题简介:
随着苏宁集团将“数据驱动经营”这一理念提升到前所未有的高度,集团八大产业对数据分析的时效性、分析工具的易用性提出了很高的要求。因此,平台团队在2017年开始引入Druid来满足海量数据的OLAP分析需求,后又以Druid为核心引擎来构建统一的建模和指标服务体系,收到了较好的效果。本次将分享在构建过程中我们的思路、遇到的问题及解决方法、以及我们对Druid做的一些改进和优化。
讲师简介:
李成露,苏宁易购大数据平台高级研发工程师,目前负责苏宁YARN以及Druid平台的研发工作,多年大数据底层平台开发经验,致力于分布式资源调度、大规模集群性能调优、OLAP引擎等技术领域的研究及落地应用。
议题简介:
从原理上带大家深入了解 TiDB SQL 优化器中的关键模块,比如应用一堆逻辑优化规则的逻辑优化部分,基于代价的物理优化部分,还有和代价估算密切相关的统计信息等。
讲师简介:
张建,TiDB 优化器与执行引擎技术负责人,前阿里云 MaxCompute SQL 执行引擎研发工程师,目前主要研究 SQL 优化与执行,分布式计算等。
议题四:Druid SQL和Security在美团点评的实践 by 高大月@美团点评
议题简介:
长久以来,对SQL和权限的支持一直是Druid的软肋。虽然社区早在0.9和0.12版本就分别添加了对SQL和Security的支持,但根据我们了解,考虑到功能的成熟度和稳定性,真正把SQL和Security用起来的用户是比较少的。本次分享将介绍社区SQL和Security方案的原理,以及美团点评在落地这两个功能的过程中所遇到的问题、做出的改进、和最终取得的效果。
讲师简介:
高大月,Apache Kylin PMC成员,Druid Commiter,开源和数据库技术爱好者,有多年的SQL引擎和大数据系统开发经验。目前在美团点评负责OLAP引擎的内核开发、平台化建设、业务落地等工作。
议题五:Apache Doris - 一个开源MPP数据库的架构与实践 by 赵纯@百度
议题简介:
介绍Apache Doris(incubating), 原百度Palo。Doris是一款MPP数据库,能够解决一些用户的在线报表、分析需求。由百度开源,被Apache社区接收正在孵化。在百度内部支持百度统计等需求。开源后已经被小米,美团,新浪等公司在生产环境使用。本次分享会介绍Doris的整体架构,Doris的技术特性,应用场景,以及Doris的使用案例。
讲师简介:
赵纯,百度资深研发工程师。Doris项目最初创始人之一。工作7年以来一直从事OLAP/OLTP等数据库相关领域。
议题六:Druid在字节跳动的实践,改进和平台化建设 by 周挺乐@字节跳动
议题简介:
Druid作为一个开源的高性能分析型数据存储,因其支持次秒级OLAP查询,对实时流接入的友好等特性,在字节跳动得到广泛的应用,例如广告ab测试,BI分析,监控大盘展示等。本次分享将介绍Druid在字节跳动的实践,和我们对Druid做的一些改进,优化以及平台化建设:包括数据库访问优化,对segments和pendingSegments表增加index加速查询,coordinator增量拉取segment信息,新增RedisTaskStorage,加速task信息交互,增加数据库连接数,Router改进,加强对dataSource粒度的请求控制,开发一种实时任务,解决部分kis数据源聚合效果差的问题等等。
讲师简介:
周挺乐,字节跳动高级研发工程师,就职于广告系统广告数据平台部门,负责Druid平台的研发和运维工作。
圆桌讨论:Druid未来和大数据分析技术
联合主办:
快手(www.kuaishou.com),国民短视频社区,记录和分享生活的平台。在这里,看到真实有趣的世界,找到自己感兴趣的人,也可以让世界发现真实有趣的自己。快手,记录世界记录你。
Testin云测(https://www.testin.cn/)是先进的应用服务平台,为全球超过百万的开发者和企业提供测试、安全、推广、产品优化、流量变现,及AI大数据解决方案。Testin云测的使命是让应用更有价值,即Testin云测基于自主知识产权的AI自动化工具平台,以及数百万成员的规模化云众包平台,为企业提供与应用相关的全生命周期服务,与企业一起携手打造坚实的应用质量和安全性,并助力企业通过应用在互联网上提高运营效果,全面提升企业在应用上的投资回报。
联系人:
申请加入Druid中国用户组,请加微信:threadingnow,请务必注明:姓名-公司-职位,否则不予通过,谢谢。