回到顶部

Druid中国用户组第6次大数据Meetup

2019年3月16日 13:30 ~ 2019年3月16日 18:30

收起

活动票种
    付费活动,请选择票种
    展开活动详情

    活动内容收起

    时间:2019年3月16日 13:30-18:30

    13:40 - 14:20 Druid精确去重功能的设计与实现 by 邓钫元@快手

    14:25 - 15:05 从0到1,从1到2  ---- 基于Druid的苏宁OLAP引擎构建过程 by 李成露@苏宁

    15:10 - 15:50 深入了解 TiDB SQL 优化器 by 张建@PingCAP

    15:50 - 16:00 茶歇

    16:00 - 16:40 Druid SQL和Security在美团点评的实践 by 高大月@美团点评

    16:45 - 17:25 Apache Doris - 一个开源MPP数据库的架构与实践 by 赵纯@百度

    17:30 - 18:10 Druid在字节跳动的实践,改进和平台化建设 by 周挺乐@字节跳动

    18:10 - 18:30 圆桌讨论:Druid未来和大数据分析技术



    议题一:Druid精确去重功能的设计与实现 by 邓钫元@快手


    议题简介:

    Druid在快手落地近一年时间,支持了公司绝大部分OLAP分析需求。为了保障性能,稳定性,功能性等要求,快手对Druid内核进行大量改进,建设周边系统,以及开发新feature。本次分享主要介绍快手Druid精确去重功能的设计与实现,以及部分实用功能的改进。


    讲师简介:

    邓钫元,快手大数据架构团队研发工程师,毕业于浙江大学,曾就职于百度、贝壳,目前负责快手Druid平台研发工作,多年底层集群以及OLAP引擎研发、分布式系统的优化经验,热衷开源,为hadoop/kylin/druid等社区贡献代码。

    议题二:从0到1,从1到2  ---- 基于Druid的苏宁OLAP引擎构建过程 by 李成露@苏宁


    议题简介:

    随着苏宁集团将“数据驱动经营”这一理念提升到前所未有的高度,集团八大产业对数据分析的时效性、分析工具的易用性提出了很高的要求。因此,平台团队在2017年开始引入Druid来满足海量数据的OLAP分析需求,后又以Druid为核心引擎来构建统一的建模和指标服务体系,收到了较好的效果。本次将分享在构建过程中我们的思路、遇到的问题及解决方法、以及我们对Druid做的一些改进和优化。


    讲师简介:

    李成露,苏宁易购大数据平台高级研发工程师,目前负责苏宁YARN以及Druid平台的研发工作,多年大数据底层平台开发经验,致力于分布式资源调度、大规模集群性能调优、OLAP引擎等技术领域的研究及落地应用。

    议题三:深入了解 TiDB SQL 优化器 by 张建@PingCAP


    议题简介:

    从原理上带大家深入了解 TiDB SQL 优化器中的关键模块,比如应用一堆逻辑优化规则的逻辑优化部分,基于代价的物理优化部分,还有和代价估算密切相关的统计信息等。


    讲师简介:

    张建,TiDB 优化器与执行引擎技术负责人,前阿里云 MaxCompute SQL 执行引擎研发工程师,目前主要研究 SQL 优化与执行,分布式计算等。


     

    议题四:Druid SQL和Security在美团点评的实践 by 高大月@美团点评


    议题简介:

    长久以来,对SQL和权限的支持一直是Druid的软肋。虽然社区早在0.9和0.12版本就分别添加了对SQL和Security的支持,但根据我们了解,考虑到功能的成熟度和稳定性,真正把SQL和Security用起来的用户是比较少的。本次分享将介绍社区SQL和Security方案的原理,以及美团点评在落地这两个功能的过程中所遇到的问题、做出的改进、和最终取得的效果。


    讲师简介:

    高大月,Apache Kylin PMC成员,Druid Commiter,开源和数据库技术爱好者,有多年的SQL引擎和大数据系统开发经验。目前在美团点评负责OLAP引擎的内核开发、平台化建设、业务落地等工作。


    议题五:Apache Doris - 一个开源MPP数据库的架构与实践 by 赵纯@百度


    议题简介:

    介绍Apache Doris(incubating), 原百度PaloDoris是一款MPP数据库,能够解决一些用户的在线报表、分析需求。由百度开源,被Apache社区接收正在孵化。在百度内部支持百度统计等需求。开源后已经被小米,美团,新浪等公司在生产环境使用。本次分享会介绍Doris的整体架构,Doris的技术特性,应用场景,以及Doris的使用案例。

    讲师简介:

    赵纯,百度资深研发工程师。Doris项目最初创始人之一。工作7年以来一直从事OLAP/OLTP等数据库相关领域。


    议题六:Druid在字节跳动的实践,改进和平台化建设 by 周挺乐@字节跳动

     

    议题简介:

    Druid作为一个开源的高性能分析型数据存储,因其支持次秒级OLAP查询,对实时流接入的友好等特性,在字节跳动得到广泛的应用,例如广告ab测试,BI分析,监控大盘展示等。本次分享将介绍Druid在字节跳动的实践,和我们对Druid做的一些改进,优化以及平台化建设:包括数据库访问优化,对segments和pendingSegments表增加index加速查询,coordinator增量拉取segment信息,新增RedisTaskStorage,加速task信息交互,增加数据库连接数,Router改进,加强对dataSource粒度的请求控制,开发一种实时任务,解决部分kis数据源聚合效果差的问题等等。

    讲师简介:

    周挺乐,字节跳动高级研发工程师,就职于广告系统广告数据平台部门,负责Druid平台的研发和运维工作。


    圆桌讨论:Druid未来和大数据分析技术

    邓钫元@快手,李成露@苏宁,张建@PingCAP,高大月@美团点评,赵纯@百度,周挺乐@字节跳动,赵健博@快手,申砾@PingCAP

    主持人:陈冠诚@Testin云测




    联合主办:


    ks.png

        ​    ​快手(www.kuaishou.com​),国民短视频社区,记录和分享生活的平台。在这里,看到真实有趣的世界,找到自己感兴趣的人,也可以让世界发现真实有趣的自己。快手,记录世界记录你。


           logo-footer-0116.png

      

        ​    ​Testin云测(https://www.testin.cn/)是先进的应用服务平台,为全球超过百万的开发者和企业提供测试、安全、推广、产品优化、流量变现,及AI大数据解决方案。Testin云测的使命是让应用更有价值,即Testin云测基于自主知识产权的AI自动化工具平台,以及数百万成员的规模化云众包平台,为企业提供与应用相关的全生命周期服务,与企业一起携手打造坚实的应用质量和安全性,并助力企业通过应用在互联网上提高运营效果,全面提升企业在应用上的投资回报。



    联系人:

    申请加入Druid中国用户组,请加微信:threadingnow,请务必注明:姓名-公司-职位,否则不予通过,谢谢。





    举报活动

    活动标签

    最近参与

    • Christian
      收藏

      (5年前)

    • robin
      报名

      (5年前)

    • Lucky boy จุ๊บ
      报名

      (5年前)

    • 伍洋
      收藏

      (5年前)

    • 飞刀蛙
      报名

      (5年前)

    • 梁海斌
      收藏

      (5年前)

    您还可能感兴趣

    您有任何问题,在这里提问!

    为营造良好网络环境,评价信息将在审核通过后显示,请规范用语。

    全部讨论

    微信扫一扫

    分享此活动到朋友圈

    活动日历   04月
    1 2 3 4 5 6 7
    8 9 10 11 12 13 14
    15 16 17 18 19 20 21
    22 23 24 25 26 27 28
    29 30 1 2 3 4 5

    免费发布