收起
立即使用
DataFun Talk
大数据技术沙龙
从“互联网+、移动互联网、AI+”等概念的更迭,大家对数据的认知越来越清晰。数据既是线上场景的产物,反之又作用线上场景的持续优化。“数据将改变互联网”、“数据的量变将带来世界的质变”众说纷纭,但是大数据技术怎样在行业中落地实践并发挥作用成为让人深思的问题。
1月19日,DataFun社区、清华经管学院创业者加速器联合主办的大数据沙龙,有幸邀请到来自一点资讯、Hulu、人人车的三位嘉宾,为大家分享大数据技术的应用实践。
主办方:DataFun社区、清华经管创业者加速器X-elerator
时间:2019年1月19日,13:00~18:00
地点:北京市中关村创业大街昊海楼3层(清华经管学院创业者加速器)
议程安排:
时间 | 议程安排 |
13:00-14:00 | 签到 |
14:00-14:10 | 主持人开场 |
14:10-15:00 | SHARK—大数据开发平台的架构与实践 ——单既喜 一点资讯 大数据平台部架构师 |
15:20-16:10 | Sophon: Hulu OLAP Intelligent Cache Layer In Ads ——罗安宁 Hulu 大数据基础架构平台高级技术专家 |
16:30-17:20 | 举重若轻的人人车移动端数据平台 ——吴水永 人人车 大数据平台负责人 |
17:20-18:00 | 自由交流时间 |
详细介绍:
单既喜 一点资讯 大数据平台部架构师
嘉宾介绍:单既喜,一点资讯大数据平台部架构师。于2016年11月加入北京一点网聚信息技术有限公司。曾负责公司Push数据、用户核心指标等数仓流水线的研发和优化工作,现担任大数据开发平台,任务调度系统、元数据平台负责人。自2017年11月主导研发公司级一站式大数据开发平台建设。在加入一点资讯以前,曾就职于百度商业平台部门、斯伦贝谢MaxWell部门担任后端系统设计与研发工作。
分享主题:SHARK—大数据开发平台的架构与实践
内容摘要:SHARK是一点资讯从0到1建设的一站式大数据开发平台。覆盖数据分析师、数仓工程师、算法工程师和产品经理等大数据用户,加速并优化“找数据、管数据、查数据、产数据”的整个过程。
本次分享紧密围绕着大数据的生命周期,介绍复杂血缘关系管理、Kafka实时分析与监控、元数据子系统、在线查询引擎、数据应用开发和数据质量实时巡检平台等6大子系统的架构设计,并分享一点大数据对Presto、SparkSQL等系统的改进与优化。
罗安宁 Hulu 大数据基础架构平台高级技术专家
嘉宾介绍:罗安宁,毕业于清华大学自动化系,现任Hulu 大数据基础架构平台高级技术专家,主要方向为存储,OLAP计算引擎等。
分享主题:Sophon: Hulu OLAP Intelligent Cache Layer In Ads
内容摘要:OLAP查询性能优化是大数据领域的持续探索的一个方向,Sophon是Hulu在广告场景下加速OLAP查询的一个探索。Sophon具有复杂数据建模、数据缓存和多查询引擎路由等功能,它通过增加预聚合来改善查询性能。与同类引擎相比,Sophon更加轻量,更注重模型的灵活性,更注重预聚合的智能构建。
吴水永 人人车 大数据平台负责人
嘉宾介绍:吴水永,人人车大数据平台负责人,DevOps开源项目walle-web.io作者。2016加入人人车,从0到1搭建起ETL、BI 报表平台、实时计算平台、元数据管理、Ad-Hoc、数据工单化等大数据平台。
分享主题:举重若轻的人人车移动端数据平台
内容摘要:
1、自研SQL级别web IDE实时计算平台;
2、自研DataX Clickhouse数据同步方案(hdfs => Clickhouse,odps => Clickhouse);
3、自研数据工单化平台打通log、mysql、阿里云MaxCompute等异构数据源,以及数据调度服务;
4、自研千万级别毫秒级别的报表平台,及移动端的数据报表平台实践;
5、人人车大数据平台如何与市场营销结合实践,在二手车广告大战中实现准实时数据分析反馈,平台化用户增长。
主办方介绍:
DataFun定位于最“实用”的数据科学社区,主要形式为线下的深度沙龙、线上的内容整理。希望将工业界专家在各自场景下的实践经验,通过DataFun的平台传播和扩散,对即将或已经开始相关尝试的同学有启发和借鉴。DataFun的愿景是:为大数据、人工智能从业者和爱好者打造一个分享、交流、学习、成长的平台,让数据科学领域的知识和经验更好的传播和落地产生价值。
DataFun社区成立至今,已经成功在全国范围内举办数十场线下技术沙龙,有超过一百五十位的业内专家参与分享,聚集了万余大数据、算法相关领域从业者。
清华经管创业者加速器X-elerator,是一个传承清华精神、以服务创业者为核心的价值赋能生态。秉持“为创业者服务”的理念,以“聚天下创业英才,育青年企业领袖”为目标,打造具有全球化视野的“空间+教育+投资”三位一体的服务体系。