注:因场地有限,沙龙提前截止报名。没有来得及报名及报名未通过的小伙伴,可在下文视频直播版块扫描二维码观看直播。
今年是我们第三次举办大数据沙龙了,本次沙龙的主题集中在大数据与AI平台和系统上。将会首次和大家分享携程在统一的大数据查询Engine和图形化AI开发平台上的实践,以及一年多时间以来,从Hive转到Spark的心得和教训。
除了携程的议题,我们也邀请到了苏宁和爱奇艺大数据团队的同学为我们分享HDFS和实时计算平台相关的实践。
干货满满,相信你一定会有收获。
活动信息
【时间】12月1日(周六)13:00-17:10
【地点】上海市长宁区金钟路968号,凌空SOHO 12号楼
【议程】
13:00-13:30 签到
13:30-14:10《携程统一大数据查询引擎(SQL Router)实践》-携程张巍
14:10-14:50《HDFS在苏宁的应用和实践》-苏宁郭业俊
14:50-15:30 《Spark在携程的实践》-携程陈少云
15:30-15:50 短休
15:50-16:30《爱奇艺实时计算平台实践》-爱奇艺刘骋昺
16:30-17:10《携程图形化AI开发平台实践》-携程孟涛
议题简介
1、《携程统一大数据查询引擎(SQL Router)实践》
议题简介:
目前大数据OLAP引擎层依然处于群雄割据的状态,携程也尝试着利用引擎的各自优点来满足用户的不同需求。当务之急需要开发出一个智能的决策工具。本次分享将介绍SQL Router的架构,核心原理,研发过程解决的几个难题,以及未来发展趋势。
讲师简介:
张巍,复旦大学金融IT硕士,现负责携程大数据平台OLAP引擎的优化、开发和运维。曾在唯品会从事Hadoop分布式文件系统方面的优化开发和OLAP引擎的深度定制开发等工作。
2、《HDFS在苏宁的应用和实践》
议题简介:
本分享将介绍HDFS在苏宁的使用现状及发展历程、功能增强及性能优化、运维监控。
使用现状及发展历程主要包括:集群规模、版本升级、统一入口。
功能增强及性能优化主要包括:Namenode性能的优化经验。
运维监控主要包括:系统稳定性和性能方面监控。
讲师简介:
郭业俊,同济大学自动化专业硕士毕业,现担任苏宁易购大数据存储平台负责人。主要负责苏宁Hadoop分布式文件系统方面的优化开发,满足苏宁大规模、高并发的存储需求。在大数据架构方面拥有多年的实战经验,曾在Intel从事Hadoop生态系统的仿真模型的开发和利用,始终专注于分布式计算架构、大规模存储方面的学习和研究。
3、《Spark在携程的实践》
议题简介:
Spark作为大数据计算引擎,凭借其快速、稳定、简易等特点,快速的占领了大数据计算的领域。
携程从2017年底开展Spark全面替换Hive计算引擎的一系列项目,目前Spark SQL已经在数据开发和查询平台成为最主要的引擎,使整个大数据计算平台的计算效率大幅提高。
本分享主要介绍Spark在携程落地过程中的做法及实践,并分享碰到的问题和踩过的坑。
讲师简介:
陈少云,大数据资深研发工程师。2014年加入携程,在大数据平台部门从事数据平台和基础框架的研发与维护工作。目前主要负责Spark方面的相关优化及改造。
4、《爱奇艺实时计算平台实践》
议题简介:
随着互联网大数据分析延迟要求越来越高,爱奇艺从2014年开始陆续引入各种实时计算框架。本次分享主要介绍爱奇艺在实时计算框架如Spark、Flink、Druid等的落地,爱奇艺实时计算平台的实践,以及未来实时计算发展方向的展望。
讲师简介:
刘骋昺,爱奇艺大数据平台项目研发负责人,硕士毕业于上海交通大学,2014年加入爱奇艺云平台,先后负责Hadoop的运维研发、大数据平台研发工作。
5、《携程图形化AI开发协作平台实践》
议题简介:
介绍携程AI协作开发平台的具体需求与能够解决的实际问题,具体主要内容包括AI协作平台与相关平台的差异比较,以及该平台的设计思路,核心功能以及平台的未来规划。
讲师简介:
孟涛,携程高级开发工程师,硕士毕业于华中科技大学。 2016年加入携程,先后负责设计和开发了基于spark的图形化拖拽机器学习平台,GPU云平台,图形化的AI协作开发平台等。
活动路线
上海地铁2号线淞虹路地铁站,5号口出,步行约15分钟(可点击放大看路线指引)。
视频直播
活动提供视频直播,届时可扫描下方二维码直接观看。
微信公众号
关注“携程技术中心”微信公众号,不错过更多精彩分享~
*作为上海互联网领军企业,携程致力于营造上海的技术交流氛围,为技术圈小伙伴搭建一个更好地交流沟通平台,共同成长进步。也欢迎有同样想法的小伙伴,来沟通合作,邮件niuq@ctrip.com*