中联软博收起
微信扫码看直播
活动内容收起
关于举办“Hadoop大数据平台开发与案例分析 ”高级工程师
实战培训班的通知
1
课程介绍
1
需求理解
Hadoop 设计之初的目标就定位于高可靠性、高可拓展性、高容错性和高效性，正是这些设计上与生俱来的优点，才使得Hadoop 一出现就受到众多大公司的青睐，同时也引起了研究界的普遍关注。
对电信运营商而言,用户上网日志包含了大量用户个性化需求、喜好信息,对其进行分析和挖掘,能更好地了解客户需求。传统经营分析系统小型机加关系型数据库的架构无法满足对海量非结构化数据的处理需求,搭建基于X86的Hadoop 平台,引入大数据处理技术的方式,实现高效率、低成本、易扩展的经营分析系统混搭架构成为电信运营商最为倾向的选择。本课程将全面介绍Hadoop平台开发和运维的各项技术，对学员使用该项技术具有很高的应用价值。
2
培训课程架构与设计思路
（1）培训架构：
本课程分为三个主要部分：
第一部分：重点讲述大数据技术在的应用，使学员对大数据技术的广泛应用有清晰的认识，在这环节当中会重点介绍Hadoop技术在整个大数据技术应用中的重要地位和应用情况。
第二部分：具体对hadoop技术进行模块化分拆，从大数据文件存储系统技术和分布式文件系统平台及其应用谈起，介绍Hadoop技术各主要应用工具和方法，以及在运维维护当中的主流做法，使学员全面了解和掌握Hadoop技术的精华。
第三部分：重点剖析大数据的应用案例，使学员在案例当中对该项技术有更深入的感观印象
（2）设计思路：
本课程采用模块化教学方法，以案例分析为主线，由浅入深、循序渐进、由理论到实践操作进行设计。
（3）与企业的贴合点：
本课程结合企业转型发展及大数据发展战略，围绕企业大数据业务及行业应用市场拓展发展目标，重点讲授Hadoop的应用技术，提升企业IT技术人员的开发和运维能力，有很强的贴合度。
培训时间及地点
2018年10月23日-10月27日 贵阳（23日报道）
2018年10月30日-11月03日 西安 (25日全天报到)
2018年11月20日-11月24日 珠海（20日报道）
2018年12月18日-12月22日 北京（18日报道）
2019年01月15日-01月19日 杭州（15日报道）
贵阳、西安、珠海、北京、杭州陆续开班，开课前一星期，主办方发送报道通知，告知当地具体开课地点
三、培训对象
业务支撑建设维护室、业务维护室、经营分析室人员；网络部、网管中心、网优中心从事大数据相关工作的人员
四、培训目标
掌握大数据处理平台（Hadoop、Spark、Storm）技术架构、以及平台的安装部署、运维配置、应用开发；掌握主流大数据Hadoop平台和Spark实时处理平台的技术架构和实际应用；利用Hadoop+Spark对行业大数据进行存储管理和分析挖掘的技术应用；讲解Hadoop生态系统组件，包括Storm，HDFS，MapReduce，HIVE，HBase，Spark，GraphX，MLib，Shark， ElasticSearch等大数据存储管理、分布式数据库、大型数据仓库、大数据查询与搜索、大数据分析挖掘与分布式处理技术
五、培训大纲
（1）课程框架
时间 | 培训内容 | 教学方式 | |
第一天 | 上午 | 第一部分：移动互联网、大数据、云计算相关技术介绍 第二部分：大数据的挑战和发展方向 | 理论讲授+案例分析 |
下午 | 第三部分：大数据文件存储系统技术和分布式文件系统平台及其应用 第四部分：Hadoop文件系统HDFS最佳实战 | 理论讲授+案例分析+小组讨论 | |
第二天 | 上午 | 第五部分：Hadoop运维管理与性能调优 第六部分：NOSQL数据库Hbase与Redis | 理论讲授+案例分析+实战演练 |
下午 | 第七部分：类SQL语句工具——Hive 第八部分：数据挖掘SPARK建模基础介绍 | 理论讲授+案例分析+实战演练 | |
第三天 | 上午 | 第九部分：Kafka基础介绍 第十部分：大数据典型应用与开发案例分析：互联网数据运营 | 理论讲授+案例分析 |
下午 | 第十一部分：当前数据中心的改造和转换分析-以国内外运营商、互联网公司为例 第十二部分：课程总结与问题答疑 评估培训 | 理论讲授+案例分析+小组讨论 | |
详细培训内容介绍
课程模块 | 课程主题 | 主要内容及案例和演示 | |
模块一 | 移动互联网、大数据、云计算相关技术介绍 | 1 2 3 4 5 6 7 8 9 | |
模块二 | 大数据的挑战和发展方向 | 1 Ø战略决策能力 Ø技术开发和数据处理能力 Ø组织和运营能力 2 Ø云计算是基础设施架构 Ø大数据是灵魂资产 Ø分析、挖掘是手段 Ø发现和预测是最终目标 3 Ø电信行业应用及案例分析 Ø互联网行业应用及案例分析 Ø金融行业应用及案例研究 Ø销售行业应用案例分析 | |
模块三 | 大数据文件存储系统技术和分布式文件系统平台及其应用 | 1 ØHadoop大数据平台架构 Ø基于Hadoop平台的PB级大数据存储管理与分析处理的工作原理与机制 ØHadoop 的核心组件剖析 2 Ø概述、功能、作用、优势 Ø应用范畴、应用现状 Ø发展趋势 3 Ø核心关键技术 Ø设计精髓 Ø基本工作原理 Ø系统架构 Ø文件存储模式 Ø工作机制 Ø存储扩容与吞吐性能扩展 4 ØSHELL命令操作 ØI/O流式操作 Ø文件数据读取、写入、追加、删除 Ø文件状态查询 Ø数据块分布机制 Ø数据同步与一致性 Ø元数据管理技术 Ø主节点与从节点工作机制 Ø大数据负载均衡技术 ØHDFS大数据存储集群管理技术 5 ØStorm ØHDFS ØMapReduce ØHIVE ØHBase ØSpark ØGraphX ØMLib ØShark | |
模块四 | Hadoop文件系统HDFS最佳实战 | 1 2 Ø数据块 Ønamenode和datanode Ø联邦HDFS ØHDFS的高可用性 3 4 5 Ø从Hadoop URL读取数据 Ø通过FileSystem API读取数据 Ø写入数据 Ø目录 Ø查询文件系统 Ø删除数据 6 Ø剖析文件读取 Ø剖析文件写入 Ø一致模型 7 8 9 Ø使用Hadoop存档工具 Ø不足 | |
模块五 | Hadoop运维管理与性能调优 | 1 ØYarn的工作原理及 ØDAG并行执行机制 ØYarn大数据分析处理案例分析 ØYarn 框架并行应用程序实践 2 ØHadoop集群配置 ØHadoop性能调优与参数配置 ØHadoop机架感知策略与配置 ØHadoop压缩机制 ØHadoop任务负载均衡 ØHadoop 集群维护 ØHadoop监控管理 3 ØHDFS 的高吞吐量I/O性能调优技巧 ØMapReduce/Yarn的并行处理性能调优技巧 ØHadoop集群的运行故障剖析，以及解决方案 Ø基于Hadoop大数据应用程序的性能瓶颈剖析与提 ØHadoop 大数据运维监控管理系统 HUE 平台的安装部署与应用配置 ØHadoop运维管理监控系统Ambari平台的安装部配置 ØHadoop 集群运维系统 Ganglia, Nagios的安装部署与应用配置 | |
模块六 | NOSQL数据库Hbase与Redis | 1 ØCAP理论 ØBase与ACID ØNOSQL数据库存储类型 Ø键值存储 Ø列存储 Ø文档存储 Ø图形存储 2 3 4 ØHBase的逻辑数据模型，HBase的表、行、列族、列、单元格、版本、row key排序 ØHBase的物理模型，命名空间（表空间）、表模式（Schema）的设计法则 ØHBase 主节点HMaster的工作原理，HMaster的高可用配置，以及性能调优 ØHBase 从节点RegionServer（分区服务节点）的工作原理，表分区及存储I/O高并发配置，以及性能调优 ØHBase的存储引擎工作原理，以及HBase表数据的键值存储结构，以及HFile存储结构剖析 ØHBase表设计与数据操作以及数据库管理操作 ØHBase集群的安装部署、参数配置和性能优化 5 ØHBase分布式数据库集群的主从式平台架构和关键技术剖析 ØHBase伪分布式和物理集群分布式的控制与运行配置 ØHBase从节点RegionServer（分区服务节点）的工作原理，表分区及存储I/O高并发配置，以及性能调优 ØHBase的存储引擎工作原理，以及HBase表数据的键值存储结构，以及HFile存储结构剖析 ØHBase表设计与数据操作以及数据库管理操作 ØHBase集群的安装部署、参数配置和性能优化 ØZooKeeper分布式协调服务系统的工作原理、平台架构、集群部署应用实战 ØZooKeeper集群的原理架构，以及应用配置 6 ØRedis内存数据库集群架构以及核心技术剖析 ØRedis 集群的安装部署与应用开发实战 | |
模块七 | 类SQL语句工具——Hive | 1 2 3 Ø配置Hive ØHive服务 ØMetastore 4 Ø读时模式vs.写时模式 Ø更新、事务和索引 5 Ø数据类型 Ø操作与函数 6 Ø托管表和外部表 Ø分区和桶 Ø存储格式 Ø导入数据 Ø表的修改 Ø表的丢弃 7 Ø排序和聚集 ØMapReduce脚本 Ø连接 Ø子查询 Ø视图 8 Ø写UDF Ø写UDAF | |
模块八 | 数据挖掘SPARK建模基础介绍 | 1 ØSpark是什么 ØSpark生态系统BDAS 2 ØSpark分布式架构与单机多核架构的异同 3 ØSpark的安装与部署 ØSpark集群初试 4 ØSpark硬件 ØSpark硬件配置流程 | |
模块九 | Kafka基础介绍 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 | |
模块十 | 大数据典型应用与开发案例分析：互联网数据运营 | 1 Ø交易所交易形式：电子交易 Ø交易所服务：大数据交易、大数据清洗建模分析、大数据定向采购、大数据平台技术开发 Ø大数据交易安全性探讨分析 Ø数据交易中心商业模式探讨分析 2 ØUrbanInsights：为公交公司提供基于订阅访问的大数据工具以及大数据咨询服务 ØUrban Insights数据源、数据收集、数据仓库、数据分析——设计运营线路 ØUrban Insights通过互联网数据的运营 3 | |
模块十一 | 当前数据中心的改造和转换分析-以国内外运营商、互联网公司为例 | 1 2 3 4 5 ØFacebook的SNS平台应用 ØGoogle的搜索引擎应用 ØRackspace的日志处理 ØVerizon成立精准市场营销部 ØTelefonicaDynamicInsights推出的名为“智慧足迹”的商业服务 Ø中国联通的“移动通信用户上网记录集中查询与分析支撑系统” | |
模块十二 | 课程总结与问题答疑 | ||
师资介绍
张老师：阿里大数据高级专家，国内资深的Spark、Hadoop技术专家、虚拟化专家，对HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生态系统中的技术进行了多年的深入的研究，更主要的是这些技术在大量的实际项目中得到广泛的应用，因此在Hadoop开发和运维方面积累了丰富的项目实施经验。近年主要典型的项目有：某电信集团网络优化、中国移动某省移动公司请账单系统和某省移动详单实时查询系统、中国银联大数据数据票据详单平台、某大型银行大数据记录系统、某大型通信运营商全国用户上网记录、某省交通部门违章系统、某区域医疗大数据应用项目、互联网公共数据大云(DAAS)和构建游戏云(Web Game Daas)平台项目等。
七、颁发证书
参加相关培训并通过考试的学员，可以获得：
工业和信息化部颁发的-《HADOOP大数据》技能证书。该证书可作为专业技术人员职业能力考核的证明，以及专业技术人员岗位聘用、任职、定级和晋升职务的重要依据。注：请学员带一寸彩照2张（背面注明姓名）、身份证复印件一张。
八、培训费用及须知
6800元/人（含教材、培训费、考证费以及学习用具等费用） 食宿统一安排，费用自理。
咨询报名：18210108577(微信同号)
QQ: 656759216
活动标签
您还可能感兴趣
您有任何问题，在这里提问！
全部讨论
下载App观看回放
扫码小程序报名
联系主办方
联系电话：
