AI HPC-强化学习与GPU并行编程
培训简介
随着人工智能(AI)特别是深度学习(Deep Learning)近年来的飞速发展,在多个领域的成功应用,已经成为当前学术界和各行业最炙手可热的研究应用方向。不仅广泛应用于搜索引擎、电子商务、社交网络等互联网服务,并且在计算视觉、自然语言处理、金融、生物医药等行业AI的研究与应用也呈现爆发式增长。学习深度学习首先需要对核心理论及算法有深入理解,在理解理论的基础上才能进行应用。GPU的价值不止体现在深度学习,在高性能计算、物联网、人工智能、生物信息、分子模拟、计算化学 、材料力学、系统仿真、流体力学、机械设计、生物制药、航空动力、地质勘探、气候模拟等领域,算法越来越复杂,需要处理的海量数据越来越巨大,高性能计算能力就显得尤为重要。如今,几乎所有的深度学习(机器学习)研究者都在使用GPU进行相关的研究,NVIDIA针对深度学习的计算,有一套完整的解决方案,cuDNN已经成为主流深度学习框架调用的深度学习GPU函数库,包含完整的矩阵乘法和卷积计算的实现。为加强AI技术的创新发展和应用,培养社会急缺的深度学习专业人才,中科院计算所西部高等技术研究院特别邀请深度学习领域的专家,举办“AI HPC--强化学习与GPU并行编程“高级培训班。
培训内容
培训目标
在深度学习的基本概念和技术方法的基础上阐述深度学习的基本思想和解决问题的基本思维模式,从理论到实践逐步提升对深度学习技术方法的理解;从模型表达能力到计算复杂度两个层次帮助学员理解从数据推知数据蕴含的结构、解决问题的技巧。结合应用案例和开发框架构建学员从所学理论到实践解决问题的理论和工程相结合的能力。针对学员面对的实践问题展开讨论、方案建议。为学员配备由浅入深的参考书和深度学习开发教材,便于课后逐步提高能力。
现有硬件资源最大化利用,提供多种并行优化方案组合策略,提高并行程序设计与开发水平,熟悉常见的并行计算模式,了解深度学习的主流GPU加速解决方案;实际体验高性能计算环境,能够应对主流的超算环境;提供符合自身特点的工程计算解决方案,了解高性能计算和深度学习应用场景
培训对象
院校计算机专业、网络通信专业、电子工程专业、信息计算科学专业、统计学专业等对AI /深度学习技术及研发感兴趣的老师、研究生等。相关从事大数据、数据挖掘、机器学习、计算视觉、自然语言处理、人机交互等领域研发的单位的技术部门、IT企业的工程师、研发负责人、算法工程师等。
从事高性能计算、GPU加速、并行计算、CUDA编程、openCV、石油、气象、化工、人工智能、深度学习、计算机视觉、人脸识别、 图像处理、行人检测、自然语言处理等领域相关的企事业单位技术骨干、科研院所研究人员和大专院校相关专业教学人员及在校研究生等相关技术人员;
培训方式
1、培训讲座
2、上机实操
3、专题小组研讨与案例讲解分析结合
培训主讲人所著书籍
内容简介
本书以“平民”的起点,从“零”开始,基于PyTorch框架,介绍深度学习和强化学习的技术与技巧,逐层铺垫,营造良好的带入感和亲近感,把学习曲线拉平,使得没有学过微积分等高级理论的程序员一样能够读得懂、学得会。同时,本书配合漫画插图来调节阅读气氛,并对每个原理都进行了对比讲解和实例说明。
本书适合对深度学习和强化学习感兴趣的技术人员、希望对深度学习和强化学习进行入门了解的技术人员及深度学习和强化学习领域的初级从业人员阅读。
目录
传统篇
第1章 强化学习是什么 2
1.1 题设 3
1.1.1 多智能才叫智能 5
1.1.2 人工智能的定义 5
1.2 强化学习的研究对象 7
1.2.1 强化学习的应用场合 7
1.2.2 强化学习的建模 11
1.3 本章小结 17
第2章 强化学习的脉络 18
2.1 什么是策略 18
2.2 什么样的策略是好的策略 19
2.3 什么是模型 21
2.4 如何得到一个好的策略 23
2.4.1 直接法 23
2.4.2 间接法 25
2.5 马尔可夫决策过程 29
2.5.1 状态转移 30
2.5.2 策略与评价 31
2.5.3 策略优化 36
2.6Model-Based和Model-Free 36
2.6.1Model-Based 36
2.6.2 规划问题 37
2.6.3Model-Free 38
2.7 本章小结 38
第3章 动态规划 40
3.1 状态估值 40
3.2 策略优化 42
3.3 本章小结 43
第4章 蒙特卡罗法 45
4.1 历史由来 45
4.2 状态估值 47
4.3 两种估值方法 49
4.3.1 首次访问蒙特卡罗策略估值 49
4.3.2 每次访问蒙特卡罗策略估值 49
4.3.3 增量平均 50
4.4 弊端 51
4.5 本章小结 52
第5章 时间差分 53
5.1SARSA算法 53
5.1.1SARSA算法的伪代码 54
5.1.2SARSA算法的优点和缺点 57
5.2Q-Learning算法 57
5.2.1Q-Learning算法的伪代码 58
5.2.2Q-Learning算法的优点和缺点 59
5.3On-Policy和Off-Policy 61
5.4On-Line学习和Off-Line学习 62
5.5 比较与讨论 63
5.6 本章小结 65
现代篇
第6章 深度学习 68
6.1PyTorch简介 69
6.1.1 历史渊源 70
6.1.2 支持 71
6.2 神经元 74
6.3 线性回归 77
6.4 激励函数 80
6.4.1Sigmoid函数 81
6.4.2Tanh函数 82
6.4.3ReLU函数 82
6.4.4Linear函数 83
6.5 神经网络 84
6.6 网络训练 85
6.6.1 输入 86
6.6.2 输出 86
6.6.3 网络结构 87
6.6.4 损失函数 88
6.6.5 求解极小值 90
6.6.6 线性回归 90
6.6.7 凸函数 93
6.6.8 二元(多元)凸函数 98
6.6.9 导数补充 101
6.6.10 导数怎么求 103
6.6.11 “串联”的神经元 105
6.6.12 模型的工作 107
6.6.13 理解损失函数 108
6.7 深度学习的优势 108
6.7.1 线性和非线性的叠加 109
6.7.2 不用再提取特征 111
6.7.3 处理线性不可分 112
6.8 手写数字识别公开数据集 114
6.9 全连接网络 117
6.9.1 输入与输出 118
6.9.2 代码解读 119
6.9.3 运行结果 125
6.10 卷积神经网络 125
6.10.1 代码解读 125
6.10.2 理解卷积神经网络的结构 132
6.10.3 卷积核的结构 134
6.11 循环神经网络 135
6.11.1 网络结构 136
6.11.2 应用案例 140
6.11.3 代码解读 143
6.12 其他注意事项 148
6.12.1 并行计算 148
6.12.2 梯度消失和梯度爆炸 152
6.12.3 归一化 157
6.12.4 超参数的设置 159
6.12.5 正则化 161
6.12.6 不唯一的模型 170
6.13 深度神经网络的发展趋势 171
6.14 本章小结 178
第7章 Gym——不要钱的试验场 180
7.1 简介 180
7.2 安装 182
7.3 类别 183
7.4 接口 188
7.5 本章小结 191
第8章 DQN算法族 192
8.12013版DQN 192
8.1.1 模型结构 192
8.1.2 训练过程 195
8.1.3Replay Memory 197
8.1.4 小结 198
8.22015版DQN 198
8.2.1 模型结构 198
8.2.2 训练过程 199
8.2.3Target网络 200
8.2.4 小结 201
8.3Double DQN 201
8.3.1 模型结构 202
8.3.2 训练过程 202
8.3.3 效果 203
8.3.4 小结 204
8.4Dueling DQN 204
8.4.1 模型结构 205
8.4.2 效果 207
8.4.3 小结 208
8.5 优先回放DQN 208
8.6 本章小结 209
第9章 PG算法族 211
9.1 策略梯度 211
9.2DPG 213
9.3Actor-Critic 214
9.4DDPG 214
9.5 本章小结 218
第10章 A3C 219
10.1 模型结构 219
10.1.1A3C Q-Learning 219
10.1.2A3C Actor-Critic 222
10.2 本章小结 224
第11章 UNREAL 226
11.1 主任务 226
11.2 像素控制任务 227
11.3 奖励值预测 229
11.4 值函数回放 230
11.5 损失函数 231
11.6 本章小结 232
扩展篇
第12章 NEAT 236
12.1 遗传算法 237
12.1.1 进化过程 237
12.1.2 算法流程 238
12.1.3 背包问题 239
12.1.4 极大(小)值问题 247
12.2NEAT原理 255
12.2.1 基因组 255
12.2.2 变异和遗传 256
12.3NEAT示例 258
12.4 本章小结 262
第13章 SerpentAI 263
13.1 简介 263
13.2 安装和配置 264
13.3 示例 265
13.3.1 创建Game Plugin 265
13.3.2 创建Game Agent 268
13.3.3 训练Context Classifier 271
13.3.4 训练Agent 282
13.4 本章小结 286
第14章 案例详解 287
14.1AlphaGo 287
14.1.1AlphaGo的前世今生 287
14.1.2 “深蓝”是谁 288
14.1.3 围棋到底有多复杂 290
14.1.4 论文要义 294
14.1.5 成绩 302
14.1.6 开源项目 303
14.2AlphaGo Zero 304
14.2.1 改进之处 304
14.2.2 成绩 308
14.2.3 开源项目 309
14.3 试验场大观 311
14.3.1StarCraftⅡ 311
14.3.2VizDoom 320
14.3.3Universe 323
14.3.4DOTA2 324
14.4 本章小结 329
第15章 扩展讨论 331
15.1TRPO 331
15.2 反向强化学习 332
15.3 模型压缩 333
15.3.1 剪枝 335
15.3.2 量化 336
15.3.3 结构压缩 337
15.4 本章小结 339
后记 341
附录A 342
A.1 安装Ubuntu 342
A.2 安装CUDA环境 347
A.3 安装PyTorch 348
A.4 下载本书示例代码 349
A.5 安装PyCharm 350
A.5.1 方法一 350
A.5.2 方法二 351
A.6 安装Jupyter Notebook 351
A.7 安装相关Python依赖包 352
A.7.1 安装Box2D 352
A.7.2 安装MuJoCo 352
A.7.3 安装SerpentAI 355
A.7.4 安装Spritex 359
A.7.5 安装StarCraftⅡ 360
A.7.6 安装VizDoom 363
A.8 安装OpenCV 364
A.9Python语言简介 364
A.9.1 安装Python 365
A.9.2Hello World 365
A.9.3 行与缩进 365
A.9.4 变量类型 366
A.9.5 循环语句 367
A.9.6 函数 368
A.9.7 模块 369
A.9.8 小结 369
A.10 本书涉及的主要开源软件版本 369
参考文献 371
时间地点
2019年 10月26日 — 2019年10月 29日(25日报道)
重庆市渝北区双鱼座A15楼中科院计算所西部高等技术研究院主会议室
报名办法
请各有关部门统一组织本地区行政、企事业单位报名参加会议,各单位也可直接报名参加。
授课讲师
主讲专家来自中科院及高校的深度学习高级专家,拥有丰富的科研及工程技术经验,长期从事计算领域国家重大项目研究,具有资深的技术底蕴和专业背景。
培训费用
A 类: ¥RMB:4300元/人,(包含报名费、培训费、资料费、证书费)
B 类: ¥RMB:4800元/人,(包含报名费、培训费、资料费、证书费)
食宿可统一安排,费用自理
A类:学员经培训考试合格后可以获得:由 北京中科云畅应用技术研究院 颁发的结业证书
B类:培训结束经考核合格,可获得由中国电子学会颁发全国电子信息人才能力提升工程专业技术证书, 依据人力资源与社会保障部《国家级专业技术人员继续教育基地管理办法》(人社厅发〔2013〕53 号)的要求,本次学习情况,本次学习情况可计入继续教育学时并作为对专业技术人员考核评价、岗位聘用、职称评聘和执业注册的重要依据。须提交电子版彩色照片,身份证复印件。
主办单位: 中科院计算所西部高等技术研究院
承办单位: 北京中科云畅应用技术研究院
协办单位: 北京中科图云科技有限公司
有疑问可咨询:
13001051273或798947682@qq.com
中科图云小助手微信:TuyunAssistant
更多资讯可关注:
官方公众号:中科图云
服务号:中科图云AICloud
往届回顾
中科图云科技有限公司
1、本活动由主办方委托【活动行】代为处理退款事宜。
2、如需退款,请于活动开始前的24小时之前提交申请,活动开始前的24小时内不接受退款。
3、退款时,将收取票价的10%作为手续费。
票种名称 | 售票时间 | 票种说明 | 票价(元) | 张数 | 报名/购票 |
---|---|---|---|---|---|
A类:学员经培训考试合格后可以获得:由 北京中科云畅应用技术研究院 颁发的结业证书 B类:培训结束经考核合格,可获得由中国电子学会颁发全国电子信息人才能力提升工程专业技术证书, 依据人力资源与社会保障部《国家级专业技术人员继续教育基地管理办法》(人社厅发〔2013〕53 号)的要求,本次学习情况,本次学习情况可计入继续教育学时并作为对专业技术人员考核评价、岗位聘用、职称评聘和执业注册的重要依据。须提交电子版彩色照片,身份证复印件。
A类:学员经培训考试合格后可以获得:由 北京中科云畅应用技术研究院 颁发的结业证书 B类:培训结束经考核合格,可获得由中国电子学会颁发全国电子信息人才能力提升工程专业技术证书, 依据人力资源与社会保障部《国家级专业技术人员继续教育基地管理办法》(人社厅发〔2013〕53 号)的要求,本次学习情况,本次学习情况可计入继续教育学时并作为对专业技术人员考核评价、岗位聘用、职称评聘和执业注册的重要依据。须提交电子版彩色照片,身份证复印件。