第1章: SCALA简介以及学习计划
课时 1 : Day2501_大数据分析框架概要、Spark课程学习计划及建议
课时 2 : Day2502_为什么学习SCALA语言及SCALA语言介绍和学习提纲
第2章: SCALA环境搭建
课时 3 : Day2503_SCALA环境搭建及IDEA安装配置(JAVA安装、SCALA安装及IDEA安装)
课时 4 : Day2504_SCALA语言HelloWorld及安装总结(作业LINUX系统安装)
课时 5 : Day2505_SCALA中变量的声明(两种方式)
课时 6 : Day2506_SCALA中数据类型及操作符
课时 7 : Day2507_IF语句及WHILE循环、循环表达式及FOR基本使用
课时 8 : Day2508_FOR循环深入讲解及yield功能
课时 9 : Day2509_SCALA中的Breaks使用
第3章: 函数的定义
课时 10 : Day2510_函数的定义(如何确定一个函数)
课时 11 : Day2511_函数的定义(各种情况下函数定义与使用)
课时 12 : Day2512_函数的作用域、默认参数函数和名称参数函数使用详解
课时 13 : Day2513_变长参数函数和内部函数使用详解
课时 14 : Day2514_匿名函数定义与使用
课时 15 : Day2515_高阶函数定义与使用
课时 16 : Day2516_深入高阶函数的使用
课时 17 : Day2601_数组Array和ArrayBuffer
第4章: SCALA中集合类
课时 18 : Day2602_SCALA中集合类Collections概要讲解(对比JAVA中集合类)
课时 19 : Day2603_集合类之List和ListBuffer创建与基本操作
课时 20 : Day2604_集合List中常见高阶函数使用详解(一)
课时 21 : Day2605_集合List中常见高阶函数使用详解(二)
课时 22 : Day2606_SCALA中元组创建与使用
课时 23 : Day2607_集合类之Set及常见函数使用
课时 24 : Day2608_集合类之Map创建与遍历
课时 25 : Day2609_集合类综合应用:实现WordCount词频统计
第5章: 类Class的定义和对象的创建
课时 26 : Day2610_类Class的定义与创建对象
课时 27 : Day2611_对象object及apply方法
课时 28 : Day2612_类class的构造方法(主构造方法和附属构造方法)
第6章: SCALA的使用及复习总结
课时 29 : Day2613_SCALA中的Trait初步使用
课时 30 : Day2614_SCALA中异常的处理及模式匹配初步使用
课时 31 : Day2615_模式匹配之匹配类型、元组
课时 32 : Day2616_CaseClass及在模式匹配中使用
课时 33 : Day2617_Option(Some、Node)及模式匹配使用
课时 34 : Day2618_SCALA中隐式转换详解(结合案例)
课时 35 : Day2619_SCALA中隐式参数详解(结合案例)
课时 36 : Day2620_综合回顾复习SCALA的所有知识要点
第7章: SPARK初步认识及框架学习
课时 37 : Day2701_SPARK框架学习的基础及与Spark初步认识(比较MapReduce框架)
课时 38 : Day2702_Spark Feature详解及处理数据三步走策略
课时 39 : Day2703_Spark 学习资源、源码下载及编译详解
课时 40 : Day2704_SPARK 安装目录及使用的方便优点
课时 41 : Day2705_Local Mode配置、启动spark-shell及运行程序测试
课时 42 : Day2706_编程实现WordCount程序(类比MapReduce实现思路)
课时 43 : Day2707_Spark Local Mode深入剖析详解
课时 44 : Day2708_使用IDEA创建MAVEN工程及配置依赖
课时 45 : Day2709_编写Spark Application开发模板
课时 46 : Day2710_深入WordCount程序分析(sortByKey和top函数使用)
第8章: Spark实践以及案例分析
课时 47 : Day2711_如何导入Spark源码至IDEA中(Windows下)
课时 48 : Day2712_Spark Standalone 集群架构、配置、启动深入详解及运行spark-shell测试
课时 49 : Day2713_浅析Spark Application运行Cluster组成及如何使用spark-submit提交应用
课时 50 : Day2714_深入剖析Spark Application中Job、Stage和Task关系
课时 51 : Day2715_案例:对原始数据进行清洗过滤及实现每日浏览量统计
课时 52 : Day2716_案例:实现每日访客数统计及使用HiveQL进行结果验证、打包运行SparkStandalone集群
课时 53 : Day2801_Spark Application运行的Deploy Mode详解(结合案例演示)
课时 54 : Day2802_使用spark-submit提交应用运行Standalone集群及性能调优
课时 55 : Day2803_Spark Application运行的EventLog启用
课时 56 : Day2804_Spark HistoryServer配置及使用
第9章: 深入剖析RDD
课时 57 : Day2805_RDD是什么及创建方式
课时 58 : Day2806_RDD操作类型及持久化详解
课时 59 : Day2807_RDD中常用的Transformation和Action详解(一)
课时 60 : Day2808_RDD中常用的Transformation和Action详解(二)
课时 61 : Day2809_案例:分组排序TopKey实现及如何处理数据倾斜(分阶段聚合)
课时 62 : Day2810_SparkOnYarn:运行SparkApplication在YARN上(编写脚本)
课时 63 : Day2811_SparkOnYarn:配置HIstoryServer及运行在YARN的两种Deploy Mode架构
第10章: Spark总结
课时 64 : Day2812_官方案例:读取日志数据及正则解析(CASE CLASS)
课时 65 : Day2813_官方案例:依据业务编码实现及熟悉RDD API
课时 66 : Day2814_官方案例:其他业务编码实现测试及过滤数据
课时 67 : Day2815_官方案例:RDD#top函数使用(自定义排序规则)及提交运行YARN集群
课时 68 : Day2816_内核调度:Spark Job Scheduler详解(一)
课时 69 : Day2817_内核调度:Spark Job Scheduler详解(二)