教育行业A股IPO第一股(股票代码 003032)

全国咨询/投诉热线:400-618-4000

大数据spark3.2从基础到精通

更新时间:2023年03月14日17时11分 来源:传智教育 浏览次数:

  课程介绍:

  Spark是大数据体系的明星产品,是一款高性能的分布式内存迭代计算框架,可以处理海量规模的数据。本课程基于Python语言学习Spark3.2开发,课程的讲解注重理论联系实际,方便快捷,深入浅出,让初学者也能快速掌握。让有经验的工程师也能有所收获。学习完成后可以胜任高级级别的大数据相关岗位。

  课程亮点:

  1. 方便、快捷掌握Spark必备知识,大大缩短Spark阶段学习时间。

  2. 基于Python语言!

  课程内容:

  课程涵盖了Spark的主要知识体系,如环境部署SparkCoreSparkSQL等内容

  本视频主要面向的群体是:

  * 有Python基础

  * 有Hadoop生态体系基础

  * 想要更加深入学习分布式计算相关知识

  程目录  

  大数据spark3.2从基础到精通(滑动查看)

  第1节 - PySpark导学

  第2节 - PySpark课程解读

  第3节 - Spark基础入门-第一章-1.1-Spark简单介绍

  第4节 - Spark基础入门-第一章-1.2-Spark风雨十年

  第5节 - Spark基础入门-第一章-1.3-Spark和Hadoop的对比

  第6节 - Spark基础入门-第一章-1.4-Spark四大特点

  第7节 - Spark基础入门-第一章-1.5-Spark框架模块

  第8节 - Spark基础入门-第一章-1.6-Spark运行模式

  第9节 - Spark基础入门-第一章-1.7-Spark的架构角色

  第10节 - Spark基础入门-第一章-总结

  第11节 - Spark基础入门-第二章-2.1-课程服务器环境

  第12节 - Spark基础入门-第二章-2.2-Local模式基本原理

  第13节 - Spark基础入门-第二章-2.3-在Linux上服务器上安装Anaconda

  第14节 - Spark基础入门-第二章-2.4-Spark Local模式部署

  第15节 - Spark基础入门-第三章-3.1-StandAlone的运行原理

  第16节 - Spark基础入门-第三章-3.2-StandAlone部署

  第17节 - Spark基础入门-第三章-3.3-StandAlone程序测试

  第18节 - Spark基础入门-第三章-3.4-Spark程序运行层次划分

  第19节 - Spark基础入门-第三章-3.5-总结

  第20节 - Spark基础入门-第四章-4.1-StandAlone HA模式的运行原理

  第21节 - Spark基础入门-第四章-4.2-StandAlone 部署和测试

  第22节 - Spark基础入门-第四章-4.3-总结

  第23节 - Spark基础入门-第五章-5.1-Spark On YARN的运行原理

  第24节 - Spark基础入门-第五章-5.2-Spark On YARN 部署和测试

  第25节 - Spark基础入门-第五章-5.3-两种部署模式的区别

  第26节 - Spark基础入门-第五章-5.4-两种部署模式的演示和总结

  第27节 - Spark基础入门-第五章-5.5-两种模式任务提交流程

  第28节 - Spark基础入门-第五章-5.6-总结

  第29节 - Spark基础入门-第六章-6.1-框架和类库

  第30节 - Spark基础入门-第六章-6.2-PySpark类库介绍

  第31节 - Spark基础入门-第六章-6.3-PySpark安装

  第32节 - Spark基础入门-第六章-6.4-总结

  第33节 - Spark基础入门-第七章-7.1-本机配置Python环境

  第34节 - Spark基础入门-第七章-7.2-PyCharm本地和远程解释器配置

  第35节 - Spark基础入门-第七章-7.3-编程入口SparkContext对象以及WordCount演示

  第36节 - Spark基础入门-第七章-7.4-WordCount代码流程解析

  第37节 - Spark基础入门-第七章-7.5-提交WordCount到Linux集群运行

  第38节 - Spark基础入门-第七章-7.6-总结

  第39节 - Spark基础入门-第八章-8.1-Spark运行角色回顾

  第40节 - Spark基础入门-第八章-8.2-分布式代码执行分析

  第41节 - Spark基础入门-第八章-8.3-Python On Spark执行原理

  第42节 - Spark基础入门-第八章-总结

  第43节 - SparkCore-第一章-1.1-什么是RDD

  第44节 - SparkCore-第一章-1.2-RDD五大特性-特性1

  第45节 - SparkCore-第一章-1.3-RDD五大特性-特性2

  第46节 - SparkCore-第一章-1.4-RDD的五大特性-特性3

  第47节 - SparkCore-第一章-1.5-RDD的五大特性-特性4

  第48节 - SparkCore-第一章-1.6-RDD的五大特性-特性5.mp4

  第49节 - SparkCore-第一章-1.7-WordCount结合RDD特性进行执行分析

  第50节 - SparkCore-第一章-1.8-总结

  第51节 - SparkCore-第二章-1-RDD的创建-1

  第52节 - SparkCore-第二章-10-RDD算子-filter

  第53节 - SparkCore-第二章-11-RDD算子-distinct

  第54节 - SparkCore-第二章-12-RDD算子-union

  第55节 - SparkCore-第二章-13-RDD算子-join

  第56节 - SparkCore-第二章-14-RDD算子-intersection

  第57节 - SparkCore-第二章-15-RDD算子-glom

  第58节 - SparkCore-第二章-16-RDD算子-groupByKey

  第59节 - SparkCore-第二章-17-RDD算子-sortBy

  第60节 - SparkCore-第二章-18-RDD算子-sortByKey

  第61节 - SparkCore-第二章-19-RDD算子-案例

  第62节 - SparkCore-第二章-2-RDD的创建-2

  第63节 - SparkCore-第二章-20-RDD算子-案例-提交到YARN执行

  第64节 - SparkCore-第二章-21-RDD算子-countByKey

  第65节 - SparkCore-第二章-22-RDD算子-reduce

  第66节 - SparkCore-第二章-23-RDD算子-fold

  第67节 - SparkCore-第二章-24-RDD算子-take-first-count-top

  第68节 - SparkCore-第二章-25-RDD算子-takeSample

  第69节 - SparkCore-第二章-26-RDD算子-takeOrdered

  第70节 - SparkCore-第二章-27-RDD算子-foreach

  第71节 - SparkCore-第二章-28-RDD算子-saveAsTextFile

  第72节 - SparkCore-第二章-29-RDD算子-mapPartitions

  第73节 - SparkCore-第二章-3-RDD算子概念和分类

  第74节 - SparkCore-第二章-30-RDD算子-foreachPartition

  第75节 - SparkCore-第二章-31-RDD算子-partitionBy

  第76节 - SparkCore-第二章-32-RDD算子-repartition-coalesce

  第77节 - SparkCore-第二章-33-RDD算子-面试题-groupByKey和reduceByKey的区别

  第78节 - SparkCore-第二章-34-总结

  第79节 - SparkCore-第二章-4-转换算子-map

  第80节 - SparkCore-第二章-5-转换算子-flatMap

  第81节 - SparkCore-第二章-6-转换算子-reduceByKey

  第82节 - SparkCore-第二章-7-RDD算子-mapValues

  第83节 - SparkCore-第二章-8-WordCount案例回顾

  第84节 - SparkCore-第二章-9-RDD算子-groupBy

  第85节 - SparkCore-第三章-1-RDD的数据是过程数据概念

  第86节 - SparkCore-第三章-2-RDD的缓存

  第87节 - SparkCore-第三章-3-RDD的CheckPoint

  第88节 - SparkCore-第三章-4-总结

  第89节 - SparkCore-第四章-1-jieba库入门使用

  第90节 - SparkCore-第四章-2-案例需求1开发

  第91节 - SparkCore-第四章-3-案例需求2开发

  第92节 - SparkCore-第四章-4-案例需求3开发

  第93节 - SparkCore-第四章-5-提交代码到YARN集群运行

  第94节 - SparkCore-第四章-6-作业和总结

  第95节 - SparkCore-第五章-1-广播变量

  第96节 - SparkCore-第五章-2-累加器

  第97节 - SparkCore-第五章-3-广播变量累加器综合案例

  第98节 - SparkCore-第五章-4-总结

  第99节 - SparkCore-第六章-1-DAG

  第100节 - SparkCore-第六章-2-宽窄依赖和阶段划分

  第101节 - SparkCore-第六章-3-内存迭代计算

  第102节 - SparkCore-第六章-4-Spark并行度

  第103节 - SparkCore-第六章-5-Spark任务调度

  第104节 - SparkCore-第六章-6-Spark运行概念名词解释和层级梳理

  第105节 - SparkCore-第六章-7-总结

  第106节 - SparkSQL-第一章-SparkSQL基础入门

  第107节 - SparkSQL-第二章-1-SparkSQL和Hive的异同以及SparkSQL的数据抽象

  第108节 - SparkSQL-第二章-2-SparkSession执行环境入口构建和SparkSQL HelloWorld

  第109节 - SparkSQL-第二章-3-总结

  第110节 - SparkSQL-第三章-1-DataFrame对象的构成

  第111节 - SparkSQL-第三章-10-DSL风格入门API

  第112节 - SparkSQL-第三章-11-SQL风格入门API

  第113节 - SparkSQL-第三章-12-WordCount案例

  第114节 - SparkSQL-第三章-13-电影评分案例编程

  第115节 - SparkSQL-第三章-14-SparkSQL Shuffle阶段分区数参数设定

  第116节 - SparkSQL-第三章-15-异常数据处理API

  第117节 - SparkSQL-第三章-16-DataFrame数据写出

  第118节 - SparkSQL-第三章-17-DataFrame使用JDBC协议读写数据库(MySQL)

  第119节 - SparkSQL-第三章-18-总结

  第120节 - SparkSQL-第三章-2-DataFrame创建-1

  第121节 - SparkSQL-第三章-3-DataFrame创建-2

  第122节 - SparkSQL-第三章-4-DataFrame创建-3

  第123节 - SparkSQL-第三章-5-DataFrame创建-4-基于Pandas的DF转换为SparkSQL的DF对象

  第124节 - SparkSQL-第三章-6-标准API读取text数据源构建DataFrame

  第125节 - SparkSQL-第三章-7-标准API读取json构建DataFrame

  第126节 - SparkSQL-第三章-8-标准API读取jcsv构建DataFrame

  第127节 - SparkSQL-第三章-9-标准API读取jparquet构建DataFrame

  第128节 - SparkSQL-第四章-1-UDF创建演示

  第129节 - SparkSQL-第四章-2-注册返回值是数组类型的UDF

  第130节 - SparkSQL-第四章-3-返回字典类型的UDF定义

  第131节 - SparkSQL-第四章-4-拓展-通过RDD代码模拟UDAF效果

  第132节 - SparkSQL-第四章-5-窗口函数的演示

  第133节 - SparkSQL-第四章-6-总结

  第134节 - SparkSQL-第五章-1-Catalyst优化器

  第135节 - SparkSQL-第五章-2-SparkSQL执行流程及本章总结

  第136节 - SparkSQL-第六章-SparkOnHive原理和配置及总结

  第137节 - SparkSQL-第七章-分布式SQL的执行引擎原理和配置

  第138节 - 案例-案例背景及需求1开发

  第139节 - 案例-需求2开发

  第140节 - 案例-需求3开发

  第141节 - 案例-需求4开发

  第142节 - Spark新特性及核心回顾-1-1-HashShuffleManager

  第143节 - Spark新特性及核心回顾-1-2-SortShuffleManager

  第144节 - Spark新特性及核心回顾-1-3-总结

  第145节 - Spark新特性及核心回顾-2-1-3.0新特性-AQE

  第146节 - Spark新特性及核心回顾-2-2-新特性-动态分区裁剪

  第147节 - Spark新特性及核心回顾-2-3-新特性-koalas库

  第148节 - Spark新特性及核心回顾-2-4-总结

  第149节 - Spark新特性及核心回顾-3-Spark概念总结

  未完待续,黑马老师996更新中......


掌握行业热门技术

是每个程序员都应该重视的事情

pyspark框架如此重要,你还没学?

点击或搜索黑马程序员B站

观看全集视频

- 完整配套资料领取方式 -

(视频+讲义+源码+笔记+资料)

黑马程序员视频库

搜索《大数据spark3.2从基础到精通

0 分享到:
和我们在线交谈!