大数据工程师是一个热门的职业，其就业现状和前景都非常乐观。大数据工程师的就业前景非常广阔，他们可以在各行各业的企业、机构和政府中从事相关工作，包括金融、电商、物流、医疗、教育等。
目前，大数据工程师的就业现状也非常乐观。由于大数据技术的广泛应用，企业需要大量的大数据工程师来处理、分析和挖掘大数据，以支持企业的决策和发展。因此，大数据工程师的就业机会非常多，而且薪资水平也相对较高。
未来，随着大数据技术的不断发展和应用，大数据工程师的需求将会继续增加。同时，随着人工智能、机器学习等技术的不断发展，大数据工程师需要不断学习和掌握新的技能，以适应不断变化的市场需求。因此，大数据工程师的职业发展前景也非常广阔。
大数据目前还处于红利期，大数据人才缺口2025年将高达230万人！！！
分享一位学习群的小伙伴转型经历给你参考，他毕业之后做过服务员、销售、外卖小哥等，后面去无类教育学习运维，最后转的大数据开发。薪资也从最开始的个人薪资4K，到现在的年薪40W。
一、大数据转型时期的学习路线
第一阶段：学完第一阶段就可以开始找数据仓库开发相关的岗位了（市场上40%的岗位可以投了）
1、Java基础：JavaSE
2、SQL课程：MySQL【重点】
3、Linux基础
4、Hadoop框架：HDFS、MapReduce、Yarn【重点】
5、Hive【重点】
6、HBase
7、辅助框架：Flume、Sqoop、Azkaban
这份资料涵盖了Java基础、集合、JVM多线程、Spring、微服务分布式、计算机基础(网络、操作系统)、数据库、大数据等面试知识点，对于Java或大数据岗来说完全够用，大家可以直接拿着它补缺补漏。
8、大数据项目实战（一）：基于Hive的离线数仓项目【重点中的重点】
第二阶段：学完第二阶段就可以找大数据开发相关的岗位了（市场上75%的岗位都可以投了）
1、Scala基础
2、Spark框架：SparkSQL、SparkStreaming【重点】
3、Kafka消息队列
4、大数据项目实战（二）：基于Spark的实时+数仓项目【重点中的重点】
第三阶段：学完第三阶段就可以找所有和数据开发相关的岗位了（市场上90%的岗位都可以投了）
1、Flink【重点】
2、Redis
3、大数据一些其它的辅助框架（Kylin、Druid、Presto、Impala、ClickHouse等）
4、大数据项目实战（三）：基于Flink的实时ETL和数仓项目【重点中的重点】
第四阶段：（进一线互联网大厂必备的技能)
1、计算机基础和数据结构算法
这份笔记中包含了作者刷LeetCode算法题后整理的数百道题目，每道题都有详细的题解过程。很多人表示刷数据结构和算法题效率不高，非常痛苦。但是有了这份笔记的总结，对于校招和社招的算法刷题帮助之大不言而喻，果断收藏了。
2、Java底层和部分框架源码
三、企业面试真题
这份资料涵盖了Java基础、集合、JVM多线程、Spring、微服务分布式、计算机基础(网络、操作系统)、数据库、大数据等面试知识点，对于Java或大数据岗位的求职者来说非常实用。可以直接使用这份资料来补充和复习相关知识，提升自己的技能水平。
1、请详细描述下hive中shuffle的优化？
2、hive在集群过程中怎么解决数据倾斜？
3、hive导致数据倾斜的可能性(哪些操作会导致)-->分桶 join key 分布不均匀的大量空值导致如何解决？
4、悲观锁和乐观锁的区别以及CAS乐观锁怎么实现，或者有哪些其他方式？
5、编程的设计模式举例一下，用过哪些，什么场景下使用的？
6、你对实时计算这块的理解是怎么样的？
7、Sparkstreaming突然断掉了怎么办？怎么保证数据消费至少一次和精确一次？
8、Sparkstreaming消费kafka数据怎么手动维护offset ？Offset保存到什么数据库？处理的顺序是什么？以及程序刚上线第一次从kafka消费这是怎样的流程？
9、Spark解决了哪些问题让你很有成就感？
10、Spark发生了数据倾斜你会怎么做？
11、Sparkstreaming的背压机制，除了设置背压参数为true之外还需要做什么？
12、Spark性能调优？
13、跑spark作业的时候，给到executor的个数是10个，每个executor的核数是2个，请问跑这个作业时并行度设置为多大比较合适？
14、这么做是为了避免shuffle操作，shuffle为什么会存在数据倾斜？
15、为什么会有shuffle的存在？shuffle操作的意义又是什么？
16、Java中的ArrayList的底层数据结构？LinkedList？
17、创建一个ArrayList里面的空间有多大？
18、让你设计一个容器类，比如ArrayList，你怎么去实现？
19、HashMap的数据结构是什么？为什么要这么设计？
20、数组和链表的区别是什么？
21、你们每天需要同步的数据量有多大？
22、Druid的工作原理？
23、每天集群的数据增量有多大？
24、业务数据量有多大？每日订单量有多少？
25、各大数据组件在各机器上是怎么分配的？
26、离线和实时分别是怎么分层设计的？
27、维表数据的加载和更新？
28、生产环境中Kafka要增加topic分区的时候怎么操作？
29、数仓中每层用的数据存储格式分别是什么？
30、Hive中两个大表进行join的时候有什么优化方法？
31、JVM的垃圾回收器有哪些？你们用的哪种？
32、项目架构流程图：手画+讲解
33、Druid和Kylin做一个技术选型你会考虑哪些因素？
34、现有一个n*m的方格，每个格子里有一个100以内的随机数字，现在需要从方格的最左上角走到最右下角，只能往下和往右走，如何计算出数字之和最大的一条路线？
35、流处理：用户如果在10s内，同时连续输入同样一句话超过5次，就认为是恶意刷屏，请您写出检测刷屏用户的代码？
四、总结
选择比努力更重要，知识可以改变命运。
找到自己的赛道后，要努力奔跑，并保持足够的自律。这个过程可能会很痛苦，但不要轻易放弃。
为了获得更快速的成功，需要高人的指导和贵人的帮助。
