Notice: Undefined variable: txt1 in /usr/home/qxu1152160102/htdocs/app/article/detail.php on line 55


Notice: Undefined variable: txt2 in /usr/home/qxu1152160102/htdocs/app/article/detail.php on line 59

如何成为大数据工程师

发布时间:2025-06-04 浏览:2次

1. 什么是大数据?

顾名思义,大数据首先最明显的特点就是数据量足够大,互联网大厂里面的数据量基本上原始日志单日的数据量能达到PB级别,经过处理后的中间表在TB级别,最终在平台上展示可以人工分析的数据最多只能是GB级别的统计级别数据,数据量太大对分析师、产品、以及领导层做决策帮助不大。

2. 什么场景需要大数据?

比如说你现在在一个叫买买的购物APP里想买件衣服,在你疯狂逛APP的时候其实你的每一个行为都被日志记录了下来,并保存到数仓里面,比如一次点击,从A页面点击进了a商品,从B直播购买了b商品,并且分享给了你的朋友,整个行为都会被记录下来用于分析你的购买习惯,同时算法也会通过这些大数据给你的每一个商品展示位推荐一系列商品,最后按照一个打分高低,选取分数最高的展示给你。

如何成为大数据工程师

3. 大数据工程师是做什么的?

大数据工程师就是把这些PB级的数据加工至可以人工分析帮助决策的GB级别甚至MB级别,用于各个BI系统、推荐系统、数据分析系统、算法等系统里面。