大数据技术学什么 大数据技术主要学什么课程

大数据技术要求：一、统计基础；二、数学知识；三、分析工具；四、数据库知识；五、编程语言；六、编程能力；七、业务理解；八、逻辑思维；九、数据可视化；十、协调沟通、十一、快速学习。

2021年2月27日，根据《中华人民共和国劳动法》有关规定，人力资源社会保障部、工业和信息化部共同制定了大数据工程技术人员国家职业技术技能标准，根据相应标准，大数据从业人员应学习以下技能。

一、统计基础（Statistical basis）

理工科的学生在大学阶段学习过概率论与数理统计，单从做数据分析的角度已经够用。其他方面，可以根据需要查看相关书籍，随时进行查漏补缺即可。推荐《深入浅出统计学》，可以让统计理论的学习有趣又自然。

二、数学知识（Mathematical knowledge）

数学知识是数据分析的基础知识。对于初级数据分析师，了解一些描述统计相关的基础内容，有一定的公式计算能力即可，了解统计模型算法则是加分。

对于高级数据分析师，统计模型的相关知识是必备能力。线性代数（主要是矩阵计算相关知识）最好也有一定的了解。而对于数据挖掘工程师，除了统计学以外，各类算法也需要熟练使用，对数学的要求是最高的。

所以数据分析并非一定要数学能力非常好才能学习，只要看你想往哪个方向发展，数据分析也有偏“文”的一面，特别是女孩子，可以往文档写作这一方向发展。

三、分析工具（Analysis tools）

初级数据分析师，玩转Excel是必须的，数据透视表和公式使用必须熟练，VBA是加分。另外，还要学会一个统计分析工具，SPSS作为入门是比较好的。

高级数据分析师，使用分析工具是核心能力，VBA基本必备，SPSS/SAS/R至少要熟练使用其中之一，其他分析工具（如Matlab）视情况而定。

数据挖掘工程师，会用Excel就行，主要工作要靠写代码来解决。

四、数据库知识（Database knowledge）

关系型数据库很重要。在学习数据分析的初期甚至很长一段时间，你接触到的数据都存储在关系型数据库中，需要学习SQL语言进行数据查询。

关于SQL语言，推荐《SQL必知必会》，整本书通俗易懂，是学习SQL语言的不二之选。学习数据库的本质就是在学习一种与数据打交道的逻辑思维与能力。编程中的很多思想都和关系型数据库、SQL相通，比如：SQL中对data进行group by的操作，这个在Excel里类似于透视表，在Python/R中也有相应的group function去处理数据。

甚至在以后的进阶过程，你会接触到分布式数据库和所对应的no-SQL语句。

五、编程语言（Programming language）

初级数据分析师，会写SQL查询，有需要的话写写Hadoop和Hive查询，基本就OK了。

高级数据分析师，除了SQL以外，学习Python是很有必要的，用来获取和处理数据都是事半功倍。当然其他编程语言也是可以的。

数据挖掘工程师Hadoop得熟悉，Python/Java/C++至少得熟悉一门，Shell得会用，总之编程语言绝对是数据挖掘工程师的最核心能力。

六、编程能力（Programming capabilities）

Excel。透视表（Pivot Table）是做数据分析的必备技能。透视表可以帮你迅速汇总数据，看到各类型数据的直观特征就像是让你站在更高的视角看待数据。

作为进阶，Excel自带的函数、各种插件，以及VBA也是很好的工具。Python。当数据量大到用Excel打开都要很久或者我们想进步提升能力时，需要学些hardcore技能，即用编程语言做数据分析。

这里主要有R和Python两大流派。推荐Python，一是代码简单易懂，容易上手；二是学习资料多，降低学习成本。推荐《利用Python进行数据分析》，涵盖了利用Python做数据清洗，数据可视化及分析的技能点，可以作为一本工具书随时查阅。

七、业务理解（Business understanding）

业务理解说是数据分析师所有工作的基础也不为过，数据的获取方案、指标的选取、乃至最终结论的洞察，都依赖于数据分析师对业务本身的理解。

对于初级数据分析师，主要工作是提取数据和做一些简单图表，以及少量的洞察结论，拥有对业务的基本了解就可以。

对于高级数据分析师，需要对业务有较为深入的了解，能够基于数据，提炼出有效观点，对实际业务能有所帮助。

对于数据挖掘工程师，对业务有基本了解就可以，重点还是需要放在发挥自己的技术能力上。

业务能力是优秀数据分析师必备的，如果你之前对某一行业已经非常熟悉，再学习数据分析，是非常正确的做法。刚毕业没有行业经验也可以慢慢培养，无需担心。

八、逻辑思维（Logical thinking）

初级数据分析师，逻辑思维主要体现在数据分析过程中每一步都有目的性，知道自己需要用什么样的手段，达到什么样的目标。

高级数据分析师，逻辑思维主要体现在搭建完整有效的分析框架，了解分析对象之间的关联关系，清楚每一个指标变化的前因后果，会给业务带来的影响。

数据挖掘工程师，逻辑思维除了体现在和业务相关的分析工作上，还包括算法逻辑，程序逻辑等，所以对逻辑思维的要求也是最高的。

九、数据可视化（Data visualization）

数据可视化说起来很高大上，其实包括的范围很广，做个PPT里边放上数据图表也可以算是数据可视化，所以这是一项普遍需要的能力。

对于初级数据分析师，能用Excel和PPT做出基本的图表和报告，能清楚的展示数据，就达到目标了。

对于高级数据分析师，需要探寻更好的数据可视化方法，使用更有效的数据可视化工具，根据实际需求做出或简单或复杂，但适合受众观看的数据可视化内容。

对于数据挖掘工程师，了解一些数据可视化工具是有必要的，也要根据需求做一些复杂的可视化图表，但通常不需要考虑太多美化的问题。

十、协调沟通（Coordinate communication）

对于初级数据分析师，了解业务、寻找数据、讲解报告，都需要和不同部门的人打交道，因此沟通能力很重要。

对于高级数据分析师，需要开始独立带项目，或者和产品做一些合作，因此除了沟通能力以外，还需要一些项目协调能力。

对于数据挖掘工程师，和人沟通技术方面内容偏多，业务方面相对少一些，对沟通协调的要求也相对低一些。

十一、快速学习（Learn quickly）

无论做数据分析的哪个方向，初级还是高级，都需要有快速学习的能力，学业务逻辑、学行业知识、学技术工具、学分析框架……数据分析领域中有学不完的内容，需要大家有一颗时刻不忘学习的心。

快速学习非常重要，只有快速进入这一行业，才能抢占先机，获得更多的经验和机会。如果你完全零基础想要尽快进入数据分析行业，选择一家专业的大数据培训机构是个不错的选择；缩短学习周期，提高学习效率。