（hbasephp）

大数据主要学习哪些内容？

这是一个非常好的问题，作为一名IT从业者，同时也是一名教育工作者，我来回答一下。

大数据经过多年的发展，已经逐渐形成了一个比较庞大且系统的知识体系，整体的技术成熟度也已经比较高了，所以当前学习大数据技术也会有一个比较好的学习体验。

由于大数据涉及到的内容比较多，而且大数据技术与行业领域也有比较紧密的联系，所以在学习大数据的时候，既可以从技术角度出发，也可以立足行业来学习大数据。对于学生来说，可以从大数据技术体系来学习，而对于职场人来说，可以结合自身的行业和岗位任务来学习大数据。

不论是学生还是职场人，要想学习大数据都需要掌握以下几个基本内容：

第一：计算机基础知识。计算机基础知识对于学习大数据技术是非常重要的，其中操作系统、编程语言和数据库这三方面知识是一定要学习的。编程语言可以从Python开始学起，而且如果未来要从事专业的大数据开发，也可以从Java开始学起。计算机基础知识的学习具有一定的难度，学习过程中要重视实验的作用。

第二：数学和统计学基础知识。大数据技术体系的核心目的是“数据价值化”，数据价值化的过程一定离不开数据分析，所以作为数据分析基础的数学和统计学知识就比较重要了。数学和统计学基础对于大数据从业者未来的成长空间有比较重要的影响，所以一定要重视这两个方面知识的学习。

第三：大数据平台基础。大数据开发和大数据分析都离不开大数据平台的支撑，大数据平台涉及到分布式存储和分布式计算等基础性功能，掌握大数据平台也会对于大数据技术体系形成较深的认知程度。对于初学者来说，可以从Hadoop和Spark开始学起。

我从事互联网行业多年，目前也在带计算机专业的研究生，主要的研究方向集中在大数据和人工智能领域，我会陆续写一些关于互联网技术方面的文章，感兴趣的朋友可以关注我，相信一定会有所收获。

如果有互联网、大数据、人工智能等方面的问题，或者是考研方面的问题，都可以在评论区留言，或者私信我！

对于大数据想必了解过的人和想要学习大数据的童鞋都是有所了解的，知道大数据培训相关的一些学习内容都有个大概的了解，但是对于大数据培训学习内容的一些比较详细的内容还是有所差距的，我们学习大数据的主要目的就是未来以后可以到大企业去做相关的工作，拿到客观的薪资。那么这就需要我们了解企业对于大数据技术的需求是什么，大数据培训机构大数据课程内容是否包含这些内容。接下来带大家简单了解一下。

第一阶段Java语言基础，此阶段是大数据刚入门阶段，主要是学习一些Java语言的概念、字符、流程控制等。

第二阶段Javaee核心了解并熟悉一些HTML、CSS的基础知识，JavaWeb和数据库，Linux基础，Linux操作系统基础原理、虚拟机使用与Linux搭建、Shell 脚本编程、Linux 权限管理等基本的 Linux 使用知识，通过实际操作学会使用。

第五阶段 Hadoop 生态体系，Hadoop 是大数据的重中之重，无论是整体的生态系统、还是各种原理、使用、部署，都是大数据工程师工作中的核心，这一部分必须详细解读同时辅以实战学习。

第六阶段Spark生态体系，这也是是大数据非常核心的一部分内容，在这一时期需要了解Scala语言的使用、各种数据结构、同时还要深度讲解spark的一系列核心概念比如结构、安装、运行、理论概念等。

2021大数据学习路线图：

　　纵观近几年的互联网发展趋势，看到大数据被炒得火热，也想要涉足大数据领域，学习一些大数据技术。技术很重要，人才自然是不可或缺的，想要你想成为的大数据技术人才，就必须要经历学习技术的枯燥乏味的过程。

　　首先你需要先认识到一个问题，想要涉足大数据领域，肯定是有一定难度的，但有句话说的好“当你感觉特别累的时候，也就是说明你在走上坡路”。虽然困难，但只要你想学习，万事皆有可能。

　 要找准自己的定位，先了解自己的实力，然后从容应对以后的学习途径。对于大数据技术自己是真的喜欢吗?面对冗杂的代码，复杂的数据，自己是否能奈的住性子一直坚持下去?自己之前接触过大数据技术吗?之前接触过编程知识吗?是否已经熟练掌握了一门编程语言?

　 现实中就业危机的问题依然严峻，紧绷的神经时刻提醒着要不断的提升自己。学习的越多，越能够感受到知识海洋的浩瀚。相比于将大量零碎的技术名词缩写塞进昏沉的大脑，手指无意识地敲出几行代码，培养以计算机思维解决问题才是更重要的。

“工欲善其事，必先利其器”，不断涌现的新技术，本质上是新工具对旧工具的迭代更新，如果我们不能掌握其中的规律，很容易浮于表层，难以触类旁通，在很多非科班出生的同学身上，这个问题尤其明显。

　　数据结构，概率论，线性代数，设计模式，这些子学科是构成大数据技术的坚强基石，是前人无数智慧的结晶。

　 至于具体要用什么样的方式来学大数据，这个主要是看自己的选择了，专业的学习方式会帮助更快进入学习氛围中，再就是看自己的学习能力和感兴趣程度了。

我有幸做了七八年的大数据吧，从技术角度谈谈自己的看法，大数据都有哪个领域，都需要学习什么技术。

第一，首先要把这些大数据都可靠的存储起来，经过多年的发展，hdfs已经成了一个数据存储的标准。当然还有其他的存储，比如kudu，hbase等，都是适合不同领域的存储。

第二，既然有了这么多的数据，我们可以开始基于这些数据做计算了，于是从最早的MapReduce到后来的hive，spark，都是做批处理的。

第三， 由于像hive这些基于MapReduce的引擎处理速度过慢，于是有了基于内存的olap查询引擎，比如impala，presto。

第四，由于批处理一般都是天级别或者小时级别的，为了更快的处理数据，于是有了spark streaming或者flink这样的流处理引擎。

第五，由于没有一个软件能覆盖住所有场景。所以针对不同的领域，有了一些特有的软件，来解决特定场景下的问题，比如基于时间序列的聚合分析查询数据库，inflexdb opentsdb等。采用预聚合数据以提高查询的druid或者kylin等，

第六，还有其他用于数据削峰和消费订阅的消息队列，比如kafka和其他各种mq

第七，还有一些其他的组件，比如用于资源管理的yarn，协调一致性的zookeeper等。

第八，由于hdfs 处理小文件问题不太好，还有为了解决大数据update和insert等问题，引入了数据湖的概念，比如hudi，iceberg等等。

第九，业务方面，我们基于大数据做一些计算，给公司的运营提供数据支撑。做一些推荐，给用户做个性化推荐。机器学习，报警监控等等。

附一张大数据技术图谱，你可以参考下

大数据怎么入门学习好？

感谢关注天善智能，走好数据之路↑↑↑

欢迎关注天善智能，我们是专注于商业智能BI，人工智能AI，大数据分析与挖掘领域的垂直社区，学习，问答、求职一站式搞定！

可以加： xtechday （长按复制），进入数据爱好者交流群。

先给大家来张大数据体系学习图：

基本内容:

1、Linux命令基础实战

大数据架构体系结构及开源组件介绍

Linux基本操作

2、Hadoop基础

Hadoop基础，对Hadoop架构、核心组件HDFS/YARN做了深入浅出的介绍，让你快速把握Hadoop的核心技术和工作原理，逐渐形成分布式思维；

Hadoop介绍

Hadoop运行模式

3、Hadoop集群搭建

Hadoop集群搭建——安装Linux虚拟机

Hadoop集群搭建——远程连接

Hadoop集群搭建(on Linux)——Hadoop(上）

Hadoop集群搭建(on Linux)——Hadoop（下）

Hadoop集群搭建(on Mac)——Hadoop

4、HDFS原理

番外篇-课程体系

HDFS架构原理

FS Shell命令介绍及实践

5、YARN工作原理

YARN的产生背景

YARN的设计思想

YARN的基本架构

YARN的工作流程(小结)

6、Sqoop

Sqoop，作为关系型数据库与Hadoop之间的桥梁，批量传输数据，让你自然的从关系型数据库过度到Hadoop平台，在关系型数据库与Hadoop之间游刃有余的进行数据导入导出；

Sqoop & Hive课程内容介绍

Sqoop介绍与安装

Sqoop的基本使用

Sqoop 导入参数详解

Sqoop导入实战

Sqoop增量导入（上）

Sqoop增量导入（下）

Sqoop导出实战（上）

Sqoop导出实战（下）

Sqoop Job

7、Hive

Hive，基于Hadoop大数据平台的数据仓库，可以让你实现传统数据仓库中的绝大部分数据处理、统计分析，让你在Hadoop大数据平台上感受到Hive QL带来的便利的交互式查询体验；Mars将以日志分析或其他示例带大家熟练掌握Hive的应用；

Hive架构介绍（一）

Hive架构介绍（二）

Hive环境搭建（一）

Hive环境搭建（二）

Hive CLI初探

Beeline介绍

Hive数据类型

Hive表一——标准建表语句解析&内、外表

Hive表二——文件及数据格式

Hive分区&桶&倾斜概念

Hive表——Alter

Hive视图&索引简介

Hive表——show & Desc命令

Hive数据导入--load

Hive数据导入--insert

Hive分区表实战

Hive复杂数据类型的嵌套实例

Hive源码阅读环境

Hive执行原理

Hive查询优化

UDF函数实例

Hive终极实例——日志分析

（1）网站日志分析的术语、架构介绍

（2）建表及数据准备

（3）数据处理及统计分析

（4）数据采集到统计分析结果的crontab定时调度

8、HBase

HBase，列式存储数据库，提供了快速的查询方式，是Apache Kylin的默认数据存储结果；

HBase介绍及架构

HBase安装

HBase操作实战

Hive与HBase集成实战

9、Kylin

Kylin，基于Hadoop的OLAP分析引擎，在Kylin中可以实现传统OLAP的各种操作，直接读取Hive的数据或流式数据作为数据源，把这些数据根据业务模型构建成Cube，Kylin提供了基于Hadoop（MapReduce）的Cube构建，Build完成的Cube数据直接存储于HBase中。Kylin提供了Web UI供查询，包括一些图表展现，是基于大数据的完美OLAP工具；

维度建模

Kylin背景及原理架构

Kylin环境搭建

维度建模知识

Kylin Cube Build步骤解析

Kylin Cube实战

Kylin 增量Cube

Kylin 优化

10、Spark

Spark，基于内存计算的大数据计算引擎，提供了Spark SQL、Spark MLlib(基于Spark的机器学习）、SparkR等框架适应不同的应用需求，Spark专题将和大家一起实践操作各种应用和算法；

Spark集群搭建

Spark Core

Spark WordCount（Spark-shell/pyspark..）

IDEA IntelliJ搭建Spark开发环境

Spark编程实例

Spark SQL及DataFrame

Spark SQL实例

Spark Streaming

Spark Streaming实例

Spark MLlib

Spark MLlib应用实例

Spark R介绍

欢迎关注：对话大数据系列技术 从破冰到精进：

欢迎关注天善智能，我们是专注于商业智能BI，人工智能AI，大数据分析与挖掘领域的垂直社区，学习，问答、求职一站式搞定！

每周线上公开课，每月线下活动，感谢报名参加！

可以加： xtechday （长按复制），进入数据爱好者交流群。

大数据的入门学习有多条学习路线，可以根据自身的知识结构进行选择，并不是所有的学习路线都是从学Linux操作系统开始，然后是Java、Hadoop、Spark等，学习大数据也可以从数据分析开始。对于职场人来说，学习数据分析的工具如何使用，远比学习Hadoop更加实际。

大数据的核心是数据价值化，只要围绕这个核心所做的一系列数据价值化的操作都是大数据的分内之事，所以大数据学习的出发点比学习内容本身更重要，如果在学习大数据的初期就能建立数据价值化概念，那么对初学者来说是一个莫大的推动力，如何能快速建立数据价值化概念呢？答案就是从数据分析开始。

数据分析并没有那么复杂，即使是没有多少计算机基础的人也可以入门数据分析，并不是所有的数据分析都需要通过机器学习的方式来完成，有很多工具能够方便的完成数据分析，而这些工具本身并不是特别复杂，比如Excel。Excel是一个功能强大的数据分析工具，在没有大数据概念的年代，Excel就在做数据分析的事情，虽然在大数据时代数据分析更加多样化，但是通过Excel能让入门者快速发现“数据之美”，完全可以通过Excel打开学习大数据的大门。

学习Excel可以从基本的函数开始学起，比如sum、count、Vlookup、sumif、countif、find等，这些函数的使用非常方便且功能强大，通过实验很快就能建立起数据分析的概念。Excel基本上能解决不少普通职场人的数据分析场景，几万条的数据分析使用Excel是没有压力的。

下一步学习就涉及到数据库的使用了，虽然目前大数据领域的非结构化数据占据着大部分的比例，但是目前大量的数据分析还是基于结构化数据进行的，所以学习一个数据库产品的使用就变得很有必要了，推荐学习一下Mysql数据库。掌握数据库之后，数据分析的数量就会有显著的提高，几百万条数据都是毫无压力的，相比于Excel来说，数据分析的量一下就得到了质的提高。

接着可以学习一下SPSS，SPSS是数据分析（统计）领域一个非常强大的工具，分析可以定制化，是一个比较常见的工具。在数据可视化方面可以学习一下Echarts，这是一个开源产品，功能也非常强大，同样可以进行定制化（程序化）。

学习数据分析一个比较麻烦的事情是数据从哪来？要想解决这个问题，就必须进行下个阶段的学习了，那就是Python编程，可以通过Python编写爬虫来爬取互联网上的海量数据，作为自己数据分析的基础。其实学习数据分析到中后期是绕不过编程的，掌握一门编程语言是非常有必要的，而Python就是数据分析最常见的编程语言之一。

数据分析涵盖的内容非常多，按照场景不同也有很多条分析路线，对于初学者来说可以采用递进式学习方式，这样会有更好的学习效果。

大数据是我的主要研究方向之一，目前我也在带大数据方向的研究生，我会陆续写一些关于大数据方面的文章，感兴趣的朋友可以关注我的头条号，相信一定会有所收获。

如果有大数据方面的问题，也可以咨询我。

谢谢！