Hadoop大数据分析入门课程汇总

文
章
目
录

• 第1部分：初步认识
• 第2部分：环境准备
• 1）伪分布式环境搭建
• 2）完全分布式环境搭建（授课电脑配置不够可以跳过）
• 第3部分：HDFS分布式存储
• 第4部分：MapReduce分布式计算
• 第5部分：YARN资源调度
• 第6部分：直播数据分析实战
• 第7部分：ZooKeeper分布式协调服务
• 第8部分：HBase
• 第9部分：Flume日志采集框架

欢迎来到Hadoop大数据分析入门系列课程！本系列课程旨在为您介绍大数据分析领域中的核心概念和工具，重点关注Hadoop生态系统的基础知识和应用。无论您是初学者还是已经具备一些基础知识，本课程都将帮助您建立起对Hadoop及其相关技术的理解和实际操作能力。

Hadoop大数据分析入门系列课程潘老师已经汇总如下：

第1部分：初步认识

• 大数据起源背景及其4V特点
• Hadoop起源背景及其生态圈

第2部分：环境准备

1）伪分布式环境搭建

• Hadoop3.x伪分布式环境搭建

2）完全分布式环境搭建（授课电脑配置不够可以跳过）

• Hadoop完全分布式环境搭建步骤
• NTP方式同步服务器时间问题
• Hadoop完全分布式开启日志聚合功能
• windows配置hosts

第3部分：HDFS分布式存储

• 什么是DFS？DFS介绍及其结构
• HDFS核心概念、优缺点及其执行原理
• Hadoop中HDFS 的常用命令
• HDFS应用—基于shell操作和基于Java API操作
• 基于Java API实现HDFS文件的操作

第4部分：MapReduce分布式计算

• MapReduce概述、优缺点及其典型应用场景
• MapReduce执行过程及运行原理详解
• MapReduce涉及类介绍及常用类型
• WordCount单词统计代码实现
• 初步认识ETL，实现数据清洗入门案例
• Hadoop自定义对象序列化
• Hadoop经典综合性案例—温度排序示例

第5部分：YARN资源调度

• Yarn是什么及其产生背景？为什么要使用Yarn？
• Yarn基本架构及其主要角色
• Yarn的工作流程
• Yarn的三种调度策略

第6部分：直播数据分析实战

• Hadoop实战案例—直播数据统计与分析

第7部分：ZooKeeper分布式协调服务

• ZooKeeper是什么？它有哪些核心概念
• Linux如何安装Zookeeper（单机版和集群版模式）
• ZooKeeper常用指令及客户端连接相关操作
• 基于Java API访问ZooKeeper

第8部分：HBase

• 什么是NoSQL非关系型数据库及与关系型数据库的区别
• HBase简介及其数据模型详解
• HBase体系架构、组件及执行原理
• HBase下载、安装与配置（单机版与完全分布式模式）
• HBase的常用shell操作
• 基于Java API访问操作HBase实例

第9部分：Flume日志采集框架

• Flume日志采集工具入门简介
• Flume安装与配置及Flume应用典型实例

以上就是Hadoop大数据分析入门课程汇总，中间还涉及一些Hbase和zookeeper的知识，但都不是特别深入，适合初学的小白了解入门。