第1章Hadoop介绍

Imagemap
第1章Hadoop介绍1.1Hadoop概述简介大数据特点4V大数据的4V特征：规模性（Volume）、高速性（Velocity）、多样性（V ...自然界中，哪种数据类型最多：非结构化数据发展历史2002.Doug Cutting创建Nutch2003.Google发布了GFS和MapReduce论文2004.Doug Cutting研究出Nutch的GFS和MapReduce2006.Doug Cutting加入Yahoo,Hadoop成立2007.纽约时报在Ec2上转换4TB图片数据2008.Cloudera成立;Facebook团队开发Hive;910个节点对 ...2009.Yahoo对1TB数据排序62s2011.Yahoo的Hortonworks成立2012.Hortonworks的Yarn出v12013.Hortonworks完全开源2016.Hadoop生态圈广泛应用特点HDFS特点A. 高可靠性B. 高效性C. 高容错性D. 成本低E.高扩展性F.基本框架是Java编写的G.可构建在廉价机器上1.2Hadoop核心分布式文件系统HDFSHDFS架构及简介HDFS文件系统主要包括一个NameNode, 一个 Secondary Nam ...组成元数据三类信息文件和目录属性文件名、目录名、大小、时间等文件内容存储的相关信息文件块、副本数、副本所在的DataNode所有DataNode的信息NameNodeSN:Secondary NameNodeDataNode数据块HDFS分布式原理利用多个节点共同协作完成一项或多项具体业务功能的系统就是分布式系统分布式文件系统是分布式系统的一个子集，其解决的问题就是数据存储HDFS作为分布式文件系统体现在三个方面HDFS分布在多个集群节点上的文件系统文件存储时被分布在多个节点上HDFS宕机处理HDFS特点优点高容错性适合大数据的处理流式数据访问缺点不适合低延时数据访问无法高效存储大量小文件不支持多用户写入及任务修改文件调度策略FIFO:先进先出分布式计算框架MapReduce简介工作原理集群资源管理器YARN简介https://hadoop.apache.org/docs/stable/ha ...YARN:Yet Another Resource Negotiator:另外一 ...基本架构ResourceManager(RM)NodeManager(NM)ApplicationMaster(AM)ClientApplication任务流程Hadoop3.x与2.xHadoop2.xJob Tracker是Map-reduce框架的中心，他需要与集群中的机器定时 ...TaskTracker是Map-Reduce集群中每台机器都有的一个部分，他做的 ...Hadoop3.xYARN 替代了单独存在的 JobTracker 与 TaskTracker取代(Job Tracker,TaskTracker)的是ResourceMan ...1.3Hadoop生态系统Nutchhttps://nutch.apache.org/Nutch 是一个开源Java实现的搜索引擎。它提供了我们运行自己的搜索引擎所需 ...HBase针对非结构化数据的可伸缩、高可靠、高性能、分布式和面向列的动态模式数据库针对BigTable的开源实现名称来源于Hadoop database访问接口1. Native Java API，最常规和高效的访问方式，适合Hadoop ...2. HBase Shell，HBase的命令行工具，最简单的接口，适合HBas ...3. Thrift Gateway，利用Thrift序列化技术，支持C++，PH ...4. REST Gateway，支持REST 风格的Http API访问HBas ...5. Pig，可以使用Pig Latin流式编程语言来操作HBase中的数据，和 ...6. Hive，可以使用类似SQL语言来访问HBaseThrifthttps://thrift.apache.org/thrift是一个软件框架，用来进行可扩展且跨语言服务的开发。thrift允许定 ...Lucenehttps://lucene.apache.org/Lucene是apache软件基金会4 jakarta项目组的一个子项目，是一个 ...Hive是建立在Hadoop上的数据仓库基础构架。它提供的工具可存储、查询、分析存储中大 ...Pig是基于Hadoop的大规模数据分析框架，Pig Latin语言也能转换成MapR ...Pig与Hive区别https://blog.csdn.net/weixin_33721344/ar ...Sqoop开源工具，主要用于Hadoop(Hive)与传统数据(Mysql、Postgre ...Flumehttps://flume.apache.org/海量日志采集、聚合和传输系统下载https://flume.apache.org/download.htmlwget https://dlcdn.apache.org/flume/1.9. ...解压tar -xvf ./apache-flume-1.9.0-bin.tar.g ...mv ./apache-flume-1.9.0-bin /usr/local/f ...使用帮助https://flume.apache.org/releases/conten ...启动bin/flume-ng agent -n $agent_name -c con ...Ooziehttps://oozie.apache.org/中文:驯象人;功能:是Hadoop调度器，可调度MapReduce,Pig,Hi ...ZooKeeper分布式环境下的数据管理问题：统一命名、状态同步、集群管理、配置同步等Mahout中文:管象的人机器学习经典算法：聚类、分类、推荐引擎等数据挖掘方法；还包含数据输入输出工具、与 ...SolrSolr（读作“solar”）是Apache Lucene项目的开源企业搜索（英 ...Avrohttps://avro.apache.org/文档：https://avro.apache.org/docs/current/ ...一个数据序列化的系统1.4Hadoop应用场景在线旅游移动数据电子商务能源开采图像处理诈骗检测IT安全医疗保健搜索引擎社交平台
hide
第1章Hadoop介绍
hide
1.1Hadoop概述
hide
简介
hide
大数据特点4V
leaf
大数据的4V特征：规模性（Volume）、高速性（Velocity）、多样性（Variety）、价值性（Value）
leaf
自然界中，哪种数据类型最多：非结构化数据
hide
发展历史
leaf
2002.Doug Cutting创建Nutch
hide
2003.Google发布了GFS和MapReduce论文
leaf
Google-Bigtable中文版_1.0
leaf
Google-File-System中文版_1.0
leaf
Google-MapReduce中文版_1.0
leaf
2004.Doug Cutting研究出Nutch的GFS和MapReduce
leaf
2006.Doug Cutting加入Yahoo,Hadoop成立
leaf
2007.纽约时报在Ec2上转换4TB图片数据
leaf
2008.Cloudera成立;Facebook团队开发Hive;910个节点对1TB数据进行排序209s
leaf
2009.Yahoo对1TB数据排序62s
leaf
2011.Yahoo的Hortonworks成立
leaf
2012.Hortonworks的Yarn出v1
leaf
2013.Hortonworks完全开源
leaf
2016.Hadoop生态圈广泛应用
hidemessagebox_warning
特点
Arrow Link
hide
HDFS特点
leaf
A. 高可靠性
leaf
B. 高效性
leaf
C. 高容错性
hide
D. 成本低
leaf
Hadoop开源
leaf
E.高扩展性
leaf
F.基本框架是Java编写的
leaf
G.可构建在廉价机器上
hide
1.2Hadoop核心
hidemessagebox_warning
分布式文件系统HDFS
hide
HDFS架构及简介
leaf
HDFS文件系统主要包括一个NameNode, 一个 Secondary NameNode和多个DataNode
hide
组成
hide
元数据
hide
三类信息
hide
文件和目录属性
leaf
文件名、目录名、大小、时间等
hide
文件内容存储的相关信息
leaf
文件块、副本数、副本所在的DataNode
leaf
所有DataNode的信息
hide
NameNode
leaf
名称节点（NameNode)负责管理分布式文件系统的命名空间,
保存了两个核心的数据结构，即fslmage和edits(EditLog)
hide
文件以块形式进行存储
leaf
以128MB的数据块切割文件
leaf
备份副本，默认3个
hide
修改块大小
leaf
修改hdfs-site.conf配置文件
hide
hadoop3.x配置dfs.blocksize=134217728
leaf
参考:https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
leaf
SN:Secondary NameNode
leaf
DataNode
leaf
数据块
hide
HDFS分布式原理
leaf
利用多个节点共同协作完成一项或多项具体业务功能的系统就是分布式系统
leaf
分布式文件系统是分布式系统的一个子集，其解决的问题就是数据存储
hide
HDFS作为分布式文件系统体现在三个方面
leaf
HDFS分布在多个集群节点上的文件系统
leaf
文件存储时被分布在多个节点上
leaf
HDFS宕机处理
hide
HDFS特点
hide
优点
leaf
高容错性
leaf
适合大数据的处理
leaf
流式数据访问
hide
缺点
leaf
不适合低延时数据访问
leaf
无法高效存储大量小文件
leaf
不支持多用户写入及任务修改文件
hide
调度策略
leaf
FIFO:先进先出
hidemessagebox_warning
分布式计算框架MapReduce
leaf
简介
leaf
工作原理
hide
集群资源管理器YARN
hide
简介
leaf
https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/YARN.html
leaf
YARN:Yet Another Resource Negotiator:另外一种资源管理协调工具
hide
基本架构
leaf
ResourceManager(RM)
leaf
NodeManager(NM)
leaf
ApplicationMaster(AM)
leaf
ClientApplication
leaf
任务流程
hide
Hadoop3.x与2.x
hide
Hadoop2.x
leaf
Job Tracker是Map-reduce框架的中心，他需要与集群中的机器定时通信heartbeat,需要管理哪些程序应该跑在哪些机器上，需要管理所有job失败、重启等操作
leaf
TaskTracker是Map-Reduce集群中每台机器都有的一个部分，他做的事情主要是监视自己所在机器的资源情况
hide
Hadoop3.x
leaf
YARN 替代了单独存在的 JobTracker 与 TaskTracker
leaf
取代(Job Tracker,TaskTracker)的是ResourceManager AppliactionMaster NodeManager三个部分
hide
1.3Hadoop生态系统
hide
Nutch
leaf
https://nutch.apache.org/
leaf
Nutch 是一个开源Java实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫
hide
HBase
leaf
针对非结构化数据的可伸缩、高可靠、高性能、分布式和面向列的动态模式数据库
leaf
针对BigTable的开源实现
leaf
名称来源于Hadoop database
hide
访问接口
leaf
1. Native Java API，最常规和高效的访问方式，适合Hadoop MapReduce Job并行批处理HBase表数据
leaf
2. HBase Shell，HBase的命令行工具，最简单的接口，适合HBase管理使用
leaf
3. Thrift Gateway，利用Thrift序列化技术，支持C++，PHP，Python等多种语言，适合其他异构系统在线访问HBase表数据
leaf
4. REST Gateway，支持REST 风格的Http API访问HBase, 解除了语言限制
leaf
5. Pig，可以使用Pig Latin流式编程语言来操作HBase中的数据，和Hive类似，本质最终也是编译成MapReduce Job来处理HBase表数据，适合做数据统计
leaf
6. Hive，可以使用类似SQL语言来访问HBase
hide
Thrift
leaf
https://thrift.apache.org/
leaf
thrift是一个软件框架，用来进行可扩展且跨语言服务的开发。thrift允许定义一个简单的定义文件中的数据类型和服务接口，以作为输入文件。thrift结合了功能强大的软件堆栈和代码生成引擎，以构建在 C++、Java、Python、PHP、Ruby、Erlang、Perl、Haskell、C#、Cocoa、JavaScript、Node.js、Smalltalk、and OCaml这些编程语言间无缝结合的、高效的服务。
hide
Lucene
leaf
https://lucene.apache.org/
leaf
Lucene是apache软件基金会4 jakarta项目组的一个子项目，是一个开放源代码的全文检索引擎工具包，但它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎
hide
Hive
leaf
是建立在Hadoop上的数据仓库基础构架。它提供的工具可存储、查询、分析存储中大规模数据。HQL可转换为复杂的MapReduce运行。相比Pig更像数据库
hide
Pig
leaf
是基于Hadoop的大规模数据分析框架，Pig Latin语言也能转换成MapReduce运行，并且使用关系进行存储，减少文件输出
hide
Pig与Hive区别
leaf
https://blog.csdn.net/weixin_33721344/article/details/92049273
hide
Sqoop
leaf
开源工具，主要用于Hadoop(Hive)与传统数据(Mysql、PostgreSQL等)间的数据传递
hide
Flume
leaf
https://flume.apache.org/
leaf
海量日志采集、聚合和传输系统
hide
下载
leaf
https://flume.apache.org/download.html
leaf
wget https://dlcdn.apache.org/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz
hide
解压
leaf
tar -xvf ./apache-flume-1.9.0-bin.tar.gz
leaf
mv ./apache-flume-1.9.0-bin /usr/local/flume
hide
使用帮助
leaf
https://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html
hide
启动
leaf
bin/flume-ng agent -n $agent_name -c conf -f conf/flume-conf.properties.template
hide
Oozie
leaf
https://oozie.apache.org/
leaf
中文:驯象人;功能:是Hadoop调度器，可调度MapReduce,Pig,Hive,Shell,JAR任务等
hide
ZooKeeper
leaf
分布式环境下的数据管理问题：统一命名、状态同步、集群管理、配置同步等
hide
Mahout
leaf
中文:管象的人
leaf
机器学习经典算法：聚类、分类、推荐引擎等数据挖掘方法；还包含数据输入输出工具、与其他存储系统，包括 MongoDB集成等数据挖掘支持
hide
Solr
leaf
Solr（读作“solar”）是Apache Lucene项目的开源企业搜索（英语：Enterprise search）平台
hide
Avro
leaf
https://avro.apache.org/
leaf
文档：https://avro.apache.org/docs/current/gettingstartedpython.html
leaf
一个数据序列化的系统
hide
1.4Hadoop应用场景
leaf
在线旅游
leaf
移动数据
leaf
电子商务
leaf
能源开采
leaf
图像处理
leaf
诈骗检测
leaf
IT安全
leaf
医疗保健
leaf
搜索引擎
leaf
社交平台