干货丨Hadoop安装步骤!详解各目录内容及作用

Hadoop是Apache基金会面向全球开源的产品之一,任何用户都可以从Apache Hadoop 官网下载使用。今天,播妞将以编写时较为稳定的Hadoop2.7.4版本为例,详细讲解Hadoop的安装。

先将下载的hadoop-2.7.4.tar.gz安装包上传到主节点hadoop01的/export/software/目录下,然后将文件解压到/export/servers/目录,具体指令如下。

$ tar -zxvf hadoop-2.7.4.tar.gz -C /export/servers/

执行完上述指令后,同样通过“vi /etc/profile”指令打开profile文件,在文件底部进一步添加如下内容类配置Hadoop环境变量。

# 配置Hadoop系统环境变量export HADOOP_HOME=/export/servers/hadoop-2.7.4export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

在/etc/profile文件中配置完上述Hadoop环境变量后(注意HADOOP_HOME路径),保存退出即可。然后,还需要执行“source /etc/profile”指令使可使配置文件生效。

安装完Hadoop并配置好环境变量后,可以在当前主机任意目录下查看安装的Hadoop版本号,具体指令如下。

$ hadoop version

执行完上述指令后,效果如图1所示。

干货丨Hadoop安装步骤!详解各目录内容及作用

△ 图1 Hadoop版本号

从图1可以看出,当前Haddoop版本就是指定的2.7.4,说明Hadoop安装成功。

接下来,可以在Hadoop解压目录下通过ll指令查看Hadoop目录结构,如图2所示。

干货丨Hadoop安装步骤!详解各目录内容及作用

△ 图2 Hadoop安装目录结构

从图2可以看出,Hadoop安装目录包括有bin、etc、include、lib、libexec、sbin、share和src共8个目录以及其他一些文件,下面简单介绍下各目录内容及作用。

bin:存放操作Hadoop相关服务(HDFS、Yarn)的脚本,但是通常使用sbin目录下的脚本。

etc:存放Hadoop配置文件,主要包含core-site.xml、hdfs-site.xml、mapred-site.xml等从Hadoop1.0继承而来的配置文件和yarn-site.xml等Hadoop2.0新增的配置文件。

include:对外提供的编程库头文件(具体动态库和静态库在lib目录中),这些头文件均是用C++定义的,通常用于C++程序访问HDFS或者编写MapReduce程序。

lib:该目录包含了Hadoop对外提供的编程动态库和静态库,与include目录中的头文件结合使用。

libexec:各个服务对用的shell配置文件所在的目录,可用于配置日志输出、启动参数(比如JVM参数)等基本信息。

sbin:该目录存放Hadoop管理脚本,主要包含HDFS和YARN中各类服务的启动/关闭脚本。

share:Hadoop各个模块编译后的jar包所在的目录。

src:Hadoop的源码包。

本文来自投稿,不代表重蔚自留地立场,如若转载,请注明出处https://www.cwhello.com/262964.html

如有侵犯您的合法权益请发邮件951076433@qq.com联系删除

(0)
黑马程序员黑马程序员订阅用户
上一篇 2023年5月13日 12:47
下一篇 2023年5月13日 12:47

相关推荐

  • 经验分享云计算平台搭建与部署。

    云计算平台服务搭建是一种将计算资源通过互联网提供给用户使用的模式,这种模式的出现极大地推动了信息技术的发展,基于Hadoop的云计算平台搭建是一种常见的方式,Hadoop是一个开源的大数据处理框架,它可以处理和…

    2024年7月2日
    02
  • 聊聊docker和hadoop的区别有哪些。

    Docker和Hadoop是两个在IT领域非常流行的技术,它们各自有各自的特性和应用场景,下面将详细介绍Docker和Hadoop的区别。 (图片来源网络,侵删) 1. 定义和用途 Docker是一个开源的应用容器引擎,它允许开发者将应…

    2024年6月27日
    00
  • 教你如何进行关于HFile的存储结构梳理以及快速定位rowkey「hfile data字段」。

    HFile是Hadoop分布式文件系统(HDFS)中的一种文件存储格式,它是Hadoop用来存储MapReduce作业结果的主要文件类型,在Hadoop中,数据被分割成多个块(Block),每个块都存储在一个独立的HFile文件中,HFile的存储结…

    2024年6月13日
    01
  • 教你docker中如何搭建hadoop集群。

    在Docker中搭建Hadoop集群,可以简化Hadoop的部署和管理过程,以下是详细的步骤: (图片来源网络,侵删) 1、安装Docker 首先需要在服务器上安装Docker,可以参考Docker官方文档进行安装:https://docs.docker.com…

    2024年6月28日
    01
  • 说说yarn集群的工作流程。

    YARN(Yet Another Resource Negotiator)是Apache Hadoop生态系统中的一个集群资源管理系统YARN(Yet Another Resource Negotiator)是Apache Hadoop生态系统中的一个集群资源管理系统,它负责管理Hadoop集群中的…

    2024年6月13日
    01
  • 我来教你hadoop chown。

    Hadoop是一个开源的分布式计算框架,它提供了一种可靠、高扩展性和容错性的数据处理方式,在Hadoop中,重写方法是指对已有的方法进行修改和扩展,以满足特定的需求,下面将介绍一些常见的Hadoop重写方法。 1. Mappe…

    2024年6月13日
    01
  • 经验分享怎么理解Hadoop中的HDFS。

    Hadoop是一个开源的大数据处理框架,它能够处理和存储大量的数据,在这个大数据处理的系统中,HDFS(Hadoop Distributed File System)扮演着非常重要的角色,什么是HDFS?又是如何工作的呢? HDFS是Hadoop生态系统…

    2024年6月14日
    01
  • 小编教你linux进入hadoop的命令是什么。

    在Linux系统中进入Hadoop环境,主要需要以下几个步骤: (图片来源网络,侵删) 1、打开终端 2、使用SSH(Secure Shell)连接到运行Hadoop的服务器,这通常可以通过下面的命令完成: ssh username@your_hadoop_serv…

    2024年6月27日
    01

联系我们

QQ:951076433

在线咨询:点击这里给我发消息邮件:951076433@qq.com工作时间:周一至周五,9:30-18:30,节假日休息