大数据处理需要什么支持hdfs(大数据系列之HDFS文件系统的操作)

大数据处理需要什么支持hdfs(大数据系列之HDFS文件系统的操作)(1)

CDA数据分析师 出品

HDFS 是一个分布式文件系统, 就像任何其它文件系统, 它允许用户使用 shell 命令操作文件系统。接下来我们结合之前搭建好的分布式集群通过HDFS的shell命令行交互来进一步认识HDFS,并演示怎样使用 hdfs shell 命令。值得注意的是, HDFS 命令大多与 Unix 命令有一对一的关系。

首先打开我们的master、slave1、slave2三台虚拟机,然后在master的终端中输入如下命令来启动HDFS,

start-dfs.sh

启动过程如下图所示,启动完成后执行命令jps查看进程是否启动

大数据处理需要什么支持hdfs(大数据系列之HDFS文件系统的操作)(2)

创建路径mkdir

如果你的 HDFS home 目录不存在,请先创建它并修改权限。

创建 HDFS home 目录的命令如下:

hdfs dfs –mkdir /user

hdfs dfs –mkdir /user/hduser #这样的用法只能一级一级创建目录,父目录不存在使用此命令会报错

或者

hdfs dfs –mkdir –p /user/hduser #所创建的目录如果父目录不存在就创建该目录

上面创建的/user/hduser 相当于 HDFS 中的用户当前目录,后面可以看到复制文件时无需指定绝对目录。

查看目录ls

运行下面的命令, 列出 HDFS home 目录的内容。

hdfs dfs –ls #列出用户主目录的内容

hdfs dfs –ls / #列出 hdfs 文件系统根目录下的目录和文件

hdfs dfs –ls –R /#列出hdfs文件系统所有目录

大数据处理需要什么支持hdfs(大数据系列之HDFS文件系统的操作)(3)

读取文档cat

HDFS 文件系统有一个/作为根目录。如下面的命令是读取/user/hduser/fib.csv 文件并打印到屏幕上, 就像 Unix 系统中的 cat 命令:

hdfs dfs –cat /user/hduser/fib.csv

更改文件属性chmod chown

HDFS中针对文件和目录的权限模式与传统操作系统类似,一共提供三类权限模式:只读权限(r)、写入权限(w)、可执行权限(x)。读取文件或列出目录内容时需要只读权限,写入一个文件或是在一个目录上新建及删除文件、目录需要写入权限。不过可执行权限可以忽略,因为你不可能在hdfs上执行一个文件,这是与一般操作系统的文件系统是有区别的地方。修改 HDFS home目录权限的命令如下:

hdfs dfs –chmod –R 755 /user/hduser

hdfs dfs –chown hduser /user/hduser

大数据处理需要什么支持hdfs(大数据系列之HDFS文件系统的操作)(4)

上传文档

运行下面的命令, 在你的 HDFS home 目录中创建一个新的 input 目录:

hdfs dfs –mkdir input

运行如下的命令来列出在 HDFS 重新创建的目录的内容:

hdfs dfs -ls input

运行如下的命令, 将本地 readme.txt 文件拷贝到 input 目录中:

hdfs dfs –copyFromLocal readme.txt input

hdfs dfs –put readme.txt input # hdfs file 的父目录一定要存在, 否则命令不会执行

运行如下的命令, 将本地文件夹 wc-input 上传到 HDFS 文件系统:

hdfs dfs –copyFromLocal wc-input .

或者

hdfs dfs –copyFromLocal wc-input input/wc-input

运行如下的命令, 列出 input 目录:

hdfs dfs –ls input

好啦小伙伴们今天HDFS的命令就介绍这些,下篇文章中我们继续介绍一些从hdfs下载文件到本地、复制、移动等高级命令,敬请期待。

大数据处理需要什么支持hdfs(大数据系列之HDFS文件系统的操作)(5)

更多优质内容及精彩资讯,点击【了解更多】进入!,

免责声明:本文仅代表文章作者的个人观点,与本站无关。其原创性、真实性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容文字的真实性、完整性和原创性本站不作任何保证或承诺,请读者仅作参考,并自行核实相关内容。文章投诉邮箱:anhduc.ph@yahoo.com

    分享
    投诉
    首页