阿里云如何查看已建设好的网站,深圳市龙华区区长,获客平台有哪些,wordpress tao2014目录
一、创建文件夹
二、查看指定目录下的内容
三、上传文件到HDFS指定目录下
四、查看HDFS文件内容
五、下载HDFS文件
六、拷贝HDFS文件
七、HDFS数据移动操作
八、HDFS数据删除操作
九、HDFS的其他命令
十、hdfs web查看目录
十一、HDFS客户端工具
11.1 下载插件…目录
一、创建文件夹
二、查看指定目录下的内容
三、上传文件到HDFS指定目录下
四、查看HDFS文件内容
五、下载HDFS文件
六、拷贝HDFS文件
七、HDFS数据移动操作
八、HDFS数据删除操作
九、HDFS的其他命令
十、hdfs web查看目录
十一、HDFS客户端工具
11.1 下载插件
11.2 本地安装Hadoop环境
11.3 配置Big Data Tools插件
11.4 基本功能使用 在HDFS中的命令基本上就是照搬的Linux命令。只要你熟悉Linux命令那么HDFS命令基本上一遍过。它的目录结构和linux非常相似。
举个例子
Linux 中mkdir -p /opt/mynote
HDFS中hadoop fs -mkdir -p /opt/mynote 或者 hdfs dfs -mkdir -p /opt/mynote
所以说是不是没什么区别
那么我们这就引出了第一个HDFS操作命令。
一、创建文件夹
hadoop fs -mkdir [-p] path ...
hdfs dfs -mkdir [-p] path ...
path 为待创建的目录
-p选项的行为与Linux mkdir -p一致它会沿着路径创建父目录。 举例 如何查看创建的文件夹在哪里呢
二、查看指定目录下的内容
hadoop fs -ls [-h] [-R] [path ...]
hdfs dfs -ls [-h] [-R] [path ...]
path 指定目录路径
-h 人性化显示文件size
-R 递归查看指定目录及其子目录 举例 三、上传文件到HDFS指定目录下 hadoop fs -put [-f] [-p] localsrc ... dst
hdfs dfs -put [-f] [-p] localsrc ... dst
-f 覆盖目标文件已存在下
-p 保留访问和修改时间所有权和权限。
localsrc 本地文件系统客户端所在机器
dst 目标文件系统HDFS 例如 注意如果是客户端所在的机器我们一般用file://前缀指代hdfs用hdfs://指代当然了默认情况下我们一般选择省略。
四、查看HDFS文件内容
hadoop fs -cat src ...
hdfs dfs -cat src ...
读取指定文件全部内容显示在标准输出控制台。 例如 读取大文件可以使用管道符配合 more
hadoop fs -cat src | more
hdfs dfs -cat src | more
五、下载HDFS文件
hadoop fs -get [-f] [-p] src ... localdst
hdfs dfs -get [-f] [-p] src ... localdst下载文件到本地文件系统指定目录localdst必须是目录
-f 覆盖目标文件已存在下
-p 保留访问和修改时间所有权和权限。 六、拷贝HDFS文件
hadoop fs -cp [-f] src ... dst
hdfs dfs -cp [-f] src ... dst-f 覆盖目标文件已存在下 例如 七、HDFS数据移动操作
hadoop fs -mv src ... dst
hdfs dfs -mv src ... dst
移动文件到指定文件夹下
可以使用该命令移动数据重命名文件的名称
八、HDFS数据删除操作
hadoop fs -rm -r [-skipTrash] URI [URI ...]
hdfs dfs -rm -r [-skipTrash] URI [URI ...]
删除指定路径的文件或文件夹
-skipTrash 跳过回收站直接删除 ps 回收站功能默认关闭如果要开启需要在core-site.xml内配置
propertynamefs.trash.interval/namevalue1440/value
/propertypropertynamefs.trash.checkpoint.interval/namevalue120/value
/property
无需重启集群在哪个机器配置的在哪个机器执行命令就生效。
回收站默认位置在/user/用户名(hadoop)/.Trash
九、HDFS的其他命令
以上命令能够满足绝大多数的hdfs场景如需更详细的命令请参考官方文档
https://hadoop.apache.org/docs/r3.3.4/hadoop-project-dist/hadoop-common/FileSystemShell.html 十、hdfs web查看目录 默认只能查看不能增删改操作。如果使用WEB浏览操作文件系统一般会遇到权限问题 这是因为WEB浏览器中是以匿名用户dr.who登陆的其只有只读权限多数操作是做不了的。
如果需要以特权用户在浏览器中进行操作需要配置如下内容到core-site.xml并重启集群 propertynamehadoop.http.staticuser.user/namevaluehadoop/value/property但是不推荐这样做
HDFS WEBUI只读权限挺好的简单浏览即可
如果给与高权限会有很大的安全问题造成数据泄露或丢失
十一、HDFS客户端工具
如果觉得通过命令操作hdfs比较麻烦其实我们还可以使用客户端工具。
11.1 下载插件
如果你用的IDE工具是IDEA或者Pycharm又或者使用的是DataGrip这种数据库工具它们都是Jetbrains家的产品。
那么我们可以在插件市场下载一个插件Big Data Tools。
它能够更加方便的让我们操作HDFS。 11.2 本地安装Hadoop环境 解压Hadoop安装包到Windows系统如解压到D:\it\hadoop-3.3.4\hadoop-3.3.4 设置$HADOOP_HOME环境变量指向D:\it\hadoop-3.3.4\hadoop-3.3.4 下载如下两个资源 hadoop.dllhttps://github.com/steveloughran/winutils/blob/master/hadoop-3.0.0/bin/hadoop.dll
winutils.exehttps://github.com/steveloughran/winutils/blob/master/hadoop-3.0.0/bin/winutils.exe 将hadoop.dll和winutils.exe放入$HADOOP_HOME/bin中 11.3 配置Big Data Tools插件 11.4 基本功能使用
这部分不用多说有手就行。
