学分高考 web前端

HDFS垃圾桶机制总结

发布时间: 2022-05-16 19:24:01

本文是一篇关于梳理HDFS垃圾桶机制的学习干货总结,主要内容包括垃圾桶机制概述、垃圾桶机制配置、shell操作、Java操作以及圾桶机制验证。下面赶紧来一起看看吧~

HDFS垃圾桶机制

1、垃圾桶机制概述

每一个文件系统都会有垃圾桶机制,便于将删除的数据回收到垃圾桶里面去,避免某些误操作删除一些重要文件。回收到垃圾桶里里面的资料数据,都可以进行恢复。

2、垃圾桶机制配置

HDFS的垃圾回收的默认配置属性为0,也就是说,如果你不小心误删除了某样东西,那么这个操作是不可恢复的。

修改core-site.xml:

那么可以按照生产上的需求设置回收站的保存时间,这个时间以分钟为单位,如 1440=24h=1天。

<property>

<name>fs.trash.interval</name>

<value>1440</value>

</property>

<property>

<name>fs.trash.checkpoint.interval</name>

<value>1440</value>

</property>

3、shell操作

(1)删除命令

hadoop fs -rm -r file_path

(2)恢复命令

hadoop fs -mv trash_path recover_path

(3)使用skipTrash选项彻底删除文件

该选项不会将文件发送到垃圾箱。它将从HDFS中完全删除。

hadoop fs -rm -r -skipTrash 文件名

4、Java操作

当通过Java API进行文件删除时,默认是不进入垃圾桶的,如果仍想要删到垃圾桶中,代码如下:

//删除文件至垃圾桶中

//创建垃圾桶

Trash trash = new Trash(fileSystem,fileSystem.getConf());

//将文件放在回收站中

trash.moveToTrash(new Path("/dir1/file1"));

//直接删除

fileSystem.delete(new Path("/dir1/file1"),true);

3、圾桶机制验证

如果启用垃圾箱配置,dfs命令删除的文件不会立即从HDFS中删除。相反,HDFS将其移动到垃圾目录(每个用户在/user/<username>/.Trash 下都有自己的垃圾目录)。只要文件保留在垃圾箱中,件可以快速恢复。使用skipTrash选项删除文件,该选项不会将文件发送到垃圾箱。它将从DFS中完全删除。

以上就是HDFS垃圾桶机制总结,大家都掌握了吗?如果还有学习上的疑问,可以报名大数据的相关课程,一对一咨询在线老师课程的问题!

温馨提示:
本文【HDFS垃圾桶机制总结】由作者教培参考提供。该文观点仅代表作者本人,学分高考系信息发布平台,仅提供信息存储空间服务,若存在侵权问题,请及时联系管理员或作者进行删除。
我们采用的作品包括内容和图片部分来源于网络用户投稿,我们不确定投稿用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的权利,请联系我站将及时删除。
内容侵权、违法和不良信息举报
Copyright @ 2024 学分高考 All Rights Reserved 版权所有. 湘ICP备17021685号