文章目录 hadoop相关指定当前机器hadoop环境变量&hadoop用户 hdfs相关distcp同步失败时检查文件状态关闭文件 -getfacl查看当前路径已有权限分配-setfacl收回某个账号的权限 hive相关1. 内部表于外部表的相互转化2. 删除表同时清空数据

hadoop相关 指定当前机器hadoop环境变量&hadoop用户 export HADOOP_CONF_DIR=/Software/hadoop-2.6.5/etc/hadoop export HADOOP_USER_NAME=hadoop hdfs相关 distcp同步失败时

下面两个命令的使用场景：使用distcp同步时报错 Caused by: java.io.IOException: Mismatch in length of source:hdfs://xxx and target:hdfs://xxx 此时检查文件状态看时候存在没有关闭还在写状态的文件，有的话关闭文件再进行同步。

检查文件状态 hdfs fsck hdfs://xxx 关闭文件 hdfs debug recoverLease -path hdfs://xxx -getfacl查看当前路径已有权限分配 hive> dfs -getfacl hdfs://emr-cluster/hive/warehouse/wb_src/src_datasource_hotweibo_monitor_feature; # file: hdfs://emr-cluster/hive/warehouse/wb_src/src_datasource_hotweibo_monitor_feature # owner: feed_weibo # group: feed_weibo user::rwx user:hot_weibo:r-x #effective:--- group::r-x #effective:--- mask::--- other::--- -setfacl收回某个账号的权限 hive> dfs -setfacl -x user:hot_weibo hdfs://emr-cluster/hive/warehouse/wb_src/src_datasource_hotweibo_monitor_feature; hive> dfs -getfacl hdfs://emr-cluster/hive/warehouse/wb_src/src_datasource_hotweibo_monitor_feature; # file: hdfs://emr-cluster/hive/warehouse/wb_src/src_datasource_hotweibo_monitor_feature # owner: feed_weibo # group: feed_weibo user::rwx group::r-x mask::r-x other::--- hive相关 1. 内部表于外部表的相互转化 alter table tableName set TBLPROPERTIES ('EXTERNAL'='TRUE'); //内部表转外部表 alter table tableName set TBLPROPERTIES ('EXTERNAL'='FALSE'); //外部表转内部表 2. 删除表同时清空数据 use dbName; ALTER TABLE tableName set TBLPROPERTIES ('EXTERNAL'='FALSE'); drop table tableName

---

1.本站遵循行业规范，任何转载的稿件都会明确标注作者和来源；2.本站的原创文章，会注明原创字样,如未注明都非原创，如有侵权请联系删除！；3.作者投稿可能会经我们编辑修改或补充；4.本站不提供任何储存功能只提供收集或者投稿人的网盘链接。