invalidatemetadata的简单介绍
Impala的SYNC_DDL
那天去面试,面试官问我知不知道Impala同步数据的方式,我回答invalidate metadata和refresh table [partition],后来他问我还有没有其他的方式,当时我没想到别的,因为工作中用到impala都是和hive结合的,spark把数据落到hive中,然后刷新impala,impala提供查询。
后来他提了下问我是否知道Impala的SYNC_DDL。说实话这个我也是第一次听过,后来去官网查了下用法,发现这个impala自己运行DDL时候同步用的,挺好的,又长知识了。
这个命令是为了解决这个问题的。在某个节点的impala-shell运行DDL语句,可能会出现其他节点查看不到的情况,因为impala的所有元数据都是用catalogd来管理的。一个impalad进行DDL操作会发送到catalogd,由catalogd在广播给其他的impalad服务,这时候可能会出现延迟,导致有的impalad查询不到发生的DDL。SYNC_DDL就是解决这个问题的。
官网的描述如下
impala整合hbase,用JDBC建表报错不识别STORED BY关键字
Impala与Hbase建立关联的SQL语句没法在Impala的控制台执行,需要在Hive上执行你上面的语句,然后在Impala上执行更新元数据invalidate metadata;
session.invalidate();详细解释!!!???
一、session:
1、读音:英?['se?(?)n] 、美?['s???n]
2、表达意思:n. 会议;(法庭的)开庭;(议会等的)开会;学期;讲习会
3、相关短语:
Session Hijacking?会话劫持 ; 连线劫持 ; 联机截夺 ; 连线截夺
Plenary session?全体会议 ; 全体大会 ; 全领会议 ; 全部会议
4、例句:
The Arab League is meeting in emergency session today.
阿拉伯国家联盟今天正在举行紧急会议。
二、invalidate
1、读音:英?[?n'v?l?de?t]、美?[?n'v?l?det]
2、表达意思:vt. 使无效;使无价值
3、相关短语:
Write Invalidate?写无效 ; 写作废
invalidate metadata?不使用
to invalidate?废弃
4、例句:
An official decree invalidated the vote in the capital.
一项官方法令使首都的投票失去了效力。
扩展资料:
“invalidate”的近义词介绍:nullify
1、读音:英?['n?l?fa?]、美?['n?l?'fai]
2、表达意思:vt. 使无效,作废;取消
3、例句:
A missing or illegible name will nullify your vote.
遗漏或字迹难以辨认的名字会使你的投票无效。