invalidatemetadata的简单介绍

http://www.itjxue.com  2023-02-24 18:54  来源:未知  点击次数: 

Impala的SYNC_DDL

那天去面试,面试官问我知不知道Impala同步数据的方式,我回答invalidate metadata和refresh table [partition],后来他问我还有没有其他的方式,当时我没想到别的,因为工作中用到impala都是和hive结合的,spark把数据落到hive中,然后刷新impala,impala提供查询。

后来他提了下问我是否知道Impala的SYNC_DDL。说实话这个我也是第一次听过,后来去官网查了下用法,发现这个impala自己运行DDL时候同步用的,挺好的,又长知识了。

这个命令是为了解决这个问题的。在某个节点的impala-shell运行DDL语句,可能会出现其他节点查看不到的情况,因为impala的所有元数据都是用catalogd来管理的。一个impalad进行DDL操作会发送到catalogd,由catalogd在广播给其他的impalad服务,这时候可能会出现延迟,导致有的impalad查询不到发生的DDL。SYNC_DDL就是解决这个问题的。

官网的描述如下

impala整合hbase,用JDBC建表报错不识别STORED BY关键字

Impala与Hbase建立关联的SQL语句没法在Impala的控制台执行,需要在Hive上执行你上面的语句,然后在Impala上执行更新元数据invalidate metadata;

session.invalidate();详细解释!!!???

一、session:

1、读音:英?['se?(?)n] 、美?['s???n]

2、表达意思:n. 会议;(法庭的)开庭;(议会等的)开会;学期;讲习会

3、相关短语:

Session Hijacking?会话劫持 ; 连线劫持 ; 联机截夺 ; 连线截夺

Plenary session?全体会议 ; 全体大会 ; 全领会议 ; 全部会议

4、例句:

The Arab League is meeting in emergency session today.

阿拉伯国家联盟今天正在举行紧急会议。

二、invalidate

1、读音:英?[?n'v?l?de?t]、美?[?n'v?l?det]

2、表达意思:vt. 使无效;使无价值

3、相关短语:

Write Invalidate?写无效 ; 写作废

invalidate metadata?不使用

to invalidate?废弃

4、例句:

An official decree invalidated the vote in the capital.

一项官方法令使首都的投票失去了效力。

扩展资料:

“invalidate”的近义词介绍:nullify

1、读音:英?['n?l?fa?]、美?['n?l?'fai]

2、表达意思:vt. 使无效,作废;取消

3、例句:

A missing or illegible name will nullify your vote.

遗漏或字迹难以辨认的名字会使你的投票无效。

(责任编辑:IT教学网)

更多

推荐CGI/Perl教程文章