当前位置:   article > 正文

spark sql cache table_sparksql cache添加name

sparksql cache添加name

Spark sql Caching

The shark.cache table property no longer exists, and tables whose name end with _cached are no longer automatically cached. Instead, we provide CACHE TABLE and UNCACHE TABLE statements to let user control table caching explicitly:

CACHE TABLE logs_last_month;UNCACHE TABLE logs_last_month;

NOTE: CACHE TABLE tbl is lazy, similar to .cache on an RDD. This command only marks tbl to ensure that partitions are cached when calculated but doesn’t actually cache it until a query that touches tbl is executed. To force the table to be cached, you may simply count the table immediately after executing CACHE TABLE:

CACHE TABLE logs_last_month;SELECT COUNT(1) FROM logs_last_month;

Several caching related features are not supported yet:

· User defined partition level cache eviction policy

· RDD reloading

· In-memory cache write through policy

Spark sql cache语法:

CACHE TABLE your-table-name;

UNCACHE TABLE your-table-name;

CACHE TABLE tmp-table-name as select * from your-table-name where field=value;

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/一键难忘520/article/detail/734909
推荐阅读
相关标签
  

闽ICP备14008679号