由于blog各种垃圾评论太多,而且本人审核评论周期较长,所以懒得管理评论了,就把评论功能关闭,有问题可以直接qq骚扰我

标签:hive

大数据

hive 自定义UDF函数

hive 自定义UDF函数
说明 Hive自带了一些函数,比如:max/min等,但是数量有限,碰到一些个性化业务需求,比如数据加密脱敏、URL解码、身份证校验、解析IP和手机号归属地,就可以通过自定义UDF来方便的扩展。 官方文档:https://cwiki.apache.org/confluence/d...

2年前 (2022-10-07) 1085℃ 0喜欢

大数据

hive存储格式和压缩算法选择

hive存储格式和压缩算法选择
结论 hive 压缩和存储组合推荐使用:orc + snappy 获得最好的性能和合理的压缩率 存储格式选择 Hive支持的存储数据的格式主要有:textfile 、orc、parquet。 textfile存储格式是基于行存储的,实际生产不使用,一般只有数仓的ODS原始数据层使...

2年前 (2022-10-04) 7442℃ 1喜欢