spark

Redis

Spark删除redis千万级别set集合数据实现分析

2023年 7月 21日 23赞 140阅读评论关闭

目录 1.使用pipline的原因 2.方法 2.1写入redis的方法 2.1.1参数说明 2.2读取本地待…

Java

Spark使用IDEA编写wordcount的示例演示

2023年 7月 20日 18赞 117阅读评论关闭

目录配置 pom文件样例数据配置 Spark版本：3.2.0 Scala版本：2.12.12 JDK：1…

Java

Spark 集群执行任务失败的故障处理方法

2023年 4月 15日 18赞 130阅读评论关闭

引言昨天（2023-02-22）开始发现公司 Spark 集群上出现一些任务执行时间过长最后失败，具体表现包…

MsSql

Spark临时表tempView的注册/使用/注销/注意事项(推荐)

2023年 1月 31日 32赞 196阅读评论关闭

目录 createTempView运作原理低效做法缓存临时表方式：方式1 创建方式2 方式3 临时表生…