springCloud之OAuth2
认证授权过程 在认证和授权的过程中涉及的三方包括: 1、服务提供方,用户使用服务提供方来存储受保护的资源,如照片,视频,联系人列表。 2、用户,存放在服务提供方的受保护的资源的拥有者。 3、客户端,要访问服务提供方资源的第三方应用,通常是网站,如提供照片打印服务的网站。在认证过程之前,客户端要向服务提供者申请客户端标识。 使用OAuth进…
SpringCloud 2020.x.x工程bootstrap引导配置不生效的解决方案
  关注公众号 风色年代(itfantasycc) 500G Java微服务资料合集送上~ 注意:2020版本以后,添加spring-cloud-context是没有用的,因为官方重构了bootstrap引导配置的加载方式 需要增加如下依赖:         <depend…
记Spark on Yarn集群错误汇总
           我们经常使用Spark on yarn的模式进行开发和任务调度,但是常常会出现各种错误。        本文将这些问题汇总并提出解决:         &nb…
spark遇到的一些问题及其解决办法
1. ERROR org.apache.spark.storage.DiskBlockObjectWriter: Uncaught exception while reverting partial writes to file /home/work/hdd9/yarn/ttttt-hadoop/nodemanager/usercache…
spark常见问题处理
1、spark thriftserver报以下错误,其他诸如hive/sparksql等方式均正常 ERROR ActorSystemImpl: Uncaught fatal error from thread [sparkDriverActorSystem-akka.actor.default-dispatcher-379] shutt…
org.apache.spark.SparkException: Task not serializable
前言 本文隶属于专栏《Spark异常问题汇总》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢! 本专栏目录结构和参考文献请见 Spark异常问题汇总 正文 报错原因解析如果出现“org.apache.spark.SparkException: Task not serializable”错误,一般是因为在 ma…
如何查看Spark日志与排查报错问题
一、各界面说明 1.1、查看YARN页面的driver日志 可以在右侧搜索框中填对应application号找到任务,然后点击对应的application号链接,如下图所示: 这样会进入该application的信息界面,“FinalStatus”显示了该application的最后状态,点击下方的“logs”按钮也会进入到driver日…