java spark2.x-java-用spark-sql和spark-streaming 统计网站的访客数(uv)

环境:spark2.2.0 JDK1.8 感觉网上关于spark2.0的java程序案例太少了,在这里补充一个,大家有好的案例也可以分享啊不多说,直接上代码 /** * @author admin * @define 统计网站日用户访问量...

2022-12-10 387 阅读

java java连接kafka测试

①进入到kafka文件夹中修改配置文件:vim config/server.properties         ②启动zookeeper: bin/zookeeper-server-start.sh config/zookeeper.properties 端口2181是Z...

2022-12-10 1124 阅读

java java spark 消费kafka_spark2.3 消费kafka数据

官网介绍 http://spark.apache.org/docs/2.3.0/streaming-kafka-0-10-integration.html#creating-a-direct-stream   案例pom.xml依赖 <dependency> <groupId>o...

2022-12-10 590 阅读

java Kafka学习(三)——Java工具类、Springboot集成批量消费、SparkStreaming集成

前言本次记录全部来自工作学习中,总结和测试。并非生产环境,仅供参考使用! 提示:以下是本篇文章正文内容,下面案例可供参考 一、Java中工具类常用于测试使用~ 1. 添加maven依赖<depen...

2022-12-10 900 阅读

java java8下spark-streaming结合kafka编程(spark 2.3 kafka 0.10)

前面有说道spark-streaming的简单demo,也有说到kafka成功跑通的例子,这里就结合二者,也是常用的使用之一。 1.相关组件版本 首先确认版本,因为跟之前的版本有些不一样,所以才有必要记录...

2022-12-10 581 阅读

java java基础知识3--如何获取资源文件(Java中获取资源文件的url)

java开发中,常见的resource文件有:.xml,.properties,.txt文件等,后台开发中经常用到读取资源文件,处理业务逻辑,然后返回结果。 获取资源文件的方法说明getResource()返回:URL ...

2022-12-10 612 阅读

java Java中File使用--创建文件

1.错误示范1,输出的是创建文件夹 D:\filepath\test\test.txt。 public class FileTest { public static void main(String args) throws IOException { String fileName = "test.t...

2022-12-10 316 阅读

java java中文件复制的4种方式

      今天一个同事问我文件复制的问题,他一个100M的文件复制的指定目录下竟然成了1G多,吓我一跳,后来看了他的代码发现是自己通过字节流复制的,定义的字节数组很大,导致...

2022-12-10 407 阅读

java java(包括springboot)读取resources下文件方式

      1、使用项目内路径读取,该路径只在开发工具中显示,类似:src/main/resources/resource.properties。只能在开发工具中使用,部署之后无法读取。(不通用)   File...

2022-12-10 429 阅读

java JAVA获取不同操作系统的分隔符等参数

import java.util.Properties; public class SeparatorUtils { /* system properties to get separators */ static final Properties PROPERTIES = new Properties(System.getPro...

2022-12-10 509 阅读