大数据 4、Flink的常用Source

 1.1 Data Source数据源在实时计算DataStream API中,Source是用来获取外部数据源的操作,按照获取数据的方式,可以分为:基于集合的Source、基于Socket网络端口的Source、基...

2023-11-03 650 阅读

大数据 3、flink编程入门

1 Flink编程入门1.1 初始化Flink项目模板1.1.1 准备工作要求安装Maven 3.0.4 及以上版本和JDK 81.1.2 使用maven命令创建java项目模板执行maven命令,如果maven本地仓库...

2023-11-03 723 阅读

大数据 二、Flink环境搭建

1、standalone模式搭建standalone模式是Flink自带的分布式集群模式,不依赖其他的资源调度框架;这里使用三台主机搭建,86可以免密登录到88、89:172.17.28.86   cs-28-86172.17.2...

2023-11-03 667 阅读

fink 一、Flink简介

这几年,在整个大数据领域,Flink可算是火得一塌糊,不但将阿里Blink中的大部分特性merge到社区的Flink中,使得Flink在流式实时计算领域更是一骑绝尘,让其他实时计算框架只能望其项背,目前...

2023-11-03 561 阅读

大数据 ClickHouse:一款高效且强大的列式数据库管理系统

ClickHouse是一款开源的列式数据库管理系统,专为大规模数据仓库和数据分析应用而设计。它允许用户快速地存储和处理海量数据,同时提供了简单易用的SQL接口。本文将介绍ClickHouse的概念、技...

2023-08-11 487 阅读

大数据 深入浅出Apache DolphinScheduler

Apache DolphinScheduler 是一个大数据调度任务框架。从当前的CSDN的GitCode的热度来看,其在二月份排名第6位。那是相当的热门的。Apache DolphinScheduler 是Apache旗下的开源项目,目前已...

2023-07-18 514 阅读

大数据 大数据架构:全网最全大数据架构生态

1、数据采集框架    ----------------------------------------------------------------------2、数据存储框架-----------------------------------------------------...

2023-05-05 710 阅读

大数据 kettle 教程(一):简介及入门「建议收藏」

大家好,又见面了,我是你们的朋友全栈君。介绍kettle 是纯 java 开发,开源的 ETL工具,用于数据库间的数据迁移 。可以在 Linux、windows、unix 中运行。有图形界面,也有命令脚本还可以二...

2023-01-29 746 阅读

大数据 ETL转换工具 kettle——spoon 安装 使用

一、 kettle--spoon的安装kettle安装官网https://sourceforge.net/projects/pentaho/files/Data%20Integration/下载完解压就好。然后按以下步骤使用即可。二、使用1、启动进入安装路径/data-...

2023-01-29 815 阅读

大数据 记一次 基于Hadoop 3.3.0 安装部署 Spark 3.0.0 分布式集群 spark-shell 运行 WordCount

一、集群搭建基于Hadoop 3.3.0 安装部署 Spark 3.0.0 分布式集群https://blog.csdn.net/llwy1428/article/details/111569392官网教程http://spark.apache.org/docs/latest/quick-start.html...

2023-01-16 552 阅读