java开发笔记
  • 首页
  • 服务端
    • java基础
    • spring
    • jdbc
    • 工具类
    • mybatis
    • springboot
    • springsecurity
  • 前端
    • css3
    • html5
    • JavaScript
    • 框架
    • Android
  • 中间件
    • kafka
    • redis
    • tomcat
    • apache
    • nginx
  • 数据库
    • mysql
    • oracle
    • IoTDB
  • 云计算
    • docker
    • Kubernetes
    • podman
    • linux
    • 云存储
  • 大数据
  • 计算机网络
  • 常用工具
  • 产品、项目
首页大数据大数据的五大关键技术

大数据的五大关键技术

2022-12-10 729 阅读 0 评论

大数据技术,就是从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌现出了大量新的技术,它们成为大数据采集、存储、处理和展现的有力武器。
一、大数据接入
1、大数据接入
已有数据接入、实时数据接入、文件数据接入、消息记录数据接入、文字数据接入、图片数据接入、视屏数据接入
2、大数据接入技术
Kafka、ActiveMQ、ZeroMQ、Flume、Sqoop、Socket(Mina、Netty)、ftp/sftp
二、大数据存储
1、大数据存储
结构化数据存储、半结构化数据存储、非结构化数据存储
2、大数据存储技术
Hdfs、Hbase、Hive、S3、Kudu、MongoDB、Neo4J 、Redis、Alluxio(Tachyon)、Lucene、Solr、ElasticSearch
三、数据分析挖掘
1、大数据分析与挖掘
离线分析、准实时分析、实时分析、图片识别、语音识别、机器学习
2、大数据分析与挖掘技术
MapReduce、Hive、Pig、Spark、Flink、Impala、Kylin、Tez、Akka、Storm、S4、Mahout、MLlib

四、大数据共享交换
1、大数据共享交换
数据接入、数据清洗、转换、脱敏、脱密、数据资产管理、数据导出
2、大数据共享交换技术
Kafka、ActiveMQ、ZeroMQ、Dubbo、Socket(Mina、Netty)、ftp/sftp、RestFul、Web Service
五、大数据展现
1、大数据展现
图化展示(散点图、折线图、柱状图、地图、饼图、雷达图、K线图、箱线图、热力图、关系图、矩形树图、平行坐标、桑基图、漏斗图、仪表盘),文字展示;
2、大数据展现技术
Echarts、Tableau
国家规划大数据产业发展战略,各行各业需要大数据技术支撑指数级的数据增量服务,越来越多的企业逐渐转型于大数据,大数据方面市场需求呈爆发式增长。

 转自:https://www.douban.com/group/topic/109858772/?type=like

下一篇
(一)hadoop搭建之环境准备

相关文章

  • Apache atlas liunx环境安装部署手册
  • DolphinScheduler 3.2.0(海豚调度) 安装部署
  • 安装Oozie的x详细步骤
  • Spring Boot 项目中集成 Kafka 和 Flink:构建实时数据流处理系统
  • Kylin 的 安装 和 启动
  • 6、Flink的常用Sink
  • 5、Flink本地模式添加web页面
  • 4、Flink的常用Source
发表评论
  • 归档

    • 2025年5月
    • 2025年4月
    • 2024年12月
    • 2024年9月
    • 2024年8月
    • 2024年7月
    • 2024年5月
    • 2024年3月
    • 2024年2月
    • 2024年1月
    • 2023年12月
    • 2023年11月
    • 2023年10月
    • 2023年9月
    • 2023年8月
    • 2023年7月
    • 2023年6月
    • 2023年5月
    • 2023年4月
    • 2023年3月
    • 2023年2月
    • 2023年1月
    • 2022年12月
  • © 2020 java开发笔记 鲁ICP备2022023658号-2
    • 登录
    • 注册
    • 登录
    • 注册
    获取验证码