Hadoop异常解决：本地MapReduce程序无法和云端DataNode通信
问题 在本地写了一个Java程序，操作云端的HDFS文件系统，执行ls没有问题。 在本地写了另外一个Java程序，连接云端的HDFS做MapReduce操作，报错如下。 片段1：在开始做map 0% reduce 0%操...
windows环境下Eclipse开发MapReduce程序遇到的四个问题及解决办法
按此文章《Hadoop集群（第7期）_Eclipse开发环境设置》进行MapReduce开发环境搭建的过程中遇到一些问题，饶了一些弯路，解决办法记录在此： 文档目的： 记录windows环境下Eclipse开发MapRe...
hive跑mapreduce报java.lang.RuntimeException: Error in configuring object
写于2016.7月 最近项目需要在hbase上做统计分析，在本机上装了hive，结果跑小批量数据sum时报错： hive> select count(*) from page_view; Total jobs = 1 Launching Job 1 out of 1...
MapReduce
一、MapReduce概念知识 1、MapReduce概述 MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题. MapReduce是分布式运行的，由两个阶段组成：Map和Red...
Hadoop之MapReduce详解
前言 前面我们学习了Hadoop中的HDFS，HDFS主要是负责存储海量数据的，如果只是把数据存储起来，除了浪费磁盘空间，是没有任何意义的，我们把数据存储起来之后是希望能从这些海量数据中分析...
Redis之Redis缓存管理机制
Redis缓存管理机制 目录 Redis缓存管理机制 缓存过期 && 缓存淘汰 缓存穿透 && 布隆过滤器 缓存击穿 && 缓存雪崩 总结 彩蛋 ...
Java位集合之BitMap，BitSet解析
目录 1 Java位集合 1.1 Bit-Map 1.1.1 简介 1.1.2 添加 1.1.3 清除 1.1.4 查找 1.2 Bitmap应用 1.2.1 快速排序 ...
Redis的介绍及使用
redis 简介 简单来说 redis 就是一个数据库，不过与传统数据库不同的是 redis 的数据是存在内存中的，所以读写速度非常快，因此 redis 被广泛应用于缓存方向。另外，redis 也经常用来做...
redis简介及常用命令
目录 一、关系数据库与非关系型数据库 1.1、关系型数据库 1.2、非关系型数据库 1.3、非关系型数据库产生背景 1.4、关系型数据库和非关系型数据库区别 ...
Redis系列（一）：Redis简介
一、Redis概述 Redis是一个开源(遵循BSD协议)Key-Value数据结构的内存存储系统，用作数据库、缓存和消息代理。它支持5种数据结构：字符串string、哈希hash、列表list、集合set和有序的...