OpenStack实战安装部署
OpenStack安装部署 一、基础准备工作 部署环境：CentOS 7 64 1、关闭本地iptables防火墙并设置开机不自启动 # systemctl stop firewalld.service# systemctl...
python: turtle绘制有趣的小图像合集
白天停电停网了一天后，又遇到一些事情心情难过，白天看到一些有趣的图像，是用python的turtle库画图。 晚上来电了后，也不想学习了，就看网上一些教程学习画图。 1. 飞机 import tur...
spring 自动关闭springboot
@Autowiredprivate ConfigurableApplicationContext context; context.close();
使用Sqoop job工具同步数据
我们使用的是Sqoop-1.4.4，在进行关系型数据库与Hadoop/Hive数据同步的时候，如果使用--incremental选项，如使用append模式，我们需要记录一个--last-value的值，如果每次执行同步脚本的时候...
Sqoop详细介绍包括：sqoop命令，原理，流程
一简介 Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS...
mysql mysql5.7写入数据时间相差13/14小时解决
原因 mysql5.7默认时区使用SYSTEM，如果服务器时间为中国区(+08:00)，那么mysql的system_time_zone变量为CST 而CST可能有以下四种解释，在不通项目中可能出现不一致 美国中部时间 Central ...
自定义扩展Sqoop的使用教程
开发API参考外部APISqoop通过配置自动生成把关系型数据库导入Hadoop系统的类。该类包含导入Hadoop的每个字段。该类的实例保存表的一行数据。生成的类实现Hadoop中使用的序列化Api，即 Writab...
sqoop定时增量导入
sqoop使用hsql来存储job信息，开启metastor service将job信息共享，所有node上的sqoop都可以运行同一个job 一、sqoop的配置文件在sqoop.site.xml中： 1、sqoop.metastor...
mysql MySQL分区表的正确使用方法
MySQL分区表概述 我们经常遇到一张表里面保存了上亿甚至过十亿的记录，这些表里面保存了大量的历史记录。 对于这些历史数据的清理是一个非常头疼事情，由于所有的数据都一个普通的表里。所以...
mysql Mysql自动按月分区
mysql创建分区时依赖字段需要设为主键 例 我的依赖字段为collect_time 需要先创建至少一个分区 例：创建第一个分区时间小于’2020-02-01’ALTER TABLE tb_electric_power_info PAR...