运行环境 centos 5.6 hadoop hivesqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具 在使用过程中可能遇到的问题： sqoop依赖zookeeper，所以必须配置ZOOKEEPER_HOME到环境变量…
#!/bin/bashhive -e " drop table if exists dim.media_video"sqoop create-hive-table --connect jdbc:mysql://hadoop103:3306/autopai-content --username root --password 000000 …
1：先将mysql一张表的数据用sqoop导入到hdfs中 准备一张表 需求 将 bbs_product 表中的前100条数据导 导出来 只要id brand_id和 name 这3个字段 数据存在 hdfs 目录&nbs…
准备maven依赖,包括mybatis，springboot，大数据连接，MySQL依赖，druid等 <!---配置CDH仓库地址--><repositories> <repository> <id>cloudera</id> <url>https://reposi…
简介在项目实践中，同一个项目可能需要整合多种数据源，把分散到各个数据库、数据表的数据都查询统计出来；SpringBoot有默认的数据源配置，本篇博客将整合SpringBoot多数据源配置，包括mysql、hive等，通过jdbctemplate或mybatis进行使用；版本配置(版本可自行选择，这里是博主的测试版本)：jdk1.8，spr…
总共需要以下几个类： package com.config.datasource; import com.alibaba.druid.pool.DruidDataSource;import lombok.extern.slf4j.Slf4j;import org.springframework.beans.factory.annotati…
MySQL 中的 CONCAT(sl，s2，...) 函数返回结果为连接参数产生的字符串，或许有一个或多个参数。若有任何一个参数为 NULL，则返回值为 NULL。若所有参数均为非二进制字符串，则结果为非二进制字符串。若自变量中含有任一二进制字符串，则结果为一个二进制字符串。【实例】使用 CONCAT 函数连接字符串，输入的 S…
update 更新表 set 字段 = (select 参考数据 from 参考表 where 参考表.id = 更新表.id); update table_2 m set m.column = (select column from table_1 mp where mp.id= m.id); 方法二：…
1、mysql数据库表结构 2、pom.xml依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-actuator&l…
今天写东西测试的时候发现一个问题，如下：application.yml中数据源是这样配置的：第一反应就是记忆中连接mysql的驱动不都是com.mysql.jdbc.Driver吗？com.mysql.cj.jdbc.Driver是什么鬼？后来查看了一下才知道 这个跟驱动的依赖版本有关 <dependency> &l…