CDH环境搭建及部署
CDH 部署主要有以下几个部分：（以cdh5.1.3为例，系统环境为centos 6.5） 测试环境建议以root用户建立,可以减少一些权限的设置 1 设置集群环境，比如安装jdk，在作为master机...
mysql 用sqoop将mysql的数据导入到hive表中
1：先将mysql一张表的数据用sqoop导入到hdfs中 准备一张表 需求 将 bbs_product 表中的前100条数据导 导出来 只要id brand_id和 name 这3个字段 &...
CentOS清除用户登录记录和命令历史方法
清除登陆系统成功的记录 # echo > /var/log/wtmp //此文件默认打开时乱码，可查到ip等信息 # last //此时即查不到用户登录信息 清除登陆系统失败的记录 # echo ...
linux linux文件传输大小限制配置,【Linux】一些文件限制配置
linux资源限制配置文件是/etc/security/limits.conf；限制用户进程的数量对于linux系统的稳定性非常重要。 limits.conf文件限制着用户可以使用的最大文件数，最大线程，最大内存等资源使...
在mobaxterm内连接deb使用lrzsz进行文件传输
lrzsz随手传文件还是挺方便的。 1.apt install lrzsz 2.rz 3.右键 或者control右键选择 send file useing Z-modem 选择文件上传 接收同理 转载...
mysql 利用sqoop将mysql的数据表结构导入到hive中，并且新建表格
#!/bin/bashhive -e " drop table if exists dim.media_video"sqoop create-hive-table --connect jdbc:mysql://hadoop103:3306/autopai-content --username root --password 000000 --tab...
mysql 利用sqoop将hive数据导入导出数据到mysql
运行环境 centos 5.6 hadoop hivesqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具 在使用过程中可能遇到的问题...
linux Linux 安装ifconfig命令
安装linux系统的时候选择mini安装,这种情况下输入ifconfig命令是无效的,需要进行手动安装; 当然Linux自带yum命令,保证可以连接网络,输入命令: yum install net-tools
java sqoop的java操作，总结归纳，含代码
（下面说的操作hdfs其实和操作hive意思一样，都是文件夹） 最近要在项目中加一个sqoop的功能，需求是将hive的数据导入至mysql，也就是export功能 由于之前没用过sqoop，所以特地去学习怎么使...
Windows 10 安装 Hadoop 2.10
1. 配置JAVA_HOME环境和Hadoop环境： 2. 配置bin 3. 进入Hadoop中/etc/hadoop下 配置hdfs-site.xml增加： <property> ...