一、安装依赖环境 输入命令：yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel   二、…

0.安装jdk并设置环境变量，classpath export JAVA_HOME=/usr/local/src/jdk8export PATH=$PATH:$JAVA_HOME/binexport JRE_HOME=$JAVA_HOME/jreexport CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib…

local模式运行这种方式访问本地文件，完全在本地执行，与集群无关，适用于开发阶段逻辑验证。   yarn模式运行这种方式是真正的集群方式运行，将程序打成jar包上传到集群服务器上执行hadoop jar命令执行。生产环境使用。   Windows或者Linux上远程提交到yarn运行这种方式是在Windows或者Li…

1、首先打开xshell软件连接到centos主机，使用命令“systemctl status firewalld.service”查看防火墙状态：      2、按下回车键执行后，可以看到标注的“active（running）”，说明防火墙是开启状态： &nb…

上一篇文章我们简单的介绍《 linux中sqoop实现hive数据导入到mysql》，本文将简单介绍如何通过sqoop把hive数据导入到mysql。一. 前期准备 实践本文内容，默认您已经安装和部署了hadoop,mysql,hive,sqoop等环境。如相关安装和部署有问题，可以参考《 linux中sqoop实现hive数据导入到my…

Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 Sqoop项目开…

1.Linux下生成密钥 　　ssh-keygen的命令手册，通过”man ssh-keygen“命令： 　　通过命令”ssh-keygen -t rsa“ 　　生成之后会在用户的根目录生成一个 “.ssh”的文件夹 　　进入“.ssh”会生成…

1 centos6下修改hostname [root@centos6 ~]$ hostname # 查看当前的hostnmae centos6.magedu.com [root@centos6 ~]$ vim /etc/sysconfig/network # 编辑network文件修改hostname行（重启生效） [root@cento…

安装linux系统的时候选择mini安装,这种情况下输入ifconfig命令是无效的,需要进行手动安装;   当然Linux自带yum命令,保证可以连接网络,输入命令: yum install net-tools  

linux资源限制配置文件是/etc/security/limits.conf；限制用户进程的数量对于linux系统的稳定性非常重要。 limits.conf文件限制着用户可以使用的最大文件数，最大线程，最大内存等资源使用量。 /etc/security/limits.conf 配置文件可限制文件打开数，系统进程等资源，在该文件配置中写的…