Zookeeper 安装

1、下载安装包
wget https://downloads.apache.org/zookeeper/zookeeper-3.8.4/apache-zookeeper-3.8.4-bin.tar.gz
2、解压安装包，并存放到制定目录下
 tar -xzf apache-zookeeper-3.8.4-bin.tar.gz 

 mv apache-zookeeper-3.8.4-bin /opt/zookeeper
3、创建数据和日志目录
mkdir -p /var/lib/zookeeper/datamkdir -p /var/lib/zookeeper/log

配置 Zookeeper

1、基本配置
# 复制示例配置文件cd /opt/zookeeper/confcp zoo_sample.cfg zoo.cfg# 编辑配置文件vi zoo.cfg
2、修改配置内容
dataDir=/var/lib/zookeeper/datadataLogDir=/var/lib/zookeeper/log# 单机模式基本配置tickTime=2000initLimit=10syncLimit=5clientPort=2181# 集群配置示例（如需集群，取消注释并修改）# server.1=node1:2888:3888# server.2=node2:2888:3888# server.3=node3:2888:3888
3、设置 myid 文件（集群模式需要）
# 对于集群中的每个节点，创建 myid 文件echo "1" > /var/lib/zookeeper/data/myid  # 节点1设为1，节点2设为2，以此类推
4、创建 systemd 服务文件
4-1、创建 zookeeper.service 文件
sudo vi /etc/systemd/system/zookeeper.service
4-2、编写对应的配置信息
[Unit]
Description=Apache ZooKeeper Server
Documentation=http://zookeeper.apache.org
After=network.target

[Service]
Type=forking # 从 forking 改为 simple 以便查看输出User=zookeeper
Group=zookeeper
Environment="JAVA_HOME=/usr/local/java/jdk1.8.0_171"  # 根据实际Java路径修改ExecStart=/opt/zookeeper/bin/zkServer.sh start
ExecStop=/opt/zookeeper/bin/zkServer.sh stop
ExecReload=/opt/zookeeper/bin/zkServer.sh restart
Restart=on-failure
RestartSec=10s
LimitNOFILE=65536
SuccessExitStatus=143

[Install]
WantedBy=multi-user.target
重要参数说明：
Type=forking：ZooKeeper 以守护进程方式运行
确保 JAVA_HOME 路径与您系统上的实际路径一致
/opt/zookeeper 应替换为您的实际安装路径
4-3、设置权限和用户
# 设置目录权限sudo chown -R zookeeper:zookeeper /opt/zookeeper
sudo chown -R zookeeper:zookeeper /var/lib/zookeeper
4-4、重载并启动服务
# 重载systemd配置sudo systemctl daemon-reload# 设置开机自启sudo systemctl enable zookeeper# 启动服务sudo systemctl start zookeeper
4-5、验证连接
/opt/zookeeper/bin/zkCli.sh -server 127.0.0.1:2181
5、操作命令
# 启动服务sudo systemctl start zookeeper# 停止服务sudo systemctl stop zookeeper# 重启服务sudo systemctl restart zookeeper# 查看服务状态sudo systemctl status zookeeper# 启用开机自启sudo systemctl enable zookeeper# 查看服务状态sudo systemctl disable zookeeper# 查看实时日志sudo journalctl -u zookeeper -f
6、防火墙配置
# 开放 ZooKeeper 端口sudo firewall-cmd --permanent --add-port=2181/tcp
sudo firewall-cmd --permanent --add-port=2888/tcp
sudo firewall-cmd --permanent --add-port=3888/tcp
sudo firewall-cmd --reload
7、日志查看与排错
# 查看服务日志sudo journalctl -u zookeeper --no-pager -n 50# 查看ZooKeeper运行日志tail -f /var/lib/zookeeper/log/zookeeper.log# 测试连接（服务启动后）/opt/zookeeper/bin/zkCli.sh -server 127.0.0.1:2181

alt text

alt text

Python3 解释器安装

1、下载对应的python 3 安装包
cd /usr/src
sudo wget https://www.python.org/ftp/python/3.9.22/Python-3.9.22.tgz
sudo tar xzf Python-3.9.22.tgz
2、编译安装
cd Python-3.9.22
sudo ./configure --enable-optimizations
sudo make altinstall  # 使用altinstall避免覆盖系统Python
# 如果出现异常 configure: error: in `/usr/local/pyhthon/Python-3.9.22':
configure: error: no acceptable C compiler found in $PATH
2-1、安装 GCC 和其他编译工具
# 安装开发工具组（包含gcc、make等）sudo yum groupinstall -y "Development Tools"# 安装其他必要依赖sudo yum install -y zlib-devel bzip2-devel openssl-devel ncurses-devel \
sqlite-devel readline-devel tk-devel gdbm-devel db4-devel \
libpcap-devel xz-devel libffi-devel
# 验证gcc 的安装gcc --version# 应显示类似：gcc (GCC) 4.8.5 20150623 (Red Hat 4.8.5-44)
3、验证安装
python3.9 --version
pip3.9 --version
4、设置为默认解释器，添加软连接
sudo ln -s /usr/local/bin/python3.9 /usr/bin/python3
sudo ln -s /usr/local/bin/pip3.9 /usr/bin/pip3

DolphinScheduler（海豚）安装

1、创建对应的数据库
mysql -u root -p

# 在 MySQL 中执行CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;CREATE USER 'wanghao'@'%' IDENTIFIED BY 'pW@123456';GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'wanghao'@'%';
FLUSH PRIVILEGES;
2、启动zookeeper
sudo /opt/zookeeper/bin/zkServer.sh start
3、安装 DolphinScheduler (3.2.0)
3-1、下载对应安装包
wget https://dlcdn.apache.org/dolphinscheduler/3.2.0/apache-dolphinscheduler-3.2.0-bin.tar.gz

tar -zxvf apache-dolphinscheduler-3.2.0-bin.tar.gz

sudo mv apache-dolphinscheduler-3.2.0-bin /opt/dolphinscheduler
3-2、创建专用用户
sudo useradd dolphinscheduler
sudo passwd dolphinscheduler
sudo chown -R dolphinscheduler:dolphinscheduler /opt/dolphinscheduler
3-3、修改配置文件
cd /opt/dolphinscheduler/standalone-server/conf
sudo vi application.yaml
spring:
  datasource:
    driver-class-name: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://192.168.124.224:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&useSSL=false
    username: wanghao
    password: pW@123456
sudo cp common.properties common.properties.bak
sudo vi common.properties
# 资源存储（本地模式）resource.storage.type=HDFSresource.upload.path=/tmp/dolphinschedulerfs.defaultFS=file:///# 邮件配置（可选）mail.server.host=smtp.example.commail.server.port=25mail.sender=noreply@example.commail.user=noreply@example.commail.passwd=your_password# 注册中心（单机模式用内置 Zookeeper）registry.plugin.name=zookeeperregistry.servers=localhost:2181
3-4、配置环境变量
sudo vim /opt/dolphinscheduler/bin/env/dolphinscheduler_env.sh
export JAVA_HOME=/usr/local/java/jdk1.8.0_171export PATH=$PATH:$JAVA_HOME/bin;export PYTHON_HOME=/usr/local/bin/python3.9
4、初始化DolphinScheduler （3.2.0）
4-1、进入 tools/bin 目录
cd apache-dolphinscheduler-3.2.0-bin/tools/bin
4-2、运行安装脚本
chmod +x install.sh
./install.sh
4-3、按照提示输入数据库信息
[INFO] Database type: (mysql/postgresql) [mysql]:
[INFO] Database host: [localhost]:
[INFO] Database port: [3306]:
[INFO] Database username: [root]:
[INFO] Database password: []:
[INFO] Database name: [dolphinscheduler]:
按实际情况填写（和 conf/application.yaml 保持一致）。
5、启动 DolphinScheduler
5-1、单机模式
bin/dolphinscheduler-daemon.sh start standalone-server
5-2、伪集群模式
# 启动内置Zookeeper（必须先启动）bin/dolphinscheduler-daemon.sh start zookeeper# 启动其他服务bin/dolphinscheduler-daemon.sh start master-server
bin/dolphinscheduler-daemon.sh start worker-server
bin/dolphinscheduler-daemon.sh start api-serverBASH复制全屏
6、访问 Web UI
http://服务器IP:12345/dolphinscheduler