debian11 podman搭建rocketmq （初步测试）

2024-07-08 15:28 由 BrianSun 发表于 #操作系统

前言

由于个人学习测试需要，想要在debian11环境下，使用podman搭建一个简单的单节点rocketmq，搭建过程比较繁琐，所以记录下来留作后续参考。

由于对rocketmq镜像不熟悉，有些配置可能存在错误，会在后续有能力优化时继续更新此文档。

后续可能会补充podman-compose实现方式，目前是shell脚本启动。

正文

1. 准备镜像

# 2024-07-08 latest 版本 5.2.0, rocketmq 主程序，用它启动namesrv 和 broker
podman pull docker.io/apache/rocketmq
# 2024-07-08 latest，这是一个rocketmq的监控面板，可以通过浏览器页面监控rocketmq内容
podman pull docker.io/styletang/rocketmq-console-ng

2. 目录分配

.
├── broker
│   ├── conf -- 目录
│   │   └── broker.conf
│   ├── logs -- 目录
│   ├── run_broker.sh -- 启动脚本
│   └── store
├── console
│   └── run_console.sh -- 启动脚本
├── create_network.sh
├── python -- 测试目录
│   ├── client.py
│   └── rocketmq-client-cpp-2.0.0.amd64.deb
└── rocketmq
    ├── logs -- 目录
    ├── run_mq.sh -- 启动脚本
    └── store -- 目录

配置网络

最好给rocketmq创建一个单独的podman网络
create_network.sh
chmod +x create_network.sh && ./create_network.sh

#!/bin/bash
podman network create rocketmq
podman network ls
# NAME                  VERSION  PLUGINS
# podman                0.4.0    ptp,portmap,firewall
# rocketmq              0.4.0    bridge,portmap,firewall,tuning

rocketmq (namesrv)

新建logs和store目录
run_mq.sh
chmod +x run_mq.sh && ./run_mq.sh

#!/bin/bash
podman run -itd -p 0.0.0.0:9876:9876 --network rocketmq --name rmqnamesrv \
        -v /root/rocketMq/rocketmq/logs:/root/logs \
        -v /root/rocketMq/rocketmq/store:/root/store \
        docker.io/apache/rocketmq:latest \
        sh mqnamesrv

脚本中的/root/rocketMq/rocketmq/logs:/root/logs和/root/rocketMq/rocketmq/store:/root/store的配置有点问题，实际上，镜像中的日志和存储目录都在/home/rocketmq 目录下，具体优化还需要再研究下。

调试时，可以将上述命令中的 -itd 改为 -it, 这样就可以不在后台运行容器，直接将容器中的日志打印到终端。

查看后台日志的话：

# 查看全部日志
podman logs -f -t rmqnamesrv
# 跟踪查看，从最后一条开始跟踪
# podman logs -f -t --tail 1 rmqnamesrv
# 2024-07-08T13:44:14.963934731+08:00 OpenJDK 64-Bit Server VM warning: Using the DefNew young collector with the CMS collector is deprecated and will likely be removed in a future release
# 2024-07-08T13:44:14.963934731+08:00 OpenJDK 64-Bit Server VM warning: UseCMSCompactAtFullCollection is deprecated and will likely be removed in a future release.
# 2024-07-08T13:44:16.419453208+08:00 The Name Server boot success. serializeType=JSON, address 0.0.0.0:9876

端口号

netstat -ant|grep 9876
# tcp        0      0 0.0.0.0:9876            0.0.0.0:*               LISTEN

broker

新建目录 conf、logs、store

在conf目录下，新建broker.conf，内容如下

# 所属集群名称，如果节点较多可以配置多个
brokerClusterName = DefaultCluster 
#broker名称，master和slave使用相同的名称，表明他们的主从关系 
brokerName = broker-a 
#0表示Master，大于0表示不同的
slave brokerId = 0 
#表示几点做消息删除动作，默认是凌晨4点 
deleteWhen = 04 
#在磁盘上保留消息的时长，单位是小时 
fileReservedTime = 48 
#有三个值：SYNC_MASTER，ASYNC_MASTER，SLAVE；同步和异步表示Master和Slave之间同步数据的机 制；
brokerRole = ASYNC_MASTER 
#刷盘策略，取值为：ASYNC_FLUSH，SYNC_FLUSH表示同步刷盘和异步刷盘；SYNC_FLUSH消息写入磁盘后 才返回成功状态，ASYNC_FLUSH不需要；
flushDiskType = ASYNC_FLUSH
# !!! 这里要改成你的服务器的ip和实际的namesrv端口号
namesrvAddr = 192.168.11.126:9876
# 设置broker节点所在服务器的ip地址
# !!! 这里要改成你的服务器的ip
brokerIP1 = 192.168.11.126 
#剩余磁盘比例 
diskMaxUsedSpaceRatio=99

run_broker.sh
chmod +x run_broker.sh && ./run_broker.sh

#!/bin/bash
podman run -itd --name rmqbroker \
        --network rocketmq \
        -p 8080:8080 -p 8081:8081 \
        -p 10911:10911 -p 10912:10912 -p 10909:10909 --privileged=true \
        -v /root/rocketMq/broker/logs:/root/logs \
        -v /root/rocketMq/broker/store:/root/store \
        -v /root/rocketMq/broker/conf/broker.conf:/home/rocketmq/rocketmq-5.2.0/conf/broker.conf \
        -e "NAMESRV_ADDR=192.168.11.126:9876" \
        -e "MAX_POSSIBLE_HEAP=200000000" \
        apache/rocketmq sh mqbroker --enable-proxy -c /home/rocketmq/rocketmq-5.2.0/conf/broker.conf

注意，-e "NAMESRV_ADDR=192.168.11.126:9876" \ 这个地方原来是 -e "NAMESRV_ADDR=rmqnamesrv:9876" \ 后来我发现在我搭建的环境中不太好用，改成了自己的server ip 后，莫名奇妙好用了 qwq

podman logs -f -t --tail 10 rmqbroker
# 2024-07-08T14:26:23.082541138+08:00 Mon Jul 08 06:26:23 UTC 2024 rocketmq-proxy startup successfully

console

run_console.sh
chmod +x run_console.sh && ./run_console.sh

#!/bin/bash
podman run -itd -p 10100:8080 --name rmqconsole \
        --network rocketmq \
        -e "JAVA_OPTS=-Drocketmq.namesrv.addr=192.168.11.126:9876 \
        -Dcom.rocketmq.sendMessageWithVIPChannel=false" \
        styletang/rocketmq-console-ng

因为8080端口已经被broker占用了，所以直接按照参考中的Docker安装RocketMq，用10100端口映射容器中的 8080

浏览器打开 http://192.168.11.126:10100/ (你服务器的ip:你配置的端口号)

简单测试

这里，我用python简单测试了一下

首先，需要安装一个python3的库，安装之前需要先准备下前置环境

wget https://github.com/apache/rocketmq-client-cpp/releases/download/2.0.0/rocketmq-client-cpp-2.0.0.amd64.deb
sudo dpkg -i rocketmq-client-cpp-2.0.0.amd64.deb

这个文件我打成了zip包，可以从这里下载:https://files.cnblogs.com/files/brian-sun/rocketmq-client-cpp-2.0.0.amd64.zip?t=1720423076&download=true, 下载到服务器后，用unzip解压，然后 dpkg -i 安装即可

然后安装pip包

pip install rocketmq-client-python

python3 示例
client.py

# -*- coding:utf-8 -*-
from rocketmq.client import Producer, Message, PushConsumer, ConsumeStatus
import time

def product_topic():
    # 创建生产者
    producer = Producer('PID_TEST')
    producer.set_name_server_address('0.0.0.0:9876')
    producer.start()

    # 创建消息
    msg = Message('YOUR_TOPIC')
    msg.set_keys('YOUR_KEY')
    msg.set_tags('YOUR_TAG')
    msg.set_body('Hello, RocketMQ!')

    # 发送消息
    result = producer.send_sync(msg)
    print('Send Result: ', result.status, result.msg_id)

    # 停止生产者
    producer.shutdown()

need_stop=0

# 消费回调函数
def callback(msg):
    print('Received message: ', msg.body)
    global need_stop
    need_stop = 1
    return ConsumeStatus.CONSUME_SUCCESS

def consume_topic():
    
    # 创建消费者
    consumer = PushConsumer('CID_TEST')
    consumer.set_name_server_address('0.0.0.0:9876')
    consumer.subscribe('YOUR_TOPIC', callback)
    consumer.start()

    # 保持消费者运行
    global need_stop
    while True:
        time.sleep(60)  # 保持消费者运行
        if need_stop == 1:
            break

    # 停止消费者
    consumer.shutdown()


if __name__ == "__main__":
    product_topic()
    consume_topic()

python3 client.py

# Send Result:  SendStatus.OK 7F000101EDB61E27498727597E960000
# Received message:  b'Hello, RocketMQ!'

参考

[1]. Apache RocketMQ

[2]. Docker安装RocketMq

[3]. https://gitee.com/AI-Mart/rocketmq-client-python

[4]. docker 上部署RocketMQ

[5]. RocketMQ_详细配置与使用详解

附录

chatgpt 介绍rocketmq

Apache RocketMQ 是一个分布式消息中间件，其核心组件包括 NameServer、Broker 和 Proxy。了解这些组件的功能和配置有助于更好地使用 RocketMQ。

NameServer

NameServer 是 RocketMQ 的目录服务，主要负责以下功能：

管理Topic路由信息：NameServer 存储 Topic 到 Broker 的映射信息。
心跳检测：Broker 定期向 NameServer 发送心跳包，以维持连接和更新路由信息。
服务发现：生产者和消费者通过 NameServer 发现 Broker 位置和路由信息。

启动 NameServer

在启动 NameServer 时，可以使用如下命令：

nohup sh mqnamesrv &

Broker

Broker 是 RocketMQ 的消息存储和传输核心，负责以下功能：

消息存储：将生产者发送的消息持久化存储。
消息传输：将存储的消息传递给消费者。
负载均衡：支持消息的分片存储和消费。

Broker 分为两种角色：

Master：主 Broker，负责消息存储和提供读/写服务。
Slave：从 Broker，通过同步 Master 的消息存储来提供高可用性，但通常只提供读服务。

配置和启动 Broker

首先，创建 Broker 配置文件 broker.conf：

# broker.conf 示例
brokerClusterName=DefaultCluster
brokerName=broker-a
brokerId=0  # 0 表示 Master，>0 表示 Slave
namesrvAddr=127.0.0.1:9876
defaultTopicQueueNums=4
autoCreateTopicEnable=true

然后，使用以下命令启动 Broker：

nohup sh mqbroker -c path/to/broker.conf &

Proxy

Proxy（代理）通常用于将 RocketMQ 与其他协议或应用集成。通过 Proxy，可以在不修改客户端代码的情况下将 RocketMQ 集成到现有系统中。

RocketMQ 提供了多种 Proxy 解决方案，例如：

HTTP Proxy：支持通过 HTTP 协议与 RocketMQ 进行通信。
MQTT Proxy：支持通过 MQTT 协议与 RocketMQ 进行通信。

启动 HTTP Proxy

以下是一个启动 HTTP Proxy 的示例：

首先，下载并解压 RocketMQ 的 HTTP Proxy 包。
配置 proxy.conf 文件，内容如下：

# proxy.conf 示例
namesrvAddr=127.0.0.1:9876
listenPort=8080

启动 HTTP Proxy：

nohup java -jar rocketmq-proxy-http.jar -c path/to/proxy.conf &

总结

以下是 RocketMQ 各组件启动的简要步骤：

启动 NameServer：
```
nohup sh mqnamesrv &
```
启动 Broker（创建 broker.conf 并启动）：
```
nohup sh mqbroker -c path/to/broker.conf &
```
启动 Proxy（以 HTTP Proxy 为例，创建 proxy.conf 并启动）：
```
nohup java -jar rocketmq-proxy-http.jar -c path/to/proxy.conf &
```

通过这些步骤，您可以搭建一个完整的 RocketMQ 服务来支持消息的发布和订阅。根据您的应用需求，您还可以进行更多的配置和优化。