使用Netty框架完成客户端和服务端收发Protobuf消息
前言
本周继续学习尼恩编著的《Netty、Redis、ZooKeeper高并发实战》，一些资源也贴在这里，自己以后想看还可以找到，这个是在博客园的一个入口https://www.cnblogs.com/crazymakercircle/p/9904544.html。
这周主要学习了Netty客户端和服务端通信，书是由浅入深的在进行，从Socket NOI通信到 Reactor反应器模式，再到Netty框架，示例代码都在https://gitee.com/crazymaker/netty_redis_zookeeper_source_code.git 中可以看到，书结合源代码，自己在动手试验一下，感觉还是有些收获。 今天的示例代码就是实践出一个客户端和服务端传递protobuf的例子。
Netty 服务端
先来看一下服务端代码，
@Slf4j
public class ProtoBufServer {
private final int serverPort;
ServerBootstrap b = new ServerBootstrap();
public ProtoBufServer(int port) {
this.serverPort = port;
}
public void runServer() {
//创建reactor 线程组
EventLoopGroup bossLoopGroup = new NioEventLoopGroup(1);
EventLoopGroup workerLoopGroup = new NioEventLoopGroup();
try {
//1 设置reactor 线程组
b.group(bossLoopGroup, workerLoopGroup);
//2 设置nio类型的channel
b.channel(NioServerSocketChannel.class);
//3 设置监听端口
b.localAddress(serverPort);
//4 设置通道的参数
b.option(ChannelOption.SO_KEEPALIVE, true);
b.option(ChannelOption.ALLOCATOR, PooledByteBufAllocator.DEFAULT);
b.childOption(ChannelOption.ALLOCATOR, PooledByteBufAllocator.DEFAULT);
//5 装配子通道流水线
b.childHandler(new ChannelInitializer<SocketChannel>() {
//有连接到达时会创建一个channel
protected void initChannel(SocketChannel ch) throws Exception {
// pipeline管理子通道channel中的Handler
// 向子channel流水线添加3个handler处理器
// protobufDecoder仅仅负责编码，并不支持读半包，所以在之前，一定要有读半包的处理器。
// 有三种方式可以选择：
// 使用netty提供ProtobufVarint32FrameDecoder
// 继承netty提供的通用半包处理器 LengthFieldBasedFrameDecoder
// 继承ByteToMessageDecoder类，自己处理半包
// 半包的处理
ch.pipeline().addLast(new ProtobufVarint32FrameDecoder());
// 需要解码的目标类
ch.pipeline().addLast(new ProtobufDecoder(MarketPriceProto.MarketPrice.getDefaultInstance()));
ch.pipeline().addLast(new ProtobufBussinessHandler());
}
});
// 6 开始绑定server
// 通过调用sync同步方法阻塞直到绑定成功
ChannelFuture channelFuture = b.bind().sync();
log.info(" 服务器启动成功，监听端口: " +
channelFuture.channel().localAddress());
// 7 等待通道关闭的异步任务结束
// 服务监听通道会一直等待通道关闭的异步任务结束
ChannelFuture closeFuture = channelFuture.channel().closeFuture();
closeFuture.sync();
} catch (Exception e) {
e.printStackTrace();
} finally {
// 8 优雅关闭EventLoopGroup，
// 释放掉所有资源包括创建的线程
workerLoopGroup.shutdownGracefully();
bossLoopGroup.shutdownGracefully();
}
}
//服务器端业务处理器
static class ProtobufBussinessHandler extends ChannelInboundHandlerAdapter {
@Override
public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
MarketPriceProto.MarketPrice protoMsg = (MarketPriceProto.MarketPrice) msg;
//经过pipeline的各个decoder，到此Person类型已经可以断定
log.info("收到一个 MsgProtos.Msg 数据包 =》");
log.info("protoMsg.getId():=" + protoMsg.getId());
log.info("protoMsg.getClose():=" + protoMsg.getClose());
}
}
public static void main(String[] args) throws InterruptedException {
int port = SERVER_PORT;
new ProtoBufServer(port).runServer();
}
}
代码中有注释解释，我在这里加一下说明
代码中有两个EventLoopGroup bossLoopGroup和EventLoopGroup workerLoopGroup，使用两个是什么原因呢？ 一个是负责处理连接监听事件， 一个负责处理数据IO事件和Handler业务处理，通俗点解释就是一个负责接客，一个负责服务客户。如果只有一个人就会忙不过来，让后面的人等很久。
b.childHandler这个就是我们具体的如何处理接收到的消息，他们都继承ChannelInboundHandlerAdapter，通过PipeLine把消息进行处理。我们从通道里面拿到的都是字节码，那么要转成我们需要的Protobuf类，就需要用到这些处理类
前两个处理类ProtobufVarint32FrameDecoder和ProtobufDecoder都是Netty提供的，一个是为了解决半包问题，半包问题是因为在TCP传输的时候对数据包进行了拆包或者分包，收到的时候如果直接处理，就会有问题，需要我们在应用层进行二次封装。 在这个示例中如果我们不使用ProtobufVarint32FrameDecoder，客户端也不用，那么就会出现有的可以解析出来，有的报错的情况： com.google.protobuf.InvalidProtocolBufferException: Protocol message contained an invalid tag (zero).
可以用搬家来打比分，我们把一个家从一个地方搬到另外一个地方，还要求布局一样，汽车运输的时候可能要分好几次，那么我们可以先记住位置，然后随便装车搬过去，过去后先暂存，再按记录的位置进行还原，这样来保证一模一样。
ProtobufBussinessHandler 是我们自定义的Handler继承了ChannelInboundHandlerAdapter，通过它我们拿到channel里面的数据，转换成我们的具体的Protobuf对象。这里只是简单的打印出来。 如果要把它继续传下去，需要调用 super.channelRead(ctx,msg)传递下去。
客户端
@Slf4j
public class ProtoBufScanClient {
private int serverPort;
private String serverIp;
Bootstrap b = new Bootstrap();
public ProtoBufScanClient(String ip, int port) {
this.serverPort = port;
this.serverIp = ip;
}
public void runClient() {
//创建reactor 线程组
EventLoopGroup workerLoopGroup = new NioEventLoopGroup();
try {
//1 设置reactor 线程组
b.group(workerLoopGroup);
//2 设置nio类型的channel
b.channel(NioSocketChannel.class);
//3 设置监听端口
b.remoteAddress(serverIp, serverPort);
//4 设置通道的参数
b.option(ChannelOption.ALLOCATOR, PooledByteBufAllocator.DEFAULT);
//5 装配通道流水线
b.handler(new ChannelInitializer<SocketChannel>() {
//初始化客户端channel
protected void initChannel(SocketChannel ch) throws Exception {
// 客户端channel流水线添加2个handler处理器
ch.pipeline().addLast(new ProtobufVarint32LengthFieldPrepender());
ch.pipeline().addLast(new ProtobufEncoder());
}
});
ChannelFuture f = b.connect();
f.addListener((ChannelFuture futureListener) ->
{
if (futureListener.isSuccess()) {
log.info("EchoClient客户端连接成功!");
} else {
log.info("EchoClient客户端连接失败!");
}
});
// 阻塞,直到连接完成
f.sync();
Channel channel = f.channel();
Scanner scanner = new Scanner(System.in);
log.info("请输入发送内容:");
GenericFutureListener sendCallBack = new GenericFutureListener() {
@Override
public void operationComplete(Future future) throws Exception {
if (future.isSuccess()) {
log.info("发送成功!");
} else {
log.info("发送失败!");
}
}
};
while (scanner.hasNext()) {
//获取输入的内容
String next = scanner.next();
String[] values = next.split(",");
if(values.length != 5)
{
log.info("格式不正确!");
}
else {
MarketPriceProto.MarketPrice msg = build(values);
ChannelFuture writeAndFlushFuture = channel.writeAndFlush(msg);
writeAndFlushFuture.addListener(sendCallBack);
}
log.info("请输入发送内容:");
}
channel.flush();
// 7 等待通道关闭的异步任务结束
// 服务监听通道会一直等待通道关闭的异步任务结束
ChannelFuture closeFuture = channel.closeFuture();
closeFuture.sync();
} catch (Exception e) {
e.printStackTrace();
} finally {
// 优雅关闭EventLoopGroup，
// 释放掉所有资源包括创建的线程
workerLoopGroup.shutdownGracefully();
}
}
//构建ProtoBuf对象
public MarketPriceProto.MarketPrice build(String[] values) {
MarketPriceProto.MarketPrice.Builder builder = MarketPriceProto.MarketPrice.newBuilder();
builder.setId(values[0]);
builder.setOpen(Double.valueOf(values[1]));
builder.setHigh(Double.valueOf(values[2]));
builder.setLow(Double.valueOf(values[3]));
builder.setClose(Double.valueOf(values[4]));
return builder.build();
}
public static void main(String[] args) throws InterruptedException {
int port = SERVER_PORT;
String ip = SOCKET_SERVER_IP;
new ProtoBufScanClient(ip, port).runClient();
}
}
Netty客户端代码和服务端很接近，这里它只用了一个线程组，客户端只有它一个使用，和服务端模式不一样，一个就够了。
客户端读取控制台输入数据，然后构造成MarketPriceProto.MarketPrice，它的Proto定义如下
// [开始声明]
syntax = "proto3";
//定义protobuf的包名称空间
package com.ken.netty.protocol;
// [结束声明]
// [开始 java 选项配置]
option java_package = "com.ken.netty.protocol";
option java_outer_classname = "MarketPriceProto";
// [结束 java 选项配置]
// [开始 消息定义]
message MarketPrice {
string id = 1;
double open = 2;
double high = 3;
double low = 4;
double close = 5;
}
channel.writeAndFlush（msg）, 这里我们直接把Protobuf对象传递进channel, ProtobufEncoder会对它进行编码。
总结
代码比较简单，这是在有书的帮助和源代码帮助下实现的，不通过书这个也不是这么容易理解的。 作者还实现了一个及时通信的例子https://gitee.com/crazymaker/SimpleCrayIM。 也需要花些时间来学习一下。
热门相关：超武穿梭 寂静王冠 第一神算：纨绔大小姐 薄先生，情不由己 薄先生，情不由己