首页 » App开发 » 在.Net环境下使用Kafka,我有话要说

在.Net环境下使用Kafka,我有话要说

在.Net环境下使用Kafka,我有话要说

近日基于项目的解耦与削峰需求,决定在项目中引入消息队列。因为同时项目部分业务已经迁移到Java上,所以消息队列组件又要兼顾Java环境下的使用,选来选去对比了RabbitMQ、RocketMQ和Kafka,最后还是决定使用Kafka。Kafka原是Linkin的日志收集组件,慢慢的已经发展成为了一个具有消息队列/存储/流处理功能的的高效组件,需基于Zookeeper使用。我们项目因Dubbox已经有现成的Zookeeper可供使用,同时又有日志收集的需求,所以就选它了。
选定了组件后,Java是亲生儿子,组件的支持当然不在话下,而.Net环境下就有那么一点尴尬,没有官方客户端支持,只有几个在github上的开源项目可供使用。如果你在几个开源项目中一眼就看见了金光闪闪的Maintainer: Microsoft,那么十有八九你也入坑了。

CSharpClient-for-Kafka

Microsoft提供的客户端,这个开源项目文档缺失、源代码复杂且注释少得可怜,连最基本的Producer和Consumer都不得不去把整个项目clone下来去看项目的Demo是怎么实现的。项目依赖.Net Framework 4.5,依赖ZookeeperNet,而ZookeeperNet组件依赖log4net,但是因为ZookeeperNet很久未更新,他依赖的log4net是使用oldkey的版本(<=1.2.10),而项目中原有的项目中有组件(Log4mongo)依赖的log4net版本是newkey的版本(>1.2.10)。编译时会报这个错
Could not load file or assembly 'log4net, Version=1.2.10.0, Culture=neutral, PublicKeyToken=692fbea5521e1304' 光折腾这个log4net的问题就花了大半天,最后还是把log4mongo的源码作为项目引用,然后把整个项目的newkey的log4net引用全部改成了同版本号的oldkey的引用才可以编译通过。 然而一切才刚刚开始,我这边的情况是Zookeeper部属在内网的一台测试机上ip地址192.168.1.123,而Producer和Consumer布在我的开发机上(ip:192.168.1.124)。 我跑Demo时按照下面这种写法,居然报了一个UnableToConnectToHostException,最后导入源码才发现这货将ip解析为机器名,然后通过机器名加端口去连……WTF! 当然,知道是什么原因后,改下host就解决了。

好不容易终于可以生产和消费了,但是我们是有集群需求的,看到布多台Consumer的实例代码我又懵逼了。我就不贴出来了,有兴趣的可以去感受下
总之后来我跑起来了BalanceConsumer的示例。但是发现有时Producer产生的消息Consumer偶尔会接收不到,不知道我自己代码写错了还是partition什么的没配置好还是这个破Microsoft客户端本来就有这个问题。总之我已然崩溃……手头上又有别的事,决定先把这货丢到一旁。
事情过了大半个月,再次准备死磕的时候发现有个issue有更新,说有用NodeJS客户端封装的解决方案,以及推荐了另外一个.Net客户端rdkafka-dotnet

rdkafka-dotnet

rdkafka-dotnet是一个基于C++客户端librdkafka的.Net客户端,官方对librdkafka的介绍是

Robust high performance C/C++ library with full protocol support

总之就是健壮/高性能/全协议/全版本支持,可想而知基于librdkafka衍生的.Net客户端也不会差。 笔者使用rdkafka-dotnet后,发现也会需要修改host文件,其他的Producer/Consumer的代码都非常简洁易懂,消费集群也非常容易配置,而且使用这个后根本就没碰到过Consumer接收不到消息的情况。

想说的

其实Apache有和CSharpClient-for-Kafka一起列出rdkafka-dotnet,只是我被耀眼的Microsoft迷惑了,别的项目看都没看,也是自己对kafka不了解才走这么多冤枉路,就当时间买个教训了。以后多试多看多学吧!

Tags: