nsqproxy
nsqproxy是Golang开发的NSQ和Worker之间的中间件，根据数据库配置，负责消息转发。nsqproxy启动后，接受NSQD队列内容，然后通过HTTP/FastCGI/CBNSQ等协议转发给Worker机执行。在唱吧内部使用2年，高效稳定的处理着每日数十亿条消息。
解决的问题
- 各Topic执行机器可配
- 各Topic消费速度可配
- 各Worker机协议可配
- HTTP：将消息发送给配好的URL。
- FastCGI：将消息发送给配置的服务端，如PHP-FPM。
- CBNSQ：自定义的基于TCP的文本协议。
- 可视化界面管理
- 队列积压超出阈值报警
- 散乱在各处的消费者集中化管理
- 通过网络分发，无需安装.so等扩展库，因此无需修改线上环境
有图有真相
使用
请先部署好NSQLookupd、NSQd、MySQL
启动NSQLookupd
nsqlookupd -broadcast-address=\"0.0.0.0\" -http-address=\"0.0.0.0:4161\" -tcp-address=\"0.0.0.0:4160\"
启动NSQD
nsqd -broadcast-address=\"0.0.0.0\" -lookupd-tcp-address=\"0.0.0.0:4160\" -tcp-address=\"0.0.0.0:4150\" -http-address=\"0.0.0.0:4151\"
启动MySQL
安装
二进制安装
- 下载最新版本的压缩包 https://github*.c**om/changba/nsqproxy/releases
- 解压
- 启动（注意替换为自己的MySQL信息）
./nsqproxy -dbHost=127.0.0.1 -dbPort=3306 -dbUsername=root -dbPassword=rootpsd -dbName=nsqproxy -logLevel=debug -nsqlookupdHTTP=127.0.0.1:4161 - 命令行
curl http://0.**0.*0.0:19421/status输出ok - 浏览器打开 http://0.***0.0.0:19421/admin
源码安装
- 要求Go1.13及以上
- 下载本项目
go get github.com/changba/nsqproxy cd nsqproxyexport GO111MODULE=on- 编译
make build - 启动（注意替换为自己的MySQL信息）
./bin/nsqproxy -dbHost=127.0.0.1 -dbPort=3306 -dbUsername=root -dbPassword=rootpsd -dbName=nsqproxy -logLevel=debug -nsqlookupdHTTP=127.0.0.1:4161 - 命令行
curl http://0.**0.*0.0:19421/status输出ok - 浏览器打开 http://0.***0.0.0:19421/admin
快速开始
- 快速体验
- 启动参数
- make命令
- 文档
二次开发
前端
使用VUE开发，所有源码均在/web/vue-admin目录中，开发完成后需要编译，编译后的文件存放在/web/public/目录中。使用开源项目statik将静态文件/web/public/变成一个go文件internal/statik/statik.go，这样前端的静态文件也会被我们编译到同一个二进制文件中了。
- 启动go服务
make run - 安装VUE
make vue-install（如果国内被墙可以使用淘宝的源进行安装：make vue-install-taobao） - 开启VUE开发环境
make vue-dev - 浏览器打开 http://0.**0*.0.0:9528/admin
- 开发前端相关功能
- 编译VUE
make vue-build - 前段文件转换为一个go文件
make statik - 编译go服务
make build - 浏览器打开 http://0.***0.0.0:19421/admin
接口文档
- 通过接口对数据库增删改查：查看接口文档
TODO LIST
- 协议增加protobuf
- 后台增加用户权限管理
- 报警HOOK
- 日志按天分割
License
© Changba.com, 2020~time.Now
Released under the MIT License
