Nginx整合Kafka的方法示例
背景
nginx-kafka-module是nginx的一个插件，可以将kafka整合到nginx中，便于web项目中前端页面埋点数据的收集，如前端页面设置了埋点，即可将用户的一些访问和请求数据通过http请求直接发送到消息中间件kafka中，后端可以通过程序消费kafka中的消息来进行实时的计算。比如通过SparkStream来实时的消费Kafka中的数据来分析用户PV,UV、用户的一些行为及页面的漏斗模型转化率，来更好的对系统进行优化或者对来访用户进行实时动态的分析。
具体整合步骤
1.安装git
yum install -y git
2.切换到/usr/local/src目录，然后将kafka的c客户端源码clone到本地
cd /usr/local/src git clone https://github.com/edenhill/librdkafka
3.进入到librdkafka，然后进行编译
cd librdkafka yum install -y gcc gcc-c++ pcre-devel zlib-devel ./configure make && make install
4.安装nginx整合kafka的插件，进入到/usr/local/src，clone nginx整合kafka的源码
cd /usr/local/src git clone https://github.com/brg-liuwei/ngx_kafka_module
5.进入到nginx的源码包目录下 （编译nginx，然后将将插件同时编译）
cd /usr/local/src/nginx-1.12.2 ./configure --add-module=/usr/local/src/ngx_kafka_module/ make && make install
6.修改nginx的配置文件：设置一个location和kafaka的topic，详情请查看当前目录的nginx.conf
#添加配置(2处)
kafka;
kafka_broker_list f1:9092 f2:9092 f3:9092;
location = /kafka/access {
kafka_topic access888;
}
如下图：
7.启动zk和kafka集群(创建topic)
zkServer.sh start kafka-server-start.sh -daemon config/server.properties
8.启动nginx，报错，找不到kafka.so.1的文件
error while loading shared libraries: librdkafka.so.1: cannot open shared object file: No such file or directory
9.加载so库
#开机加载/usr/local/lib下面的库 echo "/usr/local/lib" >> /etc/ld.so.conf #手动加载 ldconfig
10.测试，向nginx中写入数据，然后观察kafka的消费者能不能消费到数据
curl http://localhost/kafka/access -d "message send to kafka topic" curl http://localhost/kafka/access -d "小伟666"测试
也可以模拟页面埋点请求接口来发送信息：
后台Kafka消费信息如图：
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了通过Nginx解决网络隔离实践记录详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-05-05
nginx限速配置的三种方法(limit_req、limit_conn、limit_rate)
本文主要介绍了nginx限速配置的三种方法,主要包括limit_req、limit_conn、limit_rate,本文就详细的介绍一下如何使用,感兴趣的可以了解一下2023-08-08
Nginx+PHP(FastCGI)搭建高并发WEB服务器(自动安装脚本)第二版
Nginx 0.7.x + PHP 5.2.10（FastCGI）搭建胜过Apache十倍的Web服务器（第5版） 编写2011-04-04
这篇文章主要介绍了nginx配置基于域名的虚拟主机实现​，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-10-10
在nginx中配置pathinfo模式支持thinkphp的URL重写
这篇文章主要介绍了在nginx中配置pathinfo模式的例子，用来支持thinkphp的URL重写，并解决了thinkphp一个路径问题,需要的朋友可以参考下2014-04-04
这篇文章主要介绍了nginx配置location方法总结，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2019-01-01
这篇文章主要介绍了Nginx proxy、rewrite、alias配置过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2024-06-06
Nginx添加ipv6模块以及遇到问题解决方案详解(亲测有效)
IPV4日益稀缺,ipv6已经慢慢走上日程,待ipv6在国内普及,使用nginx配置ipv6那是肯定的,下面这篇文章主要给大家介绍了关于Nginx添加ipv6模块以及遇到问题的解决方案,需要的朋友可以参考下2022-09-09
本篇文章主要介绍了详解nginx 基本入门，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2017-04-04
这篇文章主要为大家介绍了Crontab和Shell脚本切割Nginx日志，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2023-06-06
最新评论