1、CentOS上的配置——关防火墙

查看firewall的状态:firewall-cmd –state

停止firewall:systemctl stop firewalld.service

禁止firewall开机启动:systemctl disable firewalld.service

查看默认防火墙状态(关闭后显示not running,开启后显示running):firewall-cmd –state

2、安装kafka

下载地址:https://kafka.apache.org/downloads

wget http://mirrors.shuosc.org/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz

tar -zxvf kafka_2.11-1.0.0.gz

mv kafka_2.11-1.0.0 /usr/local/kafka/

cd /usr/local/kafka/

nano /usr/local/kafka/config/server.properties

broker.id=1

log.dir=/data/kafka/logs-1

3、启动ZK

cd /usr/local/kafka/

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

启动KAFKA服务

bin/kafka-server-start.sh config/server.properties

4、话题TOPIC

创建TOPIC:

bin/kafka-topics.sh –create –zookeeper localhost:2181 –replication-factor 1 –partitions 1 –topic jfzpoi

bin/kafka-topics.sh –list –zookeeper localhost:2181

如果报错网络不通,改ipv6的设置

nano /etc/hosts

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 vmcentos

::1 ip6-localhost ip6-localhost.localdomain localhost6 localhost6.localdomain6

查看TOPIC列表:

cd /usr/local/kafka/

bin/kafka-topics.sh –list –zookeeper localhost:2181

产生消息:

cd /usr/local/kafka/

bin/kafka-console-producer.sh –broker-list localhost:9092 –topic jfzpoi

消费消息:

cd /usr/local/kafka/

bin/kafka-console-consumer.sh –zookeeper localhost:2181 –topic jfzpoi –from-beginning

bin/kafka-console-consumer.sh –zookeeper localhost:2181 –topic dataPackage –from-beginning

查看描述TOPICS信息:

cd /usr/local/kafka/

bin/kafka-topics.sh –describe –zookeeper localhost:2181 –topic jfzpoi

第一行给出了所有分区的摘要,每个附加行给出了关于一个分区的信息。 由于我们只有一个分区,所以只有一行。

“Leader”: 是负责给定分区的所有读取和写入的节点。 每个节点将成为分区随机选择部分的领导者。

“Replicas”: 是复制此分区日志的节点列表,无论它们是否是领导者,或者即使他们当前处于活动状态。

“Isr”: 是一组“同步”副本。这是复制品列表的子集,当前活着并被引导到领导者。

集群配置:http://www.54tianzhisheng.cn/2018/01/04/Kafka/