异想博客

1、CentOS上的配置——关防火墙

查看firewall的状态：firewall-cmd --state

停止firewall：systemctl stop firewalld.service

禁止firewall开机启动：systemctl disable firewalld.service

查看默认防火墙状态（关闭后显示not running，开启后显示running）：firewall-cmd --state

2、安装kafka

下载地址：https://kafka.apache.org/downloads

wget http://mirrors.shuosc.org/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz

tar -zxvf kafka_2.11-1.0.0.gz

mv kafka_2.11-1.0.0 /usr/local/kafka/

cd /usr/local/kafka/

nano /usr/local/kafka/config/server.properties

broker.id=1

log.dir=/data/kafka/logs-1

3、启动ZK

cd /usr/local/kafka/

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

启动KAFKA服务

bin/kafka-server-start.sh config/server.properties

4、话题TOPIC

创建TOPIC：

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic jfzpoi

bin/kafka-topics.sh --list --zookeeper localhost:2181

如果报错网络不通，改ipv6的设置

nano /etc/hosts

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 vmcentos

::1 ip6-localhost ip6-localhost.localdomain localhost6 localhost6.localdomain6

查看TOPIC列表：

cd /usr/local/kafka/

bin/kafka-topics.sh --list --zookeeper localhost:2181

产生消息：

cd /usr/local/kafka/

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic jfzpoi

消费消息：

cd /usr/local/kafka/

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic jfzpoi --from-beginning

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic dataPackage --from-beginning

查看描述TOPICS信息：

cd /usr/local/kafka/

bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic jfzpoi

第一行给出了所有分区的摘要，每个附加行给出了关于一个分区的信息。 由于我们只有一个分区，所以只有一行。

“Leader”: 是负责给定分区的所有读取和写入的节点。 每个节点将成为分区随机选择部分的领导者。

“Replicas”: 是复制此分区日志的节点列表，无论它们是否是领导者，或者即使他们当前处于活动状态。

“Isr”: 是一组“同步”副本。这是复制品列表的子集，当前活着并被引导到领导者。

集群配置：http://www.54tianzhisheng.cn/2018/01/04/Kafka/