介紹
Kafka是一個分布式的、可分區的、可復制的消息系統。它提供了普通消息系統的功能，但具有自己獨特的設計。這個獨特的設計是什么樣的呢？
首先讓我們看幾個基本的消息系統術語：
•Kafka將消息以topic為單位進行歸納。
•將向Kafka topic發布消息的程序成為producers.
•將預訂topics并消費消息的程序成為consumer.
•Kafka以集群的方式運行，可以由一個或多個服務組成，每個服務叫做一個broker.
producers通過網絡將消息發送到Kafka集群，集群向消費者提供消息，如下圖所示：
客戶端和服務端通過TCP協議通信。Kafka提供了Java客戶端，并且對多種語言都提供了支持。
說明：
操作系統：CentOS 6.x 64位
Kafka版本：kafka_2.11-0.8.2.1
實現目的：
單機安裝配置kafka
具體操作：
一、關閉SELINUX、開啟防火墻9092端口
1、關閉SELINUX
vi /etc/selinux/config
#SELINUX=enforcing #注釋掉
#SELINUXTYPE=targeted #注釋掉
SELINUX=disabled #增加
:wq! #保存退出
setenforce 0 #使配置立即生效
2、配置防火墻，開啟9092端口
vi /etc/sysconfig/iptables #編輯防火墻配置文件
# Firewall configuration written by system-config-firewall
# Manual customization of this file is not recommended.
*filter
:INPUT ACCEPT [0:0]
:FORWARD ACCEPT [0:0]
:OUTPUT ACCEPT [0:0]
-A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT
-A INPUT -p icmp -j ACCEPT
-A INPUT -i lo -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport 9092 -j ACCEPT
-A INPUT -j REJECT --reject-with icmp-host-prohibited
-A FORWARD -j REJECT --reject-with icmp-host-prohibited
COMMIT
:wq! #保存退出
service iptables restart #最后重啟防火墻使配置生效
二、安裝JDK
kafka運行需要JDK支持
1、下載JDK
http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.rpm
注意:直接復制到下載工具進行下載，版本請使用JDK7，JDK8有可能不兼容kafka_2.11-0.8.2.1
下載完成之后，上傳到/usr/local/src目錄下
2、安裝JDK
cd /usr/local/src
chmod +x jdk-7u79-linux-x64.rpm # 添加執行權限
rpm -ivh jdk-7u79-linux-x64.rpm #安裝
安裝完成之后，可以cd /usr/java/ 到安裝目錄查看
3、添加JDK到系統環境變量
vi /etc/profile #編輯，在最后添加以下代碼
JAVA_HOME=/usr/java/jdk1.7.0_79
PATH=$PATH:$JAVA_HOME/bin:/usr/bin:/usr/sbin:/bin:/sbin:/usr/X11R6/bin
CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export JAVA_HOME
export PATH
export CLASSPATH
:wq! #保存退出
source /etc/profile #使配置文件立即生效
java -version #查看JDK版本信息
到此，JDK安裝完成。
三、安裝kafka
1、下載kafka
cd /usr/local/src
wget http://archive.apache.org/dist/kafka/0.8.2.1/kafka_2.11-0.8.2.1.tgz
注意，kafka_2.11-0.8.2.1.tgz版本是已經編譯好的版本，解壓就能使用。
tar -xzvf kafka_2.11-0.8.2.1.tgz #解壓
mv kafka_2.11-0.8.2.1 /usr/local/kafka #移動到安裝目錄
2、配置kafka
mkdir /usr/local/kafka/log/kafka #創建kafka日志目錄
cd /usr/local/kafka/config #進入配置目錄
vi server.properties #編輯修改相應的參數
broker.id=0
port=9092 #端口號
host.name=192.168.0.11 #服務器IP地址，修改為自己的服務器IP
log.dirs=/usr/local/kafka/log/kafka #日志存放路徑，上面創建的目錄
zookeeper.connect=localhost:2181 #zookeeper地址和端口，單機配置部署，localhost:2181
:wq! #保存退出
3、配置zookeeper
mkdir /usr/local/kafka/zookeeper #創建zookeeper目錄
mkdir /usr/local/kafka/log/zookeeper #創建zookeeper日志目錄
cd /usr/local/kafka/config #進入配置目錄
vi zookeeper.properties #編輯修改相應的參數
dataDir=/usr/local/kafka/zookeeper #zookeeper數據目錄
dataLogDir=/usr/local/kafka/log/zookeeper #zookeeper日志目錄
clientPort=2181
maxClientCnxns=100
tickTime=2000
initLimit=10
syncLimit=5
:wq! #保存退出
四、創建啟動、關閉kafka腳本
cd /usr/local/kafka
#創建啟動腳本
vi kafkastart.sh #編輯，添加以下代碼
#!/bin/sh
#啟動zookeeper
/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties &
sleep 3 #等3秒后執行
#啟動kafka
/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties &
:wq! #保存退出
#創建關閉腳本
vi kafkastop.sh #編輯，添加以下代碼
#!/bin/sh
#關閉zookeeper
/usr/local/kafka/bin/zookeeper-server-stop.sh /usr/local/kafka/config/zookeeper.properties &
sleep 3 #等3秒后執行
#關閉kafka
/usr/local/kafka/bin/kafka-server-stop.sh /usr/local/kafka/config/server.properties &
:wq! #保存退出
#添加腳本執行權限
chmod +x kafkastart.sh
chmod +x kafkastop.sh
五、設置腳本開機自動執行
vi /etc/rc.d/rc.local #編輯，在最后添加一行
sh /usr/local/kafka/kafkastart.sh & ＃設置開機自動在后臺運行腳本
:wq! #保存退出
sh /usr/local/kafka/kafkastart.sh #啟動kafka
sh /usr/local/kafka/kafkastop.sh #關閉kafka
至此，Linux下Kafka單機安裝配置完成。
擴展閱讀：
Kafka創建topic
/usr/local/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
/usr/local/kafka/bin/kafka-topics.sh --list --zookeeper localhost:2181 test
/usr/local/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test --from-beginning
