Kafka配置
Kafka是Linkdln开发的开源分布式QM系统，分布式系统的一个重要的设计原则就是低耦合，即提高各个子系统之间的独立性，便于各个子系统之间进行独立的维护、重用等;这样的做法好处是：当信息发布者发布信息是只需要把信息发布到MQ中，二信息获取者只需要到MQ获取相应想要的信息，信息发布者和信息获取者不需要知道彼此是谁(这就好比一个大的软件库，你可以随意的去软件库中下载你想要的软件，而不需要知道这个软件是谁制作发布的)。常见的MQ产品有很多，比如activeMQ，openMQ，RabbitMQ等。但是扩展性较高的，用来支持大规模数据流的，目前最为流行的就是Kafka。
Kafka的设计理念如下：
Producer(P)：就是网kafka发消息的客户端，将向Kafka topic发布消息的程序写为Producer，producers通过网络将消息发送到Kafka集群，集群向消费者提供消息。
Consumer(C)：从kafka取消息的客户端，将预订topics并消费消息的程序成为consumer。
Topic(T)：可以理解为一个队列，kafka将消息以topic的单位进行归纳。
Consumer Group(CG)：这是kafka用来实现一个topic消息的广播(发给所有的consumer)和单播(发给任意一个consumer)的手段，Kafka以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个broker。
Kafka的配置如下：
(1)搭建Kafka环境：
上传Kafka安装包
上传至mumu： kafka _ 2.10 - 0.8.2.0.tgz
解压Kafka文件
tar -zxvf kafka _ 2.10 - 0.8.2.0.tgz -C / mumu /
配置Kafka(kafka 先安装 zookeeper)
先创建文本夹
mkdir / mumu /kafka_2.10 - 0.8.2.0 / kafkaLog
cd / mumu /kafka_2.10 - 0.8.2.0 / config
修改 vi server.properties
Host.name = mumu(设置当前主机 IP)
message.max.byte=5048576(收到的信息最大值 5M)
default.replication.factor=2(存储信息的副本数)
replica.fetch.max.bytes=5048576(取信息的最大值 5M)
Zookeeper.connect = mumu01 : 2181 , mumu02 : 2181 , mumu03 : 2181
Log.dirs =/ mumu / kafka _ 2.10 - 0.8.2.0 / kafkaLog(kafka 日志存储目录)修改 vi zookeeper.properties
添加 zookeeper 的目 录
dataDir = / mumu / zookeeper-3.4.5
复制到其他的两台主机
scp -r /zhangwei / kafka _ 2.10 - 0.8.2.0 mumu02:/ mumu /
scp -r /zhangwei / kafka _ 2.10 - 0.8.2.0 mumu03:/ mumu /
然后分别修改 server.properties 里面的信息
broker.id=1(分别是 0 , 1 , 2)
Host.name = mumu 01(填写自己的主机 IP mumu0X)
注解：要先创建 mkdir / mumu / kafka_2.10 - 0.8.2.0 / kafkaLog
启动 kafka 服务
分别在三台输入下面命令：
/ mumu / kafka _ 2.10 - 0.8.2.0 / bin / kafka - server - start.sh - daemon
/ mumu / kafka _ 2.10 - 0.8.2.0 / config / server.properties
在 jps 看一下(已启动)：
本次讲解就到这里，相信小编已经给大家对于QM机制原理，Kafka配置做了一些正确合理的普及，大家现在应该理解Kafa是如何工作和如何配置的了，喜欢动手的朋友可以使用Phython在安装MapReduce和Hadoop基础上进行机器学习算法和大数据云计算算法解析,这样会对机器学习算法大数据云计算算法有更深的了解(上述操作本人都亲自试验过)。
希望大家踊跃的购买我们公司的香港服务器，更好的进行大数据、机器学习相关的研究和实战。
如果还有什么不明确或者不懂的地方，欢迎来到新世界主机咨询了解，详情请咨询Skpey咨询：vpssj.net@hotmail.com， 。我们必将竭诚为您服务。