windows安装kafka windows安装器使用教程

如何通过外网连接内网kafka程序

设置一条消息进入到 Broker 后多久之内不能被 compact，默认为 0，表示不启用该特性，该方法生效的条件为 cleanup.policy 设置为 compact 。

端口映射网络辅助的好处是适用于任何网络环境,外网访问内网的实现过程:

windows安装kafka windows安装器使用教程

在内网安装并启用nat123端口映射。添加映射,配置内外网映射信息,对应内网IP端口和外网自己的域名。外网地址可直接使用提示默认域名。

NAT映射后,通过域名访问,即可以连接内网对应IP应用。

二、要用到第三方开放的花生壳端口映射网络辅助实现外网访问内网。

方法

1、在内网安装并启用阶段：大数据基础·花生壳端口映射。添加映射,配置内外网映射信息,对应内网IP端口和外网自己的域名。外网地址可直接使用提示默认域名。

2、点击你想映射的域名，进入花生壳端口映射添加界面，点击打开内网映射。

3、应用名称可以随便填个好记的，内网主机就是你想被公网访问的那台电脑IP地址，内网端口就是希望被映射的端口，如下。我的内网主机是本机，就是192.168.21.，希望被映射的端口是1024。点击确定，就启动端口映射了。

4、现在端口映射窗口就会添加一条映射记录，此时，花生壳映射后,通过域名访问,即可以连接内网对应IP应用。公网只要使用花生壳分配的这个域名+端口，就可以访问内网的主机了。

kafka-docker上使用+常用指令

大数据架构设计阶段需掌握的技术有：Flume分布式、Zookeeper、Kafka等。

生产者向broker发送消息，消费者接收消息，broker是物理概念，部署几个kafka即几个broker，topic是逻辑概念，往topic里发送消息会发送到设置好的几个partion上,每个partion存储作为不同队列存储不同数据，partion有leader和follower备份机制，消息发送时会轮循发送到不同broker的不同partion中，同一消费者只能消费同一分区，通过offset记录消费位置，消费者组可以访问一个topic的不同partion

启动镜像

启动kafka可以带上参数，这样会自动修改kafka里的配置文件（/opt/kafka_版本/conf/server.properties）,否则不带参数需要自己进入进行手动修改 带参数版启动可参考

其中172.17.0.3需要改成自己docker的网桥连接地址

查看已启动容器

查看所有容器

启动未启动的容器

进入kafka容器

创建主题

主题和分区可以理解为：topic是逻辑划分，kafka通过topic进行区分消息，topic的数据会被存储到日志中，如果数据量太大可以引入partion（同时提高读写吞吐量）来分段存储数据。其中replication-factor作用是将任意分区到broker上，broker是物理概念，部署了一个kafka可认为broker数为1，我本机只有一个kafka所以这里replication-factor超过1会报错。 综上几个概念可以理解为：集群中有多个broker，创建主题时可以指明topic有多个partitions(消息拆分到不同分区进行存储，一个partion只能被一个消费者消费--partion内部保证接收数据顺序)，可以为分区创建多个副本replication，不同副本在不同的broker中（作为备份使用，这里有leader和flower的区分） 。

查看topic信息

集群部署

生产者：

消费者：

方式一：从当前主题的迁移量位置+1开始取数据

方式二：从当前主题条消息开始消费

生产者将消息发送broker，broker将消息保存到本地日志中，消息的保存时有序的

单播消息：

当存在一个生产者，一个消费者组的时候，一个消费者组中只有一个消费者会收到消息

多播消息：

当存在一个生产者，多个消费组，不同消费组只有一个消费者收到消息

查看消费组详细信息：

CURRENT-OFFSET:被消费的偏移量

LOG-END-OFFSET：消息总量（一条消息的偏移量）

LAG ：积压了多少条消息

常见问题：

1、如何防止消息丢失

生产者：使用同步消息发送；ack设置为1/all;设置同步分区数>=2

消费者：把自动提交改成手动提交

2、如何防止消息的重复消费

针对网络抖动导致的生产者重试（发送消息），可以设置消费者加锁解决；

3、消息积压

消费者使用多线程异步处理接收数据；创建多个消费者组部署到其他机器上；通过业务架构设计，提升业务层面消费性能。

ps:

缓冲区：kafka默认会创建一个消息缓冲区去存放要发送的消息，大小是32M，每次本地线程会去缓冲区拉16K数据发送到broker，如果不到16K2、Hive等待10ms也会将数据发送到broker

参考链接：

1、kafka安装教程--

2、kafka配置文件server.properties参数说明

3、创建主题分区数

4、解决docker容器启动不了的问题

5、通过docker-come集群部署

6、学习视频

大数据培训课程介绍，大数据学习课程要学习哪些

以下介绍的课程主要针对零基础大数据工程师每个阶段进行通俗易懂简易介绍，方面大家更好的了解大数据学习课程。课程框架是科多大数据的零基础大数据工程师课程。

一、 阶段：静态网页基础(HTML+CSS)

1. 难易程度：一颗星

2. 课时量(技术知识点+阶段项目任务+综合能力)

3. 主要技术包括：html常用标签、CSS常见布局、样式、定位等、静态页面的设计制作方式等

4. 描述如下：

从技术层面来说，该阶段使用的技术代码很简单、易于学习、方便理解。从后期课程层来说，因为我们重点是大数据，但前期需要锻炼编程技术与思维。经过我们多年开发和授课的项目分析，满足这两点，目前市场上理解和掌握的技术是J2EE，但J2EE又离不开页面技术。所以阶段我们的重点是页面技术。采用市场上主流的HTMl+CSS。

二、 第二阶段：JaSE+JaWeb

1. 难易程度：两颗星

2. 课时量(技术知识点+阶段项目任务+综合能力)

3. 主要技术包括：ja基础语法、ja面向对象(类、对象、封装、继承、多态、抽象类、接口、常见类、内部类、常见修饰符等)、异常、、文件、IO、MYSQL(基本SQL语句作、多表查询、子查询、存储过程、事务、分布式事务)JDBC、线程、反射、Socket编程、枚举、泛型、设计模式

4. 描述如下：

称为Ja基础，由浅入深的技术点、真实商业项目模块分析、多种存储方式的设计

与实现。该阶段是前四个阶段最最重要的阶段，因为后面所有阶段的都要基于此阶段，也是学习大数据紧密度的阶段。本阶段将次接触团队开发、产出具有前后台(阶段技术+第二阶段的技术综2. 课时量(技术知识点+阶段项目任务+综合能力)：64课时合应用)的真实项目。

1. 难易程序：两星

3. 主要技术包括：Ja、Jquery、注解反射一起使用，XML以及XML解析、解析dom4j、jxab、jdk8.0新特性、SVN、Men、easyui

4. 描述如下：

前两个阶段的基础上化静为动，可以实现让我们网页内容更加的丰富，当然如果从市场人员层面来说，有专业的前端设计人员，我们设计本阶段的目标在于前端的技术可以更直观的锻炼人的思维和设计能力。同时我们也将第二阶段的高级特性融入到本阶段。使学习者更上一层楼。

四、 第四阶段：企业级开发框架

1. 难易程序：三颗星

2. 课时量(技术知识点+阶段项目任务+综合能力)

3. 主要技术包括：Hibernate、Spring、SpringMVC、log4j slf4j 整合、myBatis、struts2、Shiro、redis、流程引擎activity， 爬虫技术nutch,lucene，webServCXF、Tomcat集群和热备、MySQL读写分离

4. 描述如下：

如果将整个JAVA课程比作一个糕点店，那前面三个阶段可以做出一个武大郎烧饼(因为是纯手工-太麻烦)，而学习框架是可以开一个星巴克(高科技设备-省时省力)。从J2EE开发工程师的任职要求来说，该阶段所用到的技术是必须掌握，而我们所授的课程是高于市场(市场上主流三大框架，我们进行七大框架技术传授)、而且有真实的商业项目驱动。需求文档、概要设计、详细设计、源码测试、部署、安装手册等都会进行讲解。

五、 第五阶段： 初识大数据

1. 难易程度：三颗星

2. 课时量(技术知识点+阶段项目任务+综合能力)

3. 主要技术包括：大数据前篇(什么是大数据，应用场景，如何学习大数据库，虚拟机概念和安装等)、Linux常见命令(文件管理、系统管理、磁盘管理)、Linux Shell编程(SHELL变量、循环控制、应用)、Hadoop入门(Hadoop组成、单机版环境、目录结构、HDFS界面、MR界面、简单的SHELL、ja访问hadoop)、HDFS(、SHELL、IDEA开发工具使用、全分布式集群搭建)、MapReduce应用(中间计算过程、Ja作MapReduce、程序运行、日志)、Hadoop高级应用(YARN框架介绍、配置项与优化、CDH、环境搭建)、扩展(MAP 端优化，COMBINER 使用方法见,TOP K,SQOOP导出,其它虚拟机VM的快照,权限管理命令,AWK 与 SED命令)

4. 描述如下：

该阶段设计是为了让新人能够对大数据有一个相对的大概念怎么相对呢?在前置课程JAVA的学习过后能够理解程序在单机的电脑上是如何运行的。现在，大数据呢?大数据是将程序运行在大规模机器的集群中处理。大数据当然是要处理数据，所以同样，数据的存储从单机存储变为多机器大规模的集群存储。

(你问我什么是集群?好，我有一大锅饭，我一个人可以吃完，但是要很久，现在我叫大家一起吃。一个人的时候叫人，人多了呢? 是不是叫人群啊!)

那么大数据可以初略的分为： 大数据存储和大数据处理所以在这个阶段中呢，我们课程设计了大数据的标准：HADOOP大数据的运行呢并不是在咋们经常使用的WINDOWS 7或者W10上面，而是现在使用最广泛的系统：LINUX。

六、 第六阶段：大数据数据库

1. 难易程度：四颗星

2. 课时量(技术知识点+阶段项目任务+综合能力)

3. 主要技术包括：Hive入门(Hive、Hive使用场景、环境搭建、架构说明、工作机制)、Hive Shell编程(建表、查询语句、分区与分桶、索引管理和视图)、Hive高级应用(DISTINCT实现、groupby、join、sql转化原理、ja编程、配置和优化)、hbase入门、Hbase SHELL编程(DDL、DML、Ja作建表、查询、压缩、过滤器)、细说Hbase模块(REGION、HREGION SERVER、HMASTER、ZOOKEEPER、ZOOKEEPER配置、Hbase与Zookeeper集成)、HBASE高级特性(读写流程、数据模型、模式设计读写热点、优化与配置)

4. 描述如下：

该阶段设计是为了让大家在理解大数据如何处理大规模的数据的同时。简化咋2、storm们的编写程序时间，同时提高读取速度。

怎么简化呢?在阶段中，如果需要进行复杂的业务关联与数据挖掘，自行编写MR程序是非常繁杂的。所以在这一阶段中我们引入了HIVE，大数据中的数据仓库。这里有一个关键字，数据仓库。我知道你要问我，所以我先说，数据仓库呢用来做数据挖掘分析的，通常是一个超大的数据中心，存储这些数据的呢，一般为ORACLE,DB2,等大型数据库，这些数据库通常用作实时的在线业务。

总之，要基于数据仓库分析数据呢速度是相对较慢的。但是方便在于只要熟悉SQL，学习起来相对简单，而HIVE呢就是这样一种工具，基于大数据的SQL查询工具，这一阶段呢还包括HBASE，它为大数据里面的数据库。纳闷了，不是学了一种叫做HIVE的数据“仓库”了么?HIVE是基于MR的所以查询起来相当慢，HBASE呢基于大数据可以做到实时的数据查询。一个主分析，另一个主查询

七、 第七阶段：实时数据采集

2. 课时量(技术知识点+阶段项目任务+综合能力)

3. 主要技术包括：Flume日志采集，KAFKA入门(消息队列、应用场景、集群搭建)、KAFKA详解(分区、主题、接受者、发送者、与ZOOKEEPER集成、Shell开发、Shell调试)、KAFKA高级使用(ja开发、主要配置、优化项目)、数据可视化(图形与图表介绍、CHARTS工具分类、柱状图与饼图、3D图与地图)、STORM入门(设计思想、应用场景、处理过程、集群安装)、STROM开发(STROM MVN开发、编写STORM本地程序)、STORM进阶(ja开发、主要配置、优化项目)、KAFKA异步发送与批量发送时效，KAFKA全局消息有序，STORM多并发优化

4. 描述如下：

前面的阶段数据来源是基于已经存在的大规模数据集来做的，数据处理与分析过后的结果是存在一定延时的，通常处理的数据为前一天的数据。

举例场景：网站防盗链，客户账户异常，实时征信，遇到这些场景基于前一天的数据分析出来过后呢?是否太晚了。所以在本阶段中我们引入了实时的数据采集与分析。主要包括了：FLUME实时数据采集，采集的来源支持非常广泛，KAFKA数据数据接收与发送，STORM实时数据处理，数据处理秒级别

1. 难易程序：五颗星

2. 课时量(技术知识点+阶段项目任务+综合能力)

3. 主要技术包括：SCALA入门(数据类型、运算符、控制语句、基础函数)、SCALA进阶(数据结构、类、对象、特质、模式匹配、正则表达式)、SCALA高级使用(高阶函数、科里函数、偏函数、尾迭代、自带高阶函数等)、SPARK入门(环境搭建、基础结构、运行模式)、Spark数据集与编程模型、SPARK SQL、SPARK 进阶(DATA FRAME、DATASET、SPARK STREAMING原理、SPARK STREAMING支持源、集成KAFKA与SOCKET、编程模型)、SPARK高级编程(Spark-GraphX、Spark-Mllib机器学习)、SPARK高级应用(系统架构、主要配置和性能优化、故障与阶段恢复)、SPARK ML KMEANS算法，SCALA 隐式转化高级特性

4. 描述如下：

同样先说前面的阶段，主要是阶段。HADOOP呢在分析速度上基于MR的大规模数据集相对来说还是挺慢的，包括机器学习，人工智能等。而且不适合做迭代计算。SPARK呢在分析上是作为MR的替代产品，怎么替代呢? 先说他们的运行机制，HADOOP基于磁盘存储分析，而SPARK基于内存分析。我这么说你可能不懂，再形象一点，就像你要坐火车从到上海，MR就是绿皮火车，而SPARK是高铁或者磁悬浮。而SPARK呢是基于SCALA语言开发的，当然对SCALA支持，所以课程中先学习SCALA开发语言。

在科多大数据课程的设计方面，市面上的职位要求技术，基本全覆盖。而且并不是单纯的为了覆盖职位要求，而是本身课程从前到后就是一个完整的大数据项目流程，一环扣一环。

比如从历史数据的存储，分析(HADOOP,HIVE,HBASE)，到实时的数据存储(FLUME,KAFKA)，分析(STORM,SPARK)，这些在真实的项目中都是相互依赖存在的。

在这个信息时代，大数据技术正变得越来越重要。如果您对大数据领域感兴趣并希望学习相关知识和技能，千锋教育可以为您提供全面而系统的大数据培训课程。

如需大数据培训选择【达内教育】，大数据学习课程如下：

目前大数据培训机构提供的课程大约有两种：一是大数据开发，二是数据分析与挖掘。大数据培训一般指大数据开发，不需要数学和统计学基础，学习的内容大概有：

0基础：

阶段： Ja开发·

第二阶段： 大数据基础·

第三阶段： Hadoop生态体系·

第四阶段： Spark生态系统·

第五阶段： 项目实战

提高班：

第二阶段：Hadoop生态体系·

第三阶段：Spark生态系统·

第四阶段：项目实战

链接:

信息平台在大数据领域应用实践综合分析的基础上，结合信息系统、决策支持等理论，从背景趋势、体系框架、理论方法、决策分析、应用现状等方面，全面、详细地对交通物流大数据决策分析体系进行了系统介绍。

怎么学习大数据课程？零基础大数据学习要学两部分：ja+大数据 有基础提高课程直接上大数据的相关课程，hadoop、hive、hbase这些 网上有很多的教程 。

学习课程大纲

难易程度：一颗星

2. 课时量(技术知识点+阶段项目任务+综合能力)

3. 主要技术包括：html常用标签、CSS常见布局、样式、定位等、静态页面的设计制作方式等

kafka集群测试正常，但是Ja连接kafka出现异常，急求大神解答！！！！！！！！！！！

首先你在链接时候检查是否kafka将消息日志采用顺序写入的方式存放在broker磁盘中；数据传输通过系统调用sendfile零拷贝方式；消息日志分段存放，可配置清除时间或大小阈值；每段包含消息索引、消息内容两个文件，通过索引实现快速查找；按照/topic/partition的目录结构分开存储，且均匀分布到集群各broker二、大数据存储阶段上。代码里的IP 和端口是不是对的，端口是broker 端口，默认9092 ；

怎么删除kafka的topic，然后重建

如果客户端在消息发送时将 ack 设置为 all，该参数指定必须至少多少个副本写入成功，才能向客户端返回成功，默认为 1，这个是一个兜底配置，all 的含义表示在 ISR 中的副本必须全部写入成功。

server.properties 中添加通过 kafka-topics 脚本在创建 topic 时可通过--config 选项来定制化 topic 的属性，接下来试图从这些属性来探究 Kafka 背后的运作机制。

执行D:\Dloper\kafka_2.10-0.10.0.0\bin\windows>kafka-topics.bat --zookeeper 127.0.0.1:2181 --delete --topic TEST-TOPIC

执行zookeeper-server-stop.bat，后在重启kafka

重新发送消息即可，会自动根据配置的partitions重建

注意：不执行1步骤，就是假删除。

安装Kafka 的机器上一定要有 Zookeeper 吗

提取码: k2g2

kafka 很多说不需要安装zk的是因为他们都使用了kafka自带的zk

至于kafka为什么使用zk，你首先要知道zk的作用, 作为去中心化的集群模式。

需要要消费者知道现在那些生产者（对于消费者而言，kafka就是生产者）是可用的。

如果没了zk消费者如何知道呢？如果每次消费者在消费之前都去尝试连接生产者测试下是否连接成功，效率呢？

所以kafka需要zk，在kafka的设计中就依赖了zkafka producer将消息发送给broker后，消息日志会被存储在broker的磁盘上，采用顺序写入的方式。顺序写可以加快磁盘访问速度，并且可以将将多个小型的逻辑写合并成一次大型的物理磁盘写入，数据显示顺序写比随机写入快6000倍以上。另外，作系统使用内存对磁盘进行缓存即pagecache，pagecache完全由作系统管理，这也使得写数据变得即简洁也快速。k了。

Kafka:如何高效运维之主题篇

可以通过come集群化部署过es，这里通过创建另一个come.yml文件来部署kafka，配置文件参考 docker-come集群部署

作为一个 Kafka 初学者，需要快速成长，承担维护公司 Kafka 的重任，对 Kafka 的学习，我按照三步走策略：

本文属于学习的第二阶段：[ 从运维实战的角度学习 Kafka ]，重点学习 Kafka 的主题，通过运维命令创建、更新主题，从 Topic 的 可运维属性，了解 Topic 在 Kafka 内部的运作机制 。

Kafka 提供了 kafka-topics 脚步用来创建、修改、删除、查询 topic，位于${kafka_home}/bin/kafka-topics.sh，其中 kafka_home 表示 Kafka 的安装目录。

一些不那么直观的选项进行单独介绍。

收到指定副本数量和分区信息，该参数不能和--partitions、--replication-factor 同时使用。

其格式为：每一个逗号表示一个分区的配置，每一个分区分布的 broker 用冒号隔开。

--replication-factor0:1,1:2,0:2 表示的含义是什么呢？

数据文件清除机制，支持 Broker 全局配置，Topic 定制化制定，可选策略：delete、compact，默认值为 delete。Kafka 提供了数据段压缩的功能，按照相同 Key 只保留 Key 的策略，减少数据段大小，系统主题__consumer_offsets(用于存储消息进度的主题)其清除策略就是 compact。

压缩类型，Kafka 目前支持的压缩算法：gzip,snappy,lz4,zstd，还支持如下两个配置：

不开启压缩

由发送方指定压缩算法，客户端的可选值为 gzip,snappy,lz4,zstd。

如果 cleanup.policy 策略为 compact 时，针对消息体为 null 的消息，Kafka 会认为对其进行压缩没有意义，立马删除也太草率，故 Kafka 引入了该参数，用来设置这些 body 为 null 的消息，在一次压缩执行后，多久后可被删除，默认值为 24h。

文件在删除时延迟时间，默认为 60s，Kafka 中可以支持按 topic 删除日志文件(数据文件)，执行删除之前，首先会将该 topic 下的分区文件重名为.deleted，等待 file.delete.delay.ms 才从文件系统中删除。

按消息条数设置刷盘频率，如果设置为 1 表示每写一条消息就触发一次刷盘，默认值为 Long.MaxValue，在大部分场景 不建议设置该值，直接利用作系统的刷盘机制即可，Kafka 希望通过副本机制能保证数据的持久可靠存储 。

按时间间隔设置刷盘频率，默认为 Long.MaxValue，Kafka 希望借助作系统的刷盘机制，数据可靠性通过副本机制来保证。( 副本机制其实无法保证同机房断电带来的数据丢失 )

索引文件的密度，Kafka 并不会为每一条消息(消息偏移量)建立索引，而是每隔一定间隔，建立一条索引。该参数就是设置其间隔，默认为 4096 个字节。

一次消息发送(B1. 难易程序：四颗星atch)允许的字节数量，默认为 1000000，约等于 1M。

是否开启消息格式的自动转化，如果设置为 false，Broker 不会执行消息格式转化，将不兼容老的客户端消费消息。

设置消息中存储的时间戳的获取方式，可选值：

消息在客户端的创建时间

Broker 服务端接收到的时间，默认为 CreateTime。

当 message.timestamp.type 设置为 CreateTime 时，允许 Broker 端时间与消息创建时间戳的值，如果超过该参数设置的阔值，Broker 会拒绝存储该消息， 默认为：Long.MaxValue，表示不开启开机制 。

控制可压缩的数据比例，默认为 0.5d，如果一个文件中"数据"(未被压缩的数据)低于该阔值，将不继续对该文件进行压缩，该方法生效的条件为 cleanup.policy 设置为 compact 。

是否开启预热文件(提前创建文件)，默认为 false。

一个日志分区保留的字节数，默认为-1，表示不限制。

一个日志分区允许保留的时长，默认保留 7d。

一个日志段的大小，默认为 1G。

一个日志段索引文件的大小，默认为 10M。

段滚动的随机。

Kafka 强制滚动一个段的间隔时间，及时该段并未全部填满消息，默认值为 7d

是否允许不在 ISR 中副本在没有 ISR 副本选择之后竞争成为 Leader，这样做有可能丢数据，默认为 false。

本文从运维命令开始学习，从使用运维层面全面了解 Topic，从而窥探其 Kafka 内部一些重要特性，为后续从源码角度研究其实现打下坚实基础。

本文的给出一个分区数量为 3，副本因子为 3 的 topic 分区图来结束本文的讲解。

大数据技术包括哪些

三、 第三阶段：前端框架

想要成为炙手可热的大数据技术人才，这些大数据的核心技术一定要知晓！

maxIdle="4"

一、大数据基础阶段

大数据基础阶段需掌握的技术有：Linux、Docker、KVM、MySQL基础、Oracle基础、MongoDB、redis以及hadoop mapreduce hdfs yarn等。

1、Linux命令

对于大数据开发通常是在Linux环境下进行的，相比Linux作系统，Windows作系统是封闭的作系统，开源的大数据软件很受限制，因此，想从事大数据开发相关工作，还需掌握Linux基础作命令

2、 Redis

Redis是一个key-value存储系统，其出现很大程度补偿了memcached这类key/value存储的不足，在部分场合可以对关系数据库起到很好的补充作用，它提供了Ja，C/C++，C#，PHP，JaScript，Perl，Object-C，Python，Ruby，Erlang等客户端，使用很方便，大数据开发需掌握Redis的安装、配置及相关使用方法。

大数据存储阶段需掌握的技术有：hbase、hive、sqoop等。

1、HBase

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行，十分适合数据仓库的统计分析。对于Hive需掌握其安装、应用及高级作等。

三、大数据架构设计阶段

1、Kafka

Kafka是一种高吞吐量的分布式发布消息系统，其在大数据开发应用上的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。大数据开发需掌握Kafka架构原理及各组件的作用和使用方法及相关功能的实现！

2、Flume

Flume是一款高可用、高可靠、分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力。大数据开发需掌握其安装、配置以及相关使用方法。

ZooKeeper是Hadoop和Hbase的重要组件，是一个为分布式应用提供一致的软件，提供的功能包括：配置维护、域名服务、分布式同步、组件服务等，在大数据开发中要掌握ZooKeeper的常用命令及功能的实现方法。

四、大数据实时计算阶段

大数据实时计算阶段需掌握的技术有：Mahout、Spark、storm。

1、Spark

Spark是专为大规模数据处理而设计的快速通用的计算引擎，其提供了一个全面、统一的框架用于管理各种不同性质的数据集和数据源的大数据处理的需求，大数据开发需掌握Spark基础、SparkJob、Spark RDD、spark job部署与资源分配、Spark shuffle、Spark内存管理、Spark广播变量、Spark SQL、Spark Streaming以及Spark ML等相关知识。

Storm为分布式实时计算提供了一组通用原语，可被用于“流处理”之中，实时处理消息并更新数据库。这是管理队列及工作者集群的另一种方式。Storm可以方便地在一个计算机集群中编写与扩展复杂的实时计算，Storm用于实时处理，就好比 Hadoop 用于批处理。Storm保证每个消息都会得到处理，而且它很快——在一个小集群中，每秒可以处理数以百万计的消息。

五、大数据数据采集阶段

大数据数据采集阶段需掌握的技术有：Python、Scala。

1、Python与数据分析

Python是面向对象的编程语言，拥有丰富的库，使用简单，应用广泛，在大数据领域也有所应用，主要可用于数据采集、数据分析以及数据可视化等，因此，大数据开发需学习一定的Python知识。

2、Scala

Scala是一门多范式的编程语言，大数据开发重要框架Spark是采用Scala语言设计的，想要学好Spark框架，拥有Scala基础是必不可少的，因此，大数据开发需掌握Scala编程基础知识！

以上只是一些简单的大数据核心技术总结，比较零散，想要学习大数据的同学，还是要按照一定到的技术路线图学习！

kafka消息的管理

配置中可以调整过期时间，超过改时间的消息日志将移除，默认值为7天；也可配置文件大小阈值，达到该阈值后，从最旧消息开始删除。配置项为：

从文件到套接字的常见数据传输路径有4步：

1).作系统从磁盘读取数据到内核空间的 pagecache

2).应用程序读取内核空间的数据到用户空间的缓冲区

3).应用程序将一、内网IP只能在内网局域网访问连接,在外网是不能认识内网IP不能访问的。如有路由权限,且路由有固定公网IP,可以通过路由的端口映射,实现外网访问内网。如无路由,或路由无公网IP,需要借助第三方开放的nat123端口映射网络辅助实现外网访问内网。数据(用户空间的缓冲区)写回内核空间到套接字缓冲区(内核空间)

4).作系统将数据从套接字缓冲区(内核空间)到通过网络发送的 NIC 缓冲区

kafka使用 producer ，broker 和 consumer 都共享的标准化的二进制消息格式，这样数据块不用修改就能在他们之间传递。kafka采用Linux 中系统调用sendfile的方式，直接将数据从 pagecache 转移到 socket 网络连接中。这种零拷贝方式使得kafka数据传输更加高效。

以前面文章中安装的kafka为例： Mac 安装kafka

kafka本地文件存储目录可以在配置文件server.properties中设置，参数及默认值为：

进入该目录，可以看到kafka保存的cosumer offset和topic消息：

其中__consumer_offsets开头的为消费的offset信息，test1开头的即为之前创建的topic “test1”，该topic有三个分区，分区编号从0开始，分别是test1-0、test1-1、test1-2。

可以看到kafka消息按partition存储的，每个partition一个目录。partition下消息分段(segment)存储，默认每段1G，通过参数log.segment.bytes可配置。segment包含索引文件index、消息文件log，分别存储消息的索引和内容，以.index和.log结尾，文件命名为当前segment个消息offset。index文件在log每隔一定数据量之间建立索引，可以通过参数index.interval.bytes配置。

00000000000000000000.log内容如下：

其中索引文件中包含两个字段：（offset，ition），分别表示消息offset和该消息在log文件的偏移量。如上图中offset=0的消息对应的ition=0；对应的就是00000000000000000000.log中的条消息：

其中payload为具体的消息内容。

该日志文件是kafka0.10.1.1加入的，其中保存的为：（消息时间戳，offset）。时间戳是该segment一个消息对应的时间戳（与log文件中一条记录时间戳一致），kafka也支持根据时间来读取消息。

由上可知消息是按partition来存储的，partition可以配置n个副本followers。多个partition和其follower在broker上是怎么分配的呢？

partition和broker都进行了排序，下标从0开始；

假设有k个broker，第i个partition被分配到到 i%k 个broker上；

第i%k个broker即为partition i 的leader，负责这个partition的读写 ；

partition的followers也进行排序，从leader的后续broker开始分配，第i个partition的第j个副本broker为 （j+ i%k）%k。

一个有3个broker的kafka集群，包含3个partition，每个partition副本数为1的topic如下图：

总结：

参考：八、 第八阶段：SPARK数据分析

在windows下怎么看kafka有没有启动

如何卸载netware? 1、在“网络连接”中卸载 NetWare 服务。 控制面板→网络连接→本地连接→属性→选中 “NetWare 客户端服务” 点 “卸载” 出现可以指定该主题按特定版本的 API 版本所对应的存储格式进行存储。提示：“确实要卸载客户端服务吗？”，点 “是” 出现提示：“要使新设置生效，必须关闭并重启计算机，要立即重启计算机吗？”，点 “否”。 2、更改用户登录或注销的方式。 控制面板→用户帐户→更改用户登录或注销的方式 ，“选择登录和注销选项” 将“使用欢迎屏幕”、“使用快速用户切换”选中。 按 “应用选项”键生效。3、重启计算机，使设置有效。 开始→关闭计算机→重新启动 。 重启后计算机启动和注销应恢复正常通过kafka命令查看00000000000000000000.index内容如下：。