标签：Kafka
必读 | 大规模使用 Apache Kafka 的20个最佳实践
配图来源：书籍《深入理解Kafka》Apache Kafka是一款流行的分布式数据流平台，它已经广泛地被诸如New Relic(数据智能平台)、Uber、Square(移动支付公司)等大型公司用来构建可扩展的、高吞吐量的、且高可靠的实时数据流系统。例如，在New Relic的生产环境中，Kafka群集每秒能够处理超过1500万条消息，……
干趴面试官系列 | 请你简述一下Kafka中的分区分配
“请你简述一下Kafka中的分区分配”，当面试官问你这个问题的时候，你会怎么回答？其实，这道题目里面就暗藏汹涌，因为Kafka中的分区分配在多处出现，而这个问题的表述方式是在潜意识里暗示你回答一种，这样在你自认为很完美的回答完这个问题之后，面试官会冷不丁的来一句：还有呢？当你回答完一个点的时候，面试官来一句还有呢，当你再补上一个的时候，他还……
Kafka、RabbitMQ、RocketMQ等消息中间件的介绍和对比
前言在分布式系统中,我们广泛运用消息中间件进行系统间的数据交换,便于异步解耦。现在开源的消息中间件有很多,前段时间产品 RocketMQ (MetaQ的内核) 也顺利开源,得到大家的关注。概念MQ简介MQ,Message queue,消息队列，就是指保存消息的一个容器。具体的定义这里就不类似于数据库、缓存等，用来保存数据的。当然，与数据库……
消息中间件你选对了吗？Kafka与RabbitMQ谁更胜一筹？
在IM这种讲究高并发、高消息吞吐的互联网场景下，MQ消息中间件是个很重要的基础设施，它在IM系统的服务端架构中担当消息中转、消息削峰、消息交换异步化等角色。当然，MQ消息中间件的作用远不止于此，它的价值不仅仅存在于技术上，更重要的是改变了以往同步处理消息的思路（比如进行IM消息历史存储时，传统的信息系统作法可能是收到一条消息就马上同步存入数据……
kafka 数据可靠性深度解读
1 概述Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统，后成为Apache的一部分，它使用Scala编写，以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark等都支持与Kafka集成。Kafka凭借着自身的优势，越来越受到互联网企业的青睐，唯品会也……
Kafka 基本原理
简介Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。Kafka架构它的架构包括以下组件：话题（Topic）：是特定类型的消息流。消息是字节的有效负载（Payload），话……
Kafka Controller Redesign 方案
Kafka Controller 是 Kafka 的核心组件，在前面的文章中，已经详细讲述过 Controller 部分的内容。在过去的几年根据大家在生产环境中应用的反馈，Controller 也积累了一些比较大的问题，而针对这些问题的修复，代码的改动量都是非常大的，无疑是一次重构，因此，社区准备在新版的系统里对 Controller 做一些相……
kafka集群内复制功能深入剖析
kafka是一个分布式发布订阅消息系统。由LinkedIn开发并已经在2011年7月成为apache顶级项目。kafka在LinkedIn, Twitte等许多公司都得到广泛使用，主要用于：日志聚合，消息队列，实时监控等。0.8版本开始，kafka支持集群内复制，从而提高可用性和系统稳定性，这篇文章主要概述kafka复制的设计。复制有了……
Kafka简介、基本原理、执行流程与使用场景
一、简介Apache Kafka是分布式发布-订阅消息系统，在 kafka官网上对 kafka 的定义：一个分布式发布-订阅消息传递系统。 它最初由LinkedIn公司开发，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。几种分布式系……
Kafka冷门知识：主题删除背后的秘密
作者：朱小厮来源：朱小厮的博客今天笔者抛开惯有的陈述思路，在本文开篇中先让大家来思考一个问题，这个问题也是来源于一次真实的应用案例，案例内容的具体步骤如下：step 1. 创建一个主题，假设主题名为topic-offset；step 2. 创建生产者往这个主题中写入若干消息，然后关闭生产者；step 3. 创建消费者消费……
Kafka如何做到1秒处理1500万条消息？
一位软件工程师将通过本文向您呈现 Apache Kafka 在大型应用中的 20 项最佳实践。Apache Kafka是一款流行的分布式数据流平台，它已经广泛地被诸如New Relic（数据智能平台）、Uber、Square（移动支付公司）等大型公司用来构建可扩展的、高吞吐量的、高可靠的实时数据流系统。例如，在New ……
kafka入门教程（九）kafka shell脚本用法详解
9. kafka shell脚本用法详解 kafka安装目录下的bin目录包含了很多运维可操作的shell脚本，列举如下：脚 本名称用途描述connect-distributed.sh连接kafka集群模式connect-standalone.sh连接kafka单机模式kafka-acls.shtodo……
kafka入门教程（十）kafka消费者如何分配分区
10. kafka消费者如何分配分区 消费者如何分配分区就是指某个topic，其N个分区和消费该topic的若干消费者群组下M个消费者的关系。如下图所示，C0和C1两个消费者如何分配N个分区：消费者&分区.png核心接口：org.apache.kafka.clients.consumer.internals.Parti……
kafka设计（下）
6.消息投递7.复制复制日志: 法定人数(Quorums)，ISR，状态机(State Machines)Unclean leader election: What if they all die?Availability and Durability Guarantees复制管理8.日志压缩基本概念日志压缩提供什么保证?日……
kafka设计（上）
kafka设计（上） 1.动机2.持久化3.效率4.生产者4.1负载均衡4.2异步发送5.消费者Push vs. Pull消费者位置离线数据加载1.动机kafka被设计为能扮演一个大公司可能需要的处理所有实时数据流的统一平台。为了达成这个目的，我们必须考虑相当广泛的用例。它必须有很高的吞吐量，以便能支持……
Kafka 2.0升级实战！携程的经验有何可借鉴之处？
AI 前线导读： 早在 2014 年，携程的一些业务部门开始引入 Kafka 作为业务日志的收集处理系统。2015 年，基于 Kafka 的高并发、大数据的特点，携程框架研发部在 Kafka 之上设计了 Hermes Kafka 消息系统，作为大规模的消息场景的统一的中间件。随着业务量的迅速增加，以及具体业务、系统运维上的一些误用，Kafka 现有系统……
