在 IM 这种讲究高并发、高消息吞吐的互联网场景下，MQ 消息中间件是个很重要的基础设施，它在 IM 系统的服务端架构中担当消息中转、消息削峰、消息交换异步化等角色。当然，MQ 消息中间件的作用远不止于此，它的价值不仅仅存在于技术上，更重要的是改变了以往同步处理消息的思路（比如进行 IM 消息历史存储时，传统的信息系统作法可能是收到一条消息就……继续阅读 » 勤劳的小蚂蚁 2周前 (01-07) 15浏览 0评论0个赞
1 概述Kakfa 起初是由 LinkedIn 公司开发的一个分布式的消息系统，后成为 Apache 的一部分，它使用 Scala 编写，以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如 Cloudera、Apache Storm、Spark 等都支持与Kafka集成。Kafka凭借着自身的优势，越来越受到互联网企……继续阅读 » 勤劳的小蚂蚁 2周前 (01-06) 16浏览 0评论0个赞
简介Apache Kafka是分布式发布-订阅消息系统。它最初由 LinkedIn 公司开发，之后成为 Apache 项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。Kafka架构它的架构包括以下组件：话题（Topic）：是特定类型的消息流。消息是字节的有效负载（Payloa……继续阅读 » 勤劳的小蚂蚁 2周前 (01-04) 26浏览 0评论0个赞
Kafka Controller 是 Kafka 的核心组件，在前面的文章中，已经详细讲述过 Controller 部分的内容。在过去的几年根据大家在生产环境中应用的反馈，Controller 也积累了一些比较大的问题，而针对这些问题的修复，代码的改动量都是非常大的，无疑是一次重构，因此，社区准备在新版的系统里对 Controller 做一些相……继续阅读 » 勤劳的小蚂蚁 2周前 (01-03) 19浏览 0评论0个赞
kafka 是用于构建实时数据管道和流应用程序。具有横向扩展，容错，wicked fast（变态快）等优点，并已在成千上万家公司运行。一，简单说明什么是 kafkaApache kafka 是消息中间件的一种，我发现很多人不知道消息中间件是什么，在开始学习之前，我这边就先简单的解释一下什么是消息中间件，只是粗略的讲解，目前 ……继续阅读 » 勤劳的小蚂蚁 2周前 (01-03) 17浏览 0评论0个赞
kafka 是一个分布式发布订阅消息系统。由 LinkedIn 开发并已经在 2011 年 7 月成为 apache 顶级项目。kafka 在 LinkedIn, Twitte 等许多公司都得到广泛使用，主要用于：日志聚合，消息队列，实时监控等。0.8 版本开始，kafka 支持集群内复制，从而提高可用性和系统稳定性，这篇文章主要概述 kaf……继续阅读 » 勤劳的小蚂蚁 2周前 (01-03) 19浏览 0评论0个赞
一、简介Apache Kafka是分布式发布-订阅消息系统，在 kafka 官网上对 kafka 的定义：一个分布式发布-订阅消息传递系统。 它最初由 LinkedIn 公司开发，Linkedin 于 2010 年贡献给了 Apache 基金会并成为顶级开源项目。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务……继续阅读 » 勤劳的小蚂蚁 2周前 (01-03) 15浏览 0评论0个赞
作者：朱小厮来源：朱小厮的博客今天笔者抛开惯有的陈述思路，在本文开篇中先让大家来思考一个问题，这个问题也是来源于一次真实的应用案例，案例内容的具体步骤如下：step 1. 创建一个主题，假设主题名为 topic-offset；step 2. 创建生产者往这个主题中写入若干消息，然后关闭生产者；step 3. 创建消费者消……继续阅读 » 勤劳的小蚂蚁 2周前 (01-03) 19浏览 0评论0个赞
一位软件工程师将通过本文向您呈现 Apache Kafka 在大型应用中的 20 项最佳实践。Apache Kafka是一款流行的分布式数据流平台，它已经广泛地被诸如 New Relic（数据智能平台）、Uber、Square（移动支付公司）等大型公司用来构建可扩展的、高吞吐量的、高可靠的实时数据流系统。例如，在 Ne……继续阅读 » 勤劳的小蚂蚁 2周前 (01-03) 16浏览 0评论0个赞
9. kafka shell 脚本用法详解 kafka 安装目录下的 bin 目录包含了很多运维可操作的 shell 脚本，列举如下：脚 本名称用途描述connect-distributed.sh连接 kafka 集群模式connect-standalone.sh连接 kafka 单机模式kafka-ac……继续阅读 » 勤劳的小蚂蚁 2周前 (01-03) 19浏览 0评论0个赞
10. kafka 消费者如何分配分区 消费者如何分配分区就是指某个 topic，其 N 个分区和消费该 topic 的若干消费者群组下 M 个消费者的关系。如下图所示，C0 和 C1 两个消费者如何分配 N 个分区：消费者&分区.png核心接口：org.apache.kafka.clients.consumer.in……继续阅读 » 勤劳的小蚂蚁 2周前 (01-03) 16浏览 0评论0个赞
6.消息投递7.复制复制日志: 法定人数(Quorums)，ISR，状态机(State Machines)Unclean leader election: What if they all die?Availability and Durability Guarantees复制管理8.日志压缩基本概念日志压缩提供什么保证?日……继续阅读 » 勤劳的小蚂蚁 2周前 (01-02) 25浏览 0评论0个赞
kafka 设计（上） 1.动机2.持久化3.效率4.生产者4.1 负载均衡4.2 异步发送5.消费者Push vs. Pull消费者位置离线数据加载1.动机kafka 被设计为能扮演一个大公司可能需要的处理所有实时数据流的统一平台。为了达成这个目的，我们必须考虑相当广泛的用例。它必须有很高的吞吐量，以……继续阅读 » 勤劳的小蚂蚁 2周前 (01-02) 20浏览 0评论0个赞
AI 前线导读： 早在 2014 年，携程的一些业务部门开始引入 Kafka 作为业务日志的收集处理系统。2015 年，基于 Kafka 的高并发、大数据的特点，携程框架研发部在 Kafka 之上设计了 Hermes Kafka 消息系统，作为大规模的消息场景的统一的中间件。随着业务量的迅速增加，以及具体业务、系统运维上的一些误用，Kafka 现有系统……继续阅读 » 勤劳的小蚂蚁 3周前 (12-28) 19浏览 0评论0个赞
