• 极客文库-知识库上线!
  • 极客文库小编@勤劳的小蚂蚁,为您推荐每日资讯,欢迎关注!
  • 每日更新优质编程文章!
  • 更多功能模块开发中。。。

标签:Kafka

技术杂谈

消息中间件你选对了吗?Kafka与RabbitMQ谁更胜一筹?

消息中间件你选对了吗?Kafka与RabbitMQ谁更胜一筹?
在 IM 这种讲究高并发、高消息吞吐的互联网场景下,MQ 消息中间件是个很重要的基础设施,它在 IM 系统的服务端架构中担当消息中转、消息削峰、消息交换异步化等角色。当然,MQ 消息中间件的作用远不止于此,它的价值不仅仅存在于技术上,更重要的是改变了以往同步处理消息的思路(比如进行 IM 消息历史存储时,传统的信息系统作法可能是收到一条消息就……继续阅读 »

勤劳的小蚂蚁 2周前 (01-07) 15浏览 0评论0个赞

技术杂谈

kafka 数据可靠性深度解读

kafka 数据可靠性深度解读
1 概述Kakfa 起初是由 LinkedIn 公司开发的一个分布式的消息系统,后成为 Apache 的一部分,它使用 Scala 编写,以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如 Cloudera、Apache Storm、Spark 等都支持与Kafka集成。Kafka凭借着自身的优势,越来越受到互联网企……继续阅读 »

勤劳的小蚂蚁 2周前 (01-06) 16浏览 0评论0个赞

技术杂谈

Kafka 基本原理

Kafka 基本原理
简介Apache Kafka是分布式发布-订阅消息系统。它最初由 LinkedIn 公司开发,之后成为 Apache 项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的,分区的和可复制的提交日志服务。Kafka架构它的架构包括以下组件:话题(Topic):是特定类型的消息流。消息是字节的有效负载(Payloa……继续阅读 »

勤劳的小蚂蚁 2周前 (01-04) 26浏览 0评论0个赞

技术杂谈

Kafka Controller Redesign 方案

Kafka Controller Redesign 方案
Kafka Controller 是 Kafka 的核心组件,在前面的文章中,已经详细讲述过 Controller 部分的内容。在过去的几年根据大家在生产环境中应用的反馈,Controller 也积累了一些比较大的问题,而针对这些问题的修复,代码的改动量都是非常大的,无疑是一次重构,因此,社区准备在新版的系统里对 Controller 做一些相……继续阅读 »

勤劳的小蚂蚁 2周前 (01-03) 19浏览 0评论0个赞

技术杂谈

kafka极简教程

kafka极简教程
kafka 是用于构建实时数据管道和流应用程序。具有横向扩展,容错,wicked fast(变态快)等优点,并已在成千上万家公司运行。一,简单说明什么是 kafkaApache kafka 是消息中间件的一种,我发现很多人不知道消息中间件是什么,在开始学习之前,我这边就先简单的解释一下什么是消息中间件,只是粗略的讲解,目前 ……继续阅读 »

勤劳的小蚂蚁 2周前 (01-03) 17浏览 0评论0个赞

技术杂谈

kafka集群内复制功能深入剖析

kafka集群内复制功能深入剖析
kafka 是一个分布式发布订阅消息系统。由 LinkedIn 开发并已经在 2011 年 7 月成为 apache 顶级项目。kafka 在 LinkedIn, Twitte 等许多公司都得到广泛使用,主要用于:日志聚合,消息队列,实时监控等。0.8 版本开始,kafka 支持集群内复制,从而提高可用性和系统稳定性,这篇文章主要概述 kaf……继续阅读 »

勤劳的小蚂蚁 2周前 (01-03) 19浏览 0评论0个赞

技术杂谈

Kafka简介、基本原理、执行流程与使用场景

Kafka简介、基本原理、执行流程与使用场景
一、简介Apache Kafka是分布式发布-订阅消息系统,在 kafka 官网上对 kafka 的定义:一个分布式发布-订阅消息传递系统。 它最初由 LinkedIn 公司开发,Linkedin 于 2010 年贡献给了 Apache 基金会并成为顶级开源项目。Kafka是一种快速、可扩展的、设计内在就是分布式的,分区的和可复制的提交日志服务……继续阅读 »

勤劳的小蚂蚁 2周前 (01-03) 15浏览 0评论0个赞

技术杂谈

Kafka冷门知识:主题删除背后的秘密

Kafka冷门知识:主题删除背后的秘密
作者:朱小厮来源:朱小厮的博客今天笔者抛开惯有的陈述思路,在本文开篇中先让大家来思考一个问题,这个问题也是来源于一次真实的应用案例,案例内容的具体步骤如下:step 1. 创建一个主题,假设主题名为 topic-offset;step 2. 创建生产者往这个主题中写入若干消息,然后关闭生产者;step 3. 创建消费者消……继续阅读 »

勤劳的小蚂蚁 2周前 (01-03) 19浏览 0评论0个赞

技术杂谈

Kafka如何做到1秒处理1500万条消息?

Kafka如何做到1秒处理1500万条消息?
一位软件工程师将通过本文向您呈现 Apache Kafka 在大型应用中的 20 项最佳实践。Apache Kafka是一款流行的分布式数据流平台,它已经广泛地被诸如 New Relic(数据智能平台)、Uber、Square(移动支付公司)等大型公司用来构建可扩展的、高吞吐量的、高可靠的实时数据流系统。例如,在 Ne……继续阅读 »

勤劳的小蚂蚁 2周前 (01-03) 16浏览 0评论0个赞

技术杂谈

kafka设计(上)

kafka设计(上)
kafka 设计(上) 1.动机2.持久化3.效率4.生产者4.1 负载均衡4.2 异步发送5.消费者Push vs. Pull消费者位置离线数据加载1.动机kafka 被设计为能扮演一个大公司可能需要的处理所有实时数据流的统一平台。为了达成这个目的,我们必须考虑相当广泛的用例。它必须有很高的吞吐量,以……继续阅读 »

勤劳的小蚂蚁 2周前 (01-02) 20浏览 0评论0个赞

技术杂谈

Kafka 2.0升级实战!携程的经验有何可借鉴之处?

Kafka 2.0升级实战!携程的经验有何可借鉴之处?
 AI 前线导读: 早在 2014 年,携程的一些业务部门开始引入 Kafka 作为业务日志的收集处理系统。2015 年,基于 Kafka 的高并发、大数据的特点,携程框架研发部在 Kafka 之上设计了 Hermes Kafka 消息系统,作为大规模的消息场景的统一的中间件。随着业务量的迅速增加,以及具体业务、系统运维上的一些误用,Kafka 现有系统……继续阅读 »

勤劳的小蚂蚁 3周前 (12-28) 19浏览 0评论0个赞

  • 精品技术教程
  • 编程资源分享
  • 问答交流社区
  • 极客文库知识库

客服QQ

247507792

工作时间:09:00-23:00

新浪微博:点我访问

个人博客:点我访问