J.J.'s Blogs
- Taipei, Taiwan
本站是 J.J.Huang 的技術「學習」「筆記」部落格。內容涵蓋各式前端、Java後端、Spring Boot、微服務架構、運維開發、系統監控等相關的研究與知識分享。
-
Kafka - 第四章 | Apache Kafka 工作流程
Kafka 只是分為一個或多個分區的主題的集合。 Kafka 分區是消息的線性有序序列,其中每個消息由它們的索引(稱為偏移)來標識。 Kafka 集群中的所有數據都是不相連的分區聯合。傳入消息寫在分區的末尾,消息由消費者順序讀取。通過將消息複製到不同的代理提供持久性。 Kafka 以快速...
-
Kafka - 第三章 | Apache Kafka 集群架構
S.No 組件和說明 1 Broker(代理)Kafka集群通常由多個代理組成以保持負載平衡。 Kafka代理是無狀態的,所以他們使用ZooKeeper來維護它們的集群狀態。一個Kafka代理實例可以每秒處理數十萬次讀取和寫入,每個Broker可以處理...
-
Kafka - 第二章 | Apache Kafka 基礎
對於大數據,我們要考慮的問題有很多,首先海量數據如何收集(如 Flume ),然後對於收集到的數據如何存儲(典型的分佈式文件系統 HDFS 、分佈式資料庫 HBase 、 NoSQL 資料庫 Redis ),其次存儲的數據不是存起來就沒事了,要通過計算從中獲取有用的信息,這就涉及到計算模型(典型的...
-
Kafka - 第一章 | Apache Kafka 概述
在大數據中,使用了大量的數據。關於數據,我們有兩個主要挑戰。第一個挑戰是如何收集大量的數據,第二個挑戰是分析收集的數據。為了克服這些挑戰,你必須需要一個消息系統。 Kafka 專為分佈式高吞吐量系統而設計。 Kafka 往往工作得很好,作為一個更傳統的消息代理的替代品。與其他消息傳遞系統相比...