J.J.'s Blogs

Kafka - 第四章 | Apache Kafka 工作流程

Kafka 只是分為一個或多個分區的主題的集合。 Kafka 分區是消息的線性有序序列，其中每個消息由它們的索引(稱為偏移)來標識。 Kafka 集群中的所有數據都是不相連的分區聯合。傳入消息寫在分區的末尾，消息由消費者順序讀取。通過將消息複製到不同的代理提供持久性。 Kafka 以快速...

Kafka 1 Published {{moment(1605873600000).fromNow()}}

Kafka - 第三章 | Apache Kafka 集群架構

S.No 組件和說明 1 Broker（代理）Kafka集群通常由多個代理組成以保持負載平衡。 Kafka代理是無狀態的，所以他們使用ZooKeeper來維護它們的集群狀態。一個Kafka代理實例可以每秒處理數十萬次讀取和寫入，每個Broker可以處理...

Kafka 1 Published {{moment(1605787200000).fromNow()}}

Kafka - 第二章 | Apache Kafka 基礎

對於大數據，我們要考慮的問題有很多，首先海量數據如何收集（如 Flume ），然後對於收集到的數據如何存儲（典型的分佈式文件系統 HDFS 、分佈式資料庫 HBase 、 NoSQL 資料庫 Redis ），其次存儲的數據不是存起來就沒事了，要通過計算從中獲取有用的信息，這就涉及到計算模型（典型的...

Kafka 1 Published {{moment(1605700800000).fromNow()}}

Kafka - 第一章 | Apache Kafka 概述

在大數據中，使用了大量的數據。關於數據，我們有兩個主要挑戰。第一個挑戰是如何收集大量的數據，第二個挑戰是分析收集的數據。為了克服這些挑戰，你必須需要一個消息系統。 Kafka 專為分佈式高吞吐量系統而設計。 Kafka 往往工作得很好，作為一個更傳統的消息代理的替代品。與其他消息傳遞系統相比...

Kafka 1 Published {{moment(1605614400000).fromNow()}}

Docker - 第十七章 | 安裝Kafka

在工作過程中，還有後面的 Kafka 系列的研究文章，首先是要建立一個 Kafka 環境，所以才產生了此篇。這邊是使用 Docker 的 docker-compose 建立的環境，網路上和官方都是直接下載實際安裝檔在實體機器上做建置；詳細安裝過程可以上網搜尋即可。 Apache Kafk...

Docker 3 Published {{moment(1605528000000).fromNow()}}

Social Media

Kafka - 第四章 | Apache Kafka 工作流程

Kafka - 第三章 | Apache Kafka 集群架構

Kafka - 第二章 | Apache Kafka 基礎

Kafka - 第一章 | Apache Kafka 概述

Docker - 第十七章 | 安裝Kafka