J.J.'s Blogs
J.J. Huang
  • Taipei, Taiwan
本站是 J.J.Huang 的技術「學習」「筆記」部落格。內容涵蓋各式前端、Java後端、Spring Boot、微服務架構、運維開發、系統監控等相關的研究與知識分享。
  • Taipei, Taiwan
  • Kafka - 第四章 | Apache Kafka 工作流程

    Kafka 只是分為一個或多個分區的主題的集合。 Kafka 分區是消息的線性有序序列,其中每個消息由它們的索引(稱為偏移)來標識。 Kafka 集群中的所有數據都是不相連的分區聯合。傳入消息寫在分區的末尾,消息由消費者順序讀取。通過將消息複製到不同的代理提供持久性。 Kafka 以快速...

  • Kafka - 第三章 | Apache Kafka 集群架構

    S.No 組件和說明 1 Broker(代理)Kafka集群通常由多個代理組成以保持負載平衡。 Kafka代理是無狀態的,所以他們使用ZooKeeper來維護它們的集群狀態。一個Kafka代理實例可以每秒處理數十萬次讀取和寫入,每個Broker可以處理...

  • Kafka - 第二章 | Apache Kafka 基礎

    對於大數據,我們要考慮的問題有很多,首先海量數據如何收集(如 Flume ),然後對於收集到的數據如何存儲(典型的分佈式文件系統 HDFS 、分佈式資料庫 HBase 、 NoSQL 資料庫 Redis ),其次存儲的數據不是存起來就沒事了,要通過計算從中獲取有用的信息,這就涉及到計算模型(典型的...

  • Kafka - 第一章 | Apache Kafka 概述

    在大數據中,使用了大量的數據。關於數據,我們有兩個主要挑戰。第一個挑戰是如何收集大量的數據,第二個挑戰是分析收集的數據。為了克服這些挑戰,你必須需要一個消息系統。 Kafka 專為分佈式高吞吐量系統而設計。 Kafka 往往工作得很好,作為一個更傳統的消息代理的替代品。與其他消息傳遞系統相比...

  • Docker - 第十七章 | 安裝Kafka

    在工作過程中,還有後面的 Kafka 系列的研究文章,首先是要建立一個 Kafka 環境,所以才產生了此篇。 這邊是使用 Docker 的 docker-compose 建立的環境,網路上和官方都是直接下載實際安裝檔在實體機器上做建置;詳細安裝過程可以上網搜尋即可。 Apache Kafk...