KAFKA LÀ GÌ

  -  

Publish/Subscribe messaging

Trước khi bàn bạc về những cụ thể rõ ràng của Apabịt Kafka , họ đề xuất nắm rõ cấu trúc của pub/sub messaging với tại vì sao này lại quan trọng đặc biệt .

Bạn đang xem: Kafka là gì

Publish/subscribe messaging là một trong những pattern nhưng đặc trưng bởi câu hỏi gửi (publisher) data (message) nhưng mà ko chỉ định và hướng dẫn tín đồ nhận cụ thể . Tgiỏi vào kia tín đồ gửi đang phân các loại tin nhắn thành các lớp và bằng phương pháp làm sao đó mà fan thừa nhận (subscriber) phải đăng kí vào lớp khăng khăng để dìm tin nhắn nghỉ ngơi lớp đấy. Hệ thống pub/sub thông thường sẽ có một broker (đơn vị phân phối) , là trung trung khu khu vực nhưng những message được phân phối.

Bắt đầu ra làm sao nhỉ

Có không ít use case cho Pub/sub ,đơn giản dễ dàng duy nhất là hãy bắt đầu với cùng một sản phẩm hóng tin nhắn ( message queue ) tốt các kênh tiếp xúc giữa những tiến trình ( interprocess communication channel) .Ví dụ: chúng ta chế tạo ra một vận dụng đề xuất gửi dữ liệu nhằm theo dõi những hoạt động vui chơi của trang web ví dụ như vậy chúng ta tạo nên liên kết trực tiếp tự trang web của bản thân mình mang lại một ứng dụng rất có thể hiển thị số liệu đó lên một bảng để rất có thể theo dõi và quan sát . ví dụ như trong hình đây


*

Đây chỉ là một trong ví dụ dễ dàng và đơn giản Khi mới bắt đầu cùng với Việc quan sát và theo dõi dữ liệu. Về sau chúng ta ra quyết định test so sánh dữ liệu vào thời hạn lâu năm và vs quy mô hiện giờ thì vận động không xuất sắc . Thế đề xuất các bạn sẽ bắt đầu phải một service cơ mà hoàn toàn có thể thừa nhận những số liệu , lưu trữ chúng, những thống kê chúng. Để cung cấp điều này, các bạn sửa thay đổi vận dụng của bản thân để có thể gửi dữ liệu cho tất cả nhị khối hệ thống. Vì nắm hiện nay bạn tất cả thêm các ứng dụng new mà sẽ khởi tạo ra dữ liệu .Và dĩ nhiên nó cũng cần phải sinh sản liên kết y như service trước . Dần dần dần vì nhu cầu nhưng các bạn sẽ có không ít áp dụng cùng service nhằm Ship hàng các mục tiêu khác nhau


*

( ôi đôi mắt của tôi )

Sự không ổn của chuyên môn sản xuất hệ thống này là rõ ràng, vì chưng vậy chúng ta đưa ra quyết định phải có tác dụng gì đó. Bạn tùy chỉnh cấu hình một áp dụng tuyệt nhất nhận tài liệu trường đoản cú toàn bộ những vận dụng ngoài cùng cung ứng một máy chủ nhằm duy trì và truy vấn vấn các tài liệu kia đến ngẫu nhiên khối hệ thống như thế nào nên chúng.


*

Individual Queue Systems ( khối hệ thống xếp hàng cá thể )

Tại cùng 1 thời điểm bạn có nhu cầu tiến hành các vận động khác ví như kiểm tra giỏi hỗ trợ những hành động của người dùng bên trên website của chúng ta cho các nhà cải tiến và phát triển ML nhằm thu tập và so sánh kinh nghiệm quý khách hàng . Và rồi bạn nhận thấy sự tương tự nhau của các khối hệ thống đó cùng hình tiếp sau đây mô tả tới 3 quy mô pub/sub systems


*

Bằng bí quyết này đang tốt rộng các là tận dụng những kết nối point to lớn point tuy thế này lại lâu dài nhiều sự lặp lại . Giả sử nhỏng chủ thể của khách hàng đang duy trì các hệ thống queuing data (toàn bộ đều phải sở hữu lỗi và giới hạn riêng) . Quý Khách cũng biết rằng đang mau chóng có không ít trường đúng theo thực hiện message bắt đầu trong tương lai. Vì nỗ lực bạn muốn bao gồm một hệ thống triệu tập nhất được cho phép tạo nên tầm thường một loại dữ liệu nhưng mà hoàn toàn có thể cách tân và phát triển Khi doanh nghiệp lớn của khách hàng phát triển

Kafka là gì ?

Apabịt Kafka là 1 trong những khối hệ thống publish/subscribe messaging có phong cách thiết kế nhằm giải quyết vấn đề này. Nó hay được thể hiện như là một hệ thống “phân phối những commit log” xuất xắc cách đây không lâu còn được Call là 1 trong những “căn nguyên phân phối stream”. Hiểu nôm mãng cầu là 1 hệ thống file hoặc cửa hàng dữ liệu về commit log có thiết kế nhằm hỗ trợ một bạn dạng ghi bền chắc về toàn bộ những transaction để hoàn toàn có thể tạo nên tính đồng nhất của hệ thống, dữ liệu vào Kafka được tàng trữ vĩnh viễn, theo sản phẩm tự . Ngoài ra, dữ liệu rất có thể được phân păn năn vào hệ thống để hỗ trợ các giải pháp bảo đảm hay bổ sung cập nhật để cản lại các lỗi khối hệ thống khiến dữ liệu ko đồng hóa, cũng như các kỹ năng để scaling hiệu suất.

Messages & Batches

Đơn vị tài liệu vào Kafka được Điện thoại tư vấn là message .Nếu bạn tiếp cận Kafka tự ánh mắt của nền tảng đại lý tài liệu, chúng ta cũng có thể nghĩ về message tương tự như nhỏng một row hoặc một record.Một message chỉ đơn giản dễ dàng là một trong mảng byte , vì chưng vậy dữ liệu đựng trong số ấy không tồn tại định hình cụ thể hoặc ý nghĩa . Một message rất có thể gồm một tùy chọn bit of metadata, được hotline là một trong những khóa ( tức thị cái bit này là khóa của metadata :v ). Khóa này cũng là 1 mảng byte với cũng giống như message nó không có ý nghĩa sâu sắc cụ thể như thế nào cả.Các key được áp dụng lúc message được ghi vào các phân vùng khác nhau một biện pháp dễ kiểm soát và điều hành rộng. Đơn giản nhất là tạo nên một hàm băm đồng bộ của key và tiếp nối cho vào phân vùng bao gồm số là công dụng sau khoản thời gian băm của key. Vấn đề này bảo đảm an toàn rằng những tin nhắn có thuộc khóa luôn được ghi vào những vùng tương tự nhau.

Để hiệu quả, message được viết vào Kafka theo đợt( Batches ). batch chỉ là một trong tập hòa hợp những message, toàn bộ chúng đang rất được tạo nên mang đến và một topic ( chủ thể ) với partition ( phân vùng) .Cứ đọng mỗi message mà lại cđọng chạy chưa có người yêu bên trên mạng thì ngân sách khá cao chính vì vậy việc gộp những message này thành một lô ( Batches ) làm cho giảm tđọc ngân sách này. Tất nhiên, đấy là sự đánh thay đổi thân độ trễ cùng thông lượng ,cũng chỉ với 2 mặt của một đồng xu thôi những lô càng lớn càng nhiều message vẫn yêu cầu đợi chờ cho đủ lô bắt đầu được gửi như thế độ trễ sẽ phệ. Các lô cũng thường được nén vị vậy cung ứng kỹ năng truyền và lưu trữ dữ liệu công dụng hơn

Schemas

Mặc mặc dù các thông điệp là những mảng byte không tồn tại ý nghĩa sâu sắc chính vì vậy chúng ta đề nghị áp dụng kết cấu hoặc lược đồ ( shemas ) mang lại nội dung message để có thể dễ nắm bắt rộng. Có các tùy lựa chọn có sẵn cho message schema, tùy thuộc vào vận dụng của người tiêu dùng buộc phải gì. Các khối hệ thống đơn giản và dễ dàng, ví dụ như (JSON) với (XML), rất đơn giản sử dụng và dễ đọc với con tín đồ. Tuy nhiên, chúng thiếu thốn các bản lĩnh như xử lý giao diện mạnh mẽ với năng lực tương xứng giữa những phiên phiên bản schemas. Nhiều nhà cải cách và phát triển Kafka ủng hộ vấn đề thực hiện Apache Avro, một framework tuần trường đoản cú hóa ban đầu được cách tân và phát triển mang lại Hadoop. Avro cung ứng một định hình tuần tự hóa nhỏ gọn, những Schemas bóc tách biệt với tải trọng của message cùng ko tận hưởng cần code lại Khi chúng đổi khác .

Một format tài liệu đồng bộ khôn cùng quan trọng đặc biệt trong Kafka, do nó cho phép viết và phát âm các message bị tách tách. Lúc những tác vụ này được kết hợp chặt chẽ, các vận dụng ĐK nhằm nhấn message yêu cầu được update nhằm xử trí định hình dữ liệu mới tuy nhiên tuy vậy với định hình cũ. Sau kia, những ứng dụng đề nghị bắn các message mới được update nhằm áp dụng format bắt đầu. Bằng bí quyết sử dụng những shemas được khẳng định rõ những message trong Kafka có thể được đọc thuận lợi hơn. ( phù nếu như nặng nề hiểu vượt thì cứ nghĩ về nó giống hệt như rpc gửi tài liệu với phải file prolớn để định hình lại tài liệu lúc dấn ý )

Topics and Partitions (chủ đề cùng phân vùng )

Message vào Kafka được phân một số loại thành các topics . lấy một ví dụ sớm nhất với topic đó chủ yếu ra table vào db tuyệt thư mục vào filesystem . Các topic được phân tách bé dại ra thành các phân vùng nhỏ. Quay quay trở lại diễn đạt về commit log, một phân vùng được đọc là một trong những phiên bản ghi nhất của các message. Message được viết theo phong cách mục lục và được hiểu theo lắp thêm trường đoản cú từ trên đầu mang đến cuối .Lưu ý rằng vày một topic thường có tương đối nhiều phân vùng , không có gì đảm bảo an toàn việc thu xếp thời hạn của các message bên trên topic vào một phân vùng là nhất. Hình bên dưới cho biết một topic có tư phân vùng, cùng với việc các message đang rất được thêm vào thời gian cuối mỗi phân vùng. Mỗi phân vùng hoàn toàn có thể được lưu trữ trên một máy chủ khác biệt, điều này Có nghĩa là một topic rất có thể được scale theo hướng ngang trên các sever nhằm cung ứng công suất thừa xa khả năng của một sever tuyệt nhất.


*

Stream là thuật ngữ thường được thực hiện Khi nói tới tài liệu trong số hệ thống nlỗi Kafka. Đôi khi, một stream được xem như là một single topic của dữ liệu, bất cứ số lượng phân vùng vào topic. Như vậy diễn tả một stream dữ liệu duy nhất chuyển tự producers thanh lịch consumers. Cách đề cùa tới những message này là khá thông dụng Lúc diễn đạt việc xử lý củastream, đó là lúc một số trong những framework nlỗi Kafka Streams, Apabịt Samza và Storm, chuyển động trên những message theo thời hạn thực. Phương pháp hoạt động này rất có thể được so sánh cùng với biện pháp những framework nước ngoài đường, ví dụ là Hadoop, được thiết kế nhằm vận động trên những dữ liệu sẽ đc xử trí kết thúc ( ko cần real time giống như các những bên trên ).

Producers and Consumers

Kafka client là đầy đủ người dùng khối hệ thống Kafka với bao gồm 2 loại cơ bản : producers và consumers . Bên cạnh đó còn tồn tại những advandced client APIs- Kafka Connect API nhằm tích đúng theo các tài liệu cùng Kafka Streams mang lại câu hỏi stream processing.

Producers là yếu tắc tạo thành những message. Trong hệ thống pub/sub có thể đc call là publishers xuất xắc writers .Nói bình thường là nó sẽ tạo nên message và cung cấp cho 1 topic rõ ràng. Theo mặc định, producers không quan tâm Việc message được bỏ vào phân vùng như thế nào của topic. Trong một số ngôi trường thích hợp, producer đã gửi message đến các phân vùng cụ thể. Điều này thường được thực hiện bằng cách thực hiện key cùng trình phân vùng sẽ khởi tạo ra một hàm băm của khóa và ánh xạ nó tới một phân vùng cụ thể . Vấn đề này bảo đảm rằng tất cả các message được sản xuất bằng một khóa sẽ cho sẽ tiến hành ghi vào và một phân vùng duy nhất.

Consumers là nhân tố đọc các message. Trong những khối hệ thống pub/sub không giống, consumers hoàn toàn có thể hotline là subscribers hay những reader. Consumers ĐK một hoặc các topic và gọi các message theo lắp thêm từ bỏ nhưng mà bọn chúng được tạo ra. Consumers duy trì Việc quan sát và theo dõi phần đa message mà nó sẽ đăng kí bằng phương pháp theo dõi và quan sát các offset (là giá trị số ngulặng tạo thêm mọi khi message đc chế tác ra) . Mỗi message vào một phân vùng đều có số này là độc nhất. Việc sử dụng quý hiếm offphối này góp consumers rất có thể ngừng giỏi khi khởi đụng lại có thể hiểu tiếp những message mà lại vẫn tồn tại địa điểm đã hiểu được trước đó. Trong khi các consumers sẽ hoạt động như một group .Theo phương pháp này, consumer hoàn toàn có thể mở rộng theo chiều ngang để cách xử lý hết các topic cùng với con số to các message. Bên cạnh đó, giả dụ một consumer dứt hoạt động, các member sót lại của tập thể nhóm sẽ cân bằng lại các phân vùng đang được thực hiện và tiếp quản ngại bài toán của thành viên bị xong xuôi chuyển động .


Brokers và Clusters

Một máy chủ Kafka được Điện thoại tư vấn là broker. Broker thừa nhận đc message từ producers , gán offsets cho chúng và tàng trữ chúng trên ổ đĩa. Nó cũng Giao hàng những comsumer, đáp ứng nhu cầu hưởng thụ tra cứu phân vùng cùng trả lại các message đang đc commit vào ổ đĩa. Tuỳ vào Hartware ví dụ và các Điểm lưu ý về hiệu xuất của chính nó mà lại một broker rất có thể cách xử lý hàng vạn phân vùng với hàng triệu message mỗi giây .

Xem thêm: Tóm Lại Là: Adorable Home Chơi Như Thế Nào ? Hướng Dẫn Chơi Adorable Home Cho Người Mới

Kafka brokers được thiết kế theo phong cách nhằm chuyển động nhỏng một trong những phần của một cluster. Trong một các những broker sẽ có một broker chuyển động nlỗi cluster controller ( nó được bầu tự động tự các thành viên trong cluster đó). Controller chịu trách nát nhiệm cho những hoạt động quản trị, bao gồm câu hỏi gán những phân vùng cho những broker với giám sát các lỗi của bọn chúng. Một phân vùng nhưng mà được thiết lập do một broker duy nhất vào cluster thì broker đó được call là leader của phân vùng kia. Một phân vùng rất có thể được gán mang lại những broker, điều này sẽ dẫn cho phân vùng có thể được xào nấu . Như vậy có thể chấp nhận được một broker khác thay đổi leader nếu như broker leader bây chừ sập.


Tính năng chính của Apađậy Kafka là kĩ năng giữ giàng message vào một khoảng chừng thời gian nhiều năm. Các broker được thông số kỹ thuật khoác định để giữ giàng message vào topic một khoảng tầm thời hạn (ví dụ: 7 ngày) hoặc cho tới lúc topic đạt mang lại kích cỡ cố định tính bằng bytes (ví dụ: 1 GB). Lúc đạt đến những số lượng giới hạn này, những message vẫn quá hạn với bị xóa để lưu giữ những message bắt đầu. Các topic cá biệt cũng rất có thể được thông số kỹ thuật Việc cất giữ cá biệt nhằm những message sẽ được tàng trữ miễn sao chúng còn hữu ích. Ví dụ: một message quan sát và theo dõi rất có thể được giữ gìn trong vài ba ngày, trong những khi các message không nhiều quan trọng đặc biệt rộng có khả năng sẽ bị xóa cùng thay thế sửa chữa chỉ vào 2 tiếng đồng hồ.

Multiple Clusters

Lúc Kafka cải tiến và phát triển, thường xuyên đã tác dụng rộng nếu như có nhiều Cluster. Chúng ta bao gồm một vài ba lý do để gọi tại vì sao điều này lại hiệu quả :

Phân chia các một số loại dữ liệuTách ra vày những yêu cầu về bảo mậtphần lớn datacenter hơn (khắc phục và hạn chế vấn đề bị 1 lỗi khiến cho cả khối hệ thống sụp đổ)

khi làm việc với tương đối nhiều datacenter dành riêng, thông thường các message bắt buộc được tạo thành những phiên bản sao giữa bọn chúng. Ví dụ: nếu như người tiêu dùng đổi khác biết tin công khai vào làm hồ sơ của họ, thay đổi đó sẽ rất cần phải update bên trên bất kể datacenter như thế nào .Tuy nhiên các bề ngoài xào nấu trong số cluster Kafka được thiết kế với để vận động vào một cluster độc nhất vô nhị, chưa hẳn giữa những cluster.

Kafka bao gồm một tool là MirrorMaker, được áp dụng cho mục đích này. Về then chốt, MirrorMaker chỉ đơn giản là một trong Kafka consumer và producer được liên kết cùng nhau bởi 1 mặt hàng ngóng ( queue ) để message xuất phát điểm từ một cluster này được cung ứng cho 1 cluster không giống. Hình dưới cho thấy thêm một ví dụ về phong cách thiết kế áp dụng MirrorMaker, tổng hợp những message trường đoản cú hai local clusters thành một nhiều tổng thích hợp, tiếp nối xào nấu nhiều kia quý phái các datacenter khác.


Why Kafka

Có những lựa chọn để tạo khối hệ thống publish/subscribe messaging systems , vậy điều gì khiến cho Apache Kafka là 1 chọn lựa tốt?

Multiple Producers

Kafka có thể cách xử trí lập tức mạch nhiều producers, cho dù clients đó vẫn áp dụng nhiều topic hoặc và một topic. Như vậy tạo cho một khối hệ thống lý tưởng phát minh để tổng thích hợp dữ liệu từ rất nhiều frontend. Ví dụ: một website hỗ trợ ngôn từ cho tất cả những người sử dụng thông qua những microservice như thế tức là đã có tương đối nhiều producers phun dữ liệu tích lũy từ bỏ những hoạt động vui chơi của ng cần sử dụng chính vì như thế đã có không ít topic như vậy vẫn những các format ,mặc dù Kafka hoàn toàn có thể giải quyết và xử lý tất cả các service với hoàn toàn có thể ghi với áp dụng một định dạng chung đến tất cả. Consumer application hoàn toàn có thể nhấn một luồng tài liệu nhưng mà không cần phải nhận từ nhiều topic .

Multiple Consumers

Ngoài câu hỏi rất có thể thêm nhiều producers, Kafka còn có thiết kế cho những consumers để hiểu ngẫu nhiên (steam of message) dòng lời nhắn như thế nào nhưng ko ảnh hưởng lẫn nhau. Điều này có vẻ trái ngược vs queuing systeam nghĩa là trong sản phẩm ngóng đó khi 1 lời nhắn được áp dụng vày một consumer, thì nó không khả dụng cùng với hồ hết consumer khác. Multiple Kafka consumers có thể lựa chọn vận động như một phần của nhóm và chia sẻ một stream, đảm bảo an toàn rằng toàn thể nhóm cách xử trí message vẫn mang đến chỉ vào một lần.

Disk-Based Retention (Duy trì dựa trên đĩa)

Kafka không chỉ là có thể xử lý multiple consumers, mà lại còn tồn tại có thể cất giữ tin nhắn hơi lâu ( bảo trì bền ) bởi consumer chưa phải lúc nào cũng bắt buộc thao tác theo thời gian thực. Messages được commit vào ổ đĩa, với sẽ tiến hành tàng trữ với các phép tắc khăng khăng. Các tùy lựa chọn này rất có thể là được lựa chọn trên cửa hàng từng topic, có thể chấp nhận được các luồng message khác nhau có sự khác hoàn toàn về số lượng gia hạn dựa vào vào nhu cầu của consumer. Duy trì bền Tức là nếu như consumer tụt lại phía sau, bởi giải pháp xử lý đủng đỉnh hoặc bị rối loạn trong lúc truyền cũng không tồn tại nguy cơ bị mất dữ liệu. Nó cũng Có nghĩa là duy trì có thể được triển khai bên trên consumer, mang những vận dụng ngoại tuyến trong một khoảng thời gian ngắn thêm, ko quan tâm về các message sao lưu trên producer hoặc bị mất. consumer có thể bị dừng lại và các message sẽ tiến hành bảo quản ngơi nghỉ Kafka. Vấn đề này chất nhận được nó khởi động lại với nhận những tin nhắn cách xử lý vị trí bọn chúng thoát nhưng ko mất dữ liệu.

Scalable

Khả năng không ngừng mở rộng linch hoạt của Kafka để giúp các bạn thuận tiện xử lý bất kỳ lượng dữ liệu nào. Người cần sử dụng hoàn toàn có thể bước đầu với 1 broker tốt nhất nhỏng một proof of concept, không ngừng mở rộng từ 1 trở nên tân tiến xuất phát điểm từ 1 cluster bé dại bao gồm 3 brokers rồi chuyển quý phái với 1 quy mô lớn hơn với cùng 1 cluster Khủng với hàng ngàn nngớ ngẩn broker phát triển theo thời gian lúc dữ liệu tạo thêm. Scale hoàn toàn có thể được tiến hành bên phía trong Khi cluster đã online cơ mà ko tác động đến tính khả dụng của toàn cục hệ thống. Điều này cũng có nghĩa là một đội các broker hoàn toàn có thể cách xử lý sự thua cuộc của một broker trơ trọi với liên tiếp giao hàng quý khách hàng. Các cluster chạm chán nhiều thất bại rộng có thể được cấu hình cùng với những nhân tố xào luộc cao hơn.

High Performance

Tất cả các kĩ năng này kết phù hợp với nhau để biến hóa Apabít Kafka thành một khối hệ thống publish/subscribe messaging với công suất tuyệt đối hoàn hảo dưới thiết lập trọng cao. Producers, consumers với brokers đa số rất có thể không ngừng mở rộng bài bản nhằm cách xử lý các luồng message không hề nhỏ một giải pháp thuận tiện.

The Data Ecosystem (hệ sinh thái xanh dữ liệu)

Apache Kafka hỗ trợ hệ thống tính toán thù mang lại hệ sinh thái data . Nó với message giữa các nguyên tố không giống nhau của hạ tầng, hỗ trợ một đồ họa đồng bộ mang đến tất cả client. lúc được kết hợp với một hệ thống nhằm cung ứng các message, producers cùng consumers không còn đề xuất liên kết ngặt nghèo hoặc liên kết thẳng dưới ngẫu nhiên bề ngoài nào. Các yếu tắc hoàn toàn có thể đạt thêm với xóa lúc gặp mặt những ngôi trường vừa lòng không giống nhau ,và các producers không nhất thiết phải quyên tâm tới việc bạn đang thực hiện tài liệu hoặc số lượng áp dụng lấy tài liệu.

Use Cases

Activity tracking

Messaging

Kafka cũng được thực hiện để nhắn tin, chỗ các ứng dụng đề xuất gửi thông báo (như email) cho người dùng. Những vận dụng kia hoàn toàn có thể tạo ra lời nhắn mà không cần phải quyên tâm cho format hoặc biện pháp lời nhắn đang thực sự được gửi. Sau kia, một áp dụng có thể hiểu tất cả các lời nhắn được gửi cùng xử lý chúng một phương pháp đồng bộ, bao gồm:

Định dạng các messageThu thập nhiều message vào một trong những rồi bắt đầu được gửiÁp dụng tùy lựa chọn của người dùng về kiểu cách họ muốn dấn tin nhắn

Sử dụng một ứng dụng độc nhất vô nhị cho câu hỏi này nhằm tách sự quan trọng nên coppy tính năng trong tương đối nhiều áp dụng, cũng tương tự được cho phép các hoạt động như tổng phù hợp nhưng mà quan trọng triển khai được.

Xem thêm: 45+ Hình Ảnh Nhân Vật Hoạt Hình Nữ Dễ Thương Nhất, Tặng Bạn Bè

Metrics và logging

Kafka cũng lý tưởng phát minh để tích lũy những dữ liệu với logging. Đây là một chức năng vào ngôi trường phù hợp là có chức năng các ứng dụng tạo nên cùng một số loại message. Các áp dụng public dữ liệu liên tục cho topic Kafka với phần nhiều tài liệu này rất có thể được sử dụng vày các khối hệ thống để quan sát và theo dõi với lưu ý. Họ cũng hoàn toàn có thể được thực hiện vào một hệ thống nước ngoài tuyến nhỏng Hadoop nhằm tiến hành so với dài hạn rộng, ví dụ như đoán trước vững mạnh. Message rất có thể được public theo cùng một bí quyết, và rất có thể được được chuyển mang lại các khối hệ thống tìm kiếm tìm logging chuyên dụng nlỗi Elastitìm kiếm hoặc áp dụng so với bảo mật thông tin.

Commit log

Vì Kafka dựa trên định nghĩa commit log, những thay đổi cơ sở tài liệu có thể được public lên Kafka với các áp dụng hoàn toàn có thể dễ dàng theo dõi luồng này để nhận update trực tiếp lúc chúng xuất hiện. Luồng chuyển đổi này cũng có thể được thực hiện nhằm coppy những update cửa hàng tài liệu vào một trong những hệ thống từ bỏ xa hoặc để vừa lòng độc nhất các biến hóa từ không ít ứng dụng vào một trong những chính sách coi . Duy trì lâu dài hơn hết sức hữu dụng tại đây để hỗ trợ cỗ đệm đến đổi khác, tức là nó hoàn toàn có thể được tái phát trong ngôi trường vừa lòng áp dụng đem dữ liệu bị lỗi. Luân phiên, những topic được nén hoàn toàn có thể được sử dụng nhằm cung ứng tài năng cất giữ lâu hơn

Oaaa giới thiệu dường như lâu năm với Việc đọc có thể nâng cấp giấc mộng . Nhưng im trọng tâm ngay sau đó là phần khuyên bảo setup sẽ có được vào nội dung bài viết dưới đây :