目錄

1.概述

2.運行機制

3.Flume結構圖

1.概述

• Flume是一個分佈式、可靠、和高可用的海量日誌採集、聚合和傳輸的系統。
• Flume可以採集文件，socket數據包、文件、文件夾、kafka等各種形式源數據，又可以將採集到 的數據(下沉sink)輸出到HDFS、hbase、hive、kafka等衆多外部存儲系統中
• 一般的採集需求，通過對flume的簡單配置即可實現
• Flume針對特殊場景也具備良好的自定義擴展能力， 因此，flume可以適用於大部分的日常數據採集場景

2.運行機制

Flume分佈式系統中最核心的角色是agent，flume採集系統就是由一個個agent所連接起來形成，每一個agent相當於一個數據傳遞員，內部有三個組件：

• Source：採集組件，用於跟數據源對接，以獲取數據
• Sink：下沉組件，用於往下一級agent傳遞數據或者往最終存儲系統傳遞數據
• Channel：傳輸通道組件，用於從source將數據傳遞到sink

3.Flume結構圖

簡單結構 ：單個 Agent 採集數據

 複雜結構 ：多級 Agent 之間串聯