臨近雙十一,從 2009 年第一屆
雙十一開始,成交量只有 5000 萬,到去年 2019 年,成交量達到了 2684 億。今年迎來了第十二屆
雙十一,想想都挺激動。
阿里人喜歡將雙十一視爲 Team Building(團隊建設),廣爲流傳的一句話:打仗是最好的團建,沒有參加過雙十一的叫同事,參加過雙十一的叫戰友。
上一篇我通過三國故事講解了服務雪崩和熔斷的機制,而且自己造了一個輪子:熔斷器
。而這一篇會講解被一線大廠使用的兩款流量防控組件:Sentinel
和 Hystrix
,以及對它們的橫向對比。
本篇主要內容如下:
本文已收錄到我的 Github:
https://github.com/Jackson0714/PassJava-Learning
點我 Github 鏈接
面對高併發的流量,我們通常會使用四種方式(熔斷&降級&限流&隔離)來防止瞬時大流量對系統的衝擊。而今天要介紹的這兩款流量防衛兵,是專門用在這方面的。下面我先給同學掃個小盲。
關鍵字:斷路保護
。比如 A 服務調用 B 服務,由於網絡問題或 B 服務宕機了或 B 服務的處理時間長,導致請求的時間超長,如果在一定時間內多次出現這種情況,就可以直接將 B 斷路了(A 不再請求B)。而調用 B 服務的請求直接返回降級數據,不必等待 B 服務的執行。因此 B 服務的問題,不會級聯影響到 A 服務。
關鍵字:返回降級數據
。網站處於流量高峯期,服務器壓力劇增,根據當前業務情況及流量,對一些服務和頁面進行有策略的降級(停止服務,所有的調用直接返回降級數據)。以此緩解服務器資源的壓力,保證核心業務的正常運行,保持了客戶和大部分客戶得到正確的響應。降級數據可以簡單理解爲快速返回了一個 false,前端頁面告訴用戶「服務器當前正忙,請稍後再試。」
什麼是限流?
對請求的流量進行控制, 只放行部分請求
,使服務能夠承擔不超過自己能力的流量壓力。
熔斷和降級的相同點?
熔斷和降級的不同點?
什麼是隔離?
Hystrix:高可用性保障的一個框架。由 Netflix 出品(Netflix可以理解爲國內的愛奇藝等視頻網站)。
2011 年,其中的 API 團隊爲了提升系統的可用性和穩定性,發展出了 Hystrix 框架。
2012 年,Hystrix 區域比較成熟穩定。其他團隊也開始使用 Hystrix。
2018 年 11 月,Hystrix在其 Github 主頁宣佈,不再開放新功能,推薦開發者使用其他仍然活躍的開源項目。但是 Hystrix 價值依舊很大,功能強大,國內很多一線互聯網公司在使用。
使用線程池隔離,比如說有 3 個服務 A、B、C,每個服務的線程池分配 10,20,30個線程,當 A 服務線程池中的 10 個線程都拿出來使用後,如果調用服務 A 的請求量增加,還想再增加線程是不行的,因爲 A 服務分配的線程已經用完了,不會拿其他的服務的線程,這樣就不會影響其他服務了。Hystrix 默認使用線程池隔離模式。
如下圖所示:簡單來說就是一個池子裏面放着一定數量的信號量,服務 A 每次調用服務 B 之前,需要從池子裏面申請信號量,申請到了,才能去調用 B 服務。
Sentinel:面向分佈式服務架構的流量控制組件,主要以流量爲切入點,從限流、流量整形、熔斷降級、系統負載保護、熱點防護等多個維度來幫助開發者保障微服務的穩定性。
用一張圖來總結:
Sentinel 中的資源是核心概念,可以是 Java 應用程序中的任何內容,可以是提供的服務,甚至是一段代碼。
可以通過 Sentinel API 定義的代碼,就是資源,能夠被 Sentinel保護起來。可以如下幾種方式來標識資源:
Sentinel 作爲一個流量控制器,可以根據需要把隨機的請求調整成合適的形狀,如下圖所示:
Hystrix 提供兩種隔離策略,線程池隔離和信號量隔離。
Hystrix 中最推薦的也是最常用的是線程池隔離。線程池隔離的好處是隔離度很高,不會影響其他資源,但是線程本身也有自己的問題,線程上下文切換時比較耗 CPU 資源的,如果對低延時要求比較高,影響還是挺大的,而且創建線程是需要分配內存的,創建的線程越多,需要分配的內存也會更多。而且如果對每個資源都創建一個線程池,那線程切換會帶來更大的損耗。
而 Hystrix 的信號量隔離,可以對某個資源調用的併發數進行限制,輕量級的,不用顯式創建線程池,但缺點是不能對慢調用進行自動降級,只能等客戶端那邊超時,還是有可能出現級聯阻塞的情形。
Sentinel 可以通過併發線程數模式的流量控制來提供信號量隔離的功能,而且它還具備響應時間的熔斷降級模式,防止過多的慢調用佔滿併發數而影響整個系統。
Sentinel 和 Hystrix 都是基於熔斷器模式。都支持基於異常比率來進行熔斷,但 Sentinel 更強大,可以基於響應時間、異常比率和異常數來進行熔斷降級。
Sentinel 和 Hystrix 都是基於滑動窗口進行實時統計,但 Hystrix 是基於 RxJava
的事件驅動模型,在服務調用成功/失敗/超時的時候發佈響應的事件,通過一系列的變換和聚合最終得到實時的指標統計數據流,可以被熔斷器或 Dashboard 消費。而 Sentinel 是基於 LeapArray
的滑動窗口。
除了上面提到的 三大對比外,Sentinel 還有一些 Hystrix 不具備的功能。
流量控制: 其原理是監控應用流量的 QPS 或併發線程數等指標,當達到指定的閾值時對流量進行控制,以避免被瞬時的流量高峯沖垮,從而保障應用的高可用性。
Sentinel 可以基於QPS/併發數進行流量控制,也可以基於調用關係進行流量控制。
基於 QPS 進行流量控制有以下幾種方式:
基於調用關係的流量控制:
Sentinel 系統自適應限流從整體維度對應用入口流量進行控制,藉助 TCP BBR
思想,結合應用的 Load、CPU 使用率、總體平均 RT、入口 QPS 和併發線程數等幾個維度的監控指標,通過自適應的流控策略,讓系統的入口流量和系統的負載達到一個平衡,讓系統儘可能跑在最大吞吐量的同時保證系統整體的穩定性。
我們把系統處理請求的過程想象爲一個水管,到來的請求是往這個水管灌水,當系統處理順暢的時候,請求不需要排隊,直接從水管中穿過,這個請求的RT是最短的;反之,當請求堆積的時候,那麼處理請求的時間則會變爲:排隊時間 + 最短處理時間。
推論一: 如果我們能夠保證水管裏的水量,能夠讓水順暢的流動,則不會增加排隊的請求;也就是說,這個時候的系統負載不會進一步惡化。
推論二: 當保持入口的流量是水管出來的流量的最大的值的時候,可以最大利用水管的處理能力。
Sentinel 提供一個輕量級的開源控制檯,它提供機器發現以及健康情況管理、監控(單機和集羣),規則管理和推送的功能。
Sentinel 針對 Spring Cloud、Dubbo、gRPC 都進行了適配,引入依賴和簡單的配置即可快速接入 Sentinel,相信 Sentinel 將是未來流量防控的一大利器。我比較看好 Sentinel。
有讀者問我秒殺系統該怎麼設計,在之前的文章中,我已經揭祕了秒殺系統的架構設計,下面我還是總結下秒殺系統的關注的八大點:
我是悟空,努力變強成爲超級賽亞人。
我們下期見!