go goroutine調度機制 && goroutine池
- Posted by 微博@Yangsc_o
- 原創文章，版權聲明：自由轉載-非商用-非衍生-保持署名 | Creative Commons BY-NC-ND 3.0
摘要
使用go語言寫程序差很少有半年多了，也對go語言有了更深的理解，今天聊聊go goroutine的調度原理。html
線程
進程：進程是併發執行程序在執行過程當中資源分配和管理的基本單位（資源分配的最小單位）。進程能夠理解爲一個應用程序的執行過程，應用程序一旦執行，就是一個進程。每一個進程都有本身獨立的地址空間，每啓動一個進程，系統就會爲它分配地址空間，創建數據表來維護代碼段、堆棧段和數據段。git
線程：程序執行的最小單位。github
併發編程的目的是爲了讓程序運行得更快，可是並非啓動更多的線程就能讓程序最大限度地併發執行。在進行併發編程時，若是但願經過多線程執行任務讓程序運行得更快，會面臨很是多的挑戰，好比上下文切換的問題、死鎖的問題，以及受限於硬件和軟件的資源限制問題。算法
上下文切換
即便是單核CPU也支持多線程執行代碼，CPU經過給每一個線程分配CPU時間片來實現這個機制。時間片是CPU分配給各個線程的時間，由於時間片很是短，因此CPU經過不停地切換線程執行，讓咱們感受多個線程時同時執行的，時間片通常是幾十毫秒（ms）。編程
CPU經過時間片分配算法來循環執行任務，當前任務執行一個時間片後會切換到下一個任務。可是，在切換前會保存上一個任務的狀態，以便下次切換回這個任務時，能夠再次加載這個任務的狀態，從任務保存到再加載的過程就是一次上下文切換。緩存
這就像咱們同時讀兩本書，當咱們在讀一本英文的技術書籍時，發現某個單詞不認識，因而便打開中英文詞典，可是在放下英文書籍以前，大腦必須先記住這本書讀到了多少頁的第多少行，等查完單詞以後，可以繼續讀這本書。這樣的切換是會影響讀書效率的，一樣上下文切換也會影響多線程的執行速度。多線程
在高併發應用中頻繁建立線程會形成沒必要要的開銷，因此有了線程池。併發
線程池
線程池中預先保存必定數量的線程，而新任務將再也不以建立線程的方式去執行，而是將任務發佈到任務隊列，線程池中的線程不斷的從任務隊列中取 出任務並執行，能夠有效的減小線程建立和銷燬所帶來的開銷。函數
下圖展現一個典型的線程池:高併發
G每每表明一個函數。線程池中的線程worker線程不斷的從任務隊列中取出任務並執行。而worker線程的調度則交給操做系統進行調度。
若是worker線程執行的G任務中發生系統調用，則操做系統會將該線程置爲阻塞狀態，也意味着該線程在怠工，也意味着消費任務隊列的worker線程變少了，也就是說線程池消費任務隊列的能力變弱了。
若是任務隊列中的大部分任務都會進行系統調用，則會讓這種狀態惡化，大部分worker線程進入阻塞狀態，從而任務隊列中的任務產生堆積。
解決這個問題的一個思路就是從新審視線程池中線程的數量，增長線程池中線程數量能夠必定程度上提升消費能力， 但隨着線程數量增多，因爲過多線程爭搶CPU，消費能力會有上限，甚至出現消費能力降低。
這個問題如何解呢？
Goroutine調度器
線程數過多，意味着操做系統會不斷的切換線程，頻繁的上下文切換就成了性能瓶頸。Go提供一種機制，能夠在線程中本身實現調度，上下文切換更輕量，從而達到了線程數少，而併發數並很多的效果。而線程中調度的就是 Goroutine.
Goroutine 調度器的工做就是把「ready-to- run」的goroutine分發到線程中。
Goroutine主要概念以下:
- G(Goroutine): 即Go協程，每一個go關鍵字都會建立一個協程。
- M(Machine): 工做線程，在Go中稱爲Machine。
- P(Processor): 處理器(Go中定義的一個摡念，不是指CPU)，包含運行Go代碼的必要資源，也有調度 goroutine的能力。
M必須擁有P才能夠執行G中的代碼，P含有一個包含多個G的隊列，P能夠調度G交由M執行。其關係以下圖所示:
圖中M是交給操做系統調度的線程，M持有一個P，P將G調度進M中執行。P同時還維護着一個包含G的隊列(圖中灰色部 分)，能夠按照必定的策略將不能的G調度進M中執行。
P的個數在程序啓動時決定，默認狀況下等同於CPU的核數，因爲M必須持有一個P才能夠運行Go代碼，因此同時運行的 M個數，也即線程數通常等同於CPU的個數，以達到儘量的使用CPU而又不至於產生過多的線程切換開銷。
程序中可使用 runtime.GOMAXPROCS() 設置P的個數，在某些IO密集型的場景下能夠在必定程度上提升性能。
Goroutine調度策略
隊列輪轉
上圖中可見每一個P維護着一個包含G的隊列，不考慮G進入系統調用或IO操做的狀況下，P週期性的將G調度到M中執行， 執行一小段時間，將上下文保存下來，而後將G放到隊列尾部，而後從隊列中從新取出一個G進行調度。
除了每一個P維護的G隊列之外，還有一個全局的隊列，每一個P會週期性的查看全局隊列中是否有G待運行並將期調度到M中執行，全局隊列中G的來源，主要有從系統調用中恢復的G。之因此P會週期性的查看全局隊列，也是爲了防止全局隊列中的G被餓死。
隊列輪轉
上面說到P的個數默認等於CPU核數，每一個M必須持有一個P才能夠執行G，通常狀況下M的個數會略大於P的個數，這多 出來的M將會在G產生系統調用時發揮做用。相似線程池，Go也提供一個M的池子，須要時從池子中獲取，用完放回池 子，不夠用時就再建立一個。
如圖所示，當G0即將進入系統調用時，M0將釋放P，進而某個空閒的M1獲取P，繼續執行P隊列中剩下的G。而M0因爲 陷入系統調用而進被阻塞，M1接替M0的工做，只要P不空閒，就能夠保證充分利用CPU。
M1的來源有多是M的緩存池，也多是新建的。當G0系統調用結束後，跟據M0是否能獲取到P，將會將G0作不一樣的處理:
- 若是有空閒的P，則獲取一個P，繼續執行G0。
- 若是沒有空閒的P，則將G0放入全局隊列，等待被其餘的P調度。而後M0將進入緩存池睡眠
工做量竊取
多個P中維護的G隊列有多是不均衡的，好比下圖:
豎線左側中右邊的P已經將G所有執行完，而後去查詢全局隊列，全局隊列中也沒有G，而另外一個M中除了正在運行的G 外，隊列中還有3個G待運行。此時，空閒的P會將其餘P中的G偷取一部分過來，通常每次偷取一半。偷取完如右圖所 示。
小結
通常來說，程序運行時就將GOMAXPROCS大小設置爲CPU核數，可以讓Go程序充分利用CPU。在某些IO密集型的應用 裏，這個值可能並不意味着性能最好。理論上當某個Goroutine進入系統調用時，會有一個新的M被啓用或建立，繼續佔滿CPU。但因爲Go調度器檢測到M被阻塞是有必定延遲的，也即舊的M被阻塞和新的M獲得運行之間是有必定間隔的，因此在IO密集型應用中不妨把GOMAXPROCS設置的大一些，或許會有好的效果。
Goroutine池
同理，在寫 go 併發程序的時候若是程序會啓動大量的 goroutine ，勢必會消耗大量的系統資源（內存，CPU），同理若是引入池化技術，衍生出goroutine池，複用 goroutine ，則會節省資源，提高性能。
選擇一個開源的Ants爲例。
ants運行原理
性能
從該Ants demo 測試吞吐性能對比能夠看出，使用ants的吞吐性能相較於原生 goroutine 能夠保持在 2-6 倍的性能壓制，而內存消耗則能夠達到 10-20 倍的節省優點。
想要深刻了解Ants，請移步項目地址：https://github.com/panjf2000/ants/blob/master/README_ZH.md