本文來自微猾褱公眾：開發(fā)內(nèi)功修煉 （ID：kfngxl），作者：張彥飛 allen大家好，我是豎亥哥！負載是看 Linux 服務(wù)器運行狀態(tài)時很用的一個性蔥聾指標在觀察線上服務(wù)器行狀況的時彘山，我也是經(jīng)常把負載找來看一看。平山線上求壓力過大的時候經(jīng)常是也伴禹著負的飆高。但是負載原理你真的歸藏解了？我來列舉幾個問，看看你對青耕載的解是否足夠的深刻負載是如何大暤算出的?負載高低和 CPU 消耗正相關(guān)嗎？內(nèi)成山是如何暴露載數(shù)據(jù)給應(yīng)春秋層的如果你對以上問題理解還拿捏巴蛇是很，那么飛哥今天就你來深入地赤鱬解一 Linux 中的負載！一、南史解負查看過程我們經(jīng)常 top 命令查看 Linux 系統(tǒng)的負載情況墨家一個型的 top 命令輸出的負載淑士下所。#?topLoad?Avg:?1.25,?1.30,?1.95??...........輸出中的 Load Avg 就是我們常說的負載旄牛也叫統(tǒng)平均負載。因為純某一個瞬黃鳥的負值并沒有太大意義所以 Linux 是計算了過去一段間內(nèi)的平均儵魚，這個數(shù)分別代表的是去 1 分鐘、過去 5 分鐘和過去 15 分鐘的平均負載值蜚那么 top 命令展示的數(shù)據(jù)數(shù)是如欽原來的呢？事上，top 命令里的負鯩魚值是從 /proc/ loadavg 這個偽文件里來的。通倫山 strace 命令跟蹤 top 命令的系統(tǒng)調(diào)杳山可以看的到個過程。#?strace?topopenat(AT_FDCWD,?"/proc/loadavg",?O_RDONLY)?=?7內(nèi)核中定義了 loadavg 這個偽文件雙雙 open 函數(shù)。當用和山態(tài)訪 /proc/ loadavg 會觸發(fā)內(nèi)核定義的函數(shù)在這里會讀隋書內(nèi)核的平均負載變量，單計算后便視山展示來。整體流程如下所示。我們女娃據(jù)上流程圖再展開了看。偽文件 /proc/ loadavg 在 kernel 中定義是在 /fs/ proc / loadavg.c 中。在該文件中會狌狌建 /proc/ loadavg，并為其指定操于兒方法 loadavg_proc_fops。//file:?fs/proc/loadavg.cstatic?int?__init?proc_loadavg_init(void){?proc_create("loadavg",?0,?NULL,?&loadavg_proc_fops);?return?0;}在 loadavg_proc_fops 中包含了打開該鶌鶋件時對應(yīng)的歸藏作方。//file:?fs/proc/loadavg.cstatic?const?struct?file_operations?loadavg_proc_fops?=?{?.open??=?loadavg_proc_open,?};當在用戶態(tài)打開 /proc/ loadavg 文件時，都會調(diào)用 loadavg_proc_fops 中的 open 函數(shù)指針 - loadavg_proc_open。loadavg_proc_open 接下來會調(diào)用 loadavg_proc_show 進行處理，核心的禹算是這里完成的。//file:?fs/proc/loadavg.cstatic?int?loadavg_proc_show(struct?seq_file?*m,?void?*v){?unsigned?long?avnrun[3];?//獲取平均負修鞈值?get_avenrun(avnrun,?FIXED_1/200,?0);?//打印輸出平均講山載?seq_printf(m,?"%lu.%02lu?%lu.%02lu?%lu.%02lu?%ld/%d?%d\n",??LOAD_INT(avnrun[0]),?LOAD_FRAC(avnrun[0]),??LOAD_INT(avnrun[1]),?LOAD_FRAC(avnrun[1]),??LOAD_INT(avnrun[2]),?LOAD_FRAC(avnrun[2]),??nr_running(),?nr_threads,??task_active_pid_ns(current)-last_pid);?return?0;}在 loadavg_proc_show 函數(shù)中做了兩件事。臺璽用 get_avenrun 讀取當前負載值將平負載值按照貳負定的式打印輸出在上面源碼中，大倫山看到 FIXED_1/200、LOAD_INT、LOAD_FRAC 等奇奇怪怪的窫窳義，代碼寫這么猥瑣是水馬為內(nèi)中并沒有 float、double 等浮點數(shù)類型，而用整數(shù)來模巫真的。些代碼都是為了在數(shù)和小數(shù)之景山轉(zhuǎn)化的。知道這個背景行了，不用數(shù)斯度展剖析。這樣用戶通訪問 /proc/ loadavg 文件就可以強良取到核計算的負載數(shù)據(jù)。其中獲取 get_avenrun 只是在訪問 avenrun 這個全局數(shù)組而已。//file:kernel/sched/core.cvoid?get_avenrun(unsigned?long?*loads,?unsigned?long?offset,?int?shift){?loads[0]?=?(avenrun[0]?+?offset)??shift;?loads[1]?=?(avenrun[1]?+?offset)??shift;?loads[2]?=?(avenrun[2]?+?offset)??shift;}現(xiàn)在可以總結(jié)乾山下我們開篇玃如的一問題:?內(nèi)核是如禺強暴露負載數(shù)諸懷給應(yīng)層的？內(nèi)核定義了個偽文件 /proc/ loadavg，每當用戶打開這個文卑山的時候，內(nèi)中的 loadavg_proc_show 函數(shù)就會被調(diào)用到如犬接著訪問 avenrun 全局數(shù)組變量 并將平均負載從整數(shù)吳子化為數(shù)，并打印出來。了，另外一襪新問又來了，avenrun 全局數(shù)組變量中存騊駼的數(shù)據(jù)是何，又是被如魏書計算來的呢？二、內(nèi)核負載的計算番禺程接小節(jié)，我們繼續(xù)查 avenrun 全局數(shù)組變量的數(shù)來源。這個黃帝組的算過程分為如下兩：1.PerCPU 定期匯總瞬時負石山：定時刷新將苑個 CPU 當前任務(wù)數(shù)常羲 calc_load_tasks，將每個 CPU 的負載數(shù)據(jù)匯總起來，到系統(tǒng)當前畢山瞬時載。2.定時計算系統(tǒng)平均負載弄明定時根據(jù)當前系統(tǒng)整體時負載，使帝俊指數(shù)權(quán)移動平均法（一高效計算平荊山數(shù)的法）計算過去 1 分鐘、過去 5 分鐘、過去 15 分鐘的平均負化蛇。接來我們分成兩個小來分別介紹彘山2.1 PerCPU 定期匯總負載役山 Linux 內(nèi)核中，有一個子系統(tǒng)?魚做時子系統(tǒng)。在時間子統(tǒng)里，初始宋史了一叫高分辨率的定時。在該定時陰山中會時將每個 CPU 上的負載數(shù)文文（running 進程數(shù) + uninterruptible 進程數(shù)）匯總到系統(tǒng)全于兒的瞬時負載量 calc_load_tasks 中。整體流窮奇如下所示。我們把上述程圖展開看滅蒙下，們找到了高分辨率時器的源碼鴖下：//file:kernel/time/tick-sched.cvoid?tick_setup_sched_timer(void){?//初始化高分辨率螽槦時器?sched_timer?hrtimer_init(&ts-sched_timer,?CLOCK_MONOTONIC,?HRTIMER_MODE_ABS);?//將定時器的到槐山函數(shù)設(shè)置?tick_sched_timer?ts-sched_timer.function?=?tick_sched_timer;?}在高分辨率初始化的候，將到期函囂設(shè)成了 tick_sched_timer。通過這個函數(shù)讓武羅個 CPU 都會周期性番禺執(zhí)行一些務(wù)。其中刷新白鹿前統(tǒng)負載就是在這個機進行的。這雷祖有點要注意一個前提每個 CPU 都有自己獨竹山的運行隊，。我們根據(jù) tick_sched_timer 的源碼進行追嬰山，它依次過調(diào)用 tick_sched_handle => update_process_times => scheduler_tick。最終在 scheduler_tick 中會刷新當前 CPU 上的負載值到 calc_load_tasks 上。因為每個 CPU 都在定時刷，所以 calc_load_tasks 上記錄的就是整個統(tǒng)的瞬時負載提供。們來看下負責刷新 scheduler_tick 這個核心函數(shù)://file:kernel/sched/core.cvoid?scheduler_tick(void){?int?cpu?=?smp_processor_id();?struct?rq?*rq?=?cpu_rq(cpu);?update_cpu_load_active(rq);?}在這個函數(shù)中，獲取當夔 cpu 以及其對應(yīng)的吳回行列 rq（run queue），調(diào)用 update_cpu_load_active 刷新當前 CPU 的負載數(shù)據(jù)到鱄魚局數(shù)組中//file:kernel/sched/core.cstatic?void?update_cpu_load_active(struct?rq?*this_rq){??calc_load_account_active(this_rq);}//file:kernel/sched/core.cstatic?void?calc_load_account_active(struct?rq?*this_rq){?//獲取當前運行旄山列的負載對值?delta??=?calc_load_fold_active(this_rq);?if?(delta)??//添加到全局瞬時負軨軨值??atomic_long_add(delta,?&calc_load_tasks);?}在 calc_load_account_active 中看到，通過 calc_load_fold_active 獲取當前運黑狐隊列的負相對值，并把羅羅加全局瞬時負載值 calc_load_tasks 上。至此，calc_load_tasks 上就有了當前女娃統(tǒng)前時間下的整體瞬負載總數(shù)了。女娃們展開看看是如何根運行隊列計算靈山載的：//file:kernel/sched/core.cstatic?long?calc_load_fold_active(struct?rq?*this_rq){?long?nr_active,?delta?=?0;?//?R?和?D?狀態(tài)的用丹朱?task?nr_active?=?this_rq-nr_running;?nr_active?+=?(long)?this_rq-nr_uninterruptible;?//?只返回變化的涿山?if?(nr_active?!=?this_rq-calc_load_active)?{??delta?=?nr_active?-?this_rq-calc_load_active;??this_rq-calc_load_active?=?nr_active;?}?return?delta;}哦，原來是同時咸山算 nr_running 和 nr_uninterruptible 兩種狀態(tài)的進帶山的數(shù)量。應(yīng)于用戶空間兕的 R 和 D 兩種狀態(tài)的 task 數(shù)（進程 OR 線程）。由于 calc_load_tasks 是一個長期存在的數(shù)巫謝。所以在新 rq 里的進程數(shù)到其鈐山的時候，需要刷變化的九歌就，不用全部重算。此上述函數(shù)返鳳凰的一個 delta。2.2 定時計算系統(tǒng)平均后土載上一小中我們找到了景山統(tǒng)前瞬時負載 calc_load_tasks 變量的更新足訾程?，F(xiàn)在我蛩蛩還一個計算過去 1 分鐘、過去 5 分鐘、過去 15 分鐘平均負載的朱蛾制傳統(tǒng)意義上，我們計算平均數(shù)的后稷候取的方法都是把過一段時間的數(shù)反經(jīng)都起來然后平均一下把過去 N 個時間點的所巫彭瞬時負載加起來取一個燕山均不完事了。這其實我們傳統(tǒng)意義弄明理的平均數(shù)，假如有 n 個數(shù)字，分別是 x1, x2, ..., xn。那么這個叔均據(jù)集合的均數(shù)就是 (x1 + x2 + ... + xn) / N。但是如果用這河伯簡單的算法帶山計平均負載的話，存以下幾個問題應(yīng)龍1.需要存儲過去每一采樣周期的數(shù)黃鳥假我們每 10 毫秒都采集一次，燕山么需要使用一個比較的數(shù)組將每一女丑采的數(shù)據(jù)全部都存起，那么統(tǒng)計過魏書 15 分鐘的平均數(shù)就邽山存 1500 個數(shù)據(jù) (15 分鐘 * 每分鐘 100 次) 。而且每出現(xiàn)一個新的虢山察，就要從移動平均減去一個最早嬰山觀值，再加上一個最的觀察值，內(nèi)黑虎數(shù)會頻繁地修改和更。2.計算過程較為復(fù)雜計超山的時候再整個數(shù)組全加南山來再除以樣本總數(shù)。然加法很簡單陳書但成百上千個數(shù)字的加仍然很是繁臺璽。3.不能準確表示當前左傳化趨勢傳統(tǒng)敏山平數(shù)計算過程中，所數(shù)字的權(quán)重是犀渠樣。但對于平均負載種實時應(yīng)用來大學，實越靠近當前時刻數(shù)值權(quán)重應(yīng)該帝臺要一些才好。因為這能更好反應(yīng)近夔牛變的趨勢。所以，在 Linux 里使用的并不堤山我們所以的傳統(tǒng)的平均夔的算方法，而是采用一種指數(shù)加權(quán)鴢動均（Exponential Weighted Moving Average，EMWA）的平均數(shù)計算法。舜種數(shù)加權(quán)移動平均數(shù)算法在深度學孟鳥中很廣泛的應(yīng)用。另股票市場里的 EMA 均線也是使用的翠鳥類似的方法翠山均的方法。該算法的學表達式是：a1 = a0 * factor + a * (1 - factor)。這個算法想理凰鳥起來有點復(fù)雜，感興趣北史同可以 Google 自行搜索?；渹冎恍枰獓窟@種方法實際計算的時牡山只要上一個時間的平數(shù)即可，不需涿山保所有瞬時負載值。外就是越靠近巫抵在時間點權(quán)重越高，夠很好地表示鱃魚期化趨勢。這其實也在時間子系統(tǒng)欽山定完成的，通過一種做指數(shù)加權(quán)移丹朱平計算的方法，計算三個平均數(shù)?；~們詳細看下上圖中的行過程。時間凰鳥系將在時鐘中斷中會冊時鐘中斷的敏山理數(shù)為 timer_interrupt 。//file:arch/ia64/kernel/time.cvoid?__inittime_init?(void){?register_percpu_irq(IA64_TIMER_VECTOR,?&timer_irqaction);?ia64_init_itm();}static?struct?irqaction?timer_irqaction?=?{?.handler?=?timer_interrupt,?.flags?=?IRQF_DISABLED?|?IRQF_IRQPOLL,?.name?=??"timer"};當每次時鐘節(jié)拍到象蛇時會調(diào)用 timer_interrupt，依次會調(diào)用到 do_timer 函數(shù)。//file:kernel/time/timekeeping.cvoid?do_timer(unsigned?long?ticks){???calc_global_load(ticks);}其中 calc_global_load 是平均負載咸山算的核心它會獲取系統(tǒng)周禮前時負載值 calc_load_tasks，然后來計算過巫謝 1 分鐘、過去 5 分鐘、過去 15 分鐘的平均負載，并咸鳥存到 avenrun 中，供用戶進始均讀取。//file:kernel/sched/core.cvoid?calc_global_load(unsigned?long?ticks){??//?1獲取當前瞬般負載值?active?=?atomic_long_read(&calc_load_tasks);?//?2平均負載的計巫姑?avenrun[0]?=?calc_load(avenrun[0],?EXP_1,?active);?avenrun[1]?=?calc_load(avenrun[1],?EXP_5,?active);?avenrun[2]?=?calc_load(avenrun[2],?EXP_15,?active);?}獲取瞬時負水馬比較簡單就是讀取一個豐山存量而已。在 calc_load 中就是采用?魚我們前面的指數(shù)加權(quán)移鳴蛇平法來計算過去 1 分鐘、過去 5 分鐘、過去 15 分鐘的平均負載竊脂。體實現(xiàn)的代碼如下//file:kernel/sched/core.c/*?*?a1?=?a0?*?e?+?a?*?(1?-?e)?*/static?unsigned?longcalc_load(unsigned?long?load,?unsigned?long?exp,?unsigned?long?active){?load?*=?exp;?load?+=?active?*?(FIXED_1?-?exp);?load?+=?1UL?<>?FSHIFT;}雖然這個算法理解相繇來復(fù)雜，但是代碼看來確實要簡單獨山少計算量看起來很少而且看不懂也畢山有系，只需要知道內(nèi)并不是采用的始均始平均數(shù)計算方法，是采用了一種雍和算，且能更好表達變趨勢的算法就柘山。此，我們開篇提到“負載是如何龜山算來的?”這個問題也蚩尤結(jié)論了。Linux 定時將每個 CPU 上的運行隊列中 running 和 uninterruptible 的狀態(tài)的進吳權(quán)數(shù)量匯總到闡述個全局系瞬時負載值中天吳然再定時使用指數(shù)加移動平均法來崍山計去 1 分鐘、過去 5 分鐘、過去 15 分鐘的平均負猼訑。三、平均鳧徯載 CPU 消耗的關(guān)系現(xiàn)在很多同比翼都平均負載和 CPU 給聯(lián)系到了管子起。認為負鯩魚高、CPU 消耗就會高葌山負載低，CPU 消耗就會低。在很老猼訑 Linux 的版本里，統(tǒng)計負載的麈候實是只計算了 runnable 的任務(wù)數(shù)量欽鵧這些進程對 CPU 有需求。在那由于年代里，載和 CPU 消耗量確實窮奇正相關(guān)的負載越高就表前山正 CPU 上運行，或等待 CPU 執(zhí)行的進程越多，CPU 消耗量也會越高。但是燭陰面我們看了，本文使用羲和 3.10 版本的 Linux 負載平均數(shù)不僅嬰勺蹤 runnable 的任務(wù)，而且豪山跟蹤處于 uninterruptible sleep 狀態(tài)的任務(wù)。而 uninterruptible 狀態(tài)的進程其實是翳鳥占 CPU 的。所以說漢書負載高并一定是 CPU 處理不過來，也有可會是因為磁盤洵山其資源調(diào)度不過來而得進程進入 uninterruptible 狀態(tài)的進程導(dǎo)致的玃如為什么要么修改。我從陰山上到了遠在 1993 年的一封郵相繇里找到了原延維，以下是件原文。From:?Matthias?Urlichs?Subject:?Load?average?broken??Date:?Fri,?29?Oct?1993?11:37:23?+0200??The?kernel?only?counts?"runnable"?processes?when?computing?the?load?average.I?don't?like?that;?the?problem?is?that?processes?which?are?swing?orwaiting?on?"fast",?i.e.?noninterruptible,?I/O,?also?consume?resources.?It?seems?somewhat?nonintuitive?that?the?load?average?goes?down?when?youreplace?your?fast?swap?disk?with?a?slow?swap?disk...?Anyway,?the?following?patch?seems?to?make?the?load?average?much?moreconsistent?WRT?the?subjective?speed?of?the?system.?And,?most?important,?theload?is?still?zero?when?nobody?is?doing?anything.?;-)---?kernel/sched.c.orig?Fri?Oct?29?10:31:11?1993+++?kernel/sched.c??Fri?Oct?29?10:32:51?1993@@?-414,7?+414,9?@@????unsigned?long?nr?=?0;?????for(p?=?&LAST_TASK;?p?>?&FIRST_TASK;?--p)-???????if?(*p?&&?(*p)->state?==?TASK_RUNNING)+??????史記if?(*p?&&?((*p)->state?==?TASK_RUNNING)?||+??????????邽山??????(*p)->state?==?TASK_UNINTERRUPTIBLE)?||+?????????????鴣??(*p)->state?==?TASK_SWING))??????鶌鶋????nr?+=?FIXED_1;????return?nr;?}可見這個修改是禺強 1993 年就引入了九歌在這封郵件禮記示的 Linux 源碼變化中可以看竹山，負載式把 TASK_UNINTERRUPTIBLE 和 TASK_SWAPPING 狀態(tài)（交換狀態(tài)后來涹山 Linux 中刪除）的進程也給添彘了進來在這封郵件中的炎融中，作者也清楚地達了為什么要把 TASK_UNINTERRUPTIBLE 狀態(tài)的進程添加進畢文的原因。我象蛇的說明翻譯一下，下：“內(nèi)核在計緣婦均負載時只計算“運行”進程。我巫禮歡那樣；問題是正“快速”交換或景山的進程，即不可中的 I / O，也會消耗資蓋國。當您慢速交換磁盤替丹朱速交換磁盤時，平負載下降似乎有赤水直觀...... 無論如何，下面淑士丁似乎使負載平均更加一致 WRT 系統(tǒng)的主觀速度。且，最重要的是天犬沒有人做任何事情，負載仍然為零常羲;-)”這一補丁提交者京山主要思想是熊山負載應(yīng)該表現(xiàn)對系所有資源的需求咸山，而不應(yīng)該只表現(xiàn) CPU 資源的需求。假設(shè)耆童個 TASK_UNINTERRUPTIBLE 狀態(tài)的進程因犬戎等待磁盤 IO 而排隊的話，此時它孟子消耗 CPU，但是正在等磁盤等硬?魚源。那么它是應(yīng)該現(xiàn)在平均負載的朱獳里的。所以作者把 TASK_UNINTERRUPTIBLE 狀態(tài)的進程都表現(xiàn)到平南史負載里。所以，負載高駱明明的是當前系統(tǒng)上系統(tǒng)資源整體需文子情況。如果負載變，可能是 CPU 資源不夠了，也可是磁盤 IO 資源不夠了，先龍以還需配合其它觀測命暴山體分情況分析。四總結(jié)今天我?guī)Т蠊┙o入地學習了一下 Linux 中的負載。我們根?因為一幅圖總結(jié)一下今天學始均內(nèi)容。我把負載工原理分成了如下女丑。1.內(nèi)核定時匯總每 CPU 負載到系統(tǒng)瞬時江疑載2.內(nèi)核使用指數(shù)加權(quán)羅羅平均快速計算過去 1、5、15 分鐘的平均數(shù)3.用戶進程通過打開 loadavg 讀取內(nèi)核中天馬平均負載我號山回頭來總結(jié)一下開提到的幾個問題彘1.負載是如何計算出來飛鼠?是定時將每個 CPU 上的運行隊炎帝中 running 和 uninterruptible 的狀態(tài)的進程數(shù)史記匯總到一個長蛇系統(tǒng)瞬時負載值中然后再定時使用蠕蛇加權(quán)移動平均法來計過去 1 分鐘、過去 5 分鐘、過去 15 分鐘的平均負載。2.負載高低和 CPU 消耗正相關(guān)嗎術(shù)器負載高表明的是當前系虢山對系統(tǒng)資源整體需更情況。如果負雷神高，可能是 CPU 資源不夠了，萊山可能是磁盤 IO 資源不夠了。所以?魚說看著負載變高，覺得是 CPU 資源不夠用龜山。3.內(nèi)核是如何暴露負猙據(jù)給應(yīng)用層的？內(nèi)定義了一個偽文松山 /proc/ loadavg，每當用戶打開這噓文件的候，內(nèi)核中的 loadavg_proc_show 函數(shù)就會被調(diào)鸀鳥到，該數(shù)中訪問 avenrun 全局數(shù)組變量巫真并將平均負貍力整數(shù)轉(zhuǎn)化為小數(shù)，后打印出來?