Linux 多線程全面解析
在傳統(tǒng)的Unix模型中,當一個進程需要由另一個實體執(zhí)行某件事時,該進程派生(fork)一個子進程,讓子進程去進行處理。Unix下的大多數(shù)網(wǎng)絡服務器程序都是這么編寫的,即父進程接受連接,派生子進程,子進程處理與客戶的交互。
雖然這種模型很多年來使用得很好,但是fork時有一些問題:
fork是昂貴的。內存映像要從父進程拷貝到子進程,所有描述字要在子進程中復制等等。目前有的Unix實現(xiàn)使用一種叫做寫時拷貝(copy-on-write)的技術,可避免父進程數(shù)據(jù)空間向子進程的拷貝。盡管有這種優(yōu)化技術,fork仍然是昂貴的。
fork子進程后,需要用進程間通信(IPC)在父子進程之間傳遞信息。Fork之前的信息容易傳遞,因為子進程從一開始就有父進程數(shù)據(jù)空間及所有描述字的拷貝。但是從子進程返回信息給父進程需要做更多的工作。
線程有助于解決這兩個問題。線程有時被稱為輕權進程(lightweight process),因為線程比進程“輕權”,一般來說,創(chuàng)建一個線程要比創(chuàng)建一個進程快10~100倍。
一個進程中的所有線程共享相同的全局內存,這使得線程很容易共享信息,但是這種簡易性也帶來了同步問題。
一個進程中的所有線程不僅共享全局變量,而且共享:進程指令、大多數(shù)數(shù)據(jù)、打開的文件(如描述字)、信號處理程序和信號處置、當前工作目錄、用戶ID和組ID。但是每個線程有自己的線程ID、寄存器集合(包括程序計數(shù)器和棧指針)、棧(用于存放局部變量和返回地址)、error、信號掩碼、優(yōu)先級。在Linux中線程編程符合Posix.1標準,稱為Pthreads。所有的pthread函數(shù)都以pthread_開頭。在調用它們前均要包括pthread.h頭文件,一個函數(shù)庫libpthread實現(xiàn)。
1.線程基礎介紹:
數(shù)據(jù)結構:
pthread_t:線程的ID pthread_attr_t:線程的屬性
操作函數(shù):
pthread_create():創(chuàng)建一個線程 pthread_exit():終止當前線程 pthread_cancel():中斷另外一個線程的運行 pthread_join():阻塞當前的線程,直到另外一個線程運行結束 pthread_attr_init():初始化線程的屬性 pthread_attr_setdetachstate():設置脫離狀態(tài)的屬性(決定這個線程在終止時是否可以被結合) pthread_attr_getdetachstate():獲取脫離狀態(tài)的屬性 pthread_attr_destroy():刪除線程的屬性 pthread_kill():向線程發(fā)送一個信號
同步函數(shù):
用于 mutex 和條件變量 pthread_mutex_init()初始化互斥鎖 pthread_mutex_destroy()刪除互斥鎖 pthread_mutex_lock():占有互斥鎖(阻塞操作) pthread_mutex_trylock():試圖占有互斥鎖(不阻塞操作)。即,當互斥鎖空閑時,將占有該鎖;否則,立即返回。 pthread_mutex_unlock():釋放互斥鎖 pthread_cond_init():初始化條件變量 pthread_cond_destroy():銷毀條件變量 pthread_cond_signal():喚醒第一個調用pthread_cond_wait()而進入睡眠的線程 pthread_cond_wait():等待條件變量的特殊條件發(fā)生 Thread-local storage(或者以Pthreads術語,稱作線程特有數(shù)據(jù)): pthread_key_create():分配用于標識進程中線程特定數(shù)據(jù)的鍵 pthread_setspecific():為指定線程特定數(shù)據(jù)鍵設置線程特定綁定 pthread_getspecific():獲取調用線程的鍵綁定,并將該綁定存儲在 value 指向的位置中 pthread_key_delete():銷毀現(xiàn)有線程特定數(shù)據(jù)鍵 pthread_attr_getschedparam();獲取線程優(yōu)先級 pthread_attr_setschedparam();設置線程優(yōu)先級
2.概念:
線程的組成部分:
-
Thread ID 線程IDStack 棧Policy 優(yōu)先級Signal mask 信號碼Errno 錯誤碼Thread-Specific Data 特殊數(shù)據(jù)
3.線程定義
pthread_t pthread_ID ,用于標識一個線程,不能單純看成整數(shù),可能是結構體,與實現(xiàn)有關
pthread_equal函數(shù)用于比較兩個pthread_t是否相等
#include <pthread.h> int pthread_equal(pthread_t tid1,pthread_t tid2)
pthread_self函數(shù)用于獲得本線程的thread id
#include <pthread.h> pthread _t pthread_self(void);
4.線程的創(chuàng)建
創(chuàng)建線程調用pthread_create函數(shù):
#include <pthread.h> int pthread_create(
pthread_t*restrict tidp,
constpthread_attr_t*restrict attr,
void*(*start_rtn)(void*),void*restrict arg);
參數(shù)說明:
pthread_t *restrict tidp:返回最后創(chuàng)建出來的Thread的Thread IDconst pthread_attr_t *restrict attr:指定線程的Attributes,后面會講道,現(xiàn)在可以用NULLvoid *(*start_rtn)(void *):指定線程函數(shù)指針,該函數(shù)返回一個void *,參數(shù)也為void*void *restrict arg:傳入給線程函數(shù)的參數(shù)返回錯誤值。
一個進程中的每個線程都由一個線程ID(thread ID)標識,其數(shù)據(jù)類型是pthread_t(常常是unsigned int)。如果新的線程創(chuàng)建成功,其ID將通過tid指針返回。
每個線程都有很多屬性:優(yōu)先級、起始棧大小、是否應該是一個守護線程等等,當創(chuàng)建線程時,我們可通過初始化一個pthread_attr_t變量說明這些屬性以覆蓋缺省值。我們通常使用缺省值,在這種情況下,我們將attr參數(shù)說明為空指針。
最后,當創(chuàng)建一個線程時,我們要說明一個它將執(zhí)行的函數(shù)。線程以調用該函數(shù)開始,然后或者顯式地終止(調用pthread_exit)或者隱式地終止(讓該函數(shù)返回)。函數(shù)的地址由func參數(shù)指定,該函數(shù)的調用參數(shù)是一個指針arg,如果我們需要多個調用參數(shù),我們必須將它們打包成一個結構,然后將其地址當作唯一的參數(shù)傳遞給起始函數(shù)。
在func和arg的聲明中,func函數(shù)取一個通用指針(void *)參數(shù),并返回一個通用指針(void *),這就使得我們可以傳遞一個指針(指向任何我們想要指向的東西)給線程,由線程返回一個指針(同樣指向任何我們想要指向的東西)。調用成功,返回0,出錯時返回正Exxx值。
pthread函數(shù)在出錯的時候不會設置errno,而是直接返回錯誤值
在Linux 系統(tǒng)下面,在老的內核中,由于Thread也被看作是一種特殊,可共享地址空間和資源的Process,因此在同一個Process中創(chuàng)建的不同 Thread具有不同的Process ID(調用getpid獲得)。而在新的2.6內核之中,Linux采用了NPTL(Native POSIX Thread Library)線程模型,在該線程模型下同一進程下不同線程調用getpid返回同一個PID。
不能對創(chuàng)建的新線程和當前創(chuàng)建者線程的運行順序作出任何假設
5.線程的退出
exit, _Exit, _exit用于中止當前進程,而非線程
中止線程可以有三種方式:
a. 在線程函數(shù)中returnb. 被同一進程中的另外的線程Cancel掉c. 線程調用pthread_exit函數(shù)
pthread_exit和pthread_join函數(shù)的用法:
a. 線程A調用pthread_join(B, &rval_ptr),被Block,進入Detached狀態(tài)(如果已經(jīng)進入Detached狀態(tài),則pthread_join函數(shù)返回EINVAL)。如果對B的結束代碼不感興趣,rval_ptr可以傳NULL。b. 線程B調用pthread_exit(rval_ptr),退出線程B,結束代碼為rval_ptr。注意rval_ptr指向的內存的生命周期,不應該指向B的Stack中的數(shù)據(jù)。c. 線程A恢復運行,pthread_join函數(shù)調用結束,線程B的結束代碼被保存到rval_ptr參數(shù)中去。如果線程B被Cancel,那么rval_ptr的值就是PTHREAD_CANCELLED。
兩個函數(shù)原型如下:
#include <pthread.h> void pthread_exit(void*rval_ptr); int pthread_join(pthread_t thread,void**rval_ptr);
該函數(shù)等待一個線程終止。把線程和進程相比,pthread_creat類似于fork,而 pthread_join類似于waitpid。我們必須要等待線程的tid,很可惜,我們沒有辦法等待任意一個線程結束。如果status指針非空,線程的返回值(一個指向某個對象的指針)將存放在status指向的位置。
一個Thread可以要求另外一個Thread被Cancel,通過調用pthread_cancel函數(shù):
#include <pthread.h> void pthread_cancel(pthread_t tid)
該函數(shù)會使指定線程如同調用了pthread_exit(PTHREAD_CANCELLED)。不過,指定線程可以選擇忽略或者進行自己的處理,在后面會講到。此外,該函數(shù)不會導致Block,只是發(fā)送Cancel這個請求。
線程可以安排在它退出的時候,某些函數(shù)自動被調用,類似atexit()函數(shù)。需要調用如下函數(shù):
#include <pthread.h> void pthread_cleanup_push(void(*rtn)(void*),void*arg); void pthread_cleanup_pop(int execute);
這兩個函數(shù)維護一個函數(shù)指針的Stack,可以把函數(shù)指針和函數(shù)參數(shù)值push/pop。執(zhí)行的順序則是從棧頂?shù)綏5祝簿褪呛蚿ush的順序相反。
在下面情況下pthread_cleanup_push所指定的thread cleanup handlers會被調用:
a. 調用pthread_exit
b. 相應cancel請求
c. 以非0參數(shù)調用pthread_cleanup_pop()。(如果以0調用pthread_cleanup_pop(),那么handler不會被調用
有一個比較怪異的要求是,由于這兩個函數(shù)可能由宏的方式來實現(xiàn),因此這兩個函數(shù)的調用必須得是在同一個Scope之中,并且配對,因為在pthread_cleanup_push的實現(xiàn)中可能有一個{,而 pthread_cleanup_pop可能有一個}。因此,一般情況下,這兩個函數(shù)是用于處理意外情況用的,舉例如下:
void*thread_func(void*arg) { pthread_cleanup_push(cleanup,“handler”) // do something Pthread_cleanup_pop(0); return((void*)0); }
進程函數(shù)和線程函數(shù)的相關性:
缺省情況下,一個線程A的結束狀態(tài)被保存下來直到pthread_join為該線程被調用過,也就是說即使線程A已經(jīng)結束,只要沒有線程B調用 pthread_join(A),A的退出狀態(tài)則一直被保存。而當線程處于Detached狀態(tài)之時,當線程退出的時候,其資源可以立刻被回收,那么這個退出狀態(tài)也丟失了。在這個狀態(tài)下,無法為該線程調用pthread_join函數(shù)。我們可以通過調用pthread_detach函數(shù)來使指定線程進入 Detach狀態(tài):
#include <pthread.h> int pthread_detach(pthread_t tid);
通過修改調用pthread_create函數(shù)的attr參數(shù),我們可以指定一個線程在創(chuàng)建之后立刻就進入Detached狀態(tài)
6.線程同步
互斥量:Mutex
各個現(xiàn)成向同一個文件順序寫入數(shù)據(jù),最后得到的結果是不可想象的。所以用互斥鎖來保證一段時間內只有一個線程在執(zhí)行一段代碼。
-
用于互斥訪問
-
類型:pthread_mutex_t,必須被初始化為PTHREAD_MUTEX_INITIALIZER
(用于靜態(tài)分配的mutex,等價于 pthread_mutex_init(…, NULL))或者調用pthread_mutex_init。Mutex也應該用pthread_mutex_destroy來銷毀。這兩個函數(shù)原型如下:(attr的具體含義下一章討論)
#include <pthread.h> int pthread_mutex_init(
pthread_mutex_t*restrict mutex,
constpthread_mutexattr_t*restrict attr)
int pthread_mutex_destroy(pthread_mutex_t*mutex);
pthread_mutex_lock 用于Lock Mutex,如果Mutex已經(jīng)被Lock,該函數(shù)調用會Block直到Mutex被Unlock,然后該函數(shù)會Lock Mutex并返回。pthread_mutex_trylock類似,只是當Mutex被Lock的時候不會Block,而是返回一個錯誤值EBUSY。
pthread_mutex_unlock則是unlock一個mutex。這三個函數(shù)原型如下:
#include <pthread.h> int pthread_mutex_lock(pthread_mutex_t*mutex); int pthread_mutex_trylock(pthread_mutex_t*mutex); int pthread_mutex_unlock(pthread_mutex_t*mutex);
舉例說明
void reader_function (void); void writer_function (void); char buffer; int buffer_has_item=0; pthread_mutex_t mutex; struct timespec delay; void main (void) { pthread_t reader; /* 定義延遲時間*/ delay.tv_sec =2; delay.tv_nec =0; /* 用默認屬性初始化一個互斥鎖對象*/ pthread_mutex_init (&mutex,NULL); pthread_create(&reader, pthread_attr_default,(void*)&reader_function), NULL); writer_function(); } void writer_function (void){ while(1){ /* 鎖定互斥鎖*/ pthread_mutex_lock (&mutex); if(buffer_has_item==0){ buffer=make_new_item(); buffer_has_item=1; } /* 打開互斥鎖*/ pthread_mutex_unlock(&mutex); pthread_delay_np(&delay); } } void reader_function(void){ while(1){ pthread_mutex_lock(&mutex); if(buffer_has_item==1){ consume_item(buffer); buffer_has_item=0; } pthread_mutex_unlock(&mutex); pthread_delay_np(&delay); } }
需要注意的是在使用互斥鎖的過程中很有可能會出現(xiàn)死鎖:兩個線程試圖同時占用兩個資源,并按不同的次序鎖定相應的互斥鎖,例如兩個線程都需要鎖定互斥鎖1和互斥鎖2,a線程先鎖定互斥鎖1,b 線程先鎖定互斥鎖2,這時就出現(xiàn)了死鎖。此時我們可以使用函數(shù) pthread_mutex_trylock,它是函數(shù)pthread_mutex_lock的非阻塞版本,當它發(fā)現(xiàn)死鎖不可避免時,它會返回相應的信息,程序員可以針對死鎖做出相應的處理。另外不同的互斥鎖類型對死鎖的處理不一樣,但最主要的還是要程序員自己在程序設計注意這一點
讀寫鎖:Reader-Writer Locks
多個線程可以同時獲得讀鎖(Reader-Writer lock in read mode),但是只有一個線程能夠獲得寫鎖(Reader-writer lock in write mode)
讀寫鎖有三種狀態(tài)
-
一個或者多個線程獲得讀鎖,其他線程無法獲得寫鎖
-
一個線程獲得寫鎖,其他線程無法獲得讀鎖
-
沒有線程獲得此讀寫鎖
類型為pthread_rwlock_t
創(chuàng)建和關閉方法如下:
#include <pthread.h> int pthread_rwlock_init(
pthread_rwlock_t*restrict rwlock,
constpthread_rwlockattr_t*restrict attr)
int pthread_rwlock_destroy(pthread_rwlock_t*rwlock);
獲得讀寫鎖的方法如下:
#include <pthread.h> int pthread_rwlock_rdlock(pthread_rwlock_t*rwlock); int pthread_rwlock_wrlock(pthread_rwlock_t*rwlock); int pthread_rwlock_unlock(pthread_rwlock_t*rwlock); int pthread_rwlock_tryrdlock(pthread_rwlock_t*rwlock); int pthread_rwlock_trywrlock(pthread_rwlock_t*rwlock);
pthread_rwlock_rdlock:獲得讀鎖
pthread_rwlock_wrlock:獲得寫鎖
pthread_rwlock_unlock:釋放鎖,不管是讀鎖還是寫鎖都是調用此函數(shù)
注意具體實現(xiàn)可能對同時獲得讀鎖的線程個數(shù)有限制,所以在調用 pthread_rwlock_rdlock的時候需要檢查錯誤值,而另外兩個pthread_rwlock_wrlock和 pthread_rwlock_unlock則一般不用檢查,如果我們代碼寫的正確的話。
-
Conditional Variable:條件變量
互斥鎖一個明顯的缺點是它只有兩種狀態(tài):鎖定和非鎖定。而條件變量通過允許線程阻塞和等待另一個線程發(fā)送信號的方法彌補了互斥鎖的不足,它常和互斥鎖一起使用。使用時,條件變量被用來阻塞一個線程,當條件不滿足時,線程往往解開相應的互斥鎖并等待條件發(fā)生變化。一旦其它的某個線程改變了條件變量,它將通知相應的條件變量喚醒一個或多個正被此條件變量阻塞的線程。這些線程將重新鎖定互斥鎖并重新測試條件是否滿足。一般說來,條件變量被用來進行線程間的同步。
條件必須被Mutex保護起來
類型為:pthread_cond_t,必須被初始化為PTHREAD_COND_INITIALIZER(用于靜態(tài)分配的條件,等價于pthread_cond_init(…, NULL))或者調用pthread_cond_init
#include <pthread.h> int pthread_cond_init(
pthread_cond_t*restrict cond,
constpthread_condxattr_t*restrict attr)
int pthread_cond_destroy(pthread_cond_t*cond);
pthread_cond_wait 函數(shù)用于等待條件發(fā)生(=true)。pthread_cond_timedwait類似,只是當?shù)却瑫r的時候返回一個錯誤值ETIMEDOUT。超時的時間用timespec結構指定。此外,兩個函數(shù)都需要傳入一個Mutex用于保護條件
#include <pthread.h> int pthread_cond_wait( pthread_cond_t*restrict cond, pthread_mutex_t*restrict mutex); int pthread_cond_timedwait( pthread_cond_t*restrict cond, pthread_mutex_t*restrict mutex, conststruct timespec *restrict timeout);
一個簡單例子:
pthread_mutex_t count_lock; pthread_cond_t count_nonzero; unsigned count; decrement_count (){ pthread_mutex_lock (&count_lock); while(count==0) pthread_cond_wait(&count_nonzero,&count_lock); count=count -1; pthread_mutex_unlock (&count_lock); } increment_count(){ pthread_mutex_lock(&count_lock); if(count==0) pthread_cond_signal(&count_nonzero); count=count+1; pthread_mutex_unlock(&count_lock); }
count 值為0時, decrement函數(shù)在pthread_cond_wait處被阻塞,并打開互斥鎖count_lock。此時,當調用到函數(shù) increment_count時,pthread_cond_signal()函數(shù)改變條件變量,告知decrement_count()停止阻塞。
timespec結構定義如下:
struct timespec { time_t tv_sec; /* seconds */ long tv_nsec; /* nanoseconds */ };
注意timespec的時間是絕對時間而非相對時間,因此需要先調用gettimeofday函數(shù)獲得當前時間,再轉換成timespec結構,加上偏移量。
有兩個函數(shù)用于通知線程條件被滿足(=true):
#include <pthread.h> int pthread_cond_signal(pthread_cond_t*cond); int pthread_cond_broadcast(pthread_cond_t*cond);
兩者的區(qū)別是前者會喚醒單個線程,而后者會喚醒多個線程。
7.線程屬性
線程屬性設置
我們用pthread_create函數(shù)創(chuàng)建一個線程,在這個線程中,我們使用默認參數(shù),即將該函數(shù)的第二個參數(shù)設為NULL。的確,對大多數(shù)程序來說,使用默認屬性就夠了,但我們還是有必要來了解一下線程的有關屬性。
屬性結構為pthread_attr_t,它同樣在頭文件pthread.h中定義,屬性值不能直接設置,須使用相關函數(shù)進行操作,初始化的函數(shù)為pthread_attr_init,這個函數(shù)必須在pthread_create函數(shù)之前調用。屬性對象主要包括是否綁定、是否分離、
堆棧地址、堆棧大小、優(yōu)先級。默認的屬性為非綁定、非分離、缺省的堆棧、與父進程同樣級別的優(yōu)先級。
綁定
關于線程的綁定,牽涉到另外一個概念:輕進程(LWP:Light Weight Process)。輕進程可以理解為內核線程,它位于用戶層和系統(tǒng)層之間。系統(tǒng)對線程資源的分配、對線程的控制是通過輕進程來實現(xiàn)的,一個輕進程可以控制一個或多個線程。默認狀況下,啟動多少輕進程、哪些輕進程來控制哪些線程是由系統(tǒng)來控制的,這種狀況即稱為非綁定的。綁定狀況下,則顧名思義,即某個線程固定的"綁"在一個輕進程之上。被綁定的線程具有較高的響應速度,這是因為CPU時間片的調度是面向輕進程的,綁定的線程可以保證在需要的時候它總有一個輕進程可用。通過設置被綁定的輕進程的優(yōu)先級和調度級可以使得綁定的線程滿足諸如實時反應之類的要求。
設置線程綁定狀態(tài)的函數(shù)為 pthread_attr_setscope,它有兩個參數(shù),第一個是指向屬性結構的指針,第二個是綁定類型,它有兩個取值:PTHREAD_SCOPE_SYSTEM(綁定的)和PTHREAD_SCOPE_PROCESS(非綁定的)。下面的代碼即創(chuàng)建了一個綁定的線程。
#include <pthread.h> pthread_attr_t attr; pthread_t tid; /*初始化屬性值,均設為默認值*/ pthread_attr_init(&attr); pthread_attr_setscope(&attr, PTHREAD_SCOPE_SYSTEM); pthread_create(&tid,&attr,(void*) my_function, NULL);
線程分離狀態(tài)
線程的分離狀態(tài)決定一個線程以什么樣的方式來終止自己。非分離的線程終止時,其線程ID和退出狀態(tài)將保留,直到另外一個線程調用 pthread_join.分離的線程在當它終止時,所有的資源將釋放,我們不能等待它終止。
設置線程分離狀態(tài)的函數(shù)為
pthread_attr_setdetachstate(pthread_attr_t *attr, int detachstate)
第二個參數(shù)可選為PTHREAD_CREATE_DETACHED(分離線程)或 PTHREAD _CREATE_JOINABLE(非分離線程)。
這里要注意的一點是,如果設置一個線程為分離線程,而這個線程運行又非常快,它很可能在 pthread_create函數(shù)返回之前就終止了,它終止以后就可能將線程號和系統(tǒng)資源移交給其他的線程使用,這樣調用pthread_create的線程就得到了錯誤的線程號。要避免這種情況可以采取一定的同步措施,最簡單的方法之一是可以在被創(chuàng)建的線程里調用 pthread_cond_timewait函數(shù),讓這個線程等待一會兒,留出足夠的時間讓函數(shù)pthread_create返回。設置一段等待時間,是在多線程編程里常用的方法。
4.優(yōu)先級
它存放在結構sched_param中。用函數(shù)
pthread_attr_getschedparam和函數(shù) pthread_attr_setschedparam進行存放,一般說來,我們總是先取優(yōu)先級,對取得的值修改后再存放回去。下面即是一段簡單的例子。
#include <pthread.h> #include <sched.h> pthread_attr_t attr;pthread_t tid; sched_param param; int newprio=20; /*初始化屬性*/ pthread_attr_init(&attr); /*設置優(yōu)先級*/ pthread_attr_getschedparam(&attr,?m); param.sched_priority=newprio; pthread_attr_setschedparam(&attr,?m); pthread_create(&tid,&attr,(void*)myfunction, myarg);
