USB攝像頭以其良好的性能和低廉的價(jià)格得到廣泛應(yīng)用。同時(shí)因其靈活、方便的特性，易于集成到嵌入式系統(tǒng)中。但是如果使用現(xiàn)有的符合Video for Linux標(biāo)準(zhǔn)的驅(qū)動(dòng)程序配合通用應(yīng)用程序，難以充分利用USB帶寬，幀速不高，不易滿(mǎn)足實(shí)時(shí)監(jiān)控等要求。本文首先介紹在Linux系統(tǒng)下USB攝像頭驅(qū)動(dòng)編制的一般方法，然后說(shuō)明在此基礎(chǔ)上如何提高幀速。
1 Linux系統(tǒng)中的USB攝像頭驅(qū)動(dòng)程序
USB設(shè)備驅(qū)動(dòng)程序完全符合通用設(shè)備驅(qū)動(dòng)的準(zhǔn)則，不同的是內(nèi)核提供了一些特別的API函數(shù)，方便驅(qū)動(dòng)注冊(cè)、銷(xiāo)毀自己，例如usb_reSister()和usb_dereSister()；2．4版的內(nèi)核還提供了對(duì)于hotplug的支持。
1．1 USB攝像頭驅(qū)動(dòng)的一般編寫(xiě)方法
攝像頭屬于視頻類(lèi)設(shè)備。在目前的Linux核心中，視頻部分的標(biāo)準(zhǔn)是Video for Linux(簡(jiǎn)稱(chēng)V4L)。這個(gè)標(biāo)準(zhǔn)其實(shí)定義了一套接口，內(nèi)核、驅(qū)動(dòng)、應(yīng)用程序以這個(gè)接口為標(biāo)準(zhǔn)進(jìn)行交流。目前的V4L涵蓋了視、音頻流捕捉及處理等內(nèi)容，USB攝像頭也屬于它支持的范疇。
因此，USB攝像頭的驅(qū)動(dòng)應(yīng)當(dāng)與內(nèi)核提供的視頻驅(qū)動(dòng)掛鉤。即首先在驅(qū)動(dòng)中聲明一個(gè)video_device結(jié)構(gòu)，并為其指定文件操作函數(shù)指針數(shù)組．fops，向系統(tǒng)注冊(cè)。在應(yīng)用程序發(fā)出文件操作的相關(guān)命令時(shí)，核心根據(jù)這些指針調(diào)用相應(yīng)函數(shù)，并將該結(jié)構(gòu)作為參數(shù)傳遞給它們。這樣，就完成了驅(qū)動(dòng)和核心之間的通信。例如：
static struct video_device vdev_template＝{……}；
／／聲明video_device，指出掛接驅(qū)動(dòng)
static struct file_operations ov511_fops＝{……}；
／／聲明本驅(qū)動(dòng)的文件操作函數(shù)指針
struct video_device*vdev＝video_devdata(file)；
／／從文件指針中提取出video_device結(jié)構(gòu)
在video_device結(jié)構(gòu)中，有一個(gè)私有指針priv，可以將它指向一塊保留內(nèi)存。在這塊內(nèi)存中，保存著本驅(qū)動(dòng)、本設(shè)備的相關(guān)初始化信息。這塊內(nèi)存的申請(qǐng)、初始化、指針指向等工作都是在USB驅(qū)動(dòng)的枚舉函數(shù).probe中完成。這樣，在枚舉函數(shù)將控制權(quán)返還給系統(tǒng)后，因?yàn)閮?nèi)核不銷(xiāo)毀保留內(nèi)存，所以驅(qū)動(dòng)仍然保留著自己的信息。這點(diǎn)與Windows系統(tǒng)中WDM驅(qū)動(dòng)有異曲同工之處。當(dāng)然，在驅(qū)動(dòng)卸載函數(shù)中，應(yīng)當(dāng)將申請(qǐng)的各塊內(nèi)存全部釋放。
1．2 使用雙URB輪流通信
眾所周知，USBl．1總線標(biāo)準(zhǔn)定義了控制、中斷、批量、等時(shí)等四種管道。對(duì)于時(shí)間性極強(qiáng)但是準(zhǔn)確度要求不高的視頻捕捉應(yīng)用來(lái)說(shuō)，攝像頭應(yīng)當(dāng)使用等時(shí)傳輸方式。為了盡可能快地得到圖像數(shù)據(jù)，應(yīng)當(dāng)在URB中指定USB_ISO_ASAP標(biāo)志。
urb->transfer_flags＝USB_ISO_ASAP；／／盡可能快地發(fā)出本URB
Linux系統(tǒng)中任何USB傳輸都通過(guò)URB實(shí)現(xiàn)。為提高速度，可以考慮擴(kuò)大URB的緩沖，這樣可以降低每個(gè)USB事務(wù)中握手信息所占比例，提高有效數(shù)據(jù)的傳輸速度。但是受限于總線帶寬和具體的USB設(shè)備芯片，單純擴(kuò)大URB的緩沖不能無(wú)限制地解決問(wèn)題。具體分析一下USB傳輸在操作系統(tǒng)中的實(shí)現(xiàn)：每次傳輸都要包括URB的建立、發(fā)出、回收、數(shù)據(jù)整理等階段，這些時(shí)間不產(chǎn)生有效數(shù)據(jù)。因此可以建立兩個(gè)URB，在等待一個(gè)URB被回收時(shí)，也就是圖像正在被傳感器采集時(shí)，處理、初始化另一個(gè)URB，并在回收后立刻將其發(fā)出。兩個(gè)URB交替使用，大大減少了額外時(shí)間。工作流程如圖1所示。
這個(gè)過(guò)程是在URB的完成例程中實(shí)現(xiàn)的，有兩點(diǎn)需要注意：首先處理再次初始化的代碼時(shí)間不能長(zhǎng)，否則會(huì)造成完成例程的重人，如果確實(shí)來(lái)不及，可以在完成例程中設(shè)定標(biāo)志，例如“數(shù)據(jù)采集好”旗語(yǔ)，由應(yīng)用程序使用阻塞ioctl()來(lái)查詢(xún)?cè)撈煺Z(yǔ)并做處理；其次由于CPU可能會(huì)在完成例程中停留較長(zhǎng)時(shí)間，系統(tǒng)負(fù)擔(dān)較大，可以在．open函數(shù)中初始化兩個(gè)URB并將其發(fā)出，有限度地減輕系統(tǒng)負(fù)擔(dān)。
1．3 使用雙幀緩沖提高效率
Linux系統(tǒng)中，文件操作通常是由read、write等系統(tǒng)調(diào)用來(lái)完成。這些系統(tǒng)調(diào)用在驅(qū)動(dòng)中的解決方法就是用copy_to_user()、copy_from_user()等函數(shù)在核態(tài)、戶(hù)態(tài)內(nèi)存空間中互相拷貝。但是對(duì)于大批量的圖像數(shù)據(jù)，采用拷貝的方法顯然會(huì)增加時(shí)間開(kāi)銷(xiāo)，因此用內(nèi)存映射的方法解決。首先使用vmalloc()申請(qǐng)足夠大的核態(tài)內(nèi)存，將其作為圖像數(shù)據(jù)緩沖空間，兩個(gè)URB帶回的圖像數(shù)據(jù)在這里暫存；然后使用remap_page_range()函數(shù)將其逐頁(yè)映射到用戶(hù)空間中。戶(hù)態(tài)的圖像處理程序使用mmap()函數(shù)，直接讀寫(xiě)核態(tài)圖像緩沖內(nèi)存，大大減少額外開(kāi)銷(xiāo)。


[ 相關(guān)貼圖 ]



[ 相關(guān)貼圖 ]

摘要：介紹了在Iinux系統(tǒng)下開(kāi)發(fā)符合Video for Linux標(biāo)準(zhǔn)的USB攝像頭驅(qū)動(dòng)的方法，并對(duì)該標(biāo)準(zhǔn)提出“不間斷采集”的改進(jìn)思路，配合雙URB、雙幀緩沖等方法，提高采集速度。
     關(guān)鍵詞：Linux設(shè)備驅(qū)動(dòng) USB攝像頭 Video for Linux 不間斷采集
USB攝像頭以其良好的性能和低廉的價(jià)格得到廣泛應(yīng)用。同時(shí)因其靈活、方便的特性，易于集成到嵌入式系統(tǒng)中。但是如果使用現(xiàn)有的符合Video for Linux標(biāo)準(zhǔn)的驅(qū)動(dòng)程序配合通用應(yīng)用程序，難以充分利用USB帶寬，幀速不高，不易滿(mǎn)足實(shí)時(shí)監(jiān)控等要求。本文首先介紹在Linux系統(tǒng)下USB攝像頭驅(qū)動(dòng)編制的一般方法，然后說(shuō)明在此基礎(chǔ)上如何提高幀速。
1 Linux系統(tǒng)中的USB攝像頭驅(qū)動(dòng)程序
USB設(shè)備驅(qū)動(dòng)程序完全符合通用設(shè)備驅(qū)動(dòng)的準(zhǔn)則，不同的是內(nèi)核提供了一些特別的API函數(shù)，方便驅(qū)動(dòng)注冊(cè)、銷(xiāo)毀自己，例如usb_reSister()和usb_dereSister()；2．4版的內(nèi)核還提供了對(duì)于hotplug的支持。
1．1 USB攝像頭驅(qū)動(dòng)的一般編寫(xiě)方法
攝像頭屬于視頻類(lèi)設(shè)備。在目前的Linux核心中，視頻部分的標(biāo)準(zhǔn)是Video for Linux(簡(jiǎn)稱(chēng)V4L)。這個(gè)標(biāo)準(zhǔn)其實(shí)定義了一套接口，內(nèi)核、驅(qū)動(dòng)、應(yīng)用程序以這個(gè)接口為標(biāo)準(zhǔn)進(jìn)行交流。目前的V4L涵蓋了視、音頻流捕捉及處理等內(nèi)容，USB攝像頭也屬于它支持的范疇。
因此，USB攝像頭的驅(qū)動(dòng)應(yīng)當(dāng)與內(nèi)核提供的視頻驅(qū)動(dòng)掛鉤。即首先在驅(qū)動(dòng)中聲明一個(gè)video_device結(jié)構(gòu)，并為其指定文件操作函數(shù)指針數(shù)組．fops，向系統(tǒng)注冊(cè)。在應(yīng)用程序發(fā)出文件操作的相關(guān)命令時(shí)，核心根據(jù)這些指針調(diào)用相應(yīng)函數(shù)，并將該結(jié)構(gòu)作為參數(shù)傳遞給它們。這樣，就完成了驅(qū)動(dòng)和核心之間的通信。例如：
static struct video_device vdev_template＝{……}；
／／聲明video_device，指出掛接驅(qū)動(dòng)
static struct file_operations ov511_fops＝{……}；
／／聲明本驅(qū)動(dòng)的文件操作函數(shù)指針
struct video_device*vdev＝video_devdata(file)；
／／從文件指針中提取出video_device結(jié)構(gòu)
在video_device結(jié)構(gòu)中，有一個(gè)私有指針priv，可以將它指向一塊保留內(nèi)存。在這塊內(nèi)存中，保存著本驅(qū)動(dòng)、本設(shè)備的相關(guān)初始化信息。這塊內(nèi)存的申請(qǐng)、初始化、指針指向等工作都是在USB驅(qū)動(dòng)的枚舉函數(shù).probe中完成。這樣，在枚舉函數(shù)將控制權(quán)返還給系統(tǒng)后，因?yàn)閮?nèi)核不銷(xiāo)毀保留內(nèi)存，所以驅(qū)動(dòng)仍然保留著自己的信息。這點(diǎn)與Windows系統(tǒng)中WDM驅(qū)動(dòng)有異曲同工之處。當(dāng)然，在驅(qū)動(dòng)卸載函數(shù)中，應(yīng)當(dāng)將申請(qǐng)的各塊內(nèi)存全部釋放。
1．2 使用雙URB輪流通信
眾所周知，USBl．1總線標(biāo)準(zhǔn)定義了控制、中斷、批量、等時(shí)等四種管道。對(duì)于時(shí)間性極強(qiáng)但是準(zhǔn)確度要求不高的視頻捕捉應(yīng)用來(lái)說(shuō)，攝像頭應(yīng)當(dāng)使用等時(shí)傳輸方式。為了盡可能快地得到圖像數(shù)據(jù)，應(yīng)當(dāng)在URB中指定USB_ISO_ASAP標(biāo)志。
urb->transfer_flags＝USB_ISO_ASAP；／／盡可能快地發(fā)出本URB
Linux系統(tǒng)中任何USB傳輸都通過(guò)URB實(shí)現(xiàn)。為提高速度，可以考慮擴(kuò)大URB的緩沖，這樣可以降低每個(gè)USB事務(wù)中握手信息所占比例，提高有效數(shù)據(jù)的傳輸速度。但是受限于總線帶寬和具體的USB設(shè)備芯片，單純擴(kuò)大URB的緩沖不能無(wú)限制地解決問(wèn)題。具體分析一下USB傳輸在操作系統(tǒng)中的實(shí)現(xiàn)：每次傳輸都要包括URB的建立、發(fā)出、回收、數(shù)據(jù)整理等階段，這些時(shí)間不產(chǎn)生有效數(shù)據(jù)。因此可以建立兩個(gè)URB，在等待一個(gè)URB被回收時(shí)，也就是圖像正在被傳感器采集時(shí)，處理、初始化另一個(gè)URB，并在回收后立刻將其發(fā)出。兩個(gè)URB交替使用，大大減少了額外時(shí)間。工作流程如圖1所示。
這個(gè)過(guò)程是在URB的完成例程中實(shí)現(xiàn)的，有兩點(diǎn)需要注意：首先處理再次初始化的代碼時(shí)間不能長(zhǎng)，否則會(huì)造成完成例程的重人，如果確實(shí)來(lái)不及，可以在完成例程中設(shè)定標(biāo)志，例如“數(shù)據(jù)采集好”旗語(yǔ)，由應(yīng)用程序使用阻塞ioctl()來(lái)查詢(xún)?cè)撈煺Z(yǔ)并做處理；其次由于CPU可能會(huì)在完成例程中停留較長(zhǎng)時(shí)間，系統(tǒng)負(fù)擔(dān)較大，可以在．open函數(shù)中初始化兩個(gè)URB并將其發(fā)出，有限度地減輕系統(tǒng)負(fù)擔(dān)。
1．3 使用雙幀緩沖提高效率
Linux系統(tǒng)中，文件操作通常是由read、write等系統(tǒng)調(diào)用來(lái)完成。這些系統(tǒng)調(diào)用在驅(qū)動(dòng)中的解決方法就是用copy_to_user()、copy_from_user()等函數(shù)在核態(tài)、戶(hù)態(tài)內(nèi)存空間中互相拷貝。但是對(duì)于大批量的圖像數(shù)據(jù)，采用拷貝的方法顯然會(huì)增加時(shí)間開(kāi)銷(xiāo)，因此用內(nèi)存映射的方法解決。首先使用vmalloc()申請(qǐng)足夠大的核態(tài)內(nèi)存，將其作為圖像數(shù)據(jù)緩沖空間，兩個(gè)URB帶回的圖像數(shù)據(jù)在這里暫存；然后使用remap_page_range()函數(shù)將其逐頁(yè)映射到用戶(hù)空間中。戶(hù)態(tài)的圖像處理程序使用mmap()函數(shù)，直接讀寫(xiě)核態(tài)圖像緩沖內(nèi)存，大大減少額外開(kāi)銷(xiāo)。


[ 相關(guān)貼圖 ]

注意到圖2、圖3，兩種“判斷有無(wú)新請(qǐng)求”的不同，即可發(fā)現(xiàn)新方法假定一直有請(qǐng)求，因此不丟棄每個(gè)URB帶回的數(shù)據(jù)，輪流保存在兩個(gè)幀緩沖內(nèi)。
V4L已經(jīng)作為約定俗成的標(biāo)準(zhǔn)被內(nèi)核支持，因此如果使用全新的參數(shù)，工作量將相當(dāng)巨大，并且不能和現(xiàn)有的應(yīng)用程序兼容。考慮到現(xiàn)有的圖像采集應(yīng)用程序使用VIDIOCMCAPTURE作為參數(shù)，并提供幀序號(hào)，要求驅(qū)動(dòng)將圖像保存到指定序號(hào)的幀緩沖內(nèi)。由于驅(qū)動(dòng)通常僅僅提供幾幀緩沖，因此該序號(hào)不會(huì)大于某個(gè)數(shù)字，如10。因此可以繼續(xù)使用VIDIOCMCAPTURE參數(shù)，搭配較大的序號(hào)來(lái)表示新增的功能，例如用10000和10001來(lái)分別表示開(kāi)始和停止緩沖圖像數(shù)據(jù)的要求。驅(qū)動(dòng)在收到VIDIOCMCAPTURE要求后，檢查這個(gè)序號(hào)。如果小于10000，則按照正常的方法處理，否則按照改進(jìn)方法。這種思路可以有效解決兼容性問(wèn)題。
2．3 實(shí)驗(yàn)結(jié)果
在賽揚(yáng)366、USBl．1接口的計(jì)算機(jī)平臺(tái)上，采用上述不間斷采集改進(jìn)V4L標(biāo)準(zhǔn)，配合雙URB、雙幀緩沖等方法后，幀速提高兩倍有余，有效數(shù)據(jù)傳輸速度達(dá)960KB／s，接近等時(shí)傳輸方式下USB總線的帶寬極限。