視線跟蹤技術(shù)在人機(jī)交互中的研究
摘要:人們?cè)谟^察外部世界時(shí)眼睛總是與其它人體活動(dòng)自然協(xié)調(diào)地工作,并且眼動(dòng)所需的認(rèn)知負(fù)荷很低,人眼的注視包含著當(dāng)前的任務(wù)狀況以及人的內(nèi)部狀態(tài)等信息,因此眼注視是一種非常好的能使人機(jī)對(duì)話變得簡便、自然的候選輸入通道.本文介紹了視線跟蹤的基本原理、方法,對(duì)視線跟蹤作為人機(jī)交互通道所具有的特點(diǎn)進(jìn)行了討論,并指出了其在人機(jī)交互領(lǐng)域中的應(yīng)用及前景.
關(guān)鍵詞:人機(jī)交互;視線跟蹤;多通道用戶界面
目前用戶界面所使用的任何人機(jī)交互技術(shù)幾乎都有視覺參與。早期的視線跟蹤技術(shù)首先應(yīng)用于心理學(xué)研究(如閱讀研究),后被用于人機(jī)交互。眼動(dòng)在人的視覺信息加工過程中,起著重要的作用。它有三種主要形式:跳動(dòng)(Saccades), 注視(Fixations)和平滑尾隨跟蹤( Smooth Pursuit)。在正常的視覺觀察過程中,眼動(dòng)表現(xiàn)為在被觀察目標(biāo)上一系列的停留及在這停留點(diǎn)之間的飛速跳動(dòng),這些停留一般至少持續(xù)100ms以上,稱為注視。絕大多數(shù)信息只有在注視時(shí)才能獲得并進(jìn)行加工。注視點(diǎn)間的飛速跳躍稱為眼跳動(dòng)。眼跳動(dòng)是一種聯(lián)合眼動(dòng)(即雙眼同時(shí)移動(dòng)),其大小為1到40 度視角,持續(xù)時(shí)間為30到120ms,最高運(yùn)動(dòng)速度為400-600度/秒。
視線跟蹤精度與在測(cè)量時(shí)對(duì)用戶的限制和干擾就是一對(duì)矛盾.在多通道用戶界面設(shè)計(jì)中,減少這種限制和干擾是非常重要的,視線作為交互裝置最直接的用處就是代替鼠標(biāo)器作為一種指點(diǎn)裝置。
一、視線跟蹤的基本原理、方法
視線跟蹤技術(shù)及裝置有強(qiáng)迫式(intrusiveness)與非強(qiáng)迫式(non-intrusiveness)、穿戴式與非穿戴式、接觸式(如Eyeglass-mounted)與非接觸式(Remote)之分;其精度從0.1°至1°或2°不等,制造成本也有巨大差異。在價(jià)格、精度與方便性等因素之間作出權(quán)衡是一件困難的事情,例如視線跟蹤精度與對(duì)用戶的限制和干擾就是一對(duì)尖銳的矛盾。有關(guān)視覺輸入的人機(jī)界面研究主要涉及兩個(gè)方面:一是視線跟蹤原理和技術(shù)的研究;二是在使用這種交互方式后,人機(jī)界面的設(shè)計(jì)技術(shù)和原理的研究.
眼睛能平滑地追蹤運(yùn)動(dòng)速度為1到30度/秒的目標(biāo),這種緩慢、聯(lián)合追蹤眼動(dòng)通常稱為平滑尾隨跟蹤。平滑尾隨跟蹤必須有一個(gè)緩慢移動(dòng)的目標(biāo),在沒有目標(biāo)的情況下,一般不能執(zhí)行這種眼動(dòng)。在人機(jī)交互中,主要表現(xiàn)為跳動(dòng)和注視兩種形式。而主要的視線跟蹤技術(shù)方法如圖所示:
六種主要的視線跟蹤技術(shù)
視覺追蹤法應(yīng)用場(chǎng)合技術(shù)特點(diǎn)測(cè)量參照系
眼電圖(EOG)眼動(dòng)力學(xué)高寬帶
精度低
對(duì)人干擾大
頭
虹膜-鞏膜邊緣眼動(dòng)力學(xué)注視點(diǎn)高帶寬
垂直精度低
對(duì)人干擾大
頭具誤差大
頭具
角膜反射眼動(dòng)力學(xué)注視點(diǎn)高帶寬
頭具誤差大
頭具
瞳孔-角膜反射向量注視點(diǎn)準(zhǔn)確
頭具誤差小
對(duì)人無干擾
低寬帶
頭具或室內(nèi)
雙浦肯野象眼動(dòng)力學(xué)
網(wǎng)模圖象穩(wěn)定
注視點(diǎn)
高精度
高帶寬
對(duì)人干擾大
室內(nèi)
接觸鏡眼動(dòng)力學(xué)
微小的眼動(dòng)
精度最高
高帶寬
對(duì)人干擾大
不舒適
頭
視線追蹤的基本工作原理是利用圖象處理技術(shù),使用能鎖定眼睛的特殊攝象機(jī)。通過攝入從人的眼角膜和瞳孔反射的紅外線連續(xù)地記錄視線變化,從而達(dá)到記錄分析視線追蹤過程的目的。在人機(jī)交互中對(duì)視線追蹤的基本要求是:(1)要保證一定的精度,滿足使用要求;(2) 對(duì)用戶基本無干擾;(3)定位校正簡單;(4) 可作為計(jì)算機(jī)的標(biāo)準(zhǔn)外設(shè)。
二、視線跟蹤技術(shù)在人機(jī)交互通道中的特點(diǎn)
人機(jī)交互通道中大部分具有一定形狀的物體或現(xiàn)象,可以通過多種途徑使用戶產(chǎn)生真實(shí)感很強(qiáng)的視覺感知。CRT顯示器、大屏幕投影、多方位電子墻、立體眼鏡、頭盔顯示器(HMD)等是VR系統(tǒng)中常見的顯示設(shè)備。不同的頭盔顯示器具有不同的顯示技術(shù),根據(jù)光學(xué)圖像被提供的方式,頭盔顯示設(shè)備可分為投影式和直視式。
能增強(qiáng)視線跟蹤真實(shí)感的立體顯示技術(shù),可以使用戶的左、右眼看到有視差的兩幅平面圖像,并在大腦中將它們合成并產(chǎn)生立體視覺感知。頭盔顯示器、立體眼鏡是兩種常見的立體顯示設(shè)備。目前,基于激光全息計(jì)算的立體顯示技術(shù)、用激光束直接在視網(wǎng)膜上成像的顯示技術(shù)正在研究之中。
從視線跟蹤裝置得到的原始數(shù)據(jù)必須經(jīng)過進(jìn)一步的處理才能用于人機(jī)交互。數(shù)據(jù)處理的目的是從中濾除噪聲(filter noise),識(shí)別定位(recognize fixations)及局部校準(zhǔn)與補(bǔ)償(compensate for calibration errors)等,最重要的是提取出用于人機(jī)交互所必需的眼睛定位坐標(biāo)。但是由于眼動(dòng)存在固有的抖動(dòng)(jitter motion)以及眼睛眨動(dòng)所造成的數(shù)據(jù)中斷,即使在定位這段數(shù)據(jù)段內(nèi),仍然存在許多干擾信號(hào),這導(dǎo)致提取有意(intentional)眼動(dòng)數(shù)據(jù)的困難,解決此問題的辦法之一是利用眼動(dòng)的某種先驗(yàn)?zāi)P图右詮浹a(bǔ)。
將視線應(yīng)用于人機(jī)交互必須克服的另一個(gè)固有的困難是避免所謂的“米達(dá)斯接觸(Midas Touch)”問題。如果鼠標(biāo)器光標(biāo)總是隨著用戶的視線移動(dòng),可能會(huì)引起他的厭煩,因?yàn)橛脩艨赡芟M茈S便看著什么而不必非“意味著”什么.在理想情況下,應(yīng)當(dāng)在用戶希望發(fā)出控制時(shí),界面及時(shí)地處理其視線輸入,而在相反的情況下則忽略其視線的移動(dòng)。然而,這兩種情況一般不可能區(qū)分。
目前,美國Texas A&M大學(xué)使用裝有紅外發(fā)光二極管和光電管的眼鏡,根據(jù)進(jìn)入光電管的光的強(qiáng)弱來決定眼睛的位置。ASL(Applied Science Lab)也已有較成熟的視線追蹤系統(tǒng)。
三、視線跟蹤技術(shù)在人機(jī)交互領(lǐng)域中的應(yīng)用及前景
隨著計(jì)算機(jī)科學(xué)技術(shù)與產(chǎn)業(yè)的飛速發(fā)展,計(jì)算機(jī)日益進(jìn)入普通用戶的工作和生活中。面對(duì)急劇增長的普通用戶,人機(jī)交互的自然性愈來愈為系統(tǒng)設(shè)計(jì)所重視,計(jì)算機(jī)系統(tǒng)的設(shè)計(jì)必須力圖使用戶不需要專門的計(jì)算機(jī)技能,而只是利用自己的自然技能就能夠使用計(jì)算機(jī),虛擬現(xiàn)實(shí)正致力于這方面的研究。另一方面,多媒體技術(shù)和網(wǎng)絡(luò)技術(shù)的迅猛發(fā)展使計(jì)算機(jī)到用戶的通訊帶寬不斷提高,而目前的人機(jī)交互由于受傳統(tǒng)專業(yè)化的窄帶寬輸入界面的限制使得用戶到計(jì)算機(jī)的通訊帶寬仍停滯不前,嚴(yán)重阻礙了人向計(jì)算機(jī)的信息交流。此外,傳統(tǒng)人機(jī)交互的串行性和精確性在許多場(chǎng)合不必要地增加了用戶的作業(yè)負(fù)荷,降低了交互效率,破壞了自然性。為了賦予人機(jī)交互靈活性、健壯性、高帶寬性和類似于人與人交互中的自然性,人機(jī)交互必須打破常規(guī),走多通道的道路。
現(xiàn)在多通道界面的研究采用視線跟蹤、語音識(shí)別、唇讀和手勢(shì)輸入等新的交互技術(shù),允許用戶通過多個(gè)通道自然的并行和協(xié)作來進(jìn)行人機(jī)交互,并可通過整合互補(bǔ)通道的模糊輸入來捕捉用戶交互意向。多通道界面的特點(diǎn)和目標(biāo)給設(shè)計(jì)帶來了一些特殊問題,主要存在于三方面: