系統(tǒng)組成：

（1）ErgoLAB面部表情實(shí)驗(yàn)設(shè)備矩陣

包括高分辨率光學(xué)攝像頭、紅外成像設(shè)備及3D面部掃描儀，支持多角度、多光照條件下的面部數(shù)據(jù)采集，具備高幀率、高精度與強(qiáng)魯棒性。

設(shè)備品類(lèi)：

（2）數(shù)據(jù)采集、微表情計(jì)算、情緒狀態(tài)識(shí)別、虛擬表情映射

l 微表情計(jì)算：借算法精準(zhǔn)提取面部特征點(diǎn)，分析微表情動(dòng)作參數(shù)，挖掘隱藏的情緒信息

l 情緒狀態(tài)識(shí)別：搭載邊緣計(jì)算終端，實(shí)時(shí)計(jì)算高興、生氣、悲傷、厭惡、蔑視等數(shù)十種情緒狀態(tài)，以及疲勞、應(yīng)激等情感反應(yīng)

l 虛擬表情映射：將真實(shí)表情數(shù)據(jù)高精度映射至虛擬角色，適配多平臺(tái)實(shí)現(xiàn)逼真交互

l 自動(dòng)識(shí)別7種面部表情狀態(tài)以及21種微表情數(shù)據(jù)，并實(shí)時(shí)計(jì)算面部表情程度值，以及整體面部肌肉的參與度狀態(tài)。系統(tǒng)內(nèi)嵌情感效價(jià)計(jì)算模型，精確識(shí)別正性、中性、負(fù)性3種情感狀態(tài)。

l 自動(dòng)監(jiān)測(cè)操作人員的頭部位置坐標(biāo)，實(shí)時(shí)跟蹤頭部朝向并測(cè)定注視方向，自動(dòng)識(shí)別眼睛注視方向，計(jì)算瞳孔間距，監(jiān)測(cè)注意狀態(tài)。

l 自動(dòng)檢測(cè)操作人員的整個(gè)面部特征點(diǎn)，系統(tǒng)包含年齡分類(lèi)器，支持實(shí)時(shí)計(jì)算并智能識(shí)別多個(gè)年齡段狀態(tài)，以及性別、是否佩戴眼鏡等個(gè)體屬性信息。

l 支持導(dǎo)入外部視頻，作為表情數(shù)據(jù)源，進(jìn)行離線(xiàn)的表情識(shí)別、編碼與統(tǒng)計(jì)。支持手動(dòng)編碼（Manual Coding）、全自動(dòng)編碼（Auto Coding）、混合編碼（Merge Coding），三種表情編碼模式。

l 表情統(tǒng)計(jì)算法支持基礎(chǔ)表情數(shù)據(jù)統(tǒng)計(jì)分析、實(shí)時(shí)表情編碼可視化分析、事后表情編碼可視化分析、多維度表情數(shù)據(jù)交互分析，并生成可視化統(tǒng)計(jì)圖及統(tǒng)計(jì)表。

l 結(jié)合人工智能與機(jī)器學(xué)習(xí)算法，進(jìn)一步實(shí)現(xiàn)對(duì)操作人員的分心、疲勞、應(yīng)激等狀態(tài)的自動(dòng)識(shí)別以及特定環(huán)境條件下的預(yù)警反饋。

• 平臺(tái)應(yīng)用：

• 涵蓋情感計(jì)算、虛擬數(shù)字人、用戶(hù)體驗(yàn)研究、臨床心理學(xué)及多模態(tài)交互等領(lǐng)域。通過(guò)面部表情識(shí)別解析用戶(hù)情感，開(kāi)發(fā)情感交互系統(tǒng)，應(yīng)用于智能客服、車(chē)載交互和心理健康服務(wù)；實(shí)現(xiàn)高精度表情驅(qū)動(dòng)，支持虛擬偶像與元宇宙角色的自然交互；分析用戶(hù)對(duì)產(chǎn)品或內(nèi)容的情緒反應(yīng)，助力體驗(yàn)優(yōu)化與廣告評(píng)估；開(kāi)展微表情識(shí)別與情緒障礙研究，輔助臨床診斷與干預(yù)；融合語(yǔ)音、眼動(dòng)等多模態(tài)信息，構(gòu)建更智能的人機(jī)交互系統(tǒng)，推動(dòng)情感人工智能發(fā)展。

• ErgoLAB多模態(tài)同步方案：

• 整體概述

• ErgoLAB人機(jī)環(huán)境同步平臺(tái)采用多模態(tài)數(shù)據(jù)時(shí)鐘同步技術(shù)，平臺(tái)可完成完整的實(shí)驗(yàn)和測(cè)評(píng)流程，包括項(xiàng)目管理-試驗(yàn)設(shè)計(jì)-同步采集-信號(hào)處理-數(shù)據(jù)分析-人因智能評(píng)估-可視化報(bào)告，支持基于云架構(gòu)技術(shù)的團(tuán)體測(cè)試和大數(shù)據(jù)管理。

• ErgoLAB人機(jī)環(huán)境同步平臺(tái)采用主客觀(guān)結(jié)合多模態(tài)數(shù)據(jù)同步采集與多維度驗(yàn)證的方法，數(shù)據(jù)實(shí)時(shí)同步種類(lèi)包含大腦認(rèn)知數(shù)據(jù)（EEG/BCI腦電儀與腦機(jī)接口邊緣計(jì)算設(shè)備、fNIRS/BCI近紅外腦成像儀），視覺(jué)數(shù)據(jù)（Eyetracker眼動(dòng)儀與視線(xiàn)交互系統(tǒng)），生理數(shù)據(jù)（生理儀含：GSR/EDA、EMG、ECG、EOG、HRV、RESP、TEMP/SKT、PPG、SpO2），行為觀(guān)察、肢體動(dòng)作與面部表情（基本情緒、情緒效價(jià)、微表情等）數(shù)據(jù)、生物力學(xué)數(shù)據(jù)（拉力、握力、捏力、壓力…），人機(jī)交互數(shù)據(jù)（包含人機(jī)界面交互行為數(shù)據(jù)以及對(duì)應(yīng)的鍵盤(pán)操作，鼠標(biāo)點(diǎn)擊、懸浮、劃入劃出等；移動(dòng)終端人機(jī)交互行為數(shù)據(jù)以及對(duì)應(yīng)的手指軌跡操作行為如點(diǎn)擊、縮放、滑動(dòng)等；VR終端界面人機(jī)交互行為數(shù)據(jù)及對(duì)應(yīng)的雙手操作拾取、丟棄、控制，VR空間行走軌跡）、以及多類(lèi)型時(shí)空行為軌跡數(shù)據(jù)采集(包括室內(nèi)、戶(hù)外、以及VR環(huán)境不同時(shí)空的行走軌跡、行車(chē)軌跡、訪(fǎng)問(wèn)狀態(tài)以及視線(xiàn)交互、情感反應(yīng)、交互操作行為等數(shù)據(jù)實(shí)時(shí)同步采集)、以及作業(yè)空間及作業(yè)環(huán)境數(shù)據(jù)（溫度、濕度、噪音、光照、大氣壓、濕度、粉塵等）等客觀(guān)量化數(shù)據(jù)；為科學(xué)研究及應(yīng)用提供完整的數(shù)據(jù)指標(biāo)。

  

ErgoAI人因智能：

將人工智能技術(shù)引入人因工程研究工具，人因工程行業(yè)更加深度，使得實(shí)驗(yàn)環(huán)境不會(huì)受限于某一種設(shè)備或數(shù)據(jù)指標(biāo)，采集分析不同典型行業(yè)或?qū)W科專(zhuān)業(yè)的人-機(jī)-環(huán)境系統(tǒng)交互過(guò)程中自然狀態(tài)下的人類(lèi)行為數(shù)據(jù)，獲取更接近真實(shí)人員狀態(tài)的數(shù)據(jù)。平臺(tái)還提供覆蓋科研實(shí)驗(yàn)全流程的功能模塊，包括項(xiàng)目管理、實(shí)驗(yàn)設(shè)計(jì)、同步采集、數(shù)據(jù)分析、綜合統(tǒng)計(jì)和可視化報(bào)告，結(jié)合ErgoAI人因智能邊緣計(jì)算平臺(tái)為多模態(tài)人機(jī)環(huán)境研究提供一站式人因工程+人工智能解決方案。以ErgoLAB人機(jī)環(huán)境同步平臺(tái)和ErgoAI人因智能邊緣計(jì)算平臺(tái)為核心的多模態(tài)同步人因智能解決方案大大提高了實(shí)驗(yàn)結(jié)果的信效度，同時(shí)節(jié)省了研究的人力、物力、時(shí)間，提高了研究與測(cè)評(píng)的整體效率。

基于ErgoAI人因智能多元時(shí)序算法底座與人因工程人機(jī)環(huán)境數(shù)據(jù)庫(kù)，構(gòu)建人員特定狀態(tài)的預(yù)訓(xùn)練模型，配合高靈活度的訓(xùn)練方案管理功能，用戶(hù)能夠在統(tǒng)一環(huán)境中高效構(gòu)建和優(yōu)化模型。 從而實(shí)現(xiàn)對(duì)人員狀態(tài)的精準(zhǔn)實(shí)時(shí)評(píng)估與預(yù)警，如負(fù)荷狀態(tài)、應(yīng)激狀態(tài)、疲勞狀態(tài)、情景意識(shí)和注意能力等。

Kingfar公司介紹：

北京津發(fā)科技股份有限公司（津發(fā)科技）是專(zhuān)精特新“小巨人" ，新一輪專(zhuān)精特新重點(diǎn)“小巨人"、知識(shí)產(chǎn)權(quán)優(yōu)勢(shì)企業(yè)、科技型中小企業(yè)；旗下包含北京人因智能工程技術(shù)研究院和北京人因工程設(shè)計(jì)院有限公司等新型科技研發(fā)機(jī)構(gòu)，并聯(lián)合共建了北京市企業(yè)技術(shù)中心、北京本科高校產(chǎn)學(xué)研深度協(xié)同育人平臺(tái)、蘇州市重點(diǎn)實(shí)驗(yàn)室、湖南省工程實(shí)驗(yàn)室、山東省工程研究中心等多個(gè)科技創(chuàng)新平臺(tái)。

津發(fā)科技承擔(dān)和參與了多項(xiàng)國(guó)家重點(diǎn)研發(fā)計(jì)劃、高質(zhì)量發(fā)展專(zhuān)項(xiàng)、國(guó)家自然科學(xué)基金等課題基金項(xiàng)目。擔(dān)任全國(guó)信標(biāo)委XR擴(kuò)展現(xiàn)實(shí)標(biāo)準(zhǔn)化工作組副組長(zhǎng)單位，元宇宙標(biāo)準(zhǔn)化工作組關(guān)鍵技術(shù)組聯(lián)合組長(zhǎng)單位；主持和參編國(guó)際、國(guó)家、行業(yè)和團(tuán)體標(biāo)準(zhǔn)30余項(xiàng)。

津發(fā)科技創(chuàng)新研發(fā)了國(guó)產(chǎn)化自主可控的人因工程與人因智能邊緣計(jì)算系列信創(chuàng)產(chǎn)品與技術(shù)；通過(guò)了歐洲CE、美國(guó)FCC、歐盟ROHS，以及ISO9001、ISO14001、ISO45001等多項(xiàng)國(guó)際認(rèn)證。累計(jì)榮獲30余項(xiàng)省部級(jí)新技術(shù)新產(chǎn)品認(rèn)證和多項(xiàng)省部級(jí)科學(xué)技術(shù)獎(jiǎng)勵(lì)；申請(qǐng)發(fā)明超過(guò)530項(xiàng)，已120余項(xiàng)國(guó)際和國(guó)家發(fā)明、150余項(xiàng)國(guó)際和國(guó)家注冊(cè)商標(biāo)、130余項(xiàng)國(guó)家軟件著作權(quán)；已服務(wù)全國(guó)高等院校和裝備科技工業(yè)科研院所應(yīng)用示范，并已支撐科研學(xué)者和科技工作者發(fā)表中英文學(xué)術(shù)論文超過(guò)1100篇