11.07.2014 Views

逢甲大學自動控制工程學系碩士班碩士論文

逢甲大學自動控制工程學系碩士班碩士論文

逢甲大學自動控制工程學系碩士班碩士論文

SHOW MORE
SHOW LESS

You also want an ePaper? Increase the reach of your titles

YUMPU automatically turns print PDFs into web optimized ePapers that Google loves.

論 <br />

類 <br />

<br />

Design and Development of Humanoid<br />

Robot Facial Expression Device<br />

<br />

<br />


類 <br />

<br />

<br />

兩 年 論 <br />

見 <br />

論 利 葉 理 <br />

諸 <br />

論 <br />

論 更 <br />

<br />

老 數 路 念 <br />

論 林 立 理 理 林 麟 <br />

<br />

勵 <br />

若 不 勵 <br />

讀 <br />

i e-Thesys(93 年 度 )


類 <br />

<br />

論 <br />

CCD PC <br />

( 怒 )<br />

( 例 )<br />

了 (1) 路 ARM 理 <br />

精 <br />

LCD 來 狀 <br />

(2) 識 <br />

() 鍊 來 (3)<br />

來 不 <br />

數 類 <br />

便 利 數 識 <br />

數 <br />

(4)<br />

度 <br />

: 識 <br />

ii e-Thesys(93 年 度 )


類 <br />

Abstract<br />

The purpose of this thesis is primarily focused on the development of a set<br />

man-machine interface system that combines the machine and a person facial<br />

expression interaction robot headthis robot head extracts the facial expression<br />

image of a person to the PC through the CCD camera that can express a person's<br />

face in timethe facial expression ( include pleasedangrynormal) that represents<br />

three kinds of affection and can track in person's position in time.( include to<br />

follow the person's face under swing) <br />

This system is composed of four major parts(1): The hardware electric<br />

circuitwe will design a one-degree-of-freedom base consist of one server motor to<br />

track the facial of personand three LCD displayers which are used to display the<br />

changes of the eyethe eyebrow and the month(2): in the aspects of pattern<br />

recognition we propose a method of rapid search ( apply the skin color fixed<br />

position) that can be used to located face position of the person and use chain code<br />

method to search eyeeyebrow and the size of mouth shape and position(3): in<br />

the facial expression algorithm we use the intelligence algorithm to analysis facial<br />

expressionwe extract 20 feature points from the eyeseyebrows and the mouth<br />

that are regarded as input variablesand categorize facial expression data in<br />

advance to make intelligent system control rule databasethen utilize these<br />

importations the variable to recognize the facial expression that a department<br />

present finallyat the same time transfer the variables to the controllerliking in<br />

time to let displayer can show the facial expression that emerge on the person at<br />

present(4):in display device design we will design a robot face that has one<br />

rotational degree of freedom<br />

Keywords:Pattern Recognition Robot facial expression analysis month<br />

detection eye detection<br />

iii<br />

e-Thesys(93 年 度 )


類 <br />

錄<br />

..............................................................................................................................i<br />

......................................................................................................................ii<br />

Abstract..................................................................................................................... iii<br />

錄 ............................................................................................................................iv<br />

錄 .........................................................................................................................vi<br />

錄 ...................................................................................................................... viii<br />

............................................................................................1<br />

1.1 ...................................................................................................................1<br />

1.2 ...............................................................................................1<br />

1.3 參 :.................................3<br />

1.4 ...........................................................................................................5<br />

類 路 .................................................................................7<br />

2.1 ARM 路 ................................................................................7<br />

2.2 ARM 理 ............................................................................................7<br />

2.3 ARM 理 ........................................................................................8<br />

2.4 ARM7 理 列 .........................................................................................8<br />

2.5 串 列 理 ...............................................................................11<br />

2.6 LCD 理 .......................................................................................13<br />

2.7 LM629 理 ..........................................................17<br />

2.8 LMD18200 理 ....................................................18<br />

2.9 10M/100M 路 .............................................................................22<br />

理 ..................................................................................23<br />

3.1 .........................................................................................................24<br />

3.2 .........................................................................................................24<br />

3.3 .............................................................................................27<br />

3.4 .................................................................................................28<br />

3.4 ...........................................................................29<br />

3.5 .....................................................................................................30<br />

3.6 .................................................................................................30<br />

3.7 Eyebrow Feature ...................................................................31<br />

3.8 Mouth Feature .......................................................................32<br />

3.9 ..................................................................................................32<br />

iv<br />

e-Thesys(93 年 度 )


類 <br />

3.10 ................................................................................................32<br />

3.11 ................................................................................................34<br />

3.12 不 ....................................................35<br />

零 ...............................................................40<br />

4.1 .........................................................................................................40<br />

論 來 ..........................................................................................44<br />

5.1 論 ..................................................................................................................44<br />

5.2 來 .........................................................................................................44<br />

參 ....................................................................................................................46<br />

v<br />

e-Thesys(93 年 度 )


類 <br />

錄<br />

2.1 路 流 ..................................................7<br />

2.2S3C4510 UART 連 [25] ......................................................13<br />

2.3RAM 料 LCD...............................................14<br />

2.4LCD[26] ....................................................................15<br />

2.8LM629 [27] .......................................................................17<br />

2.9LMD18200 路 [28] .....................................................18<br />

2.10 路 .............................................................................19<br />

2.11: ARM7 .......................................................................................19<br />

2.12: 50 度 ..................................................................20<br />

2.13: 180 度 ................................................................20<br />

2.14: 60 度 ..................................................................21<br />

2.15: 120 度 ................................................................21<br />

2.16ETHERNET SYSTEM FLOW CONTROL[29]..............................................22<br />

3.1 流 ...........................................................................................23<br />

3.2 流 .......................................................................................24<br />

3.4AB 識 .......................................................26<br />

3.5AB 識 .......................................................27<br />

3.6AB..............................28<br />

3.7...........................................................................28<br />

3.8...........................................................................29<br />

3.9 流 ................................................29<br />

3.10BINARY .............................................30<br />

3.11 拉 拉 LAPLACIAN............................30<br />

3.12 拉 拉 LAPLACIAN............................31<br />

vi e-Thesys(93 年 度 )


類 <br />

3.13 拉 拉 LAPLACIAN............................31<br />

3.14.............................................................................32<br />

3.15.............................................................................33<br />

3.16.................................................................................34<br />

3.17 流 .........................................................................35<br />

3.18FACIAL SENSATION DISTINGUISHES THE POSITION PICTURE OF THE<br />

PARAMETERS ...............................................................................................................35<br />

3.19 .............................................................38<br />

3.20 .............................................................38<br />

3.21 怒 .............................................................39<br />

3.22 .............................................................39<br />

4.1.......................................................................................40<br />

4.2LCD .......................................................................40<br />

4.3...........................................................................................41<br />

4.4...........................................................................................42<br />

4.5...........................................................................................43<br />

vii<br />

e-Thesys(93 年 度 )


類 <br />

錄<br />

3.1 FACIAL SENSATION PARAMETERS...............................................................36<br />

3.2 THE PURPOSE OF CHARACTERISTIC CHANGE SITUATION WHICH IS THE<br />

BASIS THAT IN ORDER TO DISCUSS FACIAL SENSATION...................................................36<br />

3.3 JUDGING RULE IN FACIAL SENSATION ......................................................37<br />

viii e-Thesys(93 年 度 )


類 <br />

<br />

1.1 <br />

來 <br />

<br />

<br />

便 了 <br />

識 <br />

力 類 行 類 識 <br />

切 率 <br />

便 理 <br />

例 類 精 神 不 <br />

行 車 狀 <br />

行 例 說 <br />

狀 更 <br />

索 念 <br />

索 精 度 率 利 <br />

更 <br />

更 更 <br />

1.2 <br />

利 益 數 年 來 <br />

年 <br />

SONY 更 <br />

2003 年 9 更 ASIMO<br />

例 更 IBM 7 <br />

ASIMO <br />

1<br />

e-Thesys(93 年 度 )


類 <br />

拉 類 <br />

離 ASIMO 識 <br />

不 量 年 金 六 <br />

ASIMO SONY <br />

QRIO SONY 2003 年 9 行 QRIO 行<br />

力 不 力 例 若 <br />

QRIO 力 理 CPU <br />

38 更 了 QRIO<br />

識 QRIO <br />

不 來 <br />

<br />

MIT AI() 1991 年 行 (<br />

) 不 理 <br />

類<br />

MIT <br />

兩 年 兩 <br />

CCD 料 <br />

識 類 <br />

5 20 <br />

不 <br />

行 度 <br />

來 來 <br />

,<br />

行 狀 行 狀 度<br />

<br />

<br />

2<br />

e-Thesys(93 年 度 )


類 <br />

1.3 參 :<br />

類 不 都 <br />

類 來 參<br />

了 <br />

[1][2] Honda SONY 兩 <br />

<br />

來 <br />

[3] MIT 度 不 <br />

參 <br />

[4] 利 <br />

利 來 參 <br />

[5][6] 兩 <br />

來 參 <br />

[7] 度 <br />

來 鍊 <br />

來 <br />

[8] 來 度 [7]<br />

參 <br />

[9] 來 異<br />

來 異 來<br />

參 <br />

[10] 來 度 <br />

利 兩 數 來 <br />

異 來 參 <br />

<br />

3<br />

e-Thesys(93 年 度 )


類 <br />

[11] 利 度 來 <br />

參 <br />

[12] 來 利 來 <br />

異 利 來 <br />

[13] 論 來 <br />

不 <br />

不 來 <br />

李 [14] 論 <br />

立 <br />

參 <br />

[15] 論 <br />

狀 來 裡 <br />

路 來 參 <br />

<br />

祥 [16] 論 利 來 行 <br />

利 來 來 <br />

立 .. 數 利 來 <br />

數 參 <br />

[17] 論 兩 <br />

CMOS Sensor 路 8051 <br />

了 SRAM Control Parallel Port<br />

HOSTBayer pattern<br />

edge detectionMotion detection algorithm<br />

了 連 不 PC<br />

來 <br />

[18]<br />

4<br />

e-Thesys(93 年 度 )


類 <br />

利 來 <br />

參 <br />

李 [19] 利 路 來 <br />

立 路 連 <br />

C++ Builder<br />

Winsock() 來 <br />

林 隆 [20] 了 (edge<br />

image)(grey value)<br />

烈 (edge) 都 利 <br />

來 [5][6] 來 <br />

辰 [21] 輪<br />

廓 行 <br />

不 PC 來 <br />

[22]<br />

<br />

參 <br />

[23] [24] 論 識 參 料 <br />

令 識 <br />

來 <br />

1.4 <br />

論 說 了 <br />

類 路 S3C4510(ARM7) 理 <br />

LCD RS232Ethernet 路 <br />

理 說 <br />

數 流 <br />

5<br />

e-Thesys(93 年 度 )


類 <br />

零 論 來 論 參 <br />

6<br />

e-Thesys(93 年 度 )


類 <br />

類 路<br />

2.1 ARM 路 <br />

類 CCD() PC(<br />

) 兩 ARM7 ( LCD <br />

)()<br />

CCD PC C++<br />

BUILDER 來 RS232 ARM<br />

7 ARM 7 LM629 IC( 來 )<br />

LCD ( 來 ) 類 路 <br />

流 <br />

RS232<br />

CCD<br />

U<br />

PC<br />

NET<br />

ARM7<br />

Month<br />

RS232<br />

NET<br />

Eyebrow<br />

Eye<br />

ARM7<br />

CONTROLLER<br />

LM629 SERVER<br />

MOTOR<br />

<br />

2.1 路 流 .<br />

2.2 ARM 理 <br />

ARMAdvanced RISC Machines 爲 <br />

類 理 爲 <br />

7<br />

e-Thesys(93 年 度 )


類 <br />

1991 年 ARM 立 <br />

ARM 識 産 IP 理 說 ARM<br />

理 類 産 路 <br />

類 産 ARM 理 了 32 RISC <br />

理 75 例 ARM <br />

ARM RISC 爲 識 産 <br />

不 産 産 <br />

産 ARM ARM 理 <br />

不 領 路 ARM<br />

理 都 ARM<br />

ARM 更 <br />

降 産 更 易 更 <br />

力 <br />

2.3 ARM 理 <br />

RISC ARM 理 <br />

1<br />

2 Thumb16 /ARM32 令 8 /16 <br />

理 <br />

3 量 令 行 度 更 <br />

4 數 料 都 <br />

5 靈 行 率 <br />

6 令 度 <br />

2.4 ARM7 理 列<br />

ARM7 列 理 爲 32 RISC 理 <br />

類 ARM7 理 列 <br />

8<br />

e-Thesys(93 年 度 )


類 <br />

ICERT 邏 便 <br />

産 <br />

0.9MIPS/MHz <br />

度 16 Thumb 令 <br />

Windows CELinuxPalm OS <br />

令 ARM9 列 ARM9E 列 ARM10E 列 便 <br />

産 <br />

130MIPS 理 力 數 <br />

ARM7 列 理 領 爲 Internet 路<br />

數 論 Samsung<br />

S3C4510B 列 理 <br />

Samsung S3C4510B 16/32 <br />

RISC ARM 16/32 ARM7TDMI RISC<br />

理 ARM7TDMI 爲 16/32 <br />

<br />

了 ARM7TDMI S3C4510B <br />

— 2 Buffer Descriptor HDLC <br />

— 2 UART <br />

— 2 GDMA <br />

— 2 32 <br />

— 18 I/O <br />

邏 路 <br />

— <br />

— DRAM/SDRAM <br />

— ROM/SRAM FLASH <br />

— 理 <br />

9<br />

e-Thesys(93 年 度 )


類 <br />

— 32 流 <br />

— <br />

S3C4510B <br />

— <br />

— 16/32 RISC <br />

— 爲 爲 <br />

<br />

— 率 ARM7TDMI 理 <br />

— JTAG <br />

— <br />

理 <br />

— ROM/SRAMFLASHDRAM I/O 8/16/32 <br />

<br />

— 流 / 流 <br />

— EDO/ SDRAM <br />

— 0~7 <br />

— 4 讀 <br />

— DMA <br />

令 / 料 Cache<br />

— 8K Cache<br />

— LRC<br />

— Cache 爲 SRAM<br />

Ethernet <br />

— Burst DMA <br />

— DMA /256 256 <br />

— MAC / FIFO 80 16 <br />

10<br />

e-Thesys(93 年 度 )


類 <br />

料 邏 <br />

— <br />

— 100M/10Mbps 率<br />

— IEEE802.3 <br />

— MII 7 10Mbps <br />

— 理 <br />

— CAM 21 <br />

— <br />

— /<br />

— PDA <br />

UART<br />

— 2 DMA UART <br />

— 5678 串 列 料 <br />

— 串 列 率 <br />

— 1 2 <br />

— /<br />

— <br />

— <br />

— 16 <br />

— <br />

2.5 串 列 理 <br />

串 列 見 離 便 <br />

PC 都 串 列 <br />

S3C4510B UART 兩 立 串 列 I/O Asynchronous<br />

11<br />

e-Thesys(93 年 度 )


類 <br />

Serial I/OSIO DMA UART <br />

DMA CPU 串 列 I/O 料 <br />

S3C4510B UART <br />

串 列 率 <br />

<br />

1~2 <br />

567 8 數 <br />

<br />

串 列 都 立 串 列 率 <br />

串 列 率 理 <br />

MCLK UCLKPin64<br />

都 立 料 料 <br />

料 <br />

料 UATXDn 料 料 <br />

UARXDn <br />

UART 狀 <br />

UART UART <br />

料 UART <br />

UART <br />

UART MAX232 行 連<br />

DB9 串 列 DB9 PC <br />

串 列 連 來 ARM PC 行 串 列 <br />

路 理 <br />

12<br />

e-Thesys(93 年 度 )


類 <br />

SHELL<br />

P9<br />

5<br />

9<br />

4<br />

8<br />

3<br />

7<br />

2<br />

6<br />

1<br />

U7<br />

LT1386CS/MAX3232CSE<br />

C39<br />

4<br />

C2+<br />

3.3V<br />

16<br />

Vcc<br />

C1+<br />

C34<br />

0.1 uF<br />

1<br />

C40<br />

SHELL<br />

P10<br />

SIO-0<br />

5<br />

9<br />

4<br />

8<br />

3<br />

7<br />

2<br />

6<br />

1<br />

0.1 uF<br />

C41<br />

0.1 uF<br />

5<br />

14<br />

13<br />

7<br />

8<br />

2<br />

C2- C1-<br />

T1out T1in<br />

R1in R1out<br />

T2out T2in<br />

R2in R2out<br />

V+<br />

15<br />

GND<br />

V-<br />

3<br />

11<br />

12<br />

10<br />

9<br />

6<br />

0.1 uF<br />

C42<br />

TXD0<br />

RXD0<br />

TXD1<br />

RXD1<br />

0.1 uF<br />

SIO-1<br />

2.2S3C4510 UART 連 [25]<br />

2.6 LCD 理 <br />

LCD 理 利 <br />

列 易 不 <br />

列 亂 <br />

不 CRT 量 <br />

LCD 兩 <br />

backlight<br />

LCD LCD 都 <br />

<br />

不 <br />

<br />

<br />

不 <br />

<br />

13<br />

e-Thesys(93 年 度 )


類 <br />

數 128×64<br />

CS=1<br />

CS=2<br />

Y= 0 1 2 …. 63 Y= 0 1 2 …. 63<br />

X=0 D0 D0 D0 . D0 X=0 D0 D0 D0 . D0<br />

: : : . : : : : . :<br />

D7 D7 D7 . D7<br />

D7 D7 D7 . D7<br />

X=1~6 D0 D0 D0 . D0 X=1~6 D0 D0 D0 . D0<br />

: : : . : : : : . :<br />

D7 D7 D7 . D7<br />

D7 D7 D7 . D7<br />

X=7 D0 D0 D0 . D0 X=7 D0 D0 D0 . D0<br />

: : : . : : : : . :<br />

D7 D7 D7 . D7<br />

D7 D7 D7 . D7<br />

2.3RAM 料 LCD <br />

兩 兩 <br />

行 讀 CS1CS2 行 8<br />

行 1 X Y 列 料 <br />

CsiXY<br />

1 0 不 行 <br />

行 LCD 1 行 行 <br />

行 Z 來 Z 0~63 <br />

行 Z= 56 LCD 5657…<br />

6263012…5455<br />

14<br />

e-Thesys(93 年 度 )


類 <br />

2.4LCD [26]<br />

2.5ARMLCD 連 路 [26]<br />

15<br />

e-Thesys(93 年 度 )


類 <br />

2.6LCD 路 <br />

2.7<br />

16<br />

e-Thesys(93 年 度 )


類 <br />

2.7 LM629 理 <br />

: 易 PID 精 度 <br />

IC LM629 流 理 令 <br />

例 立 <br />

省 理 理 <br />

: 來 PID <br />

來 LM629 <br />

S3C4510 KPKIKD <br />

度 度 LM18200 便 <br />

S3C4510 <br />

理 PWM 流 <br />

motion PID controller 路 LM18200 路 類<br />

更 精 <br />

路 路 路 : 路<br />

說 LM629 數 PID PWM<br />

CONVERTER 來 :<br />

32BIT 令 <br />

理 <br />

串 列 <br />

ARM7<br />

<br />

Σ<br />

16bit PID<br />

數 濾 <br />

<br />

LMD18200<br />

PWM<br />

<br />

量 <br />

2.8LM629 [27]<br />

17<br />

e-Thesys(93 年 度 )


類 <br />

2.8 LMD18200 理 <br />

: 路 IC 流 ( 來 <br />

力 )<br />

: 利 路 LMD18200 <br />

H-bridge <br />

CURRENT SENSE OUTPUT <br />

流 力 <br />

THEMAL FLAG OUTPUT <br />

度 (5V) 來 IC <br />

<br />

THERMAL<br />

SESING<br />

UNDERVOLTAGE<br />

LOCKOUT<br />

CURRENT<br />

SENSING<br />

DVERCURRENT<br />

INPUT LOGIC<br />

2.9LMD18200 路 [28]<br />

18<br />

e-Thesys(93 年 度 )


類 <br />

2.10 路<br />

2.11: ARM7 <br />

19<br />

e-Thesys(93 年 度 )


類 <br />

2.12: 50 度 <br />

2.13: 180 度 <br />

20<br />

e-Thesys(93 年 度 )


類 <br />

2.14: 60 度 <br />

2.15: 120 度 <br />

21<br />

e-Thesys(93 年 度 )


類 <br />

2.9 10M/100M 路<br />

度 兩 MAC <br />

PHYS3C4510B 了 <br />

10M/100Mbps 率 MAC <br />

IEEE802.3 CSMA/CD <br />

IEEE802.3 MAC MAC MII<br />

Media Independent Interface BDIBuffered DMA InterfaceMAC <br />

令 狀 <br />

數 MII 25MHz 100M 率 <br />

2.5MHz 10M 率 <br />

路 DM9161 路 離 RJ45 DM9161<br />

3 狀 路 狀 <br />

2.16Ethernet System Flow Control[29]<br />

22<br />

e-Thesys(93 年 度 )


類 <br />

理 <br />

理 CCD PC PC <br />

量 量 <br />

行 來 <br />

參 [24] 來 <br />

LCD 行 <br />

理 (<br />

怒 )(<br />

)<br />

<br />

<br />

()<br />

CCD Camera <br />

<br />

量 <br />

<br />

<br />

<br />

<br />

( 鍊 )<br />

<br />

<br />

<br />

<br />

<br />

<br />

<br />

來 <br />

<br />

LCD<br />

<br />

<br />

<br />

<br />

<br />

3.1 流 <br />

23<br />

e-Thesys(93 年 度 )


類 <br />

3.1 <br />

年 來 Color Information<br />

<br />

便 識 識 <br />

來 理 3.2<br />

<br />

<br />

<br />

<br />

<br />

<br />

3.2 流 <br />

3.2 <br />

理 <br />

行 不 識 力 <br />

<br />

留 RGB <br />

若 <br />

例 了 <br />

RGB 度 <br />

24<br />

e-Thesys(93 年 度 )


類 <br />

了 降 RGB 度 YCbCr<br />

REC 601-2 CCIR 601 color space 度 <br />

⎡Y<br />

⎤ ⎡<br />

⎢ ⎥ ⎢ 0.3<br />

⎢ ⎥ ⎢<br />

⎢Cb⎥<br />

= ⎢−<br />

0.168<br />

⎢ ⎥ ⎢<br />

⎢ ⎥ ⎢ 0.5<br />

⎢<br />

⎣Cr<br />

⎥<br />

⎦ ⎢⎣<br />

0.6<br />

− 0.331<br />

− 0.419<br />

⎤<br />

0.1 ⎥<br />

⎥<br />

0.499 ⎥<br />

⎥<br />

− 0.081⎥<br />

⎥⎦<br />

⎡R⎤<br />

⎢ ⎥<br />

⎢ ⎥<br />

⎢G⎥<br />

⎢ ⎥<br />

⎢ ⎥<br />

⎢<br />

⎣B⎥<br />

⎦<br />

<br />

(3.1)<br />

Y 亮 度 luminanceCb Cr 度 chrominance<br />

YCbCr 度 3.1.1 <br />

精 <br />

YCbCr 度 Y CbCr <br />

CbCr 都 Cb Cr 理 [5] <br />

RCb RCr Cb Cr RCb=[77~127]<br />

RCr=[133~173] 易 識 3.1.2 <br />

3.3Skin colors distribution in YCbCr color space<br />

25<br />

e-Thesys(93 年 度 )


類 <br />

.<br />

3.4ab 識 <br />

了 3.4b 識 [6] YCb<br />

Cr 都 來 Y 亮 度 了 理 <br />

兩 3.23.3<br />

3.4<br />

if<br />

( Y > 128)<br />

256 − Y<br />

x1<br />

= −2<br />

+<br />

16<br />

256 − Y<br />

x2<br />

= 20 −<br />

16<br />

<br />

x3<br />

= 6<br />

x4<br />

= −8<br />

(3.2)<br />

if<br />

( Y ≤ 128)<br />

x1<br />

= 6<br />

(3.3)<br />

x2<br />

= 12<br />

Y<br />

x3<br />

= 2 +<br />

32<br />

Y<br />

x4<br />

= −16<br />

+<br />

16<br />

<br />

26<br />

e-Thesys(93 年 度 )


類 <br />

2( Cb + 24)<br />

( Cb + 17)<br />

4( Cb + 32)<br />

( Cb + x1)<br />

( x4<br />

− Cb)<br />

Cr ≥ −<br />

Cr ≥ −<br />

Cr ≥ −<br />

Cr ≥ 2.5<br />

Cr ≥ 0.5<br />

Cr ≥ x3<br />

220 − Cb<br />

Cr ≤<br />

6<br />

4<br />

Cr ≤<br />

3<br />

( x2<br />

− Cb)<br />

(3.4)<br />

了 識 3.5 <br />

3.5b 識 3.5b 識 <br />

論 <br />

3.5ab 識 <br />

3.3 <br />

來 <br />

<br />

3.6a<br />

3.6b<br />

27<br />

e-Thesys(93 年 度 )


類 <br />

3.6ab<br />

3.4 <br />

來 <br />

來 -20 <br />

20 -75 度 75 度 例 <br />

3..75 度 RS232 ARM<br />

ARM 來 <br />

PID 來 ARM 便 ARM 來 <br />

3.7<br />

28<br />

e-Thesys(93 年 度 )


類 <br />

150 度<br />

3.4 <br />

40cm<br />

3.8<br />

行 <br />

3.9 流 <br />

來 識 類 不 <br />

[23] 度 <br />

度 識 參 數 [24]<br />

<br />

<br />

<br />

立 <br />

參 數 料 <br />

參 數 <br />

3.9 流 <br />

29<br />

e-Thesys(93 年 度 )


類 <br />

3.5 <br />

<br />

[7] 來 <br />

[7] 不 不 理 利<br />

[8] 利 鍊 <br />

來 數 <br />

3.6 <br />

Binary 臨 <br />

度 六 [7] 拉 拉 Laplacian<br />

3.10 3.11 利 鍊 <br />

<br />

3.10Binary<br />

3.11 拉 拉 Laplacian<br />

鍊 拉 鍊 來 <br />

30<br />

e-Thesys(93 年 度 )


類 <br />

論 <br />

鍊 來 3.12<br />

Binary 拉 拉 Laplacian<br />

<br />

<br />

鍊 <br />

3.12 拉 拉 Laplacian<br />

例 拉 鍊 <br />

<br />

<br />

利 來 參 [7]<br />

行 良 度 [7][8]<br />

( 0.005 sec)[7][8]<br />

度 不 易 <br />

(3.13)<br />

3.13 拉 拉 Laplacian<br />

3.7 Eyebrow Feature<br />

鍊 來 <br />

31<br />

e-Thesys(93 年 度 )


類 <br />

易 .<br />

3.8 Mouth Feature<br />

了 流 利 <br />

<br />

利 [12] 臨 Adaptive thresholding 來<br />

臨 Binary<br />

<br />

3.9 <br />

若 <br />

理 率 降 了 更 率 <br />

<br />

度 <br />

度 來 3.14 <br />

3.14<br />

3.10 <br />

了 Binary<br />

32<br />

e-Thesys(93 年 度 )


類 <br />

了 <br />

利 <br />

來 臨 Adaptive<br />

thresholding 來 臨 IODintegral<br />

optical density 來 臨 IOD 3.8<br />

<br />

IOD =<br />

∫∫<br />

∫∫<br />

( x,<br />

y)<br />

Y dxdy<br />

D K dxdy<br />

D<br />

(3.8)<br />

Y K<br />

( x, y)<br />

臨 K D <br />

<br />

histogram 3.15 若 <br />

20% IOD <br />

0.2 累 數 量 臨 <br />

<br />

利 <br />

Histogram of Mouth<br />

Number of Pixels<br />

<br />

<br />

<br />

3.15<br />

利 [9] 來 來 <br />

33<br />

e-Thesys(93 年 度 )


類 <br />

度 利 兩 數 來 <br />

利 2 來 <br />

(3.9)<br />

異 來 參 <br />

r = R/(R+G+B) g =G / ( R+G+B) b=B/( R+G+B);<br />

(RG B) PIXEL <br />

lr = -0.776* r * r+0.5601* r+0.2123;<br />

fr= -0.776 * r * r + 0.5601* r + 0.1766;<br />

if (g>fr) and (g20) and (G.>20) and (B>20)<br />

get lip pixel<br />

else<br />

other pixel<br />

(3.9)<br />

利 [10] 來 異 <br />

來 異 來 <br />

(3.10)<br />

h= R / ( R+G);l=0.3 * R+0.59* G+0.11* B<br />

rc = R / (R+(b-a)*l+a) gc= G/ (G+(b-a)*l+a) bc= B / (B+(b-a)*l+a);<br />

(ab)=(0.40.8)<br />

k=(h-minh)/(maxh-minh);<br />

P1(x)=-la*kP1(y)=bc+lb*kP2(x)=0P2(y)=gcP3(x)=1<br />

P3(y)=-lr* ;(lalblr)=(0.40.40.2)<br />

(3.10)<br />

if ( k is high) and ( bc is close to gc) and P1P2P3 parabola is high<br />

get lip pixel<br />

else<br />

get other pixel<br />

3.16 利 <br />

3.11 <br />

3.16<br />

了 參 數 怒 樂 <br />

34<br />

e-Thesys(93 年 度 )


類 <br />

<br />

<br />

<br />

<br />

<br />

<br />

<br />

<br />

<br />

3.17 流 <br />

參 數 立 料 3.17<br />

流 料 <br />

Brows_D<br />

BE_Lo<br />

LEye_H<br />

BE_Li<br />

BE_Ri<br />

Reye_H<br />

BE_Ro<br />

Left_D<br />

Right_D<br />

Lip_H<br />

Lip_W<br />

3.18Facial sensation distinguishes the position picture of the parameters<br />

3.12 不 <br />

不 參 數 怒 樂 <br />

<br />

來 參 了 [24] 來 <br />

利 3.13.2 3.3 怒 <br />

樂 <br />

35<br />

e-Thesys(93 年 度 )


類 <br />

Facial sensation parameters<br />

Parameters<br />

Brows_D(D)<br />

BE_LO(LO)<br />

BE_LI(LI)<br />

BE_RO(RO)<br />

BE_RI(RI)<br />

Eye_H(EH)<br />

Lip_W(LW)<br />

Lip_H(LH)<br />

Left_D(LD)<br />

Right_D(RD)<br />

Description<br />

Distance<br />

between sides of eyebrows.<br />

Distance between the left eyebrow angle and left outside of canthus.<br />

Distance between the left eyebrow angle and left inside of canthus.<br />

Distance between the right eyebrow angle and right outside of canthus.<br />

Distance between the right eyebrow angle and right inside of canthus.<br />

Average height of the eyes<br />

Width of lip.<br />

Height of lip.<br />

Distance between left corner of the mouth and left canthus.<br />

Distance between right corner of the mouth and right canthus.<br />

The purpose of characteristic change situation which is the basis that in<br />

order to discuss facial sensation<br />

D − D<br />

BrowsD =<br />

D<br />

neutral<br />

neutral<br />

If Brows_D < 0 then distance of eyebrow is<br />

reduced else is increase<br />

LO − LO<br />

BELO =<br />

LO<br />

neutral<br />

neutral<br />

If BE_LO > 0 then the eyebrow angle rises<br />

outside the left eyebrow else is reduced<br />

LI − LI<br />

BELI =<br />

LI<br />

neutral<br />

neutral<br />

If BE_LI > 0 then the eyebrow angle rises<br />

inside the left eyebrow else is reduced<br />

RO − RO<br />

BERO =<br />

RO<br />

neutral<br />

neutral<br />

If BE_RO > 0 then the eyebrow angle rises<br />

outside the right eyebrow else is reduced<br />

RI − RI<br />

BERI =<br />

RI<br />

neutral<br />

neutral<br />

If BE_RI > 0 then the eyebrow angle rises<br />

inside the right eyebrow else is reduced<br />

The parameters of Dneutral and D<br />

are representing expression changing<br />

before and after.<br />

The parameters of LOneutral and LO<br />

are representing expression changing<br />

before and after.<br />

The parameters of LIneutral and LI<br />

are representing expression changing<br />

before and after.<br />

The parameters of ROneutral and RO<br />

are representing expression changing<br />

before and after.<br />

The parameters of RIneutral and RI<br />

are representing expression changing<br />

before and after.<br />

36<br />

e-Thesys(93 年 度 )


類 <br />

( LEH + REH ) − ( LEH + REH)<br />

EyeH =<br />

( LEH + REH)<br />

neutral<br />

neutral<br />

If Eye_H > 0 then height of the eye is<br />

increase else is reduced<br />

LW − LW<br />

LipW =<br />

LW<br />

neutral<br />

neutral<br />

If Lip_W > 0 then width of the lip is increase<br />

LH − LH<br />

LipH =<br />

LH<br />

neutral<br />

neutral<br />

If Lip_H > 0 then height of the lip is<br />

increase<br />

LD − LD<br />

LeftD =<br />

LD<br />

neutral<br />

neutral<br />

If Lefts_D < 0 then the left corner of the mouth<br />

rises else is reduced<br />

The parameters of<br />

(LEH+REH)neutral and (LEH+REH)<br />

are represent expression changing<br />

before and after.<br />

The parameters of LWneutral and<br />

LW are representing expression<br />

changing before and after.<br />

The parameters of LHneutral and LH<br />

are representing expression changing<br />

before and after.<br />

The parameters of LDneutral and LD<br />

are representing expression changing<br />

before and after.<br />

RD − RD<br />

RightD =<br />

RD<br />

neutral<br />

neutral<br />

If Right_D < 0 then the right corner of the<br />

mouth rises else is reduced<br />

The parameters of RDneutral and RD<br />

are representing expression changing<br />

before and after.<br />

不 不 參 數 <br />

怒 樂 Table 3.3 來 識 怒 <br />

樂 <br />

Judging rule in facial sensation<br />

Facial Sensation<br />

Happy Angry Sadness Glad<br />

different emotion<br />

expression parameters<br />

BrowsD < 0 < 0 < 0 > 0<br />

BELO = 0 < 0 = 0 = 0<br />

BELI < 0 < 0 < 0 > 0<br />

BERO = 0 < 0 = 0 = 0<br />

BERI < 0 < 0 < 0 > 0<br />

EyeH < 0 < 0 = 0 > 0<br />

LipW > 0 < 0 = 0 > 0<br />

LipH > 0 < 0 = 0 > 0<br />

LeftD > 0 < 0 = 0 > 0<br />

RightD > 0 < 0 = 0 > 0<br />

37<br />

e-Thesys(93 年 度 )


類 <br />

3.19<br />

3.20<br />

38<br />

e-Thesys(93 年 度 )


類 <br />

3.21 怒 <br />

3.22<br />

39<br />

e-Thesys(93 年 度 )


類 <br />

零 <br />

<br />

力 27cm<br />

*22.5*5cm 4.1 LCG <br />

LCG <br />

128*64<br />

LCG <br />

128*64<br />

LCG <br />

128*64<br />

4.1<br />

LCG 9.3CM *7CM*1.6CM 4.2~4.4 <br />

4.2LCD <br />

40<br />

e-Thesys(93 年 度 )


類 <br />

4.3<br />

41<br />

e-Thesys(93 年 度 )


類 <br />

4.4<br />

42<br />

e-Thesys(93 年 度 )


類 <br />

4.5<br />

43<br />

e-Thesys(93 年 度 )


類 <br />

論 來 <br />

5.1 論<br />

TCP/IPRS232<br />

uClinuxS3C4510<br />

LCG<br />

行 <br />

<br />

行 識 <br />

來 RS232<br />

ARM 利 ARM 理 LCG<br />

<br />

類<br />

利 LCD 來 <br />

來 LCD <br />

來 <br />

5.2 來 <br />

<br />

1. 理 <br />

論 VHWC 料 <br />

度 640*480(30)<br />

1280*960130camera 來 <br />

DirectShow 來 DirectShow<br />

Visual C++Borland C++ Builder<br />

1280*960130camera 來 更 <br />

<br />

44<br />

e-Thesys(93 年 度 )


類 <br />

2. <br />

1µ m 利 <br />

KPKIKD 參 數 來 利 Self-tuning 來 KP<br />

KIKD 參 數 <br />

3. <br />

來 <br />

<br />

45<br />

e-Thesys(93 年 度 )


類 <br />

參 <br />

[1]http://www.honda.co.jp/ASIMO/<br />

[2]http://www.sony.net/SonyInfo/QRIO/top.html<br />

[3]http://www.ai.mit.edu/projects/humanoid-robotics-group/kismet<br />

[4]Y. C. Wu; N. H. Hsieh; Z. R. Chen, “The application of intelligent algorithm<br />

principle on robot exercise”, 2003 IEEE/ASME International Conference on<br />

Robot, vol.1, pp. 371 -376, July. 2003<br />

[5]G. Christophe and T. Georgios, “Face detection using quantized skin color regions<br />

merging and wavelet packet analysis”, IEEE Trans. Multimedia, vol. 1, No. 3, pp.<br />

264-277. , Sept. 1999<br />

[6] P. S. Lai and H. C. Fu, “Dynamic facial color based face detection and rotation<br />

estimation”, Department of Computer Science and Information Engineering,<br />

National Chiao-Tung University<br />

[7] K. M, L. Hong, Yan , “Locating and extracting the eye in human face images” ,<br />

Pattern Recognition, vol.29, issue 5, pp. 771-779, May.1996<br />

[8] G.C. Feng, P.C. Yuen, “ Variance projection function and its application to eye<br />

detection for human face recognition”, Pattern Recognition Letters, vol.19, issue<br />

9, pp. 899-906, July.1998<br />

[9]Chiang, Cheng-Chin; Tai, Wen-Kai; Yang, Mau-Tsuen; Huang, Yi-Ting; Huang,<br />

Chi-Jaung , “ A novel method for detecting lips, eyes and faces in real time”,<br />

Pattern Recognition Letters, vol. 9, issue 5, pp. 229-287, August. 2003<br />

[10]Eveno, N. Caplier, A. Coulon, P.-Y , “New color transformation for lips<br />

Mentation Multimedia Signal Processing”, IEEE Fourth Workshop on ,pp. 3 –8 ,<br />

October. 2001<br />

[11] P. K. Allen, A. Timcenko, B. Yoshimi and P. Michelman, “Automated tracking<br />

46<br />

e-Thesys(93 年 度 )


類 <br />

and grasping of a moving object with a robotic hand-eye system”, IEEE<br />

Trans.Robot. Automat., vol. 9, no. 2, pp. 152-165, April. 1993.<br />

[12] J. H. Lai, P. C. Yuen, W. S. Chen, S. Lao, and M. Kawade, “Robust facial<br />

feature point detection under nonlinear illuminations”, IEEE ICCV Workshop<br />

on Recognition, Analysis, and Tracking of Faces and Gestures in Real-Time<br />

Systems, pp. 168-174, 2001<br />

[13]“” 立 <br />

88 論 <br />

[14] 李 “:” 91<br />

論 <br />

[15]“” 立<br />

90 論 <br />

[16] 祥 “ 行 ” 立 <br />

91 論 <br />

[17]“ FPGA ” 立 <br />

91 論 <br />

[18]“” 立 91 <br />

論 <br />

[19] 李 “ 利 ” 立 <br />

91 論 <br />

[20] 林 隆 “” 立 <br />

91 論 <br />

[21] 辰 “” 立 <br />

91 論 <br />

[22]“” <br />

90 論 .<br />

47<br />

e-Thesys(93 年 度 )


類 <br />

[23] R. Chellappa, C. L.Wilson, and S. Sirohey, “Human and machine recognition<br />

of facesA survey,” Proceeding of the<br />

IEEE, May. 1995, vol.83, No. 5, pp.<br />

705-740.<br />

[24] T. Ying-li, K. Takeo, and F. Jeffrey, “Recognizing action units for facial<br />

expression analysis,” IEEE Transaction on Pattern analysis and machine<br />

intelligence, Feb. 2001, vol. 23, No. 2, pp. 97-115.<br />

[25] http://focus.ti.com/lit/ds/symlink/max232.pdf<br />

[26]http://www.powertip.com.tw/product/PG%20SERIES/PG%2012864-I.PDF<br />

[27]http://www.national.com/JPN/ds/LM/LM629.pdf<br />

[28]http://www.national.com/pf/LM/LMD18200.html<br />

[29]<br />

[29]http://www.samsung.com/Products/Semiconductor/SystemLSI/Networks/Persona<br />

lNTASSP/CommunicationProcessor/S3C4510B/um_s3c4510b_rev1.pdf<br />

48<br />

e-Thesys(93 年 度 )

Hooray! Your file is uploaded and ready to be published.

Saved successfully!

Ooh no, something went wrong!