逢甲大學自動控制工程學系碩士班碩士論文
逢甲大學自動控制工程學系碩士班碩士論文
逢甲大學自動控制工程學系碩士班碩士論文
You also want an ePaper? Increase the reach of your titles
YUMPU automatically turns print PDFs into web optimized ePapers that Google loves.
論 <br />
類 <br />
<br />
Design and Development of Humanoid<br />
Robot Facial Expression Device<br />
<br />
<br />
年
類 <br />
<br />
<br />
兩 年 論 <br />
見 <br />
論 利 葉 理 <br />
諸 <br />
論 <br />
論 更 <br />
<br />
老 數 路 念 <br />
論 林 立 理 理 林 麟 <br />
<br />
勵 <br />
若 不 勵 <br />
讀 <br />
i e-Thesys(93 年 度 )
類 <br />
<br />
論 <br />
CCD PC <br />
( 怒 )<br />
( 例 )<br />
了 (1) 路 ARM 理 <br />
精 <br />
LCD 來 狀 <br />
(2) 識 <br />
() 鍊 來 (3)<br />
來 不 <br />
數 類 <br />
便 利 數 識 <br />
數 <br />
(4)<br />
度 <br />
: 識 <br />
ii e-Thesys(93 年 度 )
類 <br />
Abstract<br />
The purpose of this thesis is primarily focused on the development of a set<br />
man-machine interface system that combines the machine and a person facial<br />
expression interaction robot headthis robot head extracts the facial expression<br />
image of a person to the PC through the CCD camera that can express a person's<br />
face in timethe facial expression ( include pleasedangrynormal) that represents<br />
three kinds of affection and can track in person's position in time.( include to<br />
follow the person's face under swing) <br />
This system is composed of four major parts(1): The hardware electric<br />
circuitwe will design a one-degree-of-freedom base consist of one server motor to<br />
track the facial of personand three LCD displayers which are used to display the<br />
changes of the eyethe eyebrow and the month(2): in the aspects of pattern<br />
recognition we propose a method of rapid search ( apply the skin color fixed<br />
position) that can be used to located face position of the person and use chain code<br />
method to search eyeeyebrow and the size of mouth shape and position(3): in<br />
the facial expression algorithm we use the intelligence algorithm to analysis facial<br />
expressionwe extract 20 feature points from the eyeseyebrows and the mouth<br />
that are regarded as input variablesand categorize facial expression data in<br />
advance to make intelligent system control rule databasethen utilize these<br />
importations the variable to recognize the facial expression that a department<br />
present finallyat the same time transfer the variables to the controllerliking in<br />
time to let displayer can show the facial expression that emerge on the person at<br />
present(4):in display device design we will design a robot face that has one<br />
rotational degree of freedom<br />
Keywords:Pattern Recognition Robot facial expression analysis month<br />
detection eye detection<br />
iii<br />
e-Thesys(93 年 度 )
類 <br />
錄<br />
..............................................................................................................................i<br />
......................................................................................................................ii<br />
Abstract..................................................................................................................... iii<br />
錄 ............................................................................................................................iv<br />
錄 .........................................................................................................................vi<br />
錄 ...................................................................................................................... viii<br />
............................................................................................1<br />
1.1 ...................................................................................................................1<br />
1.2 ...............................................................................................1<br />
1.3 參 :.................................3<br />
1.4 ...........................................................................................................5<br />
類 路 .................................................................................7<br />
2.1 ARM 路 ................................................................................7<br />
2.2 ARM 理 ............................................................................................7<br />
2.3 ARM 理 ........................................................................................8<br />
2.4 ARM7 理 列 .........................................................................................8<br />
2.5 串 列 理 ...............................................................................11<br />
2.6 LCD 理 .......................................................................................13<br />
2.7 LM629 理 ..........................................................17<br />
2.8 LMD18200 理 ....................................................18<br />
2.9 10M/100M 路 .............................................................................22<br />
理 ..................................................................................23<br />
3.1 .........................................................................................................24<br />
3.2 .........................................................................................................24<br />
3.3 .............................................................................................27<br />
3.4 .................................................................................................28<br />
3.4 ...........................................................................29<br />
3.5 .....................................................................................................30<br />
3.6 .................................................................................................30<br />
3.7 Eyebrow Feature ...................................................................31<br />
3.8 Mouth Feature .......................................................................32<br />
3.9 ..................................................................................................32<br />
iv<br />
e-Thesys(93 年 度 )
類 <br />
3.10 ................................................................................................32<br />
3.11 ................................................................................................34<br />
3.12 不 ....................................................35<br />
零 ...............................................................40<br />
4.1 .........................................................................................................40<br />
論 來 ..........................................................................................44<br />
5.1 論 ..................................................................................................................44<br />
5.2 來 .........................................................................................................44<br />
參 ....................................................................................................................46<br />
v<br />
e-Thesys(93 年 度 )
類 <br />
錄<br />
2.1 路 流 ..................................................7<br />
2.2S3C4510 UART 連 [25] ......................................................13<br />
2.3RAM 料 LCD...............................................14<br />
2.4LCD[26] ....................................................................15<br />
2.8LM629 [27] .......................................................................17<br />
2.9LMD18200 路 [28] .....................................................18<br />
2.10 路 .............................................................................19<br />
2.11: ARM7 .......................................................................................19<br />
2.12: 50 度 ..................................................................20<br />
2.13: 180 度 ................................................................20<br />
2.14: 60 度 ..................................................................21<br />
2.15: 120 度 ................................................................21<br />
2.16ETHERNET SYSTEM FLOW CONTROL[29]..............................................22<br />
3.1 流 ...........................................................................................23<br />
3.2 流 .......................................................................................24<br />
3.4AB 識 .......................................................26<br />
3.5AB 識 .......................................................27<br />
3.6AB..............................28<br />
3.7...........................................................................28<br />
3.8...........................................................................29<br />
3.9 流 ................................................29<br />
3.10BINARY .............................................30<br />
3.11 拉 拉 LAPLACIAN............................30<br />
3.12 拉 拉 LAPLACIAN............................31<br />
vi e-Thesys(93 年 度 )
類 <br />
3.13 拉 拉 LAPLACIAN............................31<br />
3.14.............................................................................32<br />
3.15.............................................................................33<br />
3.16.................................................................................34<br />
3.17 流 .........................................................................35<br />
3.18FACIAL SENSATION DISTINGUISHES THE POSITION PICTURE OF THE<br />
PARAMETERS ...............................................................................................................35<br />
3.19 .............................................................38<br />
3.20 .............................................................38<br />
3.21 怒 .............................................................39<br />
3.22 .............................................................39<br />
4.1.......................................................................................40<br />
4.2LCD .......................................................................40<br />
4.3...........................................................................................41<br />
4.4...........................................................................................42<br />
4.5...........................................................................................43<br />
vii<br />
e-Thesys(93 年 度 )
類 <br />
錄<br />
3.1 FACIAL SENSATION PARAMETERS...............................................................36<br />
3.2 THE PURPOSE OF CHARACTERISTIC CHANGE SITUATION WHICH IS THE<br />
BASIS THAT IN ORDER TO DISCUSS FACIAL SENSATION...................................................36<br />
3.3 JUDGING RULE IN FACIAL SENSATION ......................................................37<br />
viii e-Thesys(93 年 度 )
類 <br />
<br />
1.1 <br />
來 <br />
<br />
<br />
便 了 <br />
識 <br />
力 類 行 類 識 <br />
切 率 <br />
便 理 <br />
例 類 精 神 不 <br />
行 車 狀 <br />
行 例 說 <br />
狀 更 <br />
索 念 <br />
索 精 度 率 利 <br />
更 <br />
更 更 <br />
1.2 <br />
利 益 數 年 來 <br />
年 <br />
SONY 更 <br />
2003 年 9 更 ASIMO<br />
例 更 IBM 7 <br />
ASIMO <br />
1<br />
e-Thesys(93 年 度 )
類 <br />
拉 類 <br />
離 ASIMO 識 <br />
不 量 年 金 六 <br />
ASIMO SONY <br />
QRIO SONY 2003 年 9 行 QRIO 行<br />
力 不 力 例 若 <br />
QRIO 力 理 CPU <br />
38 更 了 QRIO<br />
識 QRIO <br />
不 來 <br />
<br />
MIT AI() 1991 年 行 (<br />
) 不 理 <br />
類<br />
MIT <br />
兩 年 兩 <br />
CCD 料 <br />
識 類 <br />
5 20 <br />
不 <br />
行 度 <br />
來 來 <br />
,<br />
行 狀 行 狀 度<br />
<br />
<br />
2<br />
e-Thesys(93 年 度 )
類 <br />
1.3 參 :<br />
類 不 都 <br />
類 來 參<br />
了 <br />
[1][2] Honda SONY 兩 <br />
<br />
來 <br />
[3] MIT 度 不 <br />
參 <br />
[4] 利 <br />
利 來 參 <br />
[5][6] 兩 <br />
來 參 <br />
[7] 度 <br />
來 鍊 <br />
來 <br />
[8] 來 度 [7]<br />
參 <br />
[9] 來 異<br />
來 異 來<br />
參 <br />
[10] 來 度 <br />
利 兩 數 來 <br />
異 來 參 <br />
<br />
3<br />
e-Thesys(93 年 度 )
類 <br />
[11] 利 度 來 <br />
參 <br />
[12] 來 利 來 <br />
異 利 來 <br />
[13] 論 來 <br />
不 <br />
不 來 <br />
李 [14] 論 <br />
立 <br />
參 <br />
[15] 論 <br />
狀 來 裡 <br />
路 來 參 <br />
<br />
祥 [16] 論 利 來 行 <br />
利 來 來 <br />
立 .. 數 利 來 <br />
數 參 <br />
[17] 論 兩 <br />
CMOS Sensor 路 8051 <br />
了 SRAM Control Parallel Port<br />
HOSTBayer pattern<br />
edge detectionMotion detection algorithm<br />
了 連 不 PC<br />
來 <br />
[18]<br />
4<br />
e-Thesys(93 年 度 )
類 <br />
利 來 <br />
參 <br />
李 [19] 利 路 來 <br />
立 路 連 <br />
C++ Builder<br />
Winsock() 來 <br />
林 隆 [20] 了 (edge<br />
image)(grey value)<br />
烈 (edge) 都 利 <br />
來 [5][6] 來 <br />
辰 [21] 輪<br />
廓 行 <br />
不 PC 來 <br />
[22]<br />
<br />
參 <br />
[23] [24] 論 識 參 料 <br />
令 識 <br />
來 <br />
1.4 <br />
論 說 了 <br />
類 路 S3C4510(ARM7) 理 <br />
LCD RS232Ethernet 路 <br />
理 說 <br />
數 流 <br />
5<br />
e-Thesys(93 年 度 )
類 <br />
零 論 來 論 參 <br />
6<br />
e-Thesys(93 年 度 )
類 <br />
類 路<br />
2.1 ARM 路 <br />
類 CCD() PC(<br />
) 兩 ARM7 ( LCD <br />
)()<br />
CCD PC C++<br />
BUILDER 來 RS232 ARM<br />
7 ARM 7 LM629 IC( 來 )<br />
LCD ( 來 ) 類 路 <br />
流 <br />
RS232<br />
CCD<br />
U<br />
PC<br />
NET<br />
ARM7<br />
Month<br />
RS232<br />
NET<br />
Eyebrow<br />
Eye<br />
ARM7<br />
CONTROLLER<br />
LM629 SERVER<br />
MOTOR<br />
<br />
2.1 路 流 .<br />
2.2 ARM 理 <br />
ARMAdvanced RISC Machines 爲 <br />
類 理 爲 <br />
7<br />
e-Thesys(93 年 度 )
類 <br />
1991 年 ARM 立 <br />
ARM 識 産 IP 理 說 ARM<br />
理 類 産 路 <br />
類 産 ARM 理 了 32 RISC <br />
理 75 例 ARM <br />
ARM RISC 爲 識 産 <br />
不 産 産 <br />
産 ARM ARM 理 <br />
不 領 路 ARM<br />
理 都 ARM<br />
ARM 更 <br />
降 産 更 易 更 <br />
力 <br />
2.3 ARM 理 <br />
RISC ARM 理 <br />
1<br />
2 Thumb16 /ARM32 令 8 /16 <br />
理 <br />
3 量 令 行 度 更 <br />
4 數 料 都 <br />
5 靈 行 率 <br />
6 令 度 <br />
2.4 ARM7 理 列<br />
ARM7 列 理 爲 32 RISC 理 <br />
類 ARM7 理 列 <br />
8<br />
e-Thesys(93 年 度 )
類 <br />
ICERT 邏 便 <br />
産 <br />
0.9MIPS/MHz <br />
度 16 Thumb 令 <br />
Windows CELinuxPalm OS <br />
令 ARM9 列 ARM9E 列 ARM10E 列 便 <br />
産 <br />
130MIPS 理 力 數 <br />
ARM7 列 理 領 爲 Internet 路<br />
數 論 Samsung<br />
S3C4510B 列 理 <br />
Samsung S3C4510B 16/32 <br />
RISC ARM 16/32 ARM7TDMI RISC<br />
理 ARM7TDMI 爲 16/32 <br />
<br />
了 ARM7TDMI S3C4510B <br />
— 2 Buffer Descriptor HDLC <br />
— 2 UART <br />
— 2 GDMA <br />
— 2 32 <br />
— 18 I/O <br />
邏 路 <br />
— <br />
— DRAM/SDRAM <br />
— ROM/SRAM FLASH <br />
— 理 <br />
9<br />
e-Thesys(93 年 度 )
類 <br />
— 32 流 <br />
— <br />
S3C4510B <br />
— <br />
— 16/32 RISC <br />
— 爲 爲 <br />
<br />
— 率 ARM7TDMI 理 <br />
— JTAG <br />
— <br />
理 <br />
— ROM/SRAMFLASHDRAM I/O 8/16/32 <br />
<br />
— 流 / 流 <br />
— EDO/ SDRAM <br />
— 0~7 <br />
— 4 讀 <br />
— DMA <br />
令 / 料 Cache<br />
— 8K Cache<br />
— LRC<br />
— Cache 爲 SRAM<br />
Ethernet <br />
— Burst DMA <br />
— DMA /256 256 <br />
— MAC / FIFO 80 16 <br />
10<br />
e-Thesys(93 年 度 )
類 <br />
料 邏 <br />
— <br />
— 100M/10Mbps 率<br />
— IEEE802.3 <br />
— MII 7 10Mbps <br />
— 理 <br />
— CAM 21 <br />
— <br />
— /<br />
— PDA <br />
UART<br />
— 2 DMA UART <br />
— 5678 串 列 料 <br />
— 串 列 率 <br />
— 1 2 <br />
— /<br />
— <br />
— <br />
— 16 <br />
— <br />
2.5 串 列 理 <br />
串 列 見 離 便 <br />
PC 都 串 列 <br />
S3C4510B UART 兩 立 串 列 I/O Asynchronous<br />
11<br />
e-Thesys(93 年 度 )
類 <br />
Serial I/OSIO DMA UART <br />
DMA CPU 串 列 I/O 料 <br />
S3C4510B UART <br />
串 列 率 <br />
<br />
1~2 <br />
567 8 數 <br />
<br />
串 列 都 立 串 列 率 <br />
串 列 率 理 <br />
MCLK UCLKPin64<br />
都 立 料 料 <br />
料 <br />
料 UATXDn 料 料 <br />
UARXDn <br />
UART 狀 <br />
UART UART <br />
料 UART <br />
UART <br />
UART MAX232 行 連<br />
DB9 串 列 DB9 PC <br />
串 列 連 來 ARM PC 行 串 列 <br />
路 理 <br />
12<br />
e-Thesys(93 年 度 )
類 <br />
SHELL<br />
P9<br />
5<br />
9<br />
4<br />
8<br />
3<br />
7<br />
2<br />
6<br />
1<br />
U7<br />
LT1386CS/MAX3232CSE<br />
C39<br />
4<br />
C2+<br />
3.3V<br />
16<br />
Vcc<br />
C1+<br />
C34<br />
0.1 uF<br />
1<br />
C40<br />
SHELL<br />
P10<br />
SIO-0<br />
5<br />
9<br />
4<br />
8<br />
3<br />
7<br />
2<br />
6<br />
1<br />
0.1 uF<br />
C41<br />
0.1 uF<br />
5<br />
14<br />
13<br />
7<br />
8<br />
2<br />
C2- C1-<br />
T1out T1in<br />
R1in R1out<br />
T2out T2in<br />
R2in R2out<br />
V+<br />
15<br />
GND<br />
V-<br />
3<br />
11<br />
12<br />
10<br />
9<br />
6<br />
0.1 uF<br />
C42<br />
TXD0<br />
RXD0<br />
TXD1<br />
RXD1<br />
0.1 uF<br />
SIO-1<br />
2.2S3C4510 UART 連 [25]<br />
2.6 LCD 理 <br />
LCD 理 利 <br />
列 易 不 <br />
列 亂 <br />
不 CRT 量 <br />
LCD 兩 <br />
backlight<br />
LCD LCD 都 <br />
<br />
不 <br />
<br />
<br />
不 <br />
<br />
13<br />
e-Thesys(93 年 度 )
類 <br />
數 128×64<br />
CS=1<br />
CS=2<br />
Y= 0 1 2 …. 63 Y= 0 1 2 …. 63<br />
X=0 D0 D0 D0 . D0 X=0 D0 D0 D0 . D0<br />
: : : . : : : : . :<br />
D7 D7 D7 . D7<br />
D7 D7 D7 . D7<br />
X=1~6 D0 D0 D0 . D0 X=1~6 D0 D0 D0 . D0<br />
: : : . : : : : . :<br />
D7 D7 D7 . D7<br />
D7 D7 D7 . D7<br />
X=7 D0 D0 D0 . D0 X=7 D0 D0 D0 . D0<br />
: : : . : : : : . :<br />
D7 D7 D7 . D7<br />
D7 D7 D7 . D7<br />
2.3RAM 料 LCD <br />
兩 兩 <br />
行 讀 CS1CS2 行 8<br />
行 1 X Y 列 料 <br />
CsiXY<br />
1 0 不 行 <br />
行 LCD 1 行 行 <br />
行 Z 來 Z 0~63 <br />
行 Z= 56 LCD 5657…<br />
6263012…5455<br />
14<br />
e-Thesys(93 年 度 )
類 <br />
2.4LCD [26]<br />
2.5ARMLCD 連 路 [26]<br />
15<br />
e-Thesys(93 年 度 )
類 <br />
2.6LCD 路 <br />
2.7<br />
16<br />
e-Thesys(93 年 度 )
類 <br />
2.7 LM629 理 <br />
: 易 PID 精 度 <br />
IC LM629 流 理 令 <br />
例 立 <br />
省 理 理 <br />
: 來 PID <br />
來 LM629 <br />
S3C4510 KPKIKD <br />
度 度 LM18200 便 <br />
S3C4510 <br />
理 PWM 流 <br />
motion PID controller 路 LM18200 路 類<br />
更 精 <br />
路 路 路 : 路<br />
說 LM629 數 PID PWM<br />
CONVERTER 來 :<br />
32BIT 令 <br />
理 <br />
串 列 <br />
ARM7<br />
<br />
Σ<br />
16bit PID<br />
數 濾 <br />
<br />
LMD18200<br />
PWM<br />
<br />
量 <br />
2.8LM629 [27]<br />
17<br />
e-Thesys(93 年 度 )
類 <br />
2.8 LMD18200 理 <br />
: 路 IC 流 ( 來 <br />
力 )<br />
: 利 路 LMD18200 <br />
H-bridge <br />
CURRENT SENSE OUTPUT <br />
流 力 <br />
THEMAL FLAG OUTPUT <br />
度 (5V) 來 IC <br />
<br />
THERMAL<br />
SESING<br />
UNDERVOLTAGE<br />
LOCKOUT<br />
CURRENT<br />
SENSING<br />
DVERCURRENT<br />
INPUT LOGIC<br />
2.9LMD18200 路 [28]<br />
18<br />
e-Thesys(93 年 度 )
類 <br />
2.10 路<br />
2.11: ARM7 <br />
19<br />
e-Thesys(93 年 度 )
類 <br />
2.12: 50 度 <br />
2.13: 180 度 <br />
20<br />
e-Thesys(93 年 度 )
類 <br />
2.14: 60 度 <br />
2.15: 120 度 <br />
21<br />
e-Thesys(93 年 度 )
類 <br />
2.9 10M/100M 路<br />
度 兩 MAC <br />
PHYS3C4510B 了 <br />
10M/100Mbps 率 MAC <br />
IEEE802.3 CSMA/CD <br />
IEEE802.3 MAC MAC MII<br />
Media Independent Interface BDIBuffered DMA InterfaceMAC <br />
令 狀 <br />
數 MII 25MHz 100M 率 <br />
2.5MHz 10M 率 <br />
路 DM9161 路 離 RJ45 DM9161<br />
3 狀 路 狀 <br />
2.16Ethernet System Flow Control[29]<br />
22<br />
e-Thesys(93 年 度 )
類 <br />
理 <br />
理 CCD PC PC <br />
量 量 <br />
行 來 <br />
參 [24] 來 <br />
LCD 行 <br />
理 (<br />
怒 )(<br />
)<br />
<br />
<br />
()<br />
CCD Camera <br />
<br />
量 <br />
<br />
<br />
<br />
<br />
( 鍊 )<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
來 <br />
<br />
LCD<br />
<br />
<br />
<br />
<br />
<br />
3.1 流 <br />
23<br />
e-Thesys(93 年 度 )
類 <br />
3.1 <br />
年 來 Color Information<br />
<br />
便 識 識 <br />
來 理 3.2<br />
<br />
<br />
<br />
<br />
<br />
<br />
3.2 流 <br />
3.2 <br />
理 <br />
行 不 識 力 <br />
<br />
留 RGB <br />
若 <br />
例 了 <br />
RGB 度 <br />
24<br />
e-Thesys(93 年 度 )
類 <br />
了 降 RGB 度 YCbCr<br />
REC 601-2 CCIR 601 color space 度 <br />
⎡Y<br />
⎤ ⎡<br />
⎢ ⎥ ⎢ 0.3<br />
⎢ ⎥ ⎢<br />
⎢Cb⎥<br />
= ⎢−<br />
0.168<br />
⎢ ⎥ ⎢<br />
⎢ ⎥ ⎢ 0.5<br />
⎢<br />
⎣Cr<br />
⎥<br />
⎦ ⎢⎣<br />
0.6<br />
− 0.331<br />
− 0.419<br />
⎤<br />
0.1 ⎥<br />
⎥<br />
0.499 ⎥<br />
⎥<br />
− 0.081⎥<br />
⎥⎦<br />
⎡R⎤<br />
⎢ ⎥<br />
⎢ ⎥<br />
⎢G⎥<br />
⎢ ⎥<br />
⎢ ⎥<br />
⎢<br />
⎣B⎥<br />
⎦<br />
<br />
(3.1)<br />
Y 亮 度 luminanceCb Cr 度 chrominance<br />
YCbCr 度 3.1.1 <br />
精 <br />
YCbCr 度 Y CbCr <br />
CbCr 都 Cb Cr 理 [5] <br />
RCb RCr Cb Cr RCb=[77~127]<br />
RCr=[133~173] 易 識 3.1.2 <br />
3.3Skin colors distribution in YCbCr color space<br />
25<br />
e-Thesys(93 年 度 )
類 <br />
.<br />
3.4ab 識 <br />
了 3.4b 識 [6] YCb<br />
Cr 都 來 Y 亮 度 了 理 <br />
兩 3.23.3<br />
3.4<br />
if<br />
( Y > 128)<br />
256 − Y<br />
x1<br />
= −2<br />
+<br />
16<br />
256 − Y<br />
x2<br />
= 20 −<br />
16<br />
<br />
x3<br />
= 6<br />
x4<br />
= −8<br />
(3.2)<br />
if<br />
( Y ≤ 128)<br />
x1<br />
= 6<br />
(3.3)<br />
x2<br />
= 12<br />
Y<br />
x3<br />
= 2 +<br />
32<br />
Y<br />
x4<br />
= −16<br />
+<br />
16<br />
<br />
26<br />
e-Thesys(93 年 度 )
類 <br />
2( Cb + 24)<br />
( Cb + 17)<br />
4( Cb + 32)<br />
( Cb + x1)<br />
( x4<br />
− Cb)<br />
Cr ≥ −<br />
Cr ≥ −<br />
Cr ≥ −<br />
Cr ≥ 2.5<br />
Cr ≥ 0.5<br />
Cr ≥ x3<br />
220 − Cb<br />
Cr ≤<br />
6<br />
4<br />
Cr ≤<br />
3<br />
( x2<br />
− Cb)<br />
(3.4)<br />
了 識 3.5 <br />
3.5b 識 3.5b 識 <br />
論 <br />
3.5ab 識 <br />
3.3 <br />
來 <br />
<br />
3.6a<br />
3.6b<br />
27<br />
e-Thesys(93 年 度 )
類 <br />
3.6ab<br />
3.4 <br />
來 <br />
來 -20 <br />
20 -75 度 75 度 例 <br />
3..75 度 RS232 ARM<br />
ARM 來 <br />
PID 來 ARM 便 ARM 來 <br />
3.7<br />
28<br />
e-Thesys(93 年 度 )
類 <br />
150 度<br />
3.4 <br />
40cm<br />
3.8<br />
行 <br />
3.9 流 <br />
來 識 類 不 <br />
[23] 度 <br />
度 識 參 數 [24]<br />
<br />
<br />
<br />
立 <br />
參 數 料 <br />
參 數 <br />
3.9 流 <br />
29<br />
e-Thesys(93 年 度 )
類 <br />
3.5 <br />
<br />
[7] 來 <br />
[7] 不 不 理 利<br />
[8] 利 鍊 <br />
來 數 <br />
3.6 <br />
Binary 臨 <br />
度 六 [7] 拉 拉 Laplacian<br />
3.10 3.11 利 鍊 <br />
<br />
3.10Binary<br />
3.11 拉 拉 Laplacian<br />
鍊 拉 鍊 來 <br />
30<br />
e-Thesys(93 年 度 )
類 <br />
論 <br />
鍊 來 3.12<br />
Binary 拉 拉 Laplacian<br />
<br />
<br />
鍊 <br />
3.12 拉 拉 Laplacian<br />
例 拉 鍊 <br />
<br />
<br />
利 來 參 [7]<br />
行 良 度 [7][8]<br />
( 0.005 sec)[7][8]<br />
度 不 易 <br />
(3.13)<br />
3.13 拉 拉 Laplacian<br />
3.7 Eyebrow Feature<br />
鍊 來 <br />
31<br />
e-Thesys(93 年 度 )
類 <br />
易 .<br />
3.8 Mouth Feature<br />
了 流 利 <br />
<br />
利 [12] 臨 Adaptive thresholding 來<br />
臨 Binary<br />
<br />
3.9 <br />
若 <br />
理 率 降 了 更 率 <br />
<br />
度 <br />
度 來 3.14 <br />
3.14<br />
3.10 <br />
了 Binary<br />
32<br />
e-Thesys(93 年 度 )
類 <br />
了 <br />
利 <br />
來 臨 Adaptive<br />
thresholding 來 臨 IODintegral<br />
optical density 來 臨 IOD 3.8<br />
<br />
IOD =<br />
∫∫<br />
∫∫<br />
( x,<br />
y)<br />
Y dxdy<br />
D K dxdy<br />
D<br />
(3.8)<br />
Y K<br />
( x, y)<br />
臨 K D <br />
<br />
histogram 3.15 若 <br />
20% IOD <br />
0.2 累 數 量 臨 <br />
<br />
利 <br />
Histogram of Mouth<br />
Number of Pixels<br />
<br />
<br />
<br />
3.15<br />
利 [9] 來 來 <br />
33<br />
e-Thesys(93 年 度 )
類 <br />
度 利 兩 數 來 <br />
利 2 來 <br />
(3.9)<br />
異 來 參 <br />
r = R/(R+G+B) g =G / ( R+G+B) b=B/( R+G+B);<br />
(RG B) PIXEL <br />
lr = -0.776* r * r+0.5601* r+0.2123;<br />
fr= -0.776 * r * r + 0.5601* r + 0.1766;<br />
if (g>fr) and (g20) and (G.>20) and (B>20)<br />
get lip pixel<br />
else<br />
other pixel<br />
(3.9)<br />
利 [10] 來 異 <br />
來 異 來 <br />
(3.10)<br />
h= R / ( R+G);l=0.3 * R+0.59* G+0.11* B<br />
rc = R / (R+(b-a)*l+a) gc= G/ (G+(b-a)*l+a) bc= B / (B+(b-a)*l+a);<br />
(ab)=(0.40.8)<br />
k=(h-minh)/(maxh-minh);<br />
P1(x)=-la*kP1(y)=bc+lb*kP2(x)=0P2(y)=gcP3(x)=1<br />
P3(y)=-lr* ;(lalblr)=(0.40.40.2)<br />
(3.10)<br />
if ( k is high) and ( bc is close to gc) and P1P2P3 parabola is high<br />
get lip pixel<br />
else<br />
get other pixel<br />
3.16 利 <br />
3.11 <br />
3.16<br />
了 參 數 怒 樂 <br />
34<br />
e-Thesys(93 年 度 )
類 <br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
3.17 流 <br />
參 數 立 料 3.17<br />
流 料 <br />
Brows_D<br />
BE_Lo<br />
LEye_H<br />
BE_Li<br />
BE_Ri<br />
Reye_H<br />
BE_Ro<br />
Left_D<br />
Right_D<br />
Lip_H<br />
Lip_W<br />
3.18Facial sensation distinguishes the position picture of the parameters<br />
3.12 不 <br />
不 參 數 怒 樂 <br />
<br />
來 參 了 [24] 來 <br />
利 3.13.2 3.3 怒 <br />
樂 <br />
35<br />
e-Thesys(93 年 度 )
類 <br />
Facial sensation parameters<br />
Parameters<br />
Brows_D(D)<br />
BE_LO(LO)<br />
BE_LI(LI)<br />
BE_RO(RO)<br />
BE_RI(RI)<br />
Eye_H(EH)<br />
Lip_W(LW)<br />
Lip_H(LH)<br />
Left_D(LD)<br />
Right_D(RD)<br />
Description<br />
Distance<br />
between sides of eyebrows.<br />
Distance between the left eyebrow angle and left outside of canthus.<br />
Distance between the left eyebrow angle and left inside of canthus.<br />
Distance between the right eyebrow angle and right outside of canthus.<br />
Distance between the right eyebrow angle and right inside of canthus.<br />
Average height of the eyes<br />
Width of lip.<br />
Height of lip.<br />
Distance between left corner of the mouth and left canthus.<br />
Distance between right corner of the mouth and right canthus.<br />
The purpose of characteristic change situation which is the basis that in<br />
order to discuss facial sensation<br />
D − D<br />
BrowsD =<br />
D<br />
neutral<br />
neutral<br />
If Brows_D < 0 then distance of eyebrow is<br />
reduced else is increase<br />
LO − LO<br />
BELO =<br />
LO<br />
neutral<br />
neutral<br />
If BE_LO > 0 then the eyebrow angle rises<br />
outside the left eyebrow else is reduced<br />
LI − LI<br />
BELI =<br />
LI<br />
neutral<br />
neutral<br />
If BE_LI > 0 then the eyebrow angle rises<br />
inside the left eyebrow else is reduced<br />
RO − RO<br />
BERO =<br />
RO<br />
neutral<br />
neutral<br />
If BE_RO > 0 then the eyebrow angle rises<br />
outside the right eyebrow else is reduced<br />
RI − RI<br />
BERI =<br />
RI<br />
neutral<br />
neutral<br />
If BE_RI > 0 then the eyebrow angle rises<br />
inside the right eyebrow else is reduced<br />
The parameters of Dneutral and D<br />
are representing expression changing<br />
before and after.<br />
The parameters of LOneutral and LO<br />
are representing expression changing<br />
before and after.<br />
The parameters of LIneutral and LI<br />
are representing expression changing<br />
before and after.<br />
The parameters of ROneutral and RO<br />
are representing expression changing<br />
before and after.<br />
The parameters of RIneutral and RI<br />
are representing expression changing<br />
before and after.<br />
36<br />
e-Thesys(93 年 度 )
類 <br />
( LEH + REH ) − ( LEH + REH)<br />
EyeH =<br />
( LEH + REH)<br />
neutral<br />
neutral<br />
If Eye_H > 0 then height of the eye is<br />
increase else is reduced<br />
LW − LW<br />
LipW =<br />
LW<br />
neutral<br />
neutral<br />
If Lip_W > 0 then width of the lip is increase<br />
LH − LH<br />
LipH =<br />
LH<br />
neutral<br />
neutral<br />
If Lip_H > 0 then height of the lip is<br />
increase<br />
LD − LD<br />
LeftD =<br />
LD<br />
neutral<br />
neutral<br />
If Lefts_D < 0 then the left corner of the mouth<br />
rises else is reduced<br />
The parameters of<br />
(LEH+REH)neutral and (LEH+REH)<br />
are represent expression changing<br />
before and after.<br />
The parameters of LWneutral and<br />
LW are representing expression<br />
changing before and after.<br />
The parameters of LHneutral and LH<br />
are representing expression changing<br />
before and after.<br />
The parameters of LDneutral and LD<br />
are representing expression changing<br />
before and after.<br />
RD − RD<br />
RightD =<br />
RD<br />
neutral<br />
neutral<br />
If Right_D < 0 then the right corner of the<br />
mouth rises else is reduced<br />
The parameters of RDneutral and RD<br />
are representing expression changing<br />
before and after.<br />
不 不 參 數 <br />
怒 樂 Table 3.3 來 識 怒 <br />
樂 <br />
Judging rule in facial sensation<br />
Facial Sensation<br />
Happy Angry Sadness Glad<br />
different emotion<br />
expression parameters<br />
BrowsD < 0 < 0 < 0 > 0<br />
BELO = 0 < 0 = 0 = 0<br />
BELI < 0 < 0 < 0 > 0<br />
BERO = 0 < 0 = 0 = 0<br />
BERI < 0 < 0 < 0 > 0<br />
EyeH < 0 < 0 = 0 > 0<br />
LipW > 0 < 0 = 0 > 0<br />
LipH > 0 < 0 = 0 > 0<br />
LeftD > 0 < 0 = 0 > 0<br />
RightD > 0 < 0 = 0 > 0<br />
37<br />
e-Thesys(93 年 度 )
類 <br />
3.19<br />
3.20<br />
38<br />
e-Thesys(93 年 度 )
類 <br />
3.21 怒 <br />
3.22<br />
39<br />
e-Thesys(93 年 度 )
類 <br />
零 <br />
<br />
力 27cm<br />
*22.5*5cm 4.1 LCG <br />
LCG <br />
128*64<br />
LCG <br />
128*64<br />
LCG <br />
128*64<br />
4.1<br />
LCG 9.3CM *7CM*1.6CM 4.2~4.4 <br />
4.2LCD <br />
40<br />
e-Thesys(93 年 度 )
類 <br />
4.3<br />
41<br />
e-Thesys(93 年 度 )
類 <br />
4.4<br />
42<br />
e-Thesys(93 年 度 )
類 <br />
4.5<br />
43<br />
e-Thesys(93 年 度 )
類 <br />
論 來 <br />
5.1 論<br />
TCP/IPRS232<br />
uClinuxS3C4510<br />
LCG<br />
行 <br />
<br />
行 識 <br />
來 RS232<br />
ARM 利 ARM 理 LCG<br />
<br />
類<br />
利 LCD 來 <br />
來 LCD <br />
來 <br />
5.2 來 <br />
<br />
1. 理 <br />
論 VHWC 料 <br />
度 640*480(30)<br />
1280*960130camera 來 <br />
DirectShow 來 DirectShow<br />
Visual C++Borland C++ Builder<br />
1280*960130camera 來 更 <br />
<br />
44<br />
e-Thesys(93 年 度 )
類 <br />
2. <br />
1µ m 利 <br />
KPKIKD 參 數 來 利 Self-tuning 來 KP<br />
KIKD 參 數 <br />
3. <br />
來 <br />
<br />
45<br />
e-Thesys(93 年 度 )
類 <br />
參 <br />
[1]http://www.honda.co.jp/ASIMO/<br />
[2]http://www.sony.net/SonyInfo/QRIO/top.html<br />
[3]http://www.ai.mit.edu/projects/humanoid-robotics-group/kismet<br />
[4]Y. C. Wu; N. H. Hsieh; Z. R. Chen, “The application of intelligent algorithm<br />
principle on robot exercise”, 2003 IEEE/ASME International Conference on<br />
Robot, vol.1, pp. 371 -376, July. 2003<br />
[5]G. Christophe and T. Georgios, “Face detection using quantized skin color regions<br />
merging and wavelet packet analysis”, IEEE Trans. Multimedia, vol. 1, No. 3, pp.<br />
264-277. , Sept. 1999<br />
[6] P. S. Lai and H. C. Fu, “Dynamic facial color based face detection and rotation<br />
estimation”, Department of Computer Science and Information Engineering,<br />
National Chiao-Tung University<br />
[7] K. M, L. Hong, Yan , “Locating and extracting the eye in human face images” ,<br />
Pattern Recognition, vol.29, issue 5, pp. 771-779, May.1996<br />
[8] G.C. Feng, P.C. Yuen, “ Variance projection function and its application to eye<br />
detection for human face recognition”, Pattern Recognition Letters, vol.19, issue<br />
9, pp. 899-906, July.1998<br />
[9]Chiang, Cheng-Chin; Tai, Wen-Kai; Yang, Mau-Tsuen; Huang, Yi-Ting; Huang,<br />
Chi-Jaung , “ A novel method for detecting lips, eyes and faces in real time”,<br />
Pattern Recognition Letters, vol. 9, issue 5, pp. 229-287, August. 2003<br />
[10]Eveno, N. Caplier, A. Coulon, P.-Y , “New color transformation for lips<br />
Mentation Multimedia Signal Processing”, IEEE Fourth Workshop on ,pp. 3 –8 ,<br />
October. 2001<br />
[11] P. K. Allen, A. Timcenko, B. Yoshimi and P. Michelman, “Automated tracking<br />
46<br />
e-Thesys(93 年 度 )
類 <br />
and grasping of a moving object with a robotic hand-eye system”, IEEE<br />
Trans.Robot. Automat., vol. 9, no. 2, pp. 152-165, April. 1993.<br />
[12] J. H. Lai, P. C. Yuen, W. S. Chen, S. Lao, and M. Kawade, “Robust facial<br />
feature point detection under nonlinear illuminations”, IEEE ICCV Workshop<br />
on Recognition, Analysis, and Tracking of Faces and Gestures in Real-Time<br />
Systems, pp. 168-174, 2001<br />
[13]“” 立 <br />
88 論 <br />
[14] 李 “:” 91<br />
論 <br />
[15]“” 立<br />
90 論 <br />
[16] 祥 “ 行 ” 立 <br />
91 論 <br />
[17]“ FPGA ” 立 <br />
91 論 <br />
[18]“” 立 91 <br />
論 <br />
[19] 李 “ 利 ” 立 <br />
91 論 <br />
[20] 林 隆 “” 立 <br />
91 論 <br />
[21] 辰 “” 立 <br />
91 論 <br />
[22]“” <br />
90 論 .<br />
47<br />
e-Thesys(93 年 度 )
類 <br />
[23] R. Chellappa, C. L.Wilson, and S. Sirohey, “Human and machine recognition<br />
of facesA survey,” Proceeding of the<br />
IEEE, May. 1995, vol.83, No. 5, pp.<br />
705-740.<br />
[24] T. Ying-li, K. Takeo, and F. Jeffrey, “Recognizing action units for facial<br />
expression analysis,” IEEE Transaction on Pattern analysis and machine<br />
intelligence, Feb. 2001, vol. 23, No. 2, pp. 97-115.<br />
[25] http://focus.ti.com/lit/ds/symlink/max232.pdf<br />
[26]http://www.powertip.com.tw/product/PG%20SERIES/PG%2012864-I.PDF<br />
[27]http://www.national.com/JPN/ds/LM/LM629.pdf<br />
[28]http://www.national.com/pf/LM/LMD18200.html<br />
[29]<br />
[29]http://www.samsung.com/Products/Semiconductor/SystemLSI/Networks/Persona<br />
lNTASSP/CommunicationProcessor/S3C4510B/um_s3c4510b_rev1.pdf<br />
48<br />
e-Thesys(93 年 度 )