Hand Tracking, Finger Identification, and Chordic Manipulation on

More documents

Recommendations

Info

5.2.2.2 Searching for Synchronized <strong>Finger</strong> Subsets : : : : : : 243 5.2.2.3 Synchronization Detector Decisions <strong>and</strong> Actions : : : 244 5.2.2.4 Issuing Chord Taps : : : : : : : : : : : : : : : : : : : 245 5.2.2.5 Avoiding Accidental Mouse Clicks : : : : : : : : : : 247 5.2.3 Keypress Acceptance <strong>and</strong> Transmission : : : : : : : : : : : : : 247 5.2.3.1 <strong>H<strong>and</strong></strong>ling Modi er Keys : : : : : : : : : : : : : : : : 249 5.2.3.2 Alternatives to Full Taps from Suspended <strong>H<strong>and</strong></strong>s : : 250 5.2.3.3 Potential Typing Speeds : : : : : : : : : : : : : : : : 251 5.2.4 Typing Summary : : : : : : : : : : : : : : : : : : : : : : : : : 252 5.3 <strong>H<strong>and</strong></strong> Motion Extraction : : : : : : : : : : : : : : : : : : : : : : : : : 252 5.3.1 Inputs to the Extraction Algorithm : : : : : : : : : : : : : : : 254 5.3.2 Scaling <strong>and</strong> Rotation Component Extraction : : : : : : : : : : 254 5.3.3 Translation Component Extraction : : : : : : : : : : : : : : : 258 5.3.4 Dead Zone Filtering : : : : : : : : : : : : : : : : : : : : : : : 260 5.3.5 Motion Extraction Results : : : : : : : : : : : : : : : : : : : : 261 5.3.6 Motion Extraction Conclusions : : : : : : : : : : : : : : : : : 266 5.4 Chord Motion Recognition : : : : : : : : : : : : : : : : : : : : : : : : 266 5.4.1 Channel Selection : : : : : : : : : : : : : : : : : : : : : : : : : 266 5.4.1.1 Channels Follow <strong>Finger</strong> Combinations : : : : : : : : 267 5.4.1.2 Initial <strong>Finger</strong> Combination Sets Channel : : : : : : : 268 5.4.2 MTS Chord Motion State Machine : : : : : : : : : : : : : : : 269 5.4.2.1 State C: Channel Selection : : : : : : : : : : : : : : 269 5.4.2.2 State SC: Synced Subset Channel Selection : : : : : 271 5.4.2.3 State M: <strong>Manipulation</strong> : : : : : : : : : : : : : : : : : 272 5.4.3 Chord Mappings : : : : : : : : : : : : : : : : : : : : : : : : : 272 5.5 Conclusions : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 275 6 PRELIMINARY EVALUATION, FUTURE DIRECTIONS, AND xii
CONCLUSIONS : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 276 6.1 Testimonial <strong>and</strong> Case Study of the Author : : : : : : : : : : : : : : : 276 6.1.1 My Fitness as an Evaluator : : : : : : : : : : : : : : : : : : : 277 6.1.2 Equipment <strong>and</strong> Methods : : : : : : : : : : : : : : : : : : : : : 278 6.1.3 Typing : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 279 6.1.4 Weekly Symptoms : : : : : : : : : : : : : : : : : : : : : : : : 281 6.1.4.1 First Two Weeks : : : : : : : : : : : : : : : : : : : : 281 6.1.4.2 Third <strong>and</strong> Fourth Weeks : : : : : : : : : : : : : : : : 281 6.1.4.3 Fifth <strong>and</strong> Sixth Weeks : : : : : : : : : : : : : : : : : 282 6.1.4.4 Seventh <strong>and</strong> Eighth Weeks : : : : : : : : : : : : : : : 282 6.1.4.5 Ninth <strong>and</strong> Tenth Weeks : : : : : : : : : : : : : : : : 284 6.1.4.6 Conclusions : : : : : : : : : : : : : : : : : : : : : : : 284 6.1.5 Recognition Errors <strong>and</strong> Accidental Activations : : : : : : : : : 285 6.1.5.1 Bene ts of Higher Frame Rates : : : : : : : : : : : : 286 6.1.6 <strong>Chordic</strong> <strong>Manipulation</strong> Performance : : : : : : : : : : : : : : : 287 6.2 Future Evaluations : : : : : : : : : : : : : : : : : : : : : : : : : : : : 294 6.2.1 Usability Trials : : : : : : : : : : : : : : : : : : : : : : : : : : 294 6.2.2 RSI Case Studies : : : : : : : : : : : : : : : : : : : : : : : : : 296 6.2.3 Typing Fatigue Studies : : : : : : : : : : : : : : : : : : : : : : 298 6.3 Future Directions for MTS Development : : : : : : : : : : : : : : : : 299 6.3.1 Increased Array Resolution : : : : : : : : : : : : : : : : : : : : 299 6.3.2 <strong>H<strong>and</strong></strong>writing Recognition : : : : : : : : : : : : : : : : : : : : : 300 6.3.3 Universal Access : : : : : : : : : : : : : : : : : : : : : : : : : 301 6.3.4 Fault Tolerant Segmentation : : : : : : : : : : : : : : : : : : : 301 6.3.5 Upgrading Operating Systems for High-DOF, Bimanual <strong>Manipulation</strong> : : : : : : : : : : : : : : : : : : : : : : : : : : : 302 6.4 Conclusion : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 303 Appendix xiii
Page 1 and 2: HAND TRACKING, FINGER IDENTIFICATIO
Page 3 and 4: Signed: Signed: Signed: Signed: Sig
Page 5 and 6: Samuel Audet, for generously writin
Page 7 and 8: 1.5 What is Not Covered : : : : : :
Page 9 and 10: 3.3.2 Prediction of Contact Locatio
Page 11: 4.5.4 The Optimization Search Loop
Page 15 and 16: LIST OF FIGURES 1.1 Warped QWERTY k
Page 17 and 18: 3.8 The correct segmentation for th
Page 19 and 20: 4.12 Identity swaps which occurs af
Page 21 and 22: 4.39 Palm cohesion factor versus th
Page 23 and 24: LIST OF TABLES 1.1 Legend for nger
Page 25 and 26: cubital tunnel syndrome Same as car
Page 27 and 28: path In context of Chapters 3{5, th
Page 29 and 30: ABSTRACT This research introduces m
Page 31 and 32: Chapter 1 INTRODUCTION 1.1 The Stat
Page 33 and 34: volume of computer programming for
Page 35 and 36: esponsiveness of the controls on a
Page 37 and 38: without indentations to force the n
Page 39 and 40: Table 1.1: Legend for nger combinat
Page 41 and 42: Tapping these two ngers simultaneou
Page 43 and 44: two nger chord moves the text curso
Page 45 and 46: The proximity sensors measure the e
Page 47 and 48: TYPING RECOGNIZER FINGER SYNCHRONIZ
Page 49 and 50: hand position esti
Page 51 and 52: extract independent translation, sc
Page 53 and 54: the nger synchronization detector w
Page 55 and 56: very important preventive measures
Page 57 and 58: 1.6.2.5 Minimize user anticipation
Page 59 and 60: extracted from hand</strong
Page 61 and 62: language as they appear in communic
Page 63 and 64:
2.1.5 Sensing Finger</stron
Page 65 and 66:
a) b) c) d) Figure 2.2: Projection
Page 67 and 68:
a) b) c) d) Figure 2.3: Ambiguities
Page 69 and 70:
few millimeters of the electrodes.
Page 71 and 72:
41 Vertical Position on Surface (Y
Page 73 and 74:
2.1.9 No Motion Blur on MTS Another
Page 75 and 76:
position is indicated by the amount
Page 77 and 78:
The o set-corrected image E is then
Page 79 and 80:
touches the surface and</st
Page 81 and 82:
2.3.2 Properties of H<stron
Page 83 and 84:
Vertical Position on Surface (Y axi
Page 85 and 86:
Page 87 and 88:
Page 89 and 90:
Page 91 and 92:
PATHS FROM PREVIOUS IMAGES HAND IDE
Page 93 and 94:
3.2 Contact Segmentation The object
Page 95 and 96:
CURRENT PROXIMITY IMAGE DIFFUSE CUR
Page 97 and 98:
proximity signal Gz, orientation G
Page 99 and 100:
guessed at. Since strict segmentati
Page 101 and 102:
hand position at l
Page 103 and 104:
A) B) Figure 3.4: Typical search pa
Page 105 and 106:
with excluded electrodes in between
Page 107 and 108:
threshold Kmaxima significance. Usi
Page 109 and 110:
or Si�j[n]
Page 111 and 112:
etween palm heels can be measured.
Page 113 and 114:
3.2.8 Extracting Group Parameters T
Page 115 and 116:
For convenience while distinguishin
Page 117 and 118:
Note that usually each palm heel wi
Page 119 and 120:
groups. Comparing the size of the p
Page 121 and 122:
any alignment within a couple centi
Page 123 and 124:
a) b) Figure 3.10: Unsmoothed a) <s
Page 125 and 126:
a) b) Figure 3.12: Unsmoothed a) <s
Page 127 and 128:
it can get to the index ngertip <st
Page 129 and 130:
444 444 11 444 1111 222 33 44 1111
Page 131 and 132:
STRICT SEGMENTATION REGION 22 111 2
Page 133 and 134:
STRICT SEGMENTATION REGION 111 222
Page 135 and 136:
or hand resting. T
Page 137 and 138:
pairing method for marginal cases d
Page 139 and 140:
Ppredy[n] = Py[n ; 1] + 4tPvy[n ; 1
Page 141 and 142:
Pz[n] = Gz (3.36) P [n] = G (3.37)
Page 143 and 144:
Page 145 and 146:
of that contact's path by the path
Page 147 and 148:
problem which must optimally match
Page 149 and 150:
channels can still be reserved for
Page 151 and 152:
to impose an ordering relation betw
Page 153 and 154:
eliably identify all of a h
Page 155 and 156:
or default hand po
Page 157 and 158:
PATHS FROM PREVIOUS IMAGES HAND IDE
Page 159 and 160:
when a hand is not
Page 161 and 162:
4.3.1 Measuring Current H<s
Page 163 and 164:
hand o set (Hmox[n
Page 165 and 166:
eturns to default position. Alterna
Page 167 and 168:
the estimated left hand</st
Page 169 and 170:
START DEFINE IDENTITY ATTRACTORS AT
Page 171 and 172:
Vertical Surface Position (cm) 12 1
Page 173 and 174:
The optimization can then be stated
Page 175 and 176:
solution techniques should be e cie
Page 177 and 178:
4.4.4.4 The k-exchange Sequence The
Page 179 and 180:
Pg o Pg o D D x x x x g' a Ab g' Aa
Page 181 and 182:
g o h' x x a g' b g o h' x x a g' b
Page 183 and 184:
This simple condition ensures that
Page 185 and 186:
4.4.5.3 Summary of Swapping Behavio
Page 187 and 188:
= jj ~agjj 4 +2jj ~agjj 2 jj ~ bhjj
Page 189 and 190:
fairly gradual. Though the unsquare
Page 191 and 192:
constrain one another within the ar
Page 193 and 194:
A1 x F1 o A7 x x A2 D F2 o A3 x o A
Page 195 and 196:
inter-contact angles in the same wa
Page 197 and 198:
hand contact will
Page 199 and 200:
With these weighted palm heel attra
Page 201 and 202:
Vertical Position on Surface (cm) 1
Page 203 and 204:
experimenter then adjusts the ampli
Page 205 and 206:
4.4.6.6 Palm Heel Size Factor Palm
Page 207 and 208:
palm separation factor quickly decr
Page 209 and 210:
where cij is the weighted distance
Page 211 and 212:
are compiled. These statistics prov
Page 213 and 214:
183 pinch gesture, the thumb may st
Page 215 and 216:
it would erroneously grow in respon
Page 217 and 218:
Like the Voronoi cells of the assig
Page 219 and 220:
shifting of assignments for h<stron
Page 221 and 222:
Page 223 and 224:
Page 225 and 226:
Page 227 and 228:
Page 229 and 230:
Page 231 and 232:
Page 233 and 234:
ecently lifted o nearby also proves
Page 235 and 236:
surface a few dozen milliseconds af
Page 237 and 238:
Vertical Surface Position (cm) 12 1
Page 239 and 240:
processes can execute using the act
Page 241 and 242:
can, creating an ambiguity inwhich
Page 243 and 244:
213 is present or if the cluster sl
Page 245 and 246:
Page 247 and 248:
Page 249 and 250:
Page 251 and 252:
Page 253 and 254:
(Figures 4.43, 4.44). Since thumb o
Page 255 and 256:
Chapter 5 CHORDIC MANIPULATION This
Page 257 and 258:
task of moving the hand</st
Page 259 and 260:
1990s with credit-card-sized touchp
Page 261 and 262:
approach could only track the nger
Page 263 and 264:
graphical manipulation tasks. Such
Page 265 and 266:
e suppressed so that control occurs
Page 267 and 268:
stretchable squares, bricks, or rot
Page 269 and 270:
hand part touches
Page 271 and 272:
GET HAND'S CURRENT PATH PARAMETERS
Page 273 and 274:
ngers which lift o at about the sam
Page 275 and 276:
Note that nger pair synchronization
Page 277 and 278:
for examples of other chord tap eve
Page 279 and 280:
the path is found to be a member of
Page 281 and 282:
of the proximity pro le is measured
Page 283 and 284:
The purpose of the motion component
Page 285 and 286:
START GET HAND'S CURRENT PATH PARAM
Page 287 and 288:
the di erence between motion of a c
Page 289 and 290:
motion or control to display gain t
Page 291 and 292:
ut produces output speeds in propor
Page 293 and 294:
the nger-weighted translation compo
Page 295 and 296:
Horiz. Trans. Velocity (m/s) Vert.
Page 297 and 298:
5.4.1.1 Channels Follow Fin
Page 299 and 300:
operators can set the thumb down sh
Page 301 and 302:
threshold will be crossed until nge
Page 303 and 304:
Table 5.2: The simple manipulations
Page 305 and 306:
5.5 Conclusions This chapter has de
Page 307 and 308:
6.1.1 My Fitness as an Evaluator As
Page 309 and 310:
This dissertation was written in th
Page 311 and 312:
6.1.4 Weekly Symptoms 6.1.4.1 First
Page 313 and 314:
283 Figure 6.1: Modi ed Dvorak key
Page 315 and 316:
6.1.5 Recognition Errors an
Page 317 and 318:
taps or stringently adapting deboun
Page 319 and 320:
Right Hand
Page 321 and 322:
Right Hand
Page 323 and 324:
either hand, <stro
Page 325 and 326:
Table 6.5: Schedule for MTS usabili
Page 327 and 328:
Subjects would continue to use thei
Page 329 and 330:
during this session while subjects
Page 331 and 332:
6.3.3 Universal Access People with
Page 333 and 334:
systems allow more than one pointin
Page 335 and 336:
Appendix A ERGONOMICS FOR ENGINEERS
Page 337 and 338:
example, extreme wrist exion or ext
Page 339 and 340:
and an increase in
Page 341 and 342:
a) b) c) d) e) f) g) Figure B.1: Di
Page 343 and 344:
For medium-sized contacts as in Fig
Page 345 and 346:
Appendix C CONVERGENCE TRAPS FOR LO
Page 347 and 348:
The case of Figure C.1b contains a
Page 349 and 350:
in Figure C.2c would increase the a
Page 351 and 352:
[12] D. P. Bertsekas. A distributed
Page 353 and 354:
[37] Donald L. Fisher, Robert O. An
Page 355 and 356:
[62] Ken Hinckley, Rand</st
Page 357 and 358:
[87] Wendi Ann Latko. Development <
Page 359 and 360:
[111] Robert J. Miller, Stephen Bis
Page 361 and 362:
[136] John L. Sibert and</s
Page 363:
[161] Wayne Westerman and</
show all

Hand Tracking, Finger Identification, and Chordic Manipulation on

Create successful ePaper yourself

Delete template?

Save as template?