NHL Kenniscentrum Computer Vision - HET Instrument 2010

HET INSTRUMENT 2010Vision conferentieStarten met beeldverwerking,hoe werkt dat?29 September 2010Jaap van de LoosdrechtCoördinator NHL KenniscentrumComputer Vision

NHL Kenniscentrum Computer Vision• Gestart in 1996• Ruim 120 projecten gestart en succesvol afgerond• Ruim de helft vervolgopdrachten• Projectomvang van 2.500 tot 50.000 euro• Van zelffinancierend naar positief financieel rendement• Totaal 2.800.000 euro• Haalbaarheidsstudies:• Rapport• Demonstratie of prototype opstelling

NHL Kenniscentrum Computer Vision• Onderdeel afdeling Engineering NHL• 1 Coördinator (0.8 fte)• 1 Junior onderzoeker (1 fte)• 2 Projectingenieurs (2 * 1 fte)• Per 1 oktober: 1 Lector (0.5 fte)• Stagiairs / afstudeerdersTotaal: 300 uit Nederland en 30 uit buitenland

5 daagse cursus Computer Vision voor het bedrijfsleven• Lesstof geïnspireerd door ervaring uit projecten• 50 % theorie, 50 % hands-on• Dertiende editie cursus: 1 t/m 5 november 2010• Veertiende editie cursus: 4 t/m 8 april 2011

Inspectie petrischalen

Inspectie van fotogeleidersFoto’s beschikbaargesteld doorOce Venlo

Fraude detectie, berekenen veiligheidsrisicoClearing imageST-ILF ® imageST-ILF index = 93

Thermal imaging

Phytophthora infestans• Verminderd productievermogen van gewas• Oplossing: Door snelle detectie vanPhytophthora infestans, op tijd bestrijden

09Aeroscope: huidig prototype

Screenshot

Overzicht• NHL Kenniscentrum Computer Vision• Voorbeelden van vision toepassingen• Meerwaarden van Computer Vision• Wat heb ik nodig om te starten?• Toekomst• Samenvatting• Vragen

Meerwaarde Computer Vision• Voor klant• System integrators• Product verbetering• Omzet vergroten• PR werking• Eind klanten• Efficiëntere en effectievere product controle• Kunnen blijven concurreren met lage lonen landen• Constantere kwaliteit• ‘foutloos’• 24/7

Meerwaarde Computer Vision• Voor maatschappij en milieu• Veiligheid en gezondheid• Behoud van werkgelegenheid• Vermindering vervuiling en gebruik van grondstoffen• Voor NHL• Vraag gestuurde kennisontwikkeling• Real life projecten• Actueel en kwalitatief goed onderwijs• Inkomsten, kunnen investeren in CV• PR

Overzicht• NHL Kenniscentrum Computer Vision• Voorbeelden van vision toepassingen• Meerwaarden van Computer Vision• Wat heb ik nodig om te starten?• Toekomst• Samenvatting• Vragen

Wat heb ik nodig om te starten ?• Apparatuur• Software• Kennis

Wat heb ik nodig om te starten ?• Apparatuur “Vanaf” in euro’s• PC gebaseerd• Camera 300• PC 1000• Framegrabber 0 - 500• Alternatieven:• Intelligente camera 1000• Visionsysteem 2000• Gesloten versus open systemen• Lens 200• Belichtingsapparatuurpm

Camera en lenzen

Camera keuze• Web cams• Medium tech• High tech• Prijs• Kwaliteit• Resolutiee• Frames per seconde• Specials:• Peltier koeling• Beeldversterkers

Area scan camera

Line scan camera

Intelligente camera

Sensor type• CCD• CMOS• Infra rood• Röntgen• Radar• Geluid• MRI• Radio telescoop (astronomie)

Sensor: array van pixels• Resolutie:• Aantal pixel: breedte x hoogte• Voorbeelden: 640 x 480, 800 x 600, 1280 x 1024, etc• Beelden per seconde:• Voorbeelden: 5 tot 200• Diagonaal chip is de maat size:• Voorbeelden: 1/3”, 1/2”, 2/3” en 1”• Belangrijk ivm keuze lens (vignettering)

Vignettering

Sensor: array van pixels• Pixel grootte• Belangrijk ivm licht gevoeligheid• Voorbeelden: 3 tot 12 µm• Vierkant: belangrijk bij grootte metingen• Pixel “diepte” (dynamisch bereik)• Aantal grijswaarden• 8 bits = 256 (vaak voldoende)• 10 bits = 1024• 12 bits = 4096• Spectrale gevoeligheid

Kleuren sensor• 1 chip• Patroon met filters en interpolatie• Minder scherp dan vergelijkbare grijswaarden camera• 3 chips• Duurder• Minder schokbestendig

Raw format• Beeld is grijswaarden plaatje met ruwe kleuren sensor informatie

Sensor: CCD versus CMOS• CCD• Betere signaal / ruis verhoudingbeter bruikbaar in situaties met weinig licht• CMOS• Goedkoper• Makkelijke integratie op chip niveau• Pixel adresseerbaar• Windowing• Sub sampling en binning• Hoog Dynamisch Bereik

Pixel addresseerbaar• Windowing• Deel van sensor oppervlakte -> meer beelden per seconde• Meerdere windows in een opname• Sub sampling and binning• N bij N buurpixels worden gecombineerd tot 1 pixel imagefactor n kleiner -> meer beelden per seconde

Hoog Dynamisch Bereik

Sluiter• Voorbeelden : 1/15 .. 1/10.000 seconde• Mechanisch• Elektronisch• Globale sluiter• Rollende sluiterproblemen met snel bewegende objecten

Rollende sluiterFokker Dr I, Stichting Vroege Vogels Lelystad

Standaarden voor digitale camera interfaces: vergelijkingStandaardUSB 2.0Max Lengte5 mSnelheid480 Mb/sUSB 3.04800 Mb/s1394a (Firewire A)1394b (Firewire B)Toekomst: 1394c (FireWire C)Camera LinkGigabit Ethernet (GigE)Toekomst: 10 Gigabit Ethernet(10 GigE)CoaxPress4.5 m4.5 m10 m100 m100 m100 m400 Mb/s800 Mb/s3200 Mb/s6120 Mb/s1000 Mb/s10000 Mb/s10000 Mb/s• De maximale lengte kan vergroot worden met repeaters• De snelheid in fps hangt ook af van de overhead van hetgebruikte protocol

Optiek

Belichting belangrijke succesfactor

Software• Alles vanaf scratch zelf schrijven• Herbruikbare bibliotheken met krachtige operatoren

Van alles vanaf scratch versus herbruikbare bibliothekenReeksontwikkeling voor sinus en cosinus

Van alles vanaf scratch versus herbruikbare bibliothekenConvolution (src, dest, divideFactor, mask) {….}for (h = 1; h < height-1; h++) {for (w = 1; w < width-1; w++) {dest(w,h) = (mask(0,0) * src(w-1,h-1) +mask(0,1) * src(w,h-1) +mask(0,2) * src(w+1,h-1) +mask(1,0) * src(w-1,h) +mask(1,1) * src(w,h) +mask(1,2) * src(w+1,h) +mask(2,0) * src(w-1,h+1) +mask(2,1) * src(w,h+1) +mask(2,2) * src(w+1,h+1) ) / divideFactor;} // for w} // for h

SoftwareGebruik kunstmatige Intelligentie technieken,zoals bv patroonherkenningstechniekenLeer patronenZoek patronen

Wat heb ik nodig om te starten ?• Software 0 – 10.000 euro’s• Beeldverwerkingspakket• Configureerbare bouwstenen• Grafisch programmeren• Scripts programmeren• C(++) programmeren• Koppeling met camera/framegrabber• Aansturing actuatoren• Integratie met andere (software) systemen

Wat heb ik nodig om te starten ? Kennis• Kennis nodig van:• Camera’s en lenzen• Belichtingsapparatuur• Algoritmen beeldverwerking• Aansturing actuatoren• Kennis waar vandaan ?• Leveranciers• Cursussen• Ontwikkelen prototype en systeemintegratie:• Zelf ontwikkelen versus systeem Integrator

Overzicht• NHL Kenniscentrum Computer Vision• Voorbeelden van vision toepassingen• Meerwaarden van Computer Vision• Wat heb ik nodig om te starten?• Toekomst• Samenvatting• Vragen

Toekomst• Industriële automatisering• Kwaliteitscontrole steeds belangrijker• Afname van kosten• Low budget computer vision systemen nu mogelijk• Steeds meer toepassingen voor 3D en multi-spectraal• Nieuwe sectoroverschrijdende toepassingen, bv• Integrale veiligheid• Smart farming• Serious gaming• Multimedia• Zorg en welzijn

Overzicht• NHL Kenniscentrum Computer Vision• Voorbeelden van vision toepassingen• Meerwaarden van Computer Vision• Wat heb ik nodig om te starten?• Toekomst• Samenvatting• Vragen

Wat heb ik nodig om te starten ? Samenvatting• Start kosten apparatuur worden steeds lager• Low budget computer vision oplossingen zijn nu mogelijk• Investering in kennis is noodzakelijk:• Camera’s en lenzen• Belichtingsapparatuur• Algoritmen beeldverwerking• Aansturing actuatoren

Vragen ?Voor meer informatie:Jaap van de LoosdrechtCoördinator Kenniscentrum Computer VisionNHL HogeschoolRengerslaan 10, 8900 CB, Leeuwardenj.van.de.loosdrecht@tech.nhl.nlwww.nhl.nl/computervision058 - 251 11 93