Du photon unique aux applications - IPNL

Du photon unique aux applications 

Rémi Barbier 

Habilitation à Diriger des Recherches 

Numéro d'ordre : 14 – 2012 

7 Mai 2012 

IPNL 

Rapporteurs Antilogus Pierre, Dr. LPNHE 

Gys Thierry, Physicien CERN PH/DT 

Magnan Pierre, Pr. ISAE 

Examinateurs Dujardin Christophe, Pr. Université Lyon 1, LPCML 

Katsanevas Stavros Pr. Université Paris VII, APC 

Morel Christian, Pr. Université Aix Marseille – CPPM 

Soutenance HDR, Du photon unique aux applications, IPNL le 7 Mai 2012 

Rémi Barbier 1

Plan 

1. Présentation du parcours et du cadre de la R&D ebCMOS 

2. Détection de photons uniques : Single-Photon Imaging (SPI) 

a. SPI & ebCMOS 

1. SPI ? 

2. ebCMOS : principe 

3. ebCMOS : en pratique 

b. Caractérisations des BSI CMOS & ebCMOS 

c. Prototypes de caméras & système d’acquisition 

d. Algorithmes pour la SPI :études off-line 

e. Implémentation temps réel 

3. Applications 

a. Suivi de Nanoparticules 

b. Etude Nage de Bactéries 

c. SPI Bas Bruit & bioluminescence : système embarqué 

4. Conclusion 


Rémi Barbier 2

Thématiques : 3 vies 

1. Parcours (1/1) 

1993 1995 1997 2000 2002 2005 

2008 

2012 

Doctorat : 2 ans 

Post-Doc : 2 ans 

MCF : 15 ans 

théorie DELPHI mPET ebMIMOSA5 lusipher 

• 19 ans de recherche et d’enseignement 

• Pas de mobilité géographique … mais … mobilité thématique par 2 fois ! 

1. Algèbre quantique 

2. Physique des particules : analyse de données SUSY, RPV 

3. Instrumentation photodétecteurs : MaPMT et DAQ, HPD pour module 

mPET 

4. R&D ebCMOS : 

1. preuve de faisabilité 

2. preuve de concept 

• Responsabilités : 

Coord. DELPHI R-Parity Violating SUSY Working Group (3 analyses) 

Coord. mPET (création Imabio): ACI Technologie pour la santé mPET 

Création et Coord. du «groupe» ebCMOS 

Encadrement M2 et Doctorat 


Rémi Barbier 3

PARTENAIRES R&D 

IPHC : 

Marc Winter 

Wojtek Dulinski 

Jérôme Baudot 

Marie-Hélène Sigward 

Andrei Dorhokov 

Gilles Claus 

Mathieu Goffe 

Marcel Trimpl 

Christine Hu 

SAGEM : 

Eric Carré 

Stéphane Demiguel 

Oscar Dalméida 

PHOTONIS : 

Nicolas Laurent 

Patrick Clauzel 

Carlo Kaiser 

Franck Robert 

Bruno Combettes 

Christophe Fontaine 

DGA : 

Rose-Marie Sauvage 

Liste ebCMOS 

@ IPNL : 

Nicolas Estre 

Agnès Dominjon 

Eric Chabanat 

Pierre Depasse 

Quang Tuyen Doan 

Thomas Cajgfinger 

Romain Cluzel 

Timothée Brugière 

Richard Vallot 

Mohamed Said Harouaz 

Maxime Ignacio 

Michel Ageron 

David Chaize 

Peter Calabria 

Lionel Vagneron 

Alain Benoit 

Sylvain Vanzetto 

Cyrille Guérin 

William Tromeur 

Sylvain Fériol 

Julien Houles 

Didier Bon 

Didier Delaunay 

Rodolphe Della Negra 

Vadim Odoubovski 

Stavros Katsanevas 

Jean-Eudes Augustin 

Yves Déclais 

Bernard Ille 

APPLICATIONS 


NanoOptec : 

Christophe Dujardin 

David Amans 

Gilles Ledoux 

Florian Kulzer 

ENS lyon : 

Laurence Lemelle 

Christophe Place 

ENS Ulm: 

Maxime Dahan 

Ignacio Izeddin 

IGBMC: 

Angela Giangrande 

Jean Luc Voenech 

ANTARES : 

Juergen Brunner 

CCQ UCBL : 

Yves Tourneur 

Rémi Barbier 4

Le projet de R&D ebCMOS est varié ! 

Technologies : 

• CMOS Cahier des charges 

• Tube 

CMOS 

• DAQ FPGA 

Tube 

• Instrumentation 

• Logiciel DAQ 

Banc Tests 

• Syst. embarqué 

Méthodes : 

• Caractérisation 

• Tracking 

• DAQ Clust. 

Management : 

• Montages projets 

• Collab. Industriels 

• Brevet 

• Transfer 

• Coordination 

Algorithme de 

tracking 

Processing RT 

GPU 

1. Cadre de la R&D ebCMOS (2/2) 

GUI 

Collaboration 

Indus. 

Logiciel 

d'acquisition 

Reception 

Haut-débit 

Optimisation 

Haut-débit 

Processing sur 

carte 

OA 

Système 

d'acqusition 

ebCMOS 

Applications 

Syst. 

embarqué 

Optique 

Instrumentation 

Caméra 

caractérisation 

Wave front 

Sensor 

QDots 

3D imaging 

Bactéries 

Conception 

carte 

Dynamique 

mvt Brownien 

Bioluminescen 

ce 

Superesolution 

Conception & 

mécanique 

pilotage 


BackScattering 

Tube 

BSI CMOS 

couche de 

passivation 

Retour 

Ionique 

Gain 

PSF 

Cathode 

epilayer 

PSF CMOS 

Rémi Barbier 5

Objectifs de la R&D ebCMOS 

Explorer les conditions extrêmes de l’imagerie : SPI 

rapidité 

sensibilité 

quantification 

haut débit de données 

Applications ciblées 

Microscopie de fluorescence, OA, bioluminescence, 

vidéo-microscopie … 

Méthode 

Suivi (tracking) de sources lumineuses 

Par accumulations « des photons uniques » 

Domaine de la SPI 

(1-20 photons par « cible » et par trame) 

Identifier - Localiser - Suivre – Quantifier 

Moyen 

Le tracking par caméra : ebCMOS 

Des sources d’erreurs sur les mesures : 

• l’identification : 

Bruit DC 

Compromis : Efficacité / Pureté 

• la localisation : 

Pixel et PSF 

Compromis : fréq. im./nbre ph. 

• le suivi : 

Rapidité & Haut-débit 

Compromis : vitesse / précision 

• la quantification : 

Gain & ENF 

Compromis : gain / ENF 

gain /dynamique 


Rémi Barbier 6

La « rose » des contraintes toujours plus contradictoires 

• bruit de lecture 

• # photons / image 

• flux Gbits/s 

PRECIS 

• taille pixels 

• limite de diffraction 

• # photons / source 

• Identification & suivi 

• Comptage ? 

RAPIDE 

PLUS 

PLUS 

PLUS 

SENSIBLE 

• Meilleur suivi 

• Meilleur infor. Temporelle 

• Comptage 

emCMOS sCMOS 

• # pixels 

maPMT 

APDs 

• Meilleur localisation 

• flux Gbits/s 

• fréquence trame 

emCCD 

MCP 

SPAD 

SPAD 

LARGE 


• FOV 

• du nombre de sources 

ICCD 

• bruit lié au gain et au capteur 

• Dynamique 

• Sensibilité aux ph. parasites 

Rémi Barbier 7

Du concept au schéma de principe 

ebCMOS 

CMOS electro-bombardé 

LUSIPHER : Large Scale Ultra-fast 

SIngle-PHotoelectron recordER 

Schéma de principe 


Rémi Barbier 8

Plan 




1. SPI ? 











4. Conclusion 


Rémi Barbier 9

Single-Photon Imaging : détecteur 2D 

Détecter le photon unique : 

2. Détection de photons - 2.a. SPI & ebCMOS 

Les étapes de la détection du photon apportent 

- des sources de bruit 

& 

- des inefficacités sur la collection du signal 

FLUX 

Night Level #ph/mm 2 /s #ph/pixel*/ms microLux 

overcast starlight 1,30E+06 1,30E-01 1,00E+02 

Csorba 


starlight 1,30E+07 1,30E+00 1,00E+03 

quarter moon 1,30E+08 1,30E+01 1,00E+04 

full moon 1,30E+09 1,30E+02 1,00E+05 

deep twilight 1,30E+10 1,30E+03 1,00E+06 

twilight 1,30E+11 1,30E+04 1,00E+07 

very dark day 1,30E+12 1,30E+05 1,00E+08 

overcast day 1,30E+13 1,30E+06 1,00E+09 

daylight 1,30E+14 1,30E+07 1,00E+10 

direct sunlight 1,30E+15 1,30E+08 1,00E+11 

* pixel=10 micron de pitch 

TUTO RB 

PHOTODETECTION 

NDIP 2011 LYON 

Rémi Barbier 10

Probability 

0.06 

0.05 

0.04 

0.03 

0.02 

0.01 

0 

EMCCD 

Pixels 

Storage 

Number of Imput e- 

1 (MC) 

1 (Theory) 

2 (MC) 

2 (Theory) 

3 (MC) 

3 (Theory) 

4 (MC) 

4 (Theory) 

5 (MC) 

5 (Theory) 

6 (MC) 

6 (Theory) 

La technologie mature : emCCD 

Impact ionisation 

de prob. P par clk 

R3 R1 dc R2 R3 R1 

V 

Shift register Gain register 

pdf 

G=(1+P) 512 =1000 

P=1.3% 

Doctorat T.C. 2012 

500 1000 1500 

Number of Output e- 

2000 2500 3000 

ANDOR iXon DU 897BI (512x512/ 16um) puce E2V 

Dark Current @ -85C (e-/pix/s) = 0.001 

Clock Induced Charge (evt/pix) = 0.005 

EM =x1000 / T=-85°C / Tint=30 ms 

CIC = 1310 fake/frame 

DC = 649 Hz/mm 2 

ANDOR DU860 (500fps/128x128/24 um) 

CIC = 0.02 evt/pix 

DC = 2.6 kHz/mm 2 

Soucis sur : 

500 1000 1500 

Number of Output e- 

2000 2500 3000 

électrons secondaires = gain em 


Probability 

0.009 

0.008 

0.007 

0.006 

0.005 

0.004 

0.003 

0.002 

pdf 

Bruit de comptage ! 

Vitesse ! 

Comptage ! 

Mean Poisson Signal = 5 

(MC) 

(Theory) 

Poisson 

mean = 5 ph. 

e- 

Rémi Barbier 12

Plan 




1. SPI ? 











4. Conclusion 


Rémi Barbier 13

2. Détection de photons – 2.a. ebCMOS : en principe 

L’ebCMOS est le dernier né de la famille des 

HPD : Capteur Hybride : PK+HV+Silicium 

• type HPD (CERN DEP) 

• INTEVAC : EBAPS 

• HAMAMATSU : ebCCD 

!!!!!"#$%&#'!()*+,*-./-#!011!µ$! 

p.e. 

5#/'!6/7#.!81!4$! P++ doped layer : passivation 

;!µm!! 

():#66!?%.!! 

9)@AB!C! 

9):#66!'2%'#! 

1 pixel 10µm 

():#66!?%.!! 

9)@AB!C! 

9):#66!'2%'#! 

Substrate for back-side etching 

P-doped graduated layer 

#)!'23+*2%4! 

e- collection 

():#66!?%.!! 

9)@AB!C! 

ebCMOS 

10 mm 

multiplication 

window 

photon 

photo-electron 

Ceramic carrier 

Secondary electron 

produced in 0.1 µm 3 

reset 

vdd 

gnd 

vdd 

3T (N-MOS ) pixel 

Impact position 

photocathode 

BSB-CMOS 

1 cm 2 – 10 6 Pixels 


select 

output 

!"#!$%#&"'$$ 

+,)-&.(/0-& 

!"#$"%&'(" 

vacuum 

Interposer 

416$789$& 

:;;?& 

!"#$%%&'()'$*& 

! 

" #$ 

% 

& ! 

'( 

HV 

Rémi Barbier 14

2. Détection de photons – 2.a. ebCMOS : en principe 

Courbes d’iso-résolution en fonction du gap (cathode-CMOS) et de la HT 

Gain 

V 

Bruit 

& 

Xray 

Passivation 

V (keV) 

6 

résolution 

5 

4 

3 

2 

1 

sigma = 5 micron 


E=10kV/mm 

Vmin = 1,2 keV 

sigma = 5 microns 

Vmax = 1,8 keV 


Sigma < 15 microns - sigma limite 1 micron – sans dead layer 

E=4kV/mm 


Vmax 3 keV 



0 0,25 0,5 0,75 1 1,25 d (mm) 1,5 

Bruit DC augmente 


A l’ordre 1 ! 

PSF Tube : 

GAP (200 um) 

PSF CMOS 

+ Gain 

Dead Layer (10 nm) 

Epi layer (2-3 um) 

Pitch (5 um) 

DC 

GAP 

Rémi Barbier 15

Plan 




1. SPI ? 








a. Etude Nage de Bactéries 

b. SPI Bas Bruit & bioluminescence : système embarqué 


4. Conclusion 


Rémi Barbier 17

2. Détection de photons – 2.a. ebCMOS : en pratique 

MIMOSA5 Aminci 

– IPHC 2003 

!""#!""$ !""#!""$ 


!)*'$µ($ 

4 outputs 

Lucy FSI et BSI 

– IPHC et al. 2007 

6,2$7189$ 

%!&'$µ($ 

+,-./0123$-415$ 

4 outputs 

Rémi Barbier 18

2. Détection de photons – 2.a. ebCMOS : en pratique 

Les débuts furent difficiles … pas que pour nous d’ailleurs … 

Impuretés 

Défaut CMOS 

Un bonding en moins 

Une matrice de perdue 


Cathode 

Rémi Barbier 19

Plan 




1. SPI ? 











4. Conclusion 


Rémi Barbier 20

2. Détection de photons – 2.b. (eb)CMOS : caractérisation 

Que caractérise-t-on ? 

Activité de transfert : 

• Photonis 

• Sagem DS 

Le futur de la caractérisation du groupe ebCMOS : 

• Recouper nos mesures avec des méthodes plus 

standard : PTC … 

• Développer des méthodes de mesures 

– du gain em et ENF 

– de la PDE 

• Ne pas confondre : 

– L’expertise 

– La prestation de mesures 

Sources 

capteur 

– La collaboration de recherche 

Pixel Fact. Conv. 

CCE 

Face arrière 

BSI CMOS 

X Fe 55 électrons optique 

Gain mult. 

Passivation 

CCE 


PSF CMOS 

Tube PSF Tube 

Bruit PK 

Rémi Barbier 21


• Absolute calibration 

electron/ADCU 

• Charge collection efficiency 

estimation 

Charge collected in one diode 

XRay full 

energy peak 

Charge collected in 5x5 diodes 

! Diode Conversion Factor 

C = 4,6 e - / ADC 

! Charge Collection Efficiency 

CCE XRay = 

Q (cluster 5x5 pixels) 

Q (diode 100%) 

XRay cluster charge 5x5 Epilayer resistivity Standard Resistive Profiled 

CCE XRay 32 % 25 % 60 % 

CCE XRay increased by a factor 2 

for profiled epilayer resistivity 

Agnès Dominjon. IEEE 2009 


Rémi Barbier 22


Le Banc Bombardement 

électronique : 

Permet d’ étudier les BSI sans 

fabriquer un tube ! 

Permet l’étude des 

passivations 

Permet l’étude des couches épi 

Permet d’étudier les design 

pixels (CCE) 

L’analyse événement électron unique 

n’est pas standard dans l’optronique 

(transfert SAGEM). 


Rémi Barbier 23


Etude passivation 

Doctorat CIFRE 

R. Cluzel (2010) 

La confidentialité … la science du A, B, C, D … vive la A ! 

Energie d’implantation du Bore, intensité du laser, durée, pré-amorphisation Ge 

Le profil de dopage pas si crucial … si inférieur à 10-20 nm ! 

Rémi Barbier 24

XYZ 


50X LWD Mitutoyo 

EBCMOS 

Comparaison Diffusion TCAD vs DATA 

EXCELLENTE ! 

N. Estre A. Dorhokov 

Image of the spot 

FWHM < 1 µm 

Post Doc : N. Estre 2007 

Rémi Barbier 25

p.d.f 


PSF CMOS + PSF Tube 

0.08 

0.07 

0.06 

0.05 

0.04 

0.03 

0.02 

0.01 

0 

Spot 

FWHM = 9.2 µ m 

Data 

2 

Fit ( ! /ndf = 51.3/46) 

Angular distr. func. 

" = 2.7 (0.1) µ m 

-20 -10 0 10 20 

Spot position ( µ m) 

A. Dominjon 2011 

NIM A 2011 

Q.T. Doan 2011 

-60 -40 -20 0 20 40 60 

Pixel position ( µ m) 


p.d.f 

0.04 

0.035 

0.03 

0.025 

0.02 

0.015 

0.01 

0.005 

0 

FWHM = 30.0 µ m 

! Tube = 10.5 ± 0.5 µ m 

Data 

Fit ( " 2/ndf 

= 6.6/10) 

R. Vallot 

2009 

Rémi Barbier 26


Le problème de la rétrodiffusion : Brevet Intevac : (grille sur BSI CMOS) 

• Brevet R.B. & N.E. (méthode SPI) 

Q versus rayon pour différentes intensités de halo 


Rémi Barbier 27


Calibration absolue : cristaux non linéaire BBO : 

mesure QE, PDE pour SPAD, PMT, emCCD, sCMOS… 

Pour l’IR (Migdall et al. NIST) ? 

Ouvre aussi des possibilités « science » : 

Sub-Poisson : (Oxford Univ. Walmsley et al., Blanchet 

Devaux Femto-ST) 

Quantum imaging : (Brida et al. - Treps, Fabre et al. Ulm) 

Post Doc T. Brugière 2012 


Brida 2010 

Rémi Barbier 28

Plan 




1. SPI ? 











4. Conclusion 


Rémi Barbier 29

2. Détection de photons uniques – 2.c. Prototypes caméras 

• Caméra ebMIMOSA5 

Vanzetto Estre 2008 

• Caméra LUSIPHER 

Vagneron Chaize Calabria Benoit 2010 

()**!+',)-./01' 

#8$)-02' 

6?>"& 

2340&5#$%"#6&)#*"(& 

78&9:3';&

2. Détection de photons uniques – 2.c. Prototypes caméra 

Prototype LuSEApher sur la MII ANTARES 


En 4 mois : le syst. emb. 

Vagneron Chaize Calabria Houles Ageron 

Rémi Barbier 31

Digital CMOS 

Connections 

(option) 

Signal from CMOS 

LUSIPHER 

camera side 

sequencing 

analog data 

180 mm 

(7 in) 

Amplification 

and 

Digitization 

2. Détection de photons uniques – 2.d. Syst. d’acquisition 

DAQ boards (Motherboard, 10 Gbit/s Eth, Slow Ctrl board) 

Data processing & 

CMOS sequencing 

Mother 

board 

314 mm (12.4 in) 

memories 

LUSIPHER 

camera side 

Slow control 

16 layers PCB 

3 functional systems produced 

Guérin, Tromeur, Mahroug (2010-2011-2012) 


Slow Ctrl. 

Mezz. board 

10 Gbit/s Ethernet 

Mezz. board 

Signal to WS 

Workstation 

side 

10Gbit Ethernet 

copper link (XAUI) 

CX4 -Data connectors processing 

- Memories 

- Ethernet frame 

encapsulation 

Rémi Barbier 32

Plan 




1. SPI ? 











4. Conclusion 


Rémi Barbier 33

2. Détection de photons uniques – 2.e. Algorithmes 

Zoom frame brute 

Identification de sources par accumulation 

Frame 2 Frame 5 Frame 10 

State vector 

FILTRE DE KALMAN 

Clustering Photoelectron puis COG 

Photoelectron 

Measurement vector 

Position intra-pixel de la source 


Frame 1 

2µm 

Zoom (~4x4pixels) 

Rémi Barbier 34

€ 


Estimation de la précision de localisation d’un émetteur unique statique : 

1. Limite de Cramèr-Rao : calcul de 

l’information de Fisher. 

⎡⎡ ∂ log f (x,θ) 

E ⎢⎢ 

⎣⎣ 

∂θ θ 

⎤⎤ 

⎥⎥ = 0 

⎦⎦ 

σ 2 > 1 

I(θ) 

⎡⎡ 

2 

⎛⎛ ∂ log f (x,θ) ⎞⎞ ⎤⎤ 

avec I(θ) = E ⎢⎢ ⎜⎜ ⎟⎟ ⎥⎥ 

⎣⎣ ⎝⎝ ∂θ ⎠⎠ ⎦⎦ 

2. Simulation Monte-Carlo 

– Paramètres € 

: source, optique, 

capteur 

– Variance de la position (barycentre) 

en fonction du nombre de photons 

émis 

– Si N < 300ph le processus de 

multiplication impacte la résolution 

Simulation Monte Carlo de la précision 

de localisation pour un emCCD et un 

ebCMOS versus nbre ph. 

Sur capteur 

Localization accuracy [µm] 

Réf. : Pour CCD 

R.J. Ober, S. Ram, S. Ward, Biophysical journal V86 (2004) 1185 

Localisation accuracy in Single-Molecule Microscopy 

300ph 


α1/√N 

Number of emitted photons 

Thèse T. Cajgfinger (2012) 

SPIE 2011 

Rémi Barbier 35


Photons reconstruits 

125 fps 

400x400 pixels 

SUR BANC OPTIQUE 

SOURCE de PHOTONS (Poisson) - SPOT 1 um 

Identification et « suivi » 

ZOOM 10x10 pixels 


Rémi Barbier 36


Identification après 30 ms 

de tracking : 

Taux d’erreurs < 10% 

Efficacité > 90% 

Thèse T. Cajgfinger (2012) 

SPIE 2011 

90% 

10% 

Pôle ORA - Journée Thématique - Biophotonique, 7.02.12, ENSL 

2µm 

α1/√N 


Efficiency 

Pour 

différentes 

conditions 

de bruit 

Fake rate 

Time (ms) 

Signal [ph] 

80 

Rémi Barbier 37


Le comptage de photon 

ebMIMOSA5 

Clustering par contour libre et non en 5x5 pixels. 

Puis probabilité d’association d’un pixel à un ph.e. : 

application du recuit déterministe Off-line : 

E. Chabanat 2009 

Cas plus réaliste : 

2 contours 

2 sources 

10 photons 

Voie encore à explorer 


2 Quantum Dots 

On retrouve 

la charge d’un ph.e. 

Rémi Barbier 38

Plan 




1. SPI ? 











4. Conclusion 


Rémi Barbier 39

Hypothèses : 

2. Détection de photons uniques – 2.d. Temps réel 

• Les émetteurs sont ponctuels (1.n x PSF) (Target Tracking) 

• Le nombre de photon reçus par émetteur par frame < 20 (SPI) 

mais pas obligatoirement unique par émetteur : complication pour le soft ! 

• L’émetteur doit être identifier (sur quelques frames) parmi le « shot noise » 

• L’émetteur est localisé et quantifié (limite de Cramer-Rao, comptage ph.) 

• L’émetteur est propagé (suivi) : estimation vitesse et position à frame(n+1) 

Kalman 


Rémi Barbier 40

(6) 


Q.T. Doan SPIE 2012 

clustering suivi 

(2) 

(3) 

(1) 

Input image A: [ai,j]800×800 

Convolution: H = A ⊗ G; hi,j = 1 1 

ai+m,j+n × gm+2,n+2 

m=−1 n=−1 

Segmentation in (800/W ) × (800/W ) segments {Bi,j } (800/W )×(800/W ): 

bi,j W/2−1 W/2−1 

= 

hi+m,j+n; {i, j ∈ [W/2 + 1, 800 − W/2 + 1]; i, j += W } 

m=−W/2 n=−W/2 

(5) 

(4) 

L segments {b i,j 

k }L: 

b i,j 

k = max {bi+W ∗m,j+W ∗n ; m, n ∈ [0, 1, 2]}; b i,j 

k > bThr 

{i, j ∈ [W/2, 800 − 5W/2]; i, j += 2W } 

himax,jmax = max {hi+m,j+n}; 

{m, n ∈ [−W/2, W/2]; m, n += 1} 

|i − imax|< 1 

& |j − jmax|< 1 

yes 

Local maximum list: {himax,jmax}N 

Mask array S, si,j = 1 : i, j ∈ [1, 800] 

Cluster mask: simax+m,jmax+n = 0; {m, n ∈ [−W/2, W/2]} 

no 

i = imax 

j = jmax 

nbg = 

3W/2 3W/2 

Local background quantification 

3W/2 

himax+m,jmax+n × simax+m,jmax+n 

3W/2 

simax+m,jmax+n 

m=−3W/2 n=−3W/2 

m=−3W/2 n=−3W/2 

(7) 

Local BG subtraction 

Cluster quantification: Size, Intensity I, Positions r(x, y) 

(8) 

I > IThr 

Size > SizeThr 

Output cluster list: 

 

Cl(rl, nl) 

M 

X i 

k = F × X i k−1 

{ROI i }N 

ROI i = {(2R + 1) × (2R + 1)} pixels 

{Cl; rl ∈ ROI i }= ∅ 


yes 

no 

Yi k = (ric, vi k, ai k) Yi k = Xik 

Pk = F × Pk−1 × FT + Q 

Gk = Pk × HT 

k 

Hk × Pk × HT 

k + Rk 

k ≥ TNEW 

no 

NEW 

Pk = (1 − Gk × Hk) Pk 

Xi k = Xik 

+ Gk(Yi k − Hk × Xik 

) 

k++ 

yes 

ηi k < η0 

no 

ACTIVE 

k++ 

Buffer target list: 

{Ti (Xi k , si k , ηi k )}N ′ 

N = N ′ 

yes 

NEW yes 

ACTIVE yes 

IDLE yes 

UPDATE 

ACTIVE or IDLE 

REMOVED 

IDLE 

τ i w < TIDLE 

no 

REMOVED 

yes 

Input cluster list: 

yes 

rl ∈ {ROI i }N 

 

Cl(rl, nl) 

M 

no 

yes 

 

Cl; rl ∈ {ROI i 

}N 

M1 

 

Cl; rl /∈ {ROI i 

}N 

M2 

CREATION 

Create new targets: 

Tp (X p 

0 , NEW, ηp 0 ) 

 

∆N 

VALIDATION 

τ i w =1 

τ i w ++ 

k++ 

Active target list: 

 

Ti (Xi k , si k , ηi k ) 

 

N ′′ 

Rémi Barbier 41


Shack Hartmann : 2659 spots, 250 fps mean=1.1 

Image 800x800 intégrée sur 1s : 

les spots du WFS sont clairement 

visibles 


Raw Image 800x800 sur 4 ms : 

Rechercher les ph. : comptage 


Rémi Barbier 42

Zoom Raw Image 200x200 

Les ph.e. sont discernables 

Mais bruit CMOS important 


ShacK Hartmann : 2659 spots, 250 fps mean=1.1 



Blurred Image 200x200 

Les ph.e. sont clairement visibles 

Rémi Barbier 43


Segments Image 200x200 

pour le cluster finding 



Max Segments Image 200x200 

Les ph.e. sont clairement visibles 


Rémi Barbier 44

Cluster Image 200x200 



Target Image 200x200 

Les croix rouges représentes les 

sources identifiées par l’algo. 

(accumulation sur p frames + critère 

de bdf local) 


Rémi Barbier 45


0 

0 50 100 150 200 250 300 350 400 

Cluster charge (ADC unit) 


Number of targets 

800 

700 

600 

500 

400 

300 

200 

100 

0 

0.0 0.5 1.0 1.5 2.0 2.5 

Infos pour chacune des sources identifiée et suivie en // toutes les 2 ms : 

• Bdf local 

• Position intra pixel (3 um avec 100 ph.) 

• Intensité en photon (Poisson) même



4targetsZoom 

250fps, disp. 25fps, 2659 targets, η =1.1 phe/target/fr. → 

Q.T. Doan SPIE 2012 Julien Houles – Sylvain Fériol 

1 target Zoom 

0.2 

0 50 100 150 200 250 300 350 


RMS (pixels) 

1.8 

1.6 

1.4 

1.2 

1.0 

0.8 

0.6 

0.4 

RMS = f( ) 

Number of Phe ( ) 

résolution 

Rémi Barbier 47


Démo Film capture écran 

WFS 

1. Statique 

2. Varifocale 


Rémi Barbier 48


CONCLUSION sur les algos et le temps réel : 

La résolution en statique est bien comprise 

elle est modélisée et vérifiée expérimentalement (MC, CRLB, Banc spot 

et microlentilles. 

Les conditions de bruits « shot » sont primordiales pour l’identification 

Le suivi par Kalman fonctionne à 250 fps sur plus de 2600 sources 

(à 1 ph.) en parallèle à bdf local. 

L’utilisation de temporalités différentes ouvre des perspectives 

intéressantes, (pour bdf bruit, pour identifier, pour updater, pour 

confirmer, pour afficher). On pense au WFS… 

Pour des puces 2Kx2K le GPU et/ou Algo sur FPGA seront 

nécessaires à 40 Gbits/s de données pixels sur 10 bits. 


Rémi Barbier 49

Plan 




1. SPI ? 











4. Conclusion 


Rémi Barbier 50

3. Applications – 3.a. SPI – Suivi Nanoparticules 

propriétés de transports 

& 

informations à l’échelle nanométrique 

coefficient de diffusion D 

déplacement quadratique moyen 

MSD ou ρ 

• précision de localisation 

• durée d’exposition! 

λ=520 nm, NA=1.45, s 0 2 = 5.7 10 -2 um 2 

D = 10 -2 um 2 /s t E < 570 ms 

D = 10 -1 um 2 /s t E < 57 ms 

D = 1 um 2 /s t E < 5.7 ms 

€ 

€ 

€ 

calcul du déplacement quadratique moyen 

N −n 

1 

ρn = ∑ r N − n i+n−r i 

i=1 

ρ(t) = 4σ − 4 

3 DtE + 4DtE ρ(t) = a + bt 


( ) 

Publications récentes : 

• X. Michalet (UCLA) Phys. Rev. E 82, 041914 2010 

• A.J. Berglund (Center for Nanoscale Science and Technology, NIST) Phys. Rev. E 82, 011917 2010 

• D.S. Grebenkov (Polytechnique) Phys. Rev. E 83, 061117 (2011) 

2 

Rémi Barbier 51

Pixels 

3. Applications – 3.b. SPI – Suivi Nanoparticules 

Setup at Nanoptec Center in Lyon: 

Eq. Dujardin D. Amans G. Ledoux F. 

Kulzer 

QD fixées (Spin-coated) ou libres 

Magnification: 100X 

Pixels 

QDs identifiées après 20 images 

Nano-cristaux CdSe : 

Emission wavelength: 605 nm 

Excitation wavelength: 473 nm 

QD size: 10-20 nm 

Pixels 

Pixels 

Somme sur 20 000 frames 


Rémi Barbier 52

3. Applications – 3.b. SPI – Suivi Nanopraticules 

1. Mouvement Brownien (QD dans PVA 1%) 

2. Mouvement Brownien simulé de particules fixes 

3. Mouvement forcé (QD spin coated + Piezo XY) 

3 

2 


1 

VIDEO 

Rémi Barbier 53

Mean signal [ph] 


Temporal Tracking of a Blinking QD Signal Distribution of a Blinking QD 

ON 

OFF 

Frame number 

Quantification ! 

temps 

Blinking 

OFF ON 

3ph 7ph 

Signal [ph] 

Sur QD fixe Signal 7 ph / image 


Rémi Barbier 54

Plan 




1. SPI ? 











4. Conclusion 


Rémi Barbier 55

Angle orientation corps [degre] 

Etude de la nage des bactéries E. coli 

• En collab. avec l’équipe 

L. Lemelle, C. Place, JF Palierne 

- Institut Joliot Curie 

• Etude trajectoires / tumbling 

– 10-20 ph./2ms/e.coli 

150 

100 

50 

0 

-50 

-100 

-150 

-200 

-250 

– Orientation du corps par ACP 

– Vitesses 

– réorientation du corps sur les 

surfaces : chimiotaxie ? 

-300 

0 200 400 600 800 1000 1200 1400 1600 1800 

Frame Number [1Frame=2ms] 

Article en cours 

3. Applications – 3.c. SPI – Suivi E. Coli 

Angle -360 

Angle mouvement ACP (100) 

Angle Moyenne N=25 -360 

Enveloppe Sup 

Enveloppe Inf 

Moyenne Enveloppe 

Zoom 


VIDEO-MICROSCOPIE 

RAPIDE en CHAMP 

SOMBRE 

500 im/s X100 

VIDEO 

Rémi Barbier 56

Y Axis [pixels] 

350 

300 

250 

200 

150 

100 

50 

0 

0 50 100 150 200 250 300 350 

X Axis [pixels] 

Y axis [microns] 

40 

35 

30 

25 

20 

15 

10 

5 

40 

35 

30 

25 

20 

15 

10 

5 

0 

39 

0 

0 5 10 15 20 25 30 35 40 

X axis [microns] 

Y Axis [pixels] 

350 

300 

250 

200 

150 

100 

50 

3. Applications – 3.c. SPI – Suivi E. Coli 

0 

0 50 100 150 200 250 300 350 

X Axis [pixels] 

Vitesse [microns/Frame] 

Angle relatif [degres] 

0.045 

0.04 

0.035 

0.03 

0.025 

0.02 

0.015 

0.01 

0.005 

100 

50 

0 

-50 

-100 

• ACP 

• Vitesse 

• Angle 

• 500 fps 

tumbling T. Cajgfinger 2012 

200 400 600 800 1000 1200 1400 1600 1800 


200 400 600 800 1000 1200 1400 1600 1800 



Rémi Barbier 57

Plan 




1. SPI ? 











4. Conclusion 


Rémi Barbier 58

Toulon 

3. Applications – 3.d. SPI - Bas Bruit & Bioluminescence 

BIOLUMINESCENCE MARINE 

Sur SITE TOULON 

ANTARES - 2500 m 

400x400 pixels 60 im/s 24h/24h 

comptage des photons 

Auto déclenchement 

Seuil @ 15 ph. / image (16 ms) 

Bdf capteur ~1 ph./image 

Boite de Jonction Secondaire 

connectée à ANTARES 

Photos prise par le ROV VICTOR (IFREMER 2010) 

• Module Instrumentale connecté à la BJS 

• LuSEApher connéctée à la MII 


Rémi Barbier 59



Rémi Barbier 60


Etudes de bioluminescence : 

de quelques ms à qlqes minutes 

Vitesse du COG 

Taille et Forme 

Intensité (

Plan 




1. SPI ? 











4. Conclusion 


Rémi Barbier 62

Prototypage : 

L’ebCMOS a des atouts pour la SPI : 

3. Conclusion 

– améliorations possibles (10 kHz, 100lp/mm, 40 Gbs, 2Kx2K) 

– évolution vers E3D 

– Indus. 

Applications à confirmer : 

– Bioluminescence avec 3D (Deep Sea) 

– WFS (OA) 

– Vidéo-microscopie (E. Coli) 

– Tracking Nanoparticules (Haut-débit massivement parallèle, NanOptec) 

Publications : 

– MSD, CRLB (Michalet, Berglund, Grebenkov, 2010) 

– Nage et Tumbling E. Coli 

– OA sur télescope WFS (Haut-débit massivement parallèle des spots) 

– DeepSea Research 

Caractérisation : 

– IR H2RG, EUCLID ESA 2019 mesure des systématiques < 1% 

– Banc PDC 

… je sais qu’on ne pourra pas faire … tout … tout de suite … 


Rémi Barbier 63

Pictures 


Rémi Barbier 64

Une alternative à l’emCCD : emCMOS 

• L’ionisation par impact dans le pixel avant le transistor de transfert au SF ! 

• Brevet SANYO et E2V (2012) 

E2V 

– Potentiellement : plus rapide 

– Plus petit pixel 

– BSI 

– Dynamique intra-scène 

– ADC on chip 

– Comptage ? 

Mais attention à l’ENF ! 

Le gain versus Voltage & Techno ? 

Comment mesurer le gain à 1e- puis Ne- ? 

Comment mesurer la PDE ? 

… 


Rémi Barbier 65

Pixels 

684 spots 


Thèse T. Cajgfinger (2012) SPIE 2011 


= 

Signal /2ms/target 

Image brute Cible reconstruites Images intégrées 7s 

Pixels 

Pixels 

Pixels 

Pixels Pixels 

1 

Rémi Barbier 66

3. Applications – 3.a. SPI – PALM Statique 

Imaging Intracellular Fluorescent Proteins at Nanometer Resolution 

Eric Betzig, George H. Patterson, Rachid Sougrat, O. Wolf Lindwasser, Scott Olenych, 

Juan S. Bonifacino, Michael W. Davidson, Jennifer Lippincott-Schwartz, Harald F. Hess 

SCIENCE VOL 313 15 SEPTEMBER 2006 

Standard 


Super-résolution 

Avec Centre de gravité r ~10 nm 

Rémi Barbier 67


Mouvement Brownien 

Coefficient de Diffusion D 

Expérimentalement on a accès au déplacement quadratique moyen MSD: 

Effets combinés 

• de la durée d’exposition t E 

• de la diffusion de la particule : 

– Rapidité caméra : frame rate 

– Précision de localisation : nbre de ph. 

Caméra trop lente Caméra assez rapide 

€ 

s 

s>s 0 

DtE 2 

s0 position vraie 

→ 1 

position mesurée 

€ 

s~s 0 

DtE 2 

s0 → 0 

€ 

σ 0 = s 0 

N 

s 2 2 

= s0 + DtE 

σ = s 

N = σ0 1+ Dt ⎛⎛ ⎞⎞ 

E 

⎜⎜ 2 ⎟⎟ 

⎝⎝ ⎠⎠ 

Exemples : 

λ=520 nm, NA=1.45, s 0 2 = 5.7 10 -2 um 2 /s 

D = 10 -2 um 2 /s t E < 570 ms 

D = 10 -1 um 2 /s t E < 57 ms 

D = 1 um 2 /s t E < 5.7 ms 


€ 

s 0 

σ 0 resolution statique 

s 0 PSF optique 

σ résolution dynamique 

s PSF optique + Diffusion 

N Nbre de photons 

D Coef .de diffusion 

t E durée exposition caméra 

Rémi Barbier 68

Du photon unique aux applications - IPNL

Create successful ePaper yourself

Delete template?

Save as template?