Relatório de Progresso - Faculdade de Engenharia da Universidade ...

Relatório de Progresso
Alinhamento de imagens de medicina nuclear
Nuno José Ferreira de Sá Couto
Sérgio Vasconcelos de Barros
Projecto Projecto Final Final de de Curso
Curso
5º ano ano
ano
Licenciatura Licenciatura de de de Engenharia Engenharia Electrot Electrotécnica Electrot cnica e e de Computadores

Relatório de Progresso - PD 77 –
PD77 -Alinhamento de imagens de medicina nuclear
Objectivo
Concepção e implementação de métodos de captura de informação posicional (3-
D) para alinhar imagens renais de medicina nuclear obtidas em sequência temporal, com
vista a potenciar a capacidade de análise diagnóstica.
Descrição
O trabalho a desenvolver incorpora a aquisição e aplicação de conhecimentos em
diversas áreas, nomeadamente o processo físico de aquisição das imagens, os métodos de
captação de informação tridimensional por meio de câmaras convencionais, e as técnicas
de processamento e análise de imagem para correcção geométrica.
A ausência de estrutura e de pontos fiduciais nas imagens renais dificulta o seu
alinhamento automático, enquanto que a longa duração do exame médico inviabiliza a
adopção de medidas de imobilização do paciente.
Assim, neste projecto pretende-se analisar a possibilidade de utilizar informação
visual adicional, obtida através da aquisição de imagens do paciente efectuada
concomitantemente com o exame médico de medicina nuclear.
A extracção de informação sobre a posição e pose do paciente em cada momento
permitirá estimar o movimento da zona renal e, desse modo, compensá-lo na sequência
de imagens.
Local de Trabalho
FEUP - INEB - Sala I 303 -Sinal e Imagem Biomédica
Professor Responsável
Professor Armando Jorge Padilha.
Alunos
Nuno José Ferreira de Sá Couto (ee96040@fe.up.pt)
Sérgio Vasconcelos de Barros (ee96077@fe.up.pt)
Fases do trabalho
De forma sumária, prevêem-se as seguintes fases de progresso do trabalho:
1. Pesquisa de informação relevante para o projecto, em particular no que
respeita ao processo de obtenção de imagens de radioisótopos e aos métodos
passivos de aquisição de informação tridimensional.
2. Implementação do sistema de aquisição 3-D, incluindo concepção de alvos e/ou
de marcas corporais.
3. Realização do alinhamento geométrico da sequência de imagens, a partir da
estimação da posição e pose da zona renal.
4. Montagem e ensaios práticos em exames clínicos reais e, se necessário, com
recurso a fantomas.
- PD 77 - Página 2 de 10

Relatório de Progresso - PD 77 –
Considerações
É pretendido com este relatório descrever o progresso em termos de actividades e
resultados desde o início do projecto até à data de 5 de Maio de 2001, dando conta do que
foi já feito e do que se encontra por realizar.
Este relatório não substitui no entanto o relatório final uma vez que apenas se
pretende dar uma ideia do que foi efectuado em termos genéricos, deixando para o
relatório final toda a informação associada ao projecto.
Introdução
O trabalho a desenvolver neste projecto pretende, através do estudo do
movimento de um alvo colocado no paciente durante o exame médico, corrigir as
alterações que resultam do movimento do paciente nos resultados do exame. O
seguimento do movimento do alvo no paciente é feito através de um sistema de duas
câmaras colocados em posições distintas, de modo a obter informação tridimensional.
Neste alvo encontram-se padrões a partir dos quais através de métodos de processamento
e análise de imagem, conseguimos identificar o movimento associado e por relação o
movimento associado ao paciente. Assim após ter identificado o movimento e
identificando-o com o instante de cada imagem obtida pelo exame, poderemos actuar
sobre estas imagens de modo a corrigir os erros associados ao movimento do paciente.
A aquisição de imagens leva a que tenha que ser feita a calibração das câmaras
uma vez que este é um passo necessário em visão 3D para podermos extrair informação
métrica a partir de imagens 2D.
Assim a aquisição de imagem a partir das câmaras, a calibração das mesmas e
todo o processamento associado à detecção do movimento do alvo e respectiva correcção
nas imagens finais são os objectivos deste projecto.
As ideias subjacentes a todo o projecto são a implementação de um sistema flexível,
robusto, funcional e que possibilite ao utilizador adaptá-lo às suas necessidades de acordo
com diferentes métodos e alternativas disponíveis.
Todas as fases envolvidas nesse mesmo projecto bem como as que já foram
desenvolvidas e as que se encontram por desenvolver serão referenciadas neste relatório.
Sequência de Actividades
Actividades realizadas
1. Recolha de informação.
2. Criação da página web.
3. Estudo, aquisição e montagem dos meios necessários para a implementação do
sistema de câmaras.
4. Análise da estrutura a seguir para criação da aplicação de interface.
5. Escolha e familiarização com o ambiente de programação a utilizar.
- PD 77 - Página 3 de 10

Relatório de Progresso - PD 77 –
6. Desenvolvimento da aplicação seguindo uma estrutura modular
a. Aquisição.
b. Calibração do sistema.
7. Dimensionamento dos alvos.
Actividades a realizar
1. Desenvolvimento dos seguintes módulos da aplicação:
a. Detecção do alvo.
b. Concatenação da informação stereo para indicação de movimento 3D.
c. Correcção da sequência de imagens a partir dos movimentos detectados
2. Correcção e optimização da aplicação adaptada às condições de utilização normal.
3. Validação e verificação dos métodos e da funcionalidade da aplicação.
4. Análise de possibilidade de melhorias e alternativas à solução realizada.
De seguida vai ser feita uma breve descrição de cada etapa já realizada.
1. Recolha de informação
O processo de recolha de informação iniciou-se antes mesmo do início programado
do projecto através do contacto com o instituto de engenharia biomédica da Universidade
de Karlsruhe - Institut fur Biomedizinische Technik, Universitat Karlsruhe - aproveitando
o facto de terem sido realizadas actividades curriculares nesse mesmo instituto por parte
dos autores do projecto como alunos ERASMUS .
O processo de recolha de informação pretendeu satisfazer as necessidades inerentes
ao projecto relativas aos seguintes temas:
Medicina nuclear
História da medicina nuclear
Ideias fundamentais associadas
Técnicas, métodos e equipamentos utilizados
SPECT
PET
Aquisição e processamento de imagem
Calibração de câmaras
Métodos de alinhamento de imagens
2. Criação da página web
De maneira a perfazer um dos requisitos do regulamento da disciplina PSTFC (Projecto,
Seminário, Trabalho de Fim de Curso) foi implementado um site localizado em
http://www.fe.up.pt/~nuclear.
- PD 77 - Página 4 de 10

Relatório de Progresso - PD 77 –
Este site tem como objectivo facultar informação sobre o projecto em desenvolvimento
tais como:
- objectivos;
- descrição;
- pessoas envolvidas;
- local de trabalho;
- orientador;
- ocorrências e reuniões;
- software desenvolvido;
- código fonte;
- imagens médicas;
- imagens relativas ao desenvolvimento do projecto;
- vídeos;
- relatórios;
- resultados da pesquisa bibliográfica relativa a todos os temas abordados no
projecto.
Desta maneira o site foi estruturado da seguinte maneira:
- Home: contém a informação relativa a objectivos, descrição, local de trabalho,
orientador e pessoas envolvidas.
- Agenda: contém informação relativa a ocorrências e reuniões.
- Arquivo: contém versões da aplicação desenvolvida (executáveis), imagens
usadas para o desenvolvimento da aplicação, imagens resultantes da aplicação,
vídeos e relatórios.
- Download: secção com acesso restrito por meio de username e password. Este
acesso restrito deve – se ao facto de alguma informação ser confidencial e não
transmissível, tal como: imagens médicas e código fonte. Terão acesso a esta
secção as pessoas envolvidas no desenvolvimento do projecto e o Professor
orientador.
- Links: contém os resultados da pesquisa bibliográfica relativa a todos os temas
abordados no projecto.
A página web encontra – se em constante actualização.
3. Estudo dos meios necessários para a implementação do sistema
Foi feita uma análise do equipamento que seria necessário adquirir para satisfazer
os propósitos do sistema de aquisição. Foi discutida a possibilidade de usar um sistema
com uma ou duas câmaras de aquisição. A decisão recaiu sobre o sistema de duas
câmaras, uma vez que este nos possibilita adquirir informação tridimensional de
movimento ao contrário do sistema com uma câmara satisfazendo de uma forma
qualitativamente superior o propósito de detecção de movimento.
O estudo do equipamento necessário ao projecto resultou na seguinte lista de
material:
2 câmaras.
Suporte para câmaras
- PD 77 - Página 5 de 10

Relatório de Progresso - PD 77 –
Placa de aquisição de imagem -Frame grabber.
Computador para aquisição e tratamento da informação adquirida pelas câmaras.
Alvo para colocar no paciente de modo a detectar um determinado tipo de padrão
associado aos movimentos do paciente, bem como alvo de calibração.
Equipamento de alimentação das câmaras e de conexão das câmaras à placa de
aquisição.
4.Análise da estrutura a seguir para criação da aplicação de interface
A análise dos fins a que se propõe o projecto levou-nos a decidir que a aplicação de
interface a desenvolver será baseada no seguinte esquema modular:
Aplicação
Aquisição
das imagens
via Frame
Grabber
Calibração
das câmaras
Essa decisão baseou-se no facto da estrutura modular permitir flexibilizar o
sistema permitindo que alterações num dos módulos não tenha influência no código
relativo aos restantes módulos, tornando-os independentes. A funcionalidade e
características de cada módulo foram-lhes associadas de uma forma genérica de modo a
possuirmos uma aplicação funcional, robusta, flexível e consistente.
Aquisição das imagens via Frame Grabber
Este módulo realiza a interface entre a aplicação e o frame grabber,
possibilitando diferentes esquemas de aquisição de imagens para satisfação de diferentes
necessidades e possibilita a configuração de todos os parâmetros associados quer às
câmaras quer ao frame grabber.
Calibração das câmaras
Detecção de
padrões
associados ao
alvo
Correcção
geométrica da
sequência de
imagens
Neste módulo são determinados os parâmetros intrínsecos e extrínsecos das
câmaras utilizadas de maneira a poder inferir com precisão informação 3D relativamente
à localização de um objecto ou alvo. A calibração da câmara fornece, a partir das
coordenadas imagem na memória frame, uma solução para a determinação de uma recta
de projecção no espaço 3D sobre a qual um ponto do alvo deverá encontrar-se. Com duas
imagens distintas, adquiridas de duas imagens a posição do ponto pertencente ao alvo
pode ser determinada pela intersecção das duas rectas de projecção projectivas –
triangulação estereoscópica.
- PD 77 - Página 6 de 10

Relatório de Progresso - PD 77 –
Detecção de padrões associados ao alvo
Neste módulo são detectados movimentos de padrões de um alvo colocado no
paciente. O alvo será colocado rigidamente no paciente (através de um cinto) e será
solidário com os seus movimentos. Os movimentos passíveis de detecção serão:
translações e rotações.
Correcção geométrica da sequência de imagens
Após a detecção e análise do movimento do alvo num determinado instante
(instante este coincidente com o instante de aquisição da imagem médica) é efectuada
uma correcção na imagem médica de acordo com o padrão de movimento detectado. É
também objecto de estudo deste projecto a possibilidade de correcção da intensidade de
brilhos na imagem médica final se o movimento de paciente for na direcção do detector
(i.e. quanto mais perto do detector estiver o paciente maior será a intensidade de brilho na
imagem e vice-versa).
5. Escolha e familiarização com o ambiente de programação a
utilizar
A escolha da ferramenta de programação para desenvolver a aplicação e as bibliotecas
a utilizar foi feita tendo em atenção que esta aplicação correria em ambiente Windows e
que faria uso de uma placa de aquisição Matrox Meteor I. Assim foi escolhido como
linguagem de programação o C e o Visual C++ com recurso às MFC e a biblioteca Mil
Lite para trabalhar com o frame grabber.
6. Desenvolvimento da aplicação seguindo uma estrutura modular
Aquisição
O módulo de aquisição permite obter imagens a partir de uma ou duas câmaras e
seguindo diferentes esquemas de aquisição. Assim podemos adquirir uma sequência de
imagens seguidas ou espaçadas temporalmente colocando-as num formato individual de
imagem ou seqência de imagens. Pode-se ainda efectuar a aquisição de imagens por
eventos associados à porta série ou ao teclado, ou seja a aquisição é activada
sequencialmente por um evento até perfazer o numero de imagens desejadas. À aquisição
encontram-se associadas um determinado número de opções configuráveis pelo utilizador
tais como: o canal associado a cada câmara, o modo de visualização, tamanho da imagem
a adquirir, tipo de câmara, tipo de sinal de entrada das câmaras, entre outros (todas estas
- PD 77 - Página 7 de 10

Relatório de Progresso - PD 77 –
características serão completamente descritas no relatório final sob a forma de um guia de
utilização da aplicação).
Além disso é possível definir as características associadas às imagens adquiridas, pelo
frame grabber, adaptando-se assim às condições de utilização do sistema.
Todo este módulo foi implementado de modo a satisfazer as necessidades do projecto
e também ser utilizado independentemente para simples aquisições de imagem.
Calibração do sistema.
O método de calibração coplanar concebido e implementado foi baseado no proposto
em [Tsai, 1987]; deste modo utiliza o mesmo modelo para a câmara, um setup
experimental idêntico e, da mesma forma, um conjunto de pontos de calibração
coplanares.
O processo de calibração global é constituído pelas seguintes três etapas:
1- Determinação do factor de incerteza horizontal s x ;
2- Determinação das coordenadas do centro da imagem na memória
frame x C e C y ;
3- Determinação dos restantes parâmetros de calibração,
nomeadamente da matriz de rotação 3D R, do vector de translação 3D T, da
distância focal efectiva f e do factor de distorção radial k 1 .
Foi também concebido e implementado um software de simulação, de maneira a ser
possível testar o algoritmo de calibração e permitir a análise dos resultados, sem
aquisição de qualquer espécie dos pontos de calibração.
Diagrama de blocos do método de calibração coplanar:
Detecção
dos pontos
coplanares
Formatação
dos pontos
coplanares
O método de calibração não coplanar é baseado no proposto em [Tsai, 1987]; deste
modo utiliza o mesmo modelo para a câmara, um setup experimental idêntico e, da
mesma forma, um conjunto de pontos de calibração não coplanares. Este método
encontra-se em fase de estudo / implementação.
7. Dimensionamento dos alvos.
Determinação
dos parâmetros
de calibração
3D R;
3D T;
f e k1.
O dimensionamento do alvo para a calibração das câmaras foi feito tendo em conta
que o algoritmo de calibração efectua a detecção de linhas paralelas em duas direcções
distintas. Assim chegou-se à conclusão que o alvo deveria ser constituído por um
conjunto de quadrados paralelos e com a mesma dimensão. Desta forma o princípio dos
pontos calibradores se encontrarem em linhas paralelas de duas direcções diferentes é
- PD 77 - Página 8 de 10

Relatório de Progresso - PD 77 –
respeitado. É também possível dimensionar um alvo com rectângulos com a mesma
dimensão, paralelos entre si.
Como se trata de um alvo para o algoritmo de calibração coplanar estes pontos devem
estar todos no mesmo plano, isto é, as coordenadas 3D dos pontos devem apenas variar
em duas dessas dimensões e constante na outra coordenada.
Assim o alvo dimensionado tem a seguinte forma:
Fig.1 – Alvo dimensionado para calibração coplanar
Este alvo foi assim utilizado para testar as rotinas de calibração não sendo este o que
será utilizado para os testes clínicos finais. De qualquer forma, o alvo final respeitará
todas as premissas referidas anteriormente e terá uma forma similar ao da fig. 1.
Quanto ao dimensionamento do alvo para a determinação de coordenadas 3D, este foi
desenvolvido tendo em conta que o algoritmo de detecção baseia – se na detecção de
linhas em quatro direcções diferentes. Assim as figuras geométricas candidatas a
pertencer ao alvo seriam: triângulos, quadrados, rectângulos, losângulos e cruzes. Tendo
em conta as características de cada uma destas figuras e que o conjunto das figuras fosse
identificado de uma forma única e inequívoca sem ambiguidades o alvo dimensionado
tem a seguinte forma:
Fig.2 – Alvo dimensionado para a determinação de coordenadas 3D
O alvo na fig. 2 pode vir a ser alterado, tanto no nº de constituintes como na forma
dos mesmos, de maneira a produzir melhores resultados.
- PD 77 - Página 9 de 10

Relatório de Progresso - PD 77 –
Trabalho Futuro
As actividades indicadas como por realizar no início do relatório são o trabalho futuro
a efectuar. Faz também parte deste trabalho futuro a validação e verificação de tudo o que
está feito levando-nos assim a frequentemente optimizar o código e módulos
implementados assim como a correcção de erros só detectáveis na implementação em
ambiente clínico.
Conclusões
Em termos de trabalho desenvolvido achamos que as primeiras actividades (recolha
de informação, escolha e familiarização com o ambiente de trabalho e estudo dos meios
necessários para a implementação do projecto) foram, para o planeamento e estruturação
do projecto, as mais importantes, dado que nos permitiu uma visão clara e precisa do que
tinha de ser feito em cada fase do projecto.
Por outro lado, esta pesquisa absorveu-nos grande parte do tempo que tínhamos
disponível, mas é nossa convicção que nos encontramos dentro das previsões temporais
para a execução total do projecto.
Os resultados obtidos são os esperados, tendo em conta que, fazem parte de um
processo que não se encontra ainda terminado.
- PD 77 - Página 10 de 10