Modelado 3D de Escenarios Virtuales Realistas para Simuladores ...

Especial: Tecnología de Simulación y Planificación...Modelado 3D de EscenariosVirtuales Realistas paraSimuladores QuirúrgicosAplicados a la Funduplicaturade Nissen*Autores:Domínguez-Quintana Luis 1,2 , Rodríguez-Florido Miguel A. 1,3 , Ruiz-Alzola Juan 1,2 , Sosa Darío 1,21Centro de Tecnología Médica, 2 Departamento de Señales y Comunicaciones y 3 Departamento de IngenieríaTelemática.(Universidad de Las Palmas de Gran Canaria.)RESUMENLos avances de las nuevas tecnologías y sobre todo lamejora de la capacidad de cómputo y gráfica de los computadoreshan permitido el desarrollo de la medicinaguiada por computador. En particular, los avances ensimuladores quirúrgicos permiten la práctica y el entrenamientode intervenciones complicadas sobre escenariosvirtuales y realistas. En este artículo nos ocupamos del diseñoy modelado de los escenarios virtuales necesarios enun simulador para el entrenamiento de la Funduplicaturade Nissen. Debido a la complejidad de esta intervención,las prácticas reales se realizarán sobre cerdos, y es portanto la anatomía de este animal la que debemos modelary reproducir de manera realista. Nuestros resultados sonvisualmente excelentes, y dado que además debemos respetarlas limitaciones de los simuladores quirúrgicos estándar,parecen óptimos para su utilización en el ensayo dela intervención. La generación de una biblioteca de laanatomía del cerdo es otro de nuestros objetivos cercanos,puesto que actualmente no existe ninguna, y puede resultarde interés para proyectos análogos al mencionado enesta publicación.141. INTRODUCCIÓNEn los últimos años, muchas han sido las aplicaciones delas nuevas tecnologías de la información y las comunicacionesa la medicina. En particular, el aumento de lapotencia de cálculo y sobre todo de la potencia gráfica delos computadores, ha hecho de los entornos computacionalesuna herramienta útil en aplicaciones clínicas; desdela asistencia quirúrgica por ordenador [Ger99], pasandopor los entornos para trabajo colaborativo [Alb00] o aplicacionescon fines educativos o de entrenamiento[Goll98]. Dentro de este último apartado podemos resaltarlos simuladores quirúrgicos [Mon00]: sistemas virtualespara el entrenamiento de los cirujanos. Estos sistemas permitenque cualquier médico residente sea capaz de participar,practicar y repetir una determinada intervención conlas complicaciones seleccionadas hasta su correcto aprendizaje.En el diseño e implementación de estos entornosexisten muchos requerimientos, desde que su respuestasea en tiempo real y lo más realista posibles, hasta que respondana acciones típicas quirúrgicas como un corte osutura.Unido a estos, uno de los puntos vitales para la utilidadde los simuladores quirúrgicos se encuentra el diseño ymodelado de los escenarios quirúrgicos. Éstos deben ser lomás realistas posibles, para que el cirujano tenga la sensaciónde encontrarse ante un escenario real que se asemejeal que encontrará en la intervención. En este artículonos ocuparemos de este importante requerimiento: eldiseño y la generación de escenarios virtuales quirúrgicos.En particular, nuestro interés se focaliza en la simulaciónde la funduplicatura de Nissen [Uson02], aplicada sobre laanatomía de un cerdo, mamífero que luego se utilizarápara aplicar la técnica entrenada en el simulador, y queentra dentro de los objetivos de la red nacional sinergia(G03/135). El artículo comienza con una breve introducciónal modelado 3D, sigue con la descripción del mode-

Especial: Tecnología de Simulación y Planificación...lado de los escenarios para la funduplicatura de Nissen yacaba con unas conclusiones generales.2. El Modelado 3D: Conceptos básicos.El modelado 3D consiste en la creación de objetos virtualescon apariencia real, incluyendo aspecto volumétricoo tridimensional y textura realista. Para crear estos objeFigura 2: Modelo poligonal de alta resolución.Figura 1. Modelo 3D de una cabeza humana.tos se emplean formas simples ya definidas: cajas, cilindros,esferas, o bien cualquier forma arbitraria generadacon herramientas de modelado a partir de información departida del modelo a generar. En cualquier caso, losmodelos 3D son mallas o rejillas, muy parecidos a unaestructura de alambre, que determinan una forma. En lafigura 1, a modo de ejemplo, se muestra el modelo 3D deuna cabeza humana.La generación del mallado puede realizarse utilizandodiferentes técnicas, entre ellas el modelado poligonal, o elbasado en curvas o superficies B-Splines (llamadas NURBSen el contexto del modelado), dependiendo de los finesdel modelo.El modelado poligonal o edición de mallas se asemejaa modelar con las manos un pedazo de arcilla. Los objetos3D están constituidos por conjuntos de caras con vérticesy la única forma de modelarlos es mover los vérticesde un lugar a otro. En pocas palabras, lo que tenemos esuna estructura de alambre formada por vértices, aristas ycaras, dependiendo de la modificación a realizar, se trabajasobre unos u otros objetos.Aunque el mallado poligonal ha sido la técnica estándarpara la creación de objetos 3D, deformar una mallapoligonal puede ser una tarea difícil según va aumentandola resolución de la misma. Las mallas poligonales dealta resolución pueden tener una apariencia fantástica alrepresentarse (obsérvese la figura 2), pero los polígonosson el tipo de geometría más difícil de deformar. Esto sedebe a que, en mallas de alta resolución, la informaciónde los vértices está empaquetada de manera tan compri-mida que la posibilidad de desgarrar o de moldear lamalla se incrementa geométricamente. Además, el altonúmero de vértices ralentiza el sistema a la hora de animaro interaccionar con él. Una alternativa para superarestos inconvenientes podría ser la utilización de mallaspoligonales con menor resolución, como la que se muestraen la figura 3, que permitan mayor facilidad para sudeformación. Este tipo de gráficos es útil para la elaboraciónde vídeojuegos.Las restricciones de los sistemas de simulación actualesdemandan que la geometría de los modelos virtuales noexceda de un cierto número de polígonos. Esto disminuyela resolución de una malla a límites, que en función de laaplicación, pueden ser adecuados o no. Por ejemplo, elmodelo de la figura 3 no sería aceptable para un documentalde televisión, pero sí puede serlo para un simuladorquirúrgico o un vídeojuego.Por otro lado, la técnica basada en curvas o superficiesNURBS (B-Splines no racionales) utiliza vértices de control(VC) que al desplazarlos alteran la geometría del objeto;digamos que actúan como los hilos de una marioneta. Adiferencia del modelado poligonal, estos métodos permitencrear modelos uniformes con un marcado aspectoFigura 3: Modelo poligonal con menor resolución.15

Especial: Tecnología de Simulación y Planificación...El resultado final del modelado, después de la generaciónde la malla, su recubrimiento con texturas apropiadasy los efectos de luces y cámaras, se le denomina escenavirtual.A lo largo de este artículo ofreceremos más detalles sobreel modelado y ejemplos visuales de escenas virtuales.3. Generación de escenarios para la funduplicatura de NissenEn esta sección describiremos de forma detallada el diseñoy generación de los escenarios virtuales, de la anatomíadel cerdo, necesarios para la simulación de laFunduplicatura de Nissen [Uson02] sobre este mamífero, enparticular: estómago, hígado, esófago y diafragma.Figura 4: Ejemplo de NURBS.16orgánico y con los que se puede trabajar con una relativarapidez y facilidad.En la figura 4 se muestra un ejemplo de los modelosgenerados con NURBS. En verde se señalan los vértices decontrol.Independientemente de un método u otro, con unaelección inteligente de texturas, los modelos de baja resoluciónpueden resultar muy realistas. A este proceso se ledenomina texture mapping, y consiste en dotar al malladode apariencia real. De hecho, la mayoría de los detalles,como arrugas, vasos sanguíneos, manchas y otrosaspectos visuales, se generan utilizando mapas de textura(imágenes 2D) con alto nivel de detalle que se proyectansobre las superficies, de manera similar a la envoltura deun regalo con un papel. En la figura 5 se muestra un ejemplode textura.Del mismo modo, no sólo es importante el recubrimientoque demos al mallado, sino que las luces y cámarasvirtuales utilizadas en la visualización del modelo tambiénfavorecen el realismo de los modelos, otorgandosombras y efectos de volumen.Figura 5: Ejemplo de textura.Figura 6: Calco del perfil del estómago3.1 EstómagoEste es quizás el órgano más importante en la funduplicaturade Nissen, y es por ello que prestamos mayor detallecomo ejemplo de diseño basado en polígonos.La primera fase de modelado consiste en planear a prioriel diseño del órgano utilizando información anatómicadel mismo.El estómago del cerdo está formado por tres capas (serosa,muscular y mucosa) cada una con un grosor y texturadiferente. A diferencia del estómago humano, la zona delfundus y el divertículo son mucho más pronunciadas. Estaszonas son de especial interés en la técnica de laFunduplicatura de Nissen. En la figura 6 se muestra una ilustracióndel estómago de un cerdo utilizada como plantilla.La mayor dificultad es la falta de información gráfica en3D de este órgano, lo cual dificulta la composición volumétricadel mismo. Los recursos de los que disponemos son unconjunto de ilustraciones 2D extraídas de diversa bibliografía(por ejemplo la Fig. 6) y medidas realizadas sobre unórgano real. Básicamente, el procedimiento de generaciónse ha basado en la elaboración de una serie de modelosvectoriales 2D dibujando directamente sobre las ilustraciones,a modo de calco. Estos modelos actúan como plantillas(véase Fig. 7) que definen los diferentes perfiles del órgano,en este caso el frontal.

Especial: Tecnología de Simulación y Planificación...Figura 7Hasta este momento hemos interpretado la forma delelemento a simular, empleando técnicas de retoque fotográficoque en principio no están relacionadas al propiomodelado. Es a partir de esta interpretación cuando nosencontramos en disposición de comenzar el proceso demodelado 3D propiamente dicho.A partir de la información gráfica obtenida podemosrealizar una composición volumétrica aproximada delórgano, creando modelos toscos de caja en 3D (Fig. 8) apartir de los esquemas o plantillas 2D. La clave de la técnicaes comenzar con una forma primitiva y sólo generarnuevas caras dónde y cuando se las necesite.Los datos referentes a las dimensiones del estómago delcerdo se obtienen a partir de las mediciones realizadassobre un ejemplar real. En la figura 9 se muestra una imagendel mismo. Estos datos se usan para dar forma a losmodelos toscos y así conseguir una malla lo más realistaposible.La tarea de refinamiento de la malla requiere de uncontrol bastante preciso de las formas en el espacio. Se trabajadirectamente sobre vértices, aristas y caras de lamalla de forma manual o haciendo uso de los modificadoresincluidos en el software de modelado (figura 10).Esto permite detallar el modelo en regiones complejas sinperder información en otras zonas.Afortunadamente, como se muestra en la figura 11, esposible aumentar el número de segmentos, con lo que seconsigue una geometría más compleja y mayores posibilidadesde modificación. Aplicando dicho proceso a cadauna de las tres capas del estómago, obtendremos unmodelo completo del estómago del cerdo formado pormódulos independientes en alta resolución.Posteriormente, y debido a las restricciones del prototipode simulador quirúrgico que se va a utilizar, al modelo dealta resolución (Fig. 12) se le ha aplicado un proceso deoptimización independiente para cada capa del estómago,que reduzca el número de vértices (nodos) que lo forman,ya que aplicar dicho proceso al conjunto ofrece peoresresultados, apareciendo numerosos artefactos en lamalla final (Fig. 13).Una vez finalizado el proceso de modelado del órgano,comenzamos con el texture mapping del mismo, es decir,dotar al modelo de una apariencia real en lo que se refiereal color.El texture mapping constituye un método de proyecciónde información gráfica (las texturas) en las superficies.Aunque como decíamos anteriormente es algo muy similara envolver un regalo con papel, en este caso el patrónse proyecta de forma matemática con modificadores, enlugar de adaptarlo a la superficie.Para la creación de las texturas se trabaja medianteherramientas de retoque fotográfico o empleando procedimientosespecíficos de la herramienta de modelado obien una combinación de ambas posibilidades. En la figura14 se muestran las texturas utilizadas para cada una delas capas del estómago del cerdo: serosa, muscular ymucosa.Figura 8: Modelo grosero del órganoFigura 9: Imagen real del estómagoFigura 10 y Figura 11Figura 13. Malla final.Figura 12: Modelo de altaresoluciónSin embargo, cuando se aplican las texturas sobre elmodelo se obtienen puntos llamados singulares, es decir,aquellos puntos donde la textura (imagen 2D) se dobla yforma frontera con otros (Fig. 15). Este efecto se destacasobre todo en la capa serosa debido a su heterogeneidady complejidad respecto a las capas muscular y mucosa.Para resolver estos inconvenientes se han utilizado diferentestécnicas.17

Especial: Tecnología de Simulación y Planificación...Primero se ha supuesto el estómago cilíndrico y se hatexturizado con la foto original, haciendo coincidir el ejede revolución del cilindro con la distancia más larga delestómago (Fig. 16). En los puntos singulares, se aplicó unaparte de la textura inicial (Fig.17).Otra técnica alternativa, para evitar el caso de que elsimulador no reconozca el método anterior, consiste en utilizarun mapa único y no compuesto. Para ello, utilizamosel concepto subobjeto, es decir, adjudicamos etiquetasidentificativas diferentes a distintas regiones de la malla, ysobre ellas aplicamos diferentes formas de mapa.Con esta técnica el resultado final es análogo al mostradoen al figura 18, pero con la diferencia que con esta técnicase obtiene el mismo mapa de textura pero se aplica adiferentes regiones de la malla y no de forma periódica.Figura 14: Texturas utilizadas para cada capa del estómago: Serosa, musculary mucosa.Figura 17Figura 15: Punto singular por efecto del texture mapping del modelo. Nótesecómo se rompe la continuidad de la textura.Posteriormente se desarrolló una composición demapas para aplicar a las diferentes regiones y poder resolverasí el problema de los puntos singulares. En la figura18 se muestran las componentes para el texture mappingy el resultado final del mismo.Figura 18: Arriba, las componentes de textura utilizadas para el proceso de texturemapping del estómago del cerdo. Abajo el resultado final. Nótese la mejoray el realismo evitando los puntos singulares.18Figura 163.2 HígadoPara el diseño y modelado del hígado del cerdo se hanutilizado las mismas técnicas que para el estómago. Sinembargo, debido a la falta de información gráfica y a lacomplejidad en la elaboración del mismo, mostraremossu proceso de generación.El hígado del cerdo es relativamente grande; el peso

Especial: Tecnología de Simulación y Planificación...Figura 19: A la izquierda un hígado real de un cerdo, en el centro ilustración gráfica de la distribución de sus lóbulos y a la derecha generación de las plantillas de diseñoa partir de la anterior.medio en el adulto es de 1,5 a 2 Kg. Es grueso centralmentey delgado en su circunferencia. Está dividido portres incisuras interlobulares profundas conformando 4 lóbulosprincipales: lateral derecho, medial derecho, medializquierdo y lateral izquierdo; el último es normalmente elmayor. En la parte dorsal del lóbulo lateral derecho está ellóbulo caudado.Existe otro pequeño lóbulo, el lóbulo cuadrado, situadoa la izquierda de la vesícula y conducto cístico. En la figura19 se muestran una fotografía real del hígado de uncerdo, y una ilustración. Del mismo modo que con el estómago,se generan plantillas de cada uno de los lóbulos(Fig. 19), realizando un calco 2D sobre la ilustración.A partir de las plantillas se generan composiciones volumétricasaproximadas de cada lóbulo, que luego se refinantrabajando manualmente sobre los vértices, aristas ycaras de la malla, consiguiendo detallar el modelo enregiones complejas. El resultado final del modelado enalta resolución se muestra en la figura 20.El proceso de texture mapping se realizó obteniendo lastexturas de las imágenes reales, análogamente a lo descritopara el estómago.Figura 20: Modelo del hígado de un cerdo.3.3. Diafragma.En el diseño del diafragma hemos empleado la técnicade modelado basado en NURBS, que nos permite crear unasuperficie muy suave y con un marcado aspecto orgánico.También en este caso, nos encontramos con insuficienteinformación gráfica que nos permita realizar una composición3D del elemento a representar. Los recursos quetenemos son un conjunto de medidas e ilustraciones 2Dextraídas de una grabación en vídeo de la disección de unanimal. El diafragma está formado por una parte musculary una tendinosa semitransparente donde se encuentranlos hiatos de cava, aorta y esófago. Su forma no esuna circunferencia exacta, sino que es más alto queancho (Fig. 21). Al igual que con el resto de modelos, conla información recopilada se crea un modelo vectorial 2D(Fig. 22) que nos sirva de referencia para crear una mallasuperficial basada en NURBS.Figura 21: Imagen real del diafragma del cerdo.Figura 22: Modelo vectorial 2D para el diafragma.19

Especial: Tecnología de Simulación y Planificación...4. CONCLUSIONESFigura 23: Vértice de controlFigura 24Figura 25: Mallado de alta (izquierda) y baja resolución (derecha) del diafragma.En rojo se muestra el modelo del esófago.Una propiedad fundamental de las NURBS es la posibilidadde edición mediante los VC´s (vértices de control).Estos afectan o influyen en la superficie variando su estructura(Fig. 23) y nos permiten lograr una solevación en laparte más externa y central (Fig. 24), lo que dota de unmayor realismo a la malla plana, permitiendo su inserciónen la caja torácica en el momento en que se requiera(Fig. 25). La mayor concentración de vértices o nodos seencuentra en las zonas de los hiatos de cava, aorta y esófago,importantes para la simulación que requieren de unnivel de detalle superior. Al igual que con el resto demodelos, se trabajan en alta resolución y una vez finalizadoel diseño optimizamos la malla para adaptarla al simulador.Finalmente generamos y aplicamos texturas almodelo (Fig. 26).3.4. Esófago.El modelado del esófago se ha realizado de manera análogaal descrito para el estómago e hígado. Por su sencillez,no nos extenderemos y lo mostramos en la figura 26.En este artículo hemos descrito las técnicas de modeladotridimensional utilizadas para generar escenarios virtualesde la anatomía de un cerdo. Estos escenarios debensatisfacer las limitaciones de los simuladores quirúrgicos, ypor tanto la apariencia real de los mismos se ha conseguidodiseñando y aplicando las texturas de manera apropiada.Nuestros resultados visualmente excelentes, mostrandoun realismo bastante evidente. Entre nuestros objetivosfuturos se encuentra en elaborar una biblioteca de la anatomíadel cerdo, necesaria en proyectos análogos al mostradoaquí, y que actualmente no existe. Del mismomodo, nuestra experiencia en la simulación de esta intervención,nos permitirá elaborar los escenarios virtualespara una futura simulación sobre humanos.AGRADECIMIENTOSEste trabajo ha sido financiado por el Fondo deInvestigación Sanitaria (FIS), dentro de la red nacionalSINERGIA (G03/135).5. BIBLIOGRAFÍA[Ger99] Gering et al. An Integrated Visualization System for SurgicalPlanning and Guidance Using Image Fusion and IntervetionalImaging. MICCAI-Lecture Notes in Computer Science. Vol1679, Springer-Verlag, Berlin Heidelberg, New York 1999,809-819.[Alb00] Alberola C., Cárdenes R., Martín M., Martín M.A.,Rodríguez-Florido M.A., Ruiz-Alzola J. diSNei: ACollaborative Environment for Medical Image Analysis andVisualization. MICCAI-Lecture Notes in Computer Science,Vol,Springer-Verlag, Berlin Heidelberg, 2000,[Goll98] Golland et al.Anatomy Browser: A framework for integrationof medical information. MICCAI-Lecture Notes inComputer Science, Vol 1679,Springer-Verlag, BerlinHeidelberg, 1998, 720-731.[Mon00] Monserrat C., Alcañiz M., Meier U., Pozo J.L., JuanM.C., Grau V. Simulador para el Entrenamiento en CirugíasAvanzadas, Proc. Congreso Internacional de IngenieríaGráfica (INGEGRAF), Valladolid, 2000.[Uson02] Usón Cargallo J., Sánchez-Gijón S.P., Sánchez-Margallo F.M. Cirugía laparoscópica del reflujo gastroesofágico.Técnica de Nissen. Ed. Centro de Cirugía de MínimaInvasión, 2002.20Figura 26: Modelo del diafragma de un cerdo. A la derecha el modelo del esófago.