Cómo el Escaneo 3D Impulsa la Simulación 3D para la Aplicación de Robots Endoscópicos

 

Un grupo de investigación en el campo de la ingeniería biomédica de la Universidad Boğaziçi en Estambul, Turquía, utilizó EinScan Pro 2X para digitalizar intestinos para simulación 3D. La Ingeniería Biomédica se concentra en la aplicación de tecnología de ingeniería y métodos científicos para el análisis de problemas biológicos, fisiológicos y de atención de la salud.

El objetivo del Instituto es brindar capacitación académica especializada e infraestructura de oportunidades de investigación para estudiantes graduados en áreas específicas de Ingeniería Biomédica.

Las áreas de investigación actuales en los laboratorios del Instituto incluyen las instrumentaciones biomédicas y bioelectrónicas, biomecánicas,el análisis de neuroseñales,la biofotónica,las imágenes médicas,las imágenes celulares y la electrofisiología, la robótica,el diseño y las pruebas de dispositivos médicos y la psicofísica.

El Dr. Mehmet Turan ha recibido nuevos fondos a través del Programa de Becas Internacionales TÜBİTAK 2232 para investigadores destacados para trabajar en el Instituto. El proyecto se titula “Robot de Cápsula Endoscópica Accionado Magnéticamente y Alimentado por Al para la Administración de Fármacos Dirigidos y Operaciones de Biopsia múltiple”.

El objetivo de este proyecto es aprovechar los últimos avances de la inteligencia artificial y realizar importantes innovaciones científicas y tecnológicas en el diseño de la mecatrónica, el control magnético remoto y los algoritmos de localización y cartografía de los robots endoscopios de cápsula inalámbrica (wce).Se espera que la tecnología de aprendizaje en profundidad mejore la reconstrucción intensiva del terreno y la estimación de posición, así como la localización y cartografía sincrónicas (Slam).Los conjuntos de datos actualmente disponibles no soportan una evaluación comparativa cuantitativa y válida.En este proyecto, se introdujo un conjunto de datos integrado de Slam endoscópico que contenía cápsulas y registros endoscópicos estándar.Los datos fueron recolectados de ocho órganos gastrointestinales(GI) porcinos aislados usando el brazo robótico panda de Einscan Pro 2x, dos endoscopios de cápsula comerciales con diferentes características de cámara y dos endoscópicas convencionales diferentes.

Las geometrías reales de los órganos fueron adquiridas por el escáner 3D multifuncional de EinScan Pro 2x. Los modelos escaneados en 3D obtenidos para seis órganos se fijan a andamios que se cortaron en formas de O, Z y L para imitar la ruta del tracto gastrointestinal a través del colon ascendente hasta el colon transverso. La recopilación de datos de puntos de nube de dos colones, un intestino y tres estómagos de diferentes individuos hace que el conjunto de datos sea apropiado para transferir algoritmos de aprendizaje. Además, se puede probar el rendimiento del algoritmo en el tejido con varios detalles de textura para el mismo tipo de órgano.

 

Como esta fue la primera prueba de disparo de conjuntos de datos, el equipo de investigación enfrentó algunas dificultades:

  • No fue posible escanear áreas pequeñas, claras y oscuras sin marcadores

Respuesta desde SHINING 3D:
“El modo portátil funciona muy bien para objetos de más de 10 cm, mientras que escanear objetos más pequeños es bastante difícil. Recomendamos el modo de escaneo fijo, que puede capturar objetos de hasta 2-3 cm. Este modo está especialmente diseñado para la adquisición de objetos pequeños y ofrece muy buenos resultados. Si las áreas son muy oscuras, la luz se absorbe. Se puede aumentar el brillo del escáner,pero sucede que el escáner no “ve” nada. El aerosol de escaneo médico, como se usa en odontología, puede resolver este problema. El spray hace las áreas blancas y las hace más fáciles de escanear. Estos aerosoles médicos no son dañinos ni tóxicos.”

 

  • Para adquirir un modelo 3D completo, tuvimos que rotar los andamios lo que en ocasiones provocaba irregularidades en el posicionamiento de las superficies adyacentes.

Respuesta desde SHINING 3D:

“Al girar los objetos que se van a escanear, es necesario asegurarse de que todas las partes de los objetos estén fijas porque, de lo contrario, al software le resultará difícil detectar y unir los datos adquiridos.”

scanned organ

 

Después de coser los órganos (estómago, colon e intestino delgado) en forma de L, O y Z, comenzó el escaneo 3D.La siguiente imagen muestra el escaneo de un estómago. El escaneo se realizó en el modo de escaneo rápido portátil. Para este propósito, el escaneo se inició en una esquina del órgano y continuó de un lado al otro hasta la última esquina. La zona media del estómago contiene la estructura más importante. Por lo tanto, hubo que ajustar el brillo para poder capturar todos los pequeños detalles. El brillo se ajustó fácilmente con la configuración de los botones + y – en el escáner 3D. El brillo se muestra en la parte superior de la pequeña pantalla izquierda. El color rojo es una alerta de que es demasiado brillante para continuar con el proceso de escaneo. Sin embargo, la atención se centró principalmente en la estructura interna del estómago, que se muestra en verde en la pantalla. El escáner 3D portátil multifuncional de EinScan Pro 2X se utilizó para escanear la superficie del órgano en detalle. El estómago tenía una gran superficie por lo que se podía escanear sin ningún problema. Por el contrario, el colon tenía un área pequeña y el fondo blanco del andamio dificultaba el escaneo. Por lo tanto, el equipo de investigación utilizó marcadores para facilitar la captura de la estructura. Los marcadores se colocaron muy juntos sobre la superficie blanca del andamio. En general, el uso de marcadores ayuda a escanear detalles en áreas pequeñas.

 

scanned organ

 

El proceso de escaneo fue similar para todos los órganos. El equipo buscó una esquina que el EinScan Pro 2X reconociera y siguió las instrucciones de la interfaz de usuario.

Después de estar satisfecho con la cobertura del órgano escaneado, se creó el modelo de cuadrícula. Durante el procesamiento posterior, los orificios en la cuadrícula se rellenaron con la aplicación de llenado automático de orificios y las áreas innecesarias se eliminaron con la selección de CTRL + botón derecho del mouse. Finalmente, el equipo guardó el modelo 3D en .ply, .obj y .txt.

 

scanned organ

 

scanned organ

 

El archivo .ply adquirido se editó en Blender para crear un mapa de calor con el fin de obtener los valores de profundidad de los modelos.

 

scanned organs

 

Los datos de escaneo se utilizaron finalmente con fines de entrenamiento para algoritmos de aprendizaje profundo. El proceso de entrenamiento de aprendizaje profundo con el modelo de escaneo 3D se muestra en la imagen a continuación. El equipo de la Universidad de Boğaziçi utilizó las imágenes de la cápsula endoscópica grabadas como entrada. La localización se determinó desde las imágenes utilizando el modelo 3D.

 

workflow

 

El objetivo del proyecto era imitar la estructura del órgano hasta el más mínimo detalle. Esto se logró con éxito con el escáner 3D portátil multifuncional de EinScan Pro 2X. El equipo del proyecto pudo registrar todas las estructuras, esquinas y profundidades con alta precisión. No hubo cambios significativos con respecto a la estructura original.

En un proyecto de investigación anterior, se utilizó otro escáner 3D. Este escáner 3D también había logrado buenos resultados, pero existían diferencias técnicas en la resolución y la precisión del punto. La precisión de los puntos fue uno de los factores más importantes en nuestro proyecto para lograr el proceso de aprendizaje profundo por lo que el equipo decidió contar con las capacidades del EinScan Pro 2X para este proyecto.

El escáner 3D portátil multifuncional de EinScan Pro 2X satisfizó las necesidades del equipo de investigación de la Universidad de Boğaziçi. SHINING 3D se complace en apoyar aplicaciones de escaneo interesantes. Si tiene un proyecto interesante, contáctenos y evaluarémos las posibilidades de cooperación con usted.