영상 기술 중에서 재미있는 영역 중 하나는 3차원의 입체적인 영상을 특별한 안경 없이 볼 수 있는 나안 입체 영상이다. 이 매혹적인 기술은 단지 엔터테인먼트 영역에서만 사용되는 것이 아니라 실용적인 기술로서 다양한 전문 영역에 적용된다. 특히 특별히 높은 기대를 가지고 있는 적용 영역은 의학적 영상 영역으로, Takeyoshi Dohi 교수와 그의 동료들은 동경대학교 정보공학기술 대학원에서 NVIDIA’s CUDA™ 병렬 컴퓨팅 플랫폼을 연구하고 있다.

Integral Videography (IV) 의 원리 Click

나안 입체영상은 다양한 방법으로 사용될 수 있다 ; Dohi 교수의 연구소에 소속된 Hongen Liao 부교수와 연구원 Nicholas Herlambang은 Integral Videography (IV) 라는 기술을 연구하고 있다. 이 방법은 특별한 마이크로 렌즈의 배열로 만들어진 디스플레이를 사용하여 유동체 상태의 크리스털 패널들로 결합된 볼록 렌즈의 배열로 구성된다. 각각의 마이크로 렌즈 바로 아래에는 100개 가량의 액체 크리스털로 만들어진 구성 요소와 볼록 렌즈가 빛을 모든 구성 요소에서부터 여러 방향으로 전달한다. 물체는 3D 공간에서 여러 방향에서부터 반사되는 광선으로 인해 허상으로 나타나며, 마치 물체가 허공에 떠 있는 듯한 입체적인 이미지를 제공하게 된다.

이렇게 3D 이미지를 허공에 나타나게 할 수 있는 방법은 전통적인 입체영상의 방법인 왼쪽 눈과 오른쪽 눈에 다른 이미지를 보여줌으로서 3D 이미지를 만드는 방식에 비하여 더욱 향상된 것이다. IV를 사용하면 3D 이미지는 더욱 넓은 영역에서 디스플레이의 바로 앞에서 나타나며, 동시에 몇 명의 감상자가 특별한 안경이나 시점 트래킹 없이도 볼 수 있다.

2000년부터 대학의 연구팀은 살아 있는 생체의 CT나 MRI 스캔을 통한 횡단면을 실시간으로 볼륨 텍스쳐로 전환하여 볼륨 렌더링으로만 3D 이미지를 만들 수 있는 것이 아니라, 동시에 IV 시스템을 통해 입체영상으로 볼 수 있게 하는 기술을 개발하고 있다.

이 시세틈은 실시간의, 입체 영상을 생생한 이미지로 재현하는 혁명적인 것이 될 수 있다. 어쨌거나, 전체적인 컴퓨터 연산의 양은 매우 크다. 볼륨 렌더링은 높은 프로세싱 부하의 문제가 있고, 그로 인하여 입체영상을 만들기 위해서는 이후 별도의 프로세스가 필요하다. 각 영상의 프레임을 위하여 다수의 앵글이 같은 시간에 재현되어야 한다. 이런 과정을 영사의 프레임 수를 늘리고, 상상하기 어려운 양의 컴퓨팅 연산이 높은 정확도와 짧은 시간 내에 처리되어야 하는 문제가 발생한다.

2001년의 연구로, 실시간 볼륨 렌더링과 입체영상의 재구성은 Pentium III 800MHz 에서 512 X 512 이미지의 한 프레임을 재생하는 데 10초 이상이 걸렸다. 이 연산 속도를 더욱 빠르게 만들기 위해, 연구팀은 당시 사용할 수 있는 최신의 고성능 컴퓨터인 UltraSPARC III 900 MHz가 60개 연결된 기계를 사용하고자 하였다. 그러나 그를 통해서도 초당 5프레임을 얻을 수 있을 뿐이었다. 실용적이 되기에는 단지 충분히 빠르지 못한 것뿐이었다.

IV의 이미지를 멀리서 보는 예시. 매우 실제적인 입체영상 이미지 중 손 위에 있는 노란색 막대는 디스플레이에서 2미터의 거리에 있다. 이미지의 감상자가 움직일 때도 이미지는 그의 손에 있는 것처럼 보인다. 이러한 고화질의 입체 영상 이미지를 구현하는 데 프로세스 방법으로서 볼륨 렌더링이 사용되는데, 이들에게는 컴퓨팅 연산 호환성까지 지원할 필요가 있었다. Click

볼륨 렌더링과 그에 버금가는 IV로의 변환은 데이터 병렬 벡터 연선을 필요로 한다. 이를 위하여 최적의 컴퓨팅 패러다임은 GPU이다. 이에 따라, Liao와 Harlambang은 CUDA를 사용하는 이런 조건을 충족시키는 GPU를 찾았고, 일반 용도로 C언어를 사용하는 GPU 개발 환경을 NVIDIA에서 찾았다.

우선, 연구자들은 프로토타입 시스템을 초신 GPU인 GeForce® 8800 GTX로 구현하였다. 2001년에 사용하였던 데이터를 CUDA를 사용하는 GPU로 수행하였을 때 성능은 초당 13-14프레임으로 향상되었다. UltraSPARC 시스템이 1천만 엔이 들었던 것에 비해, 수백분의 1의 비용만으로도 구현이 가능하다는 것과 심지어 최대 3배에 가까운 더욱 높은 성능이 구현된다는 점에 연구자들은 GPU 연산에 매료되었다. 게다가, 연구팀에 따르면, NVIDIA의 GPU는 최신의 멀티코어 CPU를 복수로 사용하는 것에 비해서도 최소한 70배 이상 빠르다고 한다. 게다가, GPU의 고성능은 더욱 커다란 용량을 가진 볼륨 텍스쳐를 연산할 때 더욱 빨라진다는 것이 테스트 결과로 확인되었다.

현재 연구팀은 NVIDIA의 최신 데스크사이드 슈퍼컴퓨터를 사용하고 있으며, Tesla™ D870 과 CUDA를 사용하는 Tesla를 현재의 IV 시스템에 최적화하여 사용하고 있다. 이를 통하여 성능을 더욱 끌어올릴 수 있을 것으로 기대된다.

IV system using CUDA Click

“우리는 병렬 컴퓨팅을 위한 다양한 개발 환경을 비교했습니다.” CUDA 의 운영을 책임지고 있는 연구자인 Herlambang은 “우리가 CUDA를 선택한 것은 우리가 사용하고 있던 C 언어로 개발이 가능하다는 점이었습니다. 그리고, 우리는 차세대의 GPU들을 통해 앞으로도 우리가 개발해 둔 시스템에 대한 개편 없이 단지 GPU를 바꾸는 것만으로 속도 향상을 이룰 수 있으리라는 점도 큰 선택 요소였습니다. 대용량의 CUDA 프로그램을 더욱 쉽게 디버그 할 수 있는 환경이 마련된다면, CUDA는 병렬 컴퓨팅을 위한 더욱 강력한 개발 환경이 될 것이고, 많은 연구자들이 의학용 이미지 프로세싱 뿐만 아니라 다양한 영역에서 사용하게 될 것이라고 생각합니다.” 라고 말한다.

CT와 MRI에서 만들어진 이미지들은 실시간으로 입체영상으로 볼 수 있으며, 의사들은 질병에 의한 생체의 상태를 확인하고 수술이나 생체 검사 없이도 진단을 내릴 수 있게 된다. 게다가, 몇 명의 의사들이 다른 의사들과 함께 영상을 함께 보고 토론을 할 수도 있게 된다. 그리고, 장기적으로는 몇 명의 의사들이 내시경 수술을 수행하기 위하여 각각 수술을 실시간으로 참관하면서 한 사람이 수술을 집도하고 다른 의사들이 수술 기술에 대해 부분적으로 관여하는 것도 가능할 지도 모른다.

巨大な大型並列コンピュータアレイを治療の現場に持ち込むことは難しいですが、GPUやTeslaのような強力な計算能力を持ちながらもコンパクトな並列コンピューティングモジュールであればそれも可能です。

연구소 : //www.atre.t.u-tokyo.ac.jp/en/
조교수 Hongen Liao : //bmpe.t.u-tokyo.ac.jp/~liao/

▼연구소 소개

ATRE Lab, Dept. of 기계정보공학, 정보과학기술대학원, 동경대학교.

Dohi 교수와 연구진들은 선구적인 컴퓨터 연계 수술을 연구하고 있다. 이는 의학 엔지니어링 분야에서 가장 선진적인 연구소 중 하나이다.

3D 입체영상 기술은 마이크로 수술 로봇, 쐐기 모양의 프리즘 내시경, 수술용 입체영상 합성 디스플레이 등의 다양한 최신의 장비를 개발하는 데 중요한 역할을 하고 있다.