WACV conference는 Computer Vision의 응용 분야를 다루는 국제 학회이다. 주요 연구 성과와 최신 기술 동향을 발표하는 자리로, 다양한 분야의 연구자들이 모여 논의하는 학회이다. 특히, 의료 영상, 자율 주행, 로봇 비전 등 컴퓨터 비전의 실질적 응용 사례들이 중점적으로 다루어진다. 또한, 학술 발표 뿐만 아니라 워크숍, 튜토리얼 등 다양한 세션을 통해 연구 아이디어를 공유하고 협력하는 기회로 활용된다.

ORID: 방사선 보고서 생성을 위한 기관-지역 정보 기반 프레임워크

RRG 관련 지시문 데이터셋을 구축하여 장기-영역 진단 설명 능력을 향상시킴과 동시에, 하위 태스크에 사용할 설명을 생성하는 LLaVA-Med-RRG 모델을 확보하였다. 정확하고 신뢰할 수 있는 방사선 보고서 생성을 위해 Organ-Regional Information Driven (ORID) 프레임워크를 제안하였으며 해당 프레임워크는 장기 기반 다중 모달 융합 모듈과 장기 중요도 계수 분석 모듈로 구성되어, 다중 모달 정보를 효과적으로 통합하고 관련 없는 장기로부터 발생하는 잡음의 영향을 줄였다. 광범위한 실험을 수행한 결과, 제안한 ORID 프레임워크가 두 개의 공개 방사선 보고서 생성 벤치마크에서 새로운 최첨단 성능을 달성하였다.

먼저, 2D 자연 이미지에 사용된 spatial control 기법들이 3D 의료 영상 합성의 조건부 생성에 도움이 되는지를 조사하였다. 또한, 공간 제어를 위해 경량 모듈인 Volumetric Conditioning Module(VCM)을 새롭게 개발하였다.

자연 이미지와 달리, 대부분의 공개 의료 영상 데이터셋은 3D 주석 비용과 개인정보 보호 문제로 인해 수십 개 정도의 데이터로 구성되었다. 이를 감안하여, 기존의 spatial control 기법들과 VCM을 다양한 데이터셋 크기와 조건 시나리오에서 실험함으로써, 사용 가능한 데이터셋 크기에 최적화된 디자인을 탐구하였다.

생성된 출력이 주어진 조건과 정확히 일치하는 것이 중요한데, 이는 해당 이미지가 데이터 증강, 초해상도, 변환 등 의료 영상 분야의 다양한 응용에 활용될 수 있기 때문이다. 이러한 이유로, segmentation mask에 대한 Dice score와 partial image의 image difference를 사용하여 spatial control 기법들의 조건 정렬성을 측정하였다.

Q1. 이 연구의 최종 목적이 무엇인가?(application)

A1. 이 연구는 메디컬 데이터를 압축해서 병원과 병원, 병원과 기업 간 의료 데이터를 주고 받을 때 용량 문제를 해결하고, 익명성의 문제를 해결하기 위함에 있다.

Q2. Data augmentation과 같이 데이터 수를 늘리려고 하는데, 왜 데이터를 줄이는 연구를 시작했나? 데이터가 많은 것이 더욱 좋은 것 아닌가?

A2. 이 연구는 데이터 양으로 모델의 성능을 올리고자 하는 연구가 아니다. 데이터를 주고 받음에 있어 수많은 데이터를 압축하여 송수신에 발생하는 cost를 줄이는데 초점을 맞추고 있다.

Q3. 데이터 수를 줄인다고 했는데, resolution을 줄이는 것인가, 수를 줄이는 것인가?

A3. 수만을 줄였다.

Q4. 그렇다면, 데이터 resolution을 줄이는 연구는 해보지 않았나? 그런 식의 연구도 흥미로울 것 같다.

A4. 데이터 resolution을 줄이면 parameter matching을 할 수 없어서 그 방향으로는 하지 않았는데, 흥미로운 주제가 될 것 같다.

Q5. 데이터를 익명화 하면 medical 이미지에서 segmentation이나 classification에 필요한 중요 정보들이 뭉개질 것 같은데, 맞나?

A5. 이 연구의 목적은 classification을 위함이다. 즉 중요한 정보들이 눈으로는 사라져도, 진단을 위한 정보들은 압축된 상태로 남아있다.

Q6. 결과적으로 보이고자 함은 무엇이었나?

A6. 기존의 데이터 증류 모델들보다 정확도가 훨씬 높게 나타남으로 내 모델이 중요한 정보를 압축함을 보이고자 하였고, 익명성을 측정하는 metric도 제시하여서 더 익명화가 잘되는 것을 보이고자 하였다.

포스터 질의응답, 여러 직업, 기업, 학계 사람 들과의 luncheon, 기업 아마존 luncheon seminar 등

“우리는 실생활에서 문제점을 명확히 찾고, 그것을 독창적으로, 자신의 생각으로 풀어나가는 인재를 원한다.” -> 실생활에 접목할 수 있는 연구에서 문제점을 명확히 찾고, 자신만의 해답을 끊임없이 사고 하는 것이 중요하다는 깨달음을 얻을 수 있었음.

개최지 : 미국 Tucson, Arizona

참석 기간 : 2025.02.28 ~ 2025.03.04

발표 제목 : FMD: Comprehensive Data Compression in Medical Domain via Fused Matching Distillation(포스터)

작성자 : 이화여자대학교 박사과정 손주헌