다양한 수술 환경에서 수술 기구 분할을 위한 단일 심층 신경망의 제한된 일반화 가능성

Scientific Reports 12권, 기사 번호: 12575(2022) 이 기사 인용

917 액세스

2 알트메트릭

측정항목 세부정보

다양한 수술 환경에서 딥러닝 기반 수술 기구 분할 네트워크의 일반화 가능성을 명확히 하는 것은 수술 기구 개발에서 과적합 문제를 인식하는 데 중요합니다. 본 연구에서는 수술 중 영상 128개에서 무작위로 추출한 5238개의 영상을 사용하여 수술 기구 분할을 위한 심층 신경망 일반화 가능성을 종합적으로 평가했습니다. 비디오 데이터 세트에는 복강경 대장 절제술 112건, 복강경 원위 위 절제술 5건, 복강경 담낭 절제술 5건, 복강경 부분 간 절제술 6건이 포함되어 있습니다. (1) 훈련 세트와 동일한 조건; (2) 인식 대상 수술 기구 및 수술 유형은 동일하지만 복강경 기록 시스템이 다릅니다. (3) 동일한 복강경 기록 시스템 및 수술 유형이지만 인식 대상 복강경 수술용 집게가 약간 다릅니다. (4) 복강경 기록 시스템과 인식 대상 수술 기기는 동일하지만 수술 유형이 다릅니다. 테스트 세트 1, 2, 3, 4의 평균 평균 정밀도와 합집합에 대한 평균 교차점은 각각 0.941과 0.887, 0.866과 0.671, 0.772와 0.676, 0.588과 0.395였습니다. 따라서 약간 다른 조건에서도 인식 정확도가 감소했습니다. 이번 연구 결과는 외과 인공지능 분야에서 심층신경망의 일반화 가능성이 제한적이라는 점과 딥러닝 기반의 편향된 데이터세트 및 모델에 대한 주의가 드러났다.

시험등록번호: 2020-315, 등록일자: 2020년 10월 5일.

로봇 수술을 포함한 최소 침습 수술(MIS)이 점점 일반화되고 있습니다1. 내부 해부학을 관찰하기 위해 스코프를 사용하는 MIS는 스코프를 통해 확대된 수술 시야를 얻을 수 있기 때문에 많은 수술 과정에서 선호됩니다. 또한 수술 과정을 비디오 데이터로 저장할 수도 있습니다. 따라서 이 접근 방식은 수술 훈련 및 교육뿐만 아니라 딥 러닝을 사용한 컴퓨터 비전과 같은 수술 데이터 과학2도 촉진합니다.

컴퓨터 비전은 이미지와 비디오에 대한 기계의 이해를 설명하는 연구 분야이며, 상당한 발전으로 인해 기계는 객체 및 장면 인식과 같은 영역에서 인간 수준의 능력을 달성하게 되었습니다3. 컴퓨터 비전의 주요 의료 관련 작업은 대장 폴립 감지4,5 및 피부암 감지6,7와 같은 컴퓨터 보조 진단입니다. 그러나 컴퓨터 보조 수술의 적용도 가속화되었습니다8,9. 특히, 수술 기구 세분화 및 팁 추적은 수술 기술 평가10,11에 적용할 수 있고 자동 및 자율 수술12을 달성하는 데 필수적이기 때문에 중요한 기본 기술입니다.

분할은 전체 이미지를 레이블을 지정하고 분류할 수 있는 픽셀 그룹으로 나누는 컴퓨터 비전 작업입니다. 특히, 의미론적 분할은 이미지의 각 픽셀의 역할을 의미론적으로 이해하려고 시도합니다13. 의미론적 분할을 확장하는 인스턴스 분할은 클래스의 서로 다른 인스턴스를 분할합니다. 즉, 다섯 개인을 다섯 가지 색상으로 레이블을 지정합니다. 따라서 여러 개의 겹치는 개체에 대한 개체 간의 경계, 차이점 및 관계를 식별할 수 있습니다.

이러한 컴퓨터 비전 접근 방식은 MIS에 대한 수술 중 비디오에서 수술 도구 인식에 큰 적용 가능성을 가지며, 최근 몇 년 동안 수술 도구 분할을 개발하기 위한 수많은 노력이 있었습니다15,16. 그중 의료 영상 컴퓨팅 및 컴퓨터 지원 중재 학회(Medical Image Computing and Computer Assisted Interventions Society)는 수술 기구 분할에 대한 인식 정확도와 내시경 비전 챌린지15,17,18,19를 기반으로 한 국제적인 챌린지를 개최해 왔습니다. 새로운 심층 신경망은 최첨단 분할 정확도에 대한 기록을 깨뜨렸습니다. 그러나 이러한 노력은 실제 수술 환경과 달리 고정된 수술 도구와 동일한 유형의 복강경 녹화 시스템을 사용하는 동일한 유형의 수술에 해당하는 비디오 데이터 세트에서 수행되었습니다. 실제로 실제 수술 상황에는 다양한 조건이 존재합니다. 예를 들어, 다양한 유형의 복강경 기록 시스템과 복강경 수술 기구가 다양한 병원에서 사용됩니다. 게다가 수술 장비도 업그레이드되고, 그 모양도 몇 년마다 조금씩 변합니다. 단일 수술 기구 인식 네트워크의 범용적 특성을 고려할 때, 다른 유형의 수술에 대한 네트워크의 적용 가능성을 검증하는 것, 즉 개발된 인식 네트워크의 인식 정확도 차이를 명확히 하는 것도 중요합니다. 특정 유형의 수술 데이터를 기반으로 다른 유형의 수술에 적용됩니다. 인식 정확도와 관련된 이러한 조건은 다양성을 갖춘 수술 중 비디오 데이터 세트를 구성하는 것이 중요하다는 것을 명확히 할 수 있지만 단일 수술 도구 인식 네트워크의 일반화 가능성에 대한 포괄적인 연구는 보고되지 않았습니다. 따라서 본 연구의 결과는 향후 수술 개발 및 시행에 귀중한 정보를 제공한다는 점에서 중요합니다.