비디오와 이미지에서 실시간 객체 분할…메타, 차세대 통합 모델 ‘SAM 2’

사람이 하는 것보다 비교할 수 없을 만큼 빠르게 하거나, 사람이라면 거의 불가능한 일을 가능하게 하는 것, 인공 지능이 사람의 지능을 앞서는 대표적인 특징 두 가지다. 이를 테면 상상하는 장면을 문장으로 입력하면, 불과 몇 초만에 사진이나 동영상을 만들어주는 생성형 AI가 대표적이다.

메타(Meta)가 이미지와 비디오에서 실시간으로 객체(Segment)를 인식하고 분리할 수 있는 SAM 2(Segment Anything Model 2)를 공개했다. 아파치(Apache) 2.0 라이선스에 따라 코드와 모델 가중치를 오픈 소스로 공개해 누구나 사용할 수 있고, 약 5만 1,000개의 실제 영상과 60만 개 이상의 시공간 마스크(spatio-temporal masks)가 포함된 SA-V 데이터 세트도 함께 공개했다.

메타가 이미지와 비디오에서 실시간 객체 분할을 가능하게 하는 통합형 모델인 SAM 2를 공개했다. (자료 : Meta)

SAM 2는 비디오 화면에서 원하는 객체를 선택하면, 해당 객체를 실시간으로 추적할 수 있는 인공지능 모델이다. 이를 테면 축구 경기에서 공을 선택하거나 특정 선수의 유니폼이나 신발을 선택하면, 비디오 속에서 해당 객체를 추적한다. 한 화면에서 하나의 객체만 선택할 수 있는 것이 아니라, 여러 개의 객체를 선택하고 이를 추적할 수 있다.

SAM 2는 이미지와 비디오에서 실시간으로 즉시 사용 가능한 객체 분할을 위한 통합 모델이라는 점이 특징이다. SAM 2는 이미지에서 객체를 분할하는 SAM를 기반으로 개발되었으며, SAM 2를 사용해 비디오에서 객체를 분할하는 시간을 이전 보다 3배나 단축했고, 이전에 보지 못했던 시각적 콘텐츠에도 적응할 수 있다.

메타는 “SAM이 출시되기 전에는 특정 이미지 작업을 위한 정확한 객체 분할 모델을 만들려면, AI 학습 인프라와 신중하게 주석이 달린 대량의 도메인 내 데이터에 액세스 할 수 있는 기술 전문가가 고도로 전문적인 작업을 수행해야 했다. SAM은 사용자 지정 데이터나 값비싼 조정 없이도 프롬프트 기술을 통해 다양한 실제 이미지 세분화 및 즉시 사용 사례에 적용할 수 있다”고 밝혔다.

즉, SAM을 사용할 수 없을 때는 이미지에서 객체 분할이 가능한 모델을 만들기 위해 자세한 설명이 달린 대량의 이미지와 객체 데이터, 이를 다룰 수 있는 AI 전문가, AI를 학습시킬 수 있는 인프라가 필요했다. 하지만 SAM을 사용하면 프롬프트에 원하는 내용만 입력하면 되는 생성형 AI처럼 누구나 보다 쉽고 빠르게 객체 분할을 할 수 있다는 의미다.

2023년에 SAM이 출시된 이후 이미 과학, 의료, 재난 구호 등의 다양한 분야에서 이를 활용해, 산호초를 분석하고 재난 현장에서 위성 이미지 판독, 현미경 사진 속에서 세포 이미지 분할과 피부암 탐지 등에 활용됐다. 이제 이미지와 동영상에서 객체 분할까지 가능한 SAM 2가 활용되면, 멀티모달 AI의 진화와 응용에 더욱 가속도가 붙을 전망이다.

메타는 “산업계에서는 자율주행 차량에 사용되는 것과 같은 차세대 컴퓨터 비전 시스템을 훈련하기 위해 시각 데이터에 더 빠른 주석 도구를 사용할 수 있다. SAM 2의 빠른 추론 기능은 실시간 또는 라이브 비디오에서 객체를 선택하고 상호 작용하는 새로운 방법을 고안할 수 있다”고 자율 주행에서의 활용 가능성을 소개했다.

또한, “콘텐츠 크리에이터는 비디오 편집에서 창의적인 애플리케이션을 구현하고, 생성 비디오 모델에 제어 기능을 추가할 수 있다. 드론 영상에서 멸종 위기에 처한 동물을 추적하거나, 의료 시술 중 복강경 카메라 피드에서 특정 부위를 찾는 등 과학 및 의학 분야의 연구에도 활용될 수 있다”고 전했다.

메타는 SAM 2를 공개하며 SAM2를 구축한 방법과 과정, 통합 아키텍처에의 이미지 및 비디오 분할, SA-V 데이터 세트 등의 자료까지 모두 함께 공개했다. 메타의 AI 블로그를 방문하면 SAM 2와 관련된 이러한 자료와 자세한 정보를 모두 확인할 수 있다.

⧉ Syndicated to WWW.CIOKOREA.COM