Video Object Segmentation using Space-Time Memory Networks

Introduction

previous research

과거 프레임 정보를 활용하여 현재 프레임에서 segmentation 수행

어떤 프레임을 사용할지, 어떻게 프레임을 사용할지

frames

• 첫번째 프레임 : 가장 명확한 정보를 담음
• 직전 프레임 : 현재 프레임과 가장 비슷 (less appearance change/less occlusion)

paper proposed

1. 여러개의 intermediate frame을 사용 (variable length input)
2. **1.**을 하기 위해 memory architecture를 사용

• 이전 모든 프레임정보를 저장
• 현재 프레임에 도움이 되는 부분 사용

Frame 활용(learning)

• online learning : 첫 프레임으로 모델학습

  성능이 높으나 모델 학습이 수행되어야 하므로 매우 느림

• offline learning(paper) : 첫 프레임을 모델할습에 사용하지 않음

  속도가 빠른대신 성능이 약간 낮음 특히, large scale dataset인 Youtube-VOS에서 기존 연구들 대비 매우 큰 성능 향상을 보여줌