[학회 후기]
2024년 1월 4일부터 8일까지 하와이 Waikoloa Beach Marriott Resort에서 열린 컴퓨터 비전 premiere tier 학회인 WACV 2024에 poster session 발표자로 참석하였다. 컴퓨터 비전 분야에서 권위있는 학회인 만큼, detection 및 segmentation 등 전통적인 field 뿐만 아니라 autonomous driving, quantization, video forensic 등 최근 크게 관심을 받는 field 까지 다양한 분야에 대한 presentation을 오프라인으로 면대면으로 들을 수 있어 소중한 경험이었다.
Autonomous driving 관련 가장 인상싶었던 presentation은 Bird’s-Eye-Biew (BEV) feature를 다루는 연구물이었던 “Residual Graph Convolutional Network for Bird’s-Eye-View Semantic Segmentation” 이었다. Graph neural network와 residual connection을 통해 spatial 및 channel 축 모두의 feature를 강화해 성능을 끌어올리는 방식이 간단하다고 생각되면서도 방향성의 참신함에 감탄할 수 있었다. 해당 논문이 Utah State University에 한 대학원생의 졸업논문이라는 비하인드 스토리를 듣는 것도 재미있었고, 학회 참석의 또 다른 묘미라고 생각했다.
한편 quantization 관련 흥미로웠던 presentation은 “Improved Techniques for Quantizing Deep Networks With Adaptive Bit-Widths” 이었다. 기존 quantization 기법에 knowledge distillation을 도입하여 best teacher model을 adaptive하게 선택 후 student model이 이를 mimic하는 방식을 사용해 성능 감소폭을 줄이면서 연산량은 크게 경량화하였다. 또한 teacher model과 student model의 특정 block을 직접 swap하는 학습 방법론을 제시하여 재미있게 presentation을 들었다. 또한 해당 발표자와 저녁 식사를 같이 하면서 많은 이야기를 주고 받았던 시간은 학회를 참석했을 때만 겪을 수 있을거라 생각되는 환상적인 경험이었다.
[발표 후기]
Semantic segmentation의 architecture 경량화에 대한 논문을 발표하면서, 많은 사람들의 질문 및 피드백을 통해 미처 생각하지 못했던 부분에 대해 생각할 수 있었고, 앞으로의 연구 방식을 정립하는데도 많은 도움을 받을 수 있었다. 발표 주제는 ”MetaSeg: MetaFormer-based Global Contexts-aware Network for Efficient Semantic Segmentation”이다. 정형화된 구조인 MetaFormer의 token mixer로 경량화된 attention 연산인 Channel Reduction Attention (CRA)를 사용하는 Global Meta Block을 피라미드 구조에 도입한 경량 네트워크 MetaSeg를 제시해 기존 방법들 대비 가장 적은 연산량으로 가장 우수한 semantic segmentation 성능을 보였다. 한편 인상 깊었던 질문은 다음과 같다.
(질문) Detection 및 classification으로 확장할 계획이 있는가?
(답변) 경량화 연산인 channel reduction attention을 다른 downstream task로 확장할 수 있을 것으로 보인다. 앞으로 이루어질 연구들에 대한 기대가 크다.