ETRI Visual Intelligence Lab(시각지능연구실)

(딥뷰-1세부)실시간 대규모 영상 데이터 이해/예측을 위한 고성능 비주얼 디스커버리 플랫폼 개발

연구소개 동영상

연구 목표

(총괄) 대규모 실시간 영상 이해 기반의 시각지능 플랫폼 개발, ETRI)
(1세부) 실시간 대규모 영상 데이터 이해·예측을 위한 고성능 비주얼 디스커버리 플랫폼 개발, 주관: ETRI
(2세부) 대규모 실시간 비디오 분석에 의한 전역적 다중 관심객체 추적 및 상황예측 기술 개발, 주관: GIST
(4세부) 예지형 시각 지능 원천 기술 개발, 주관: POSTECH
* 3단계 (2021~2023) 연구에서는 총괄/1세부/4세부 통합되어 연구 진행

주요 연구 내용

1. 사물 및 행동이해를 위한 백본 네트워크 고도화 기술

- GPU 메모리 및 전력 효율적인 VoVNet (Varierty of View Network) 백본 네트워크 기술 개발
- One-shot aggregation을 통해 특징맵 중첩을 최소화하고 채널을 증가시켜 고속의 높은 정확도 달성
- 객체 분할 기술에 적용하여 센터 중심의 고속 객체 검출을 구현하여 세계 최고 성능 달성
- 적대적 공격에 강인한 백본 네트워크 기술 및 위치 예측 불확실성을 통한 강인한 객체 탐지 기술 개발
- 주요 성과

• Youngwan Lee et al., An Energy and GPU-Computation Efficient Backbone Network for Real-Time Object Detection, CVPR 2019 workshop.
• Youngwan Lee and Jongyoul Park, CenterMask: Real-Time Anchor-Free Instance Segmentation, CVPR 2020.
• Youngwan Lee et al., Localization Uncertainty Estimation for Anchor-Free Object Detection, ArXiv 2020.
• Joong-won Hwang et al., Adversarial Training with Stochastic Weight Average, ICIP 2021

2. 사람 상태 및 속성 이해 뉴럴넷 기술

- 실시간 사용자 상호작용이 가능한 고화실 얼굴 편집 및 복원 기술의 개발 (SC-FEGAN)
- 자기 지도 학습 기반의 회전에 강인한 사람 포즈 추정 기술
- 세부적인 사람 상태 이해를 위한 포즈 정보가 결합된 사람-사물 상호작용 관계 이해 기술
- 주요 성과

• Youngjoo Jo and Jongyoul Park, SC-FEGAN: Face Editing Generative Adversarial Network with User’s Sketch and Color, ICCV 2019.
• Kimin Yun et al., Robust Human Pose Estimation for Rotation via Self-Supervised Learning, IEEE Access, SCIE, 2020.
• Jaewon Jung et al., Improving visual relationship detection using linguistic and spatial cues, ETRI Journal, SCIE, 2020.
• Geonu Lee et al., Improved Human-Object Interaction Detection through On-the-Fly Stacked Generalization, IEEE Access, SCIE, 2021.

3. 비디오 행동 이해 네트워크 기술

- 스코어맵 추론 기술을 통한 비분할 영상에서의 정교한 행동 구간 탐지 기술
- 정보 차별화 유닛을 활용한 온라인 행동 구간 탐지 기술
- 다중 작업 학습을 활용한 실세계 쓰레기 투기 행위 탐지 기술
- 주요 성과

• Hyunjun Eun et al., SRG: Snippet Relatedness-based Temporal Action Proposal Generator, IEEE Transactions on Circuits and Systems for Video Technology, SCIE, 2019.
• Hyunjun Eun et al., Learning to Discriminate Information for Online Action Detection, CVPR, 2020.
• Hyunjun Eun et al., Temporal filtering networks for online action detection, Pattern Recognition, SCIE, 2021.
• Kimin Yun et al., Vision‐based garbage dumping action detection for real‐world surveillance platform, ETRI Journal (Best Paper Award), SCIE, 2019.
• Kangmin Bae and Kimin Yun et al., Anti-Litter Surveillance based on Person Understanding via Multi-Task Learning, BMVC, 2020.

4. 시각 지식 기반의 심층 분석 및 검색 기술

- 시공간 연산 기반 대규모 시각 지식의 경로 분석 및 검색 기술 개발
- 분산 인메모리 기반 색인 구조에서의 유사도 기반 검색 구조와 색인 구조 개선
- 고속의 대용량 CCTV 메타데이터에 대한 시공간, 이미지, 텍스트 속성을 고려한 색인 구조 연구
- 주요 성과

• Yongjin Kwon et al., Hierarchically Linked Infinite Hidden Markov Model based Trajectory Analysis and Semantic Region Retrieval in a Trajectory Dataset, Expert Systems with Applications, SCIE, 2017.
• Kyoungsoo Bok et al., An efficient continuous k-nearest neighbor query processing scheme for multimedia data sharing and transmission in location based services, Multimedia Tools and Applications, SCIE, 2019.
• Kyoungsoo Bok et al., In-Memory Caching for Enhancing Subgraph Accessibility, Applied Sciences, SCIE, 2020.

연구실적(홍보 및 사업화)

ITU 글로벌 서밋 선한 영향력을 미치는 AI 기술

대전시 100채널 영상 관제 실증

대전시 쓰러진 사람 탐지 실증 보도

주요 연구실적 (논문)

[International Journals]

• 김보은 외, “Learning Spectral Transform for 3D Human Motion Prediction,” Computer Vision and Image Understanding (CVIU), SCIE, 2022.
• 서민석 외, “A Self-Supervised Sampler for Efficient Action Recognition: Real-World Applications in Surveillance Systems,” IEEE Robotics and Automation Letters (R-AL), SCIE, 2022.
• 정지엽 외, “Congestion-aware Bayesian Loss for Crowd Counting," IEEE Access, SCIE, 2022.
• 김진아 외, “Background-Aware Robust Context Learning for Weakly-Supervised Temporal Action Localization,” IEEE Access, SCIE, 2022.
• 이건우 외, “STDP-Net: Improved Pedestrian Attribute Recognition Using Swin Transformer and Semantic Self-Attention,” IEEE Access, SCIE, 2022.
• 이건우 외, “Occluded Pedestrian-Attribute Recognition for Video Sensors Using Group Sparsity,” Sensors, SCIE, 2022.
• He Li 외, “An Improved Hill Climbing Algorithm for Graph Partitioning,” Computer Journal, SCIE, 2022.
• 복경수 외, “Personalized Search Using User Preferences on Social Media,” Electronics, SCIE, 2022.
• 김형일 외, “Face Shape-Guided Deep Feature Alignment for Face Recognition for Face Misalignment,” IEEE Transactions on Biometrics, Behavior, and Identity Science (T-BIOM), 2022.
• 복경수 외, "User Recommendation for Data Sharing in Social Internet of Things," Sensors, SCI, 2021.
• 이건우 외, "Improved Human-Object Interaction Detection Through On-the-Fly Stacked Generalization," IEEE Access, SCI, 2021.
• 은현준 외, "Temporal filtering networks for online action detection," Pattern Recognition, SCI, 2021.
• 최도진 외, "Dynamic Graph Partitioning Scheme for Supporting Load Balancing in Distributed Graph Environments," IEEE Access, SCI, 2021.
• 서민석 외, "Sequential Feature Filtering Classifier," IEEE Access, SCI, 2021.
• 최현진 외, "Rotation-Aware 3D Vehicle Detection From Point Cloud," IEEE Access, SCI, 2021.
• 최도진 외, "Design and implementation of an academic expert system through big data analysis," JOURNAL OF SUPERCOMPUTING, SCI, 2021.
• 전해곤 외, "A Large-scale Virtual Dataset and Egocentric Localization for Disaster Responses," IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), SCI, 2021.
• 신정규 외, "Multi-Perspective Attention Network for Fast Temporal Moment Localization," IEEE Access, SCI, 2021.
• 복경수 외, "Expert Recommendation for Answering Questions on Social Media," APPLIED SCIENCES, SCI, 2021.
• 유재수 외, "Dynamic Task Scheduling Scheme for Processing Real-Time Stream Data in Storm Environments," APPLIED SCIENCES, SCI, 2021.
• 조준호 외, "Detecting and Removing Text in the Wild," IEEE Access, SCI, 2021.
• Lin Wang 외, "Joint Framework for Single Image Reconstruction and Super-Resolution with an Event Camera," IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), SCI, 2021.
• 이영완 외, "Diverse Temporal Aggregation and Depthwise Spatiotemporal Factorization for Efficient Video Classification," IEEE Access, SCI, 2021.
• 이연건 외, "SpherePHD: Applying CNNs on 360° Images with Non-Euclidean Spherical PolyHeDron Representation,”, IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), SCIE, 2020.
• 윤기민 외, "Robust Human Pose Estimation for Rotation via Self-Supervised Learning," IEEE Access, SCIE, 2020.
• 정재원 and 박종열, "Improving visual relationship detection using linguistic and spatial cues," ETRI Journal, SCIE, 2020.
• 복경수 외, "Historical Graph Management in Dynamic Environments," Electronics, SCIE, 2020.
• Bhishan Bhandari 외, "Body-Part-Aware and Multitask-Aware Single-Image-Based Action Recognition,”, Applied Sciences, SCIE, 2020.
• 복경수 외, "In-Memory Caching for Enhancing Subgraph Accessibility," Applied Sciences, SCIE, 2020.
• 문진영 외, "Detecting user attention to video segments using interval EEG features," Expert Systems with Applications, SCIE, 2019.
• 윤기민 외, "Vision-based Garbage Dumping Action Detection for Real-World Surveillance Platform," ETRI Journal, SCIE, 2019.
• 복경수 외, "An efficient continuous k-nearest neighbor query processing scheme for multimedia data sharing and transmission in location based services," Multimedia Tools and Applications, SCIE, 2019.
• 복경수 외, "Load Balancing Using Load Threshold Adjustment and Incentive Mechanism in Structured P2P Systems," IEICE Transactions on Information and Systems, SCIE, 2019.
• 복경수 외, "Recommending similar users using moving patterns in mobile social networks," Computers and Electrical Engineering, SCIE, 2019.
• 복경수 외, "Load Balancing Scheme for Effectively Supporting Distributed In-Memory Based Computing," Electronics, SCIE, 2019.
• 복경수 외, "Provenance compression scheme based on graph patterns for large RDF documents," Journal of Supercomputing, SCIE, 2019.
• 복경수 외, "Expert Finding Considering Dynamic Profiles and Trust in Social Networks," Electronics, SCIE, 2019.
• 박상덕 외, "Parallel Insertion and Indexing Method for Large Amount of Spatiotemporal Data Using Dynamic Multilevel Grid Technique," Applied Sciences, SCIE, 2019.
• 윤상두 외, "Action-Driven Visual Object Tracking with Deep Reinforcement Learning," IEEE Trans. on Neural Networks and Learning Systems, SCIE, 2018.
• 복경수 외, "Complex Event Processing for Sensor Stream Data," Sensors, SCIE, 2018.
• 복경수 외, "Detecting Incremental Frequent Subgraph Patterns in IoT Environments," Sensors, SCIE, 2018.

[International Conferences]

• Inhan Kim et al., “Learning Mixture of Domain-specific Experts via Disentangled Factors for Autonomous Driving,” AAAI, 2022.
• Youngwan Lee et al., “MPViT: Multi-Path Vision Transformer for Dense Prediction,” CVPR, 2022.
• Seunghun Lee et al., “ADAS: A Direct Adaptation Strategy for Multi-Target Domain Adaptive Semantic Segmentation,“, CVPR, 2022.
• Sukjun Hwang et al., "Cannot See the Forest for the Trees: Aggregating Multiple Viewpoints to Better Classify Objects in Videos", CVPR, 2022.
• Jongin Lim et al., "Hypergraph-Induced Semantic Tuplet Loss for Deep Metric Learning", CVPR, 2022.
• Seulki Park et al., "The Majority Can Help The Minority: Context-rich Minority Oversampling for Long-tailed Classification", CVPR, 2022.
• Kunhee Kim et al., “A Style-aware Discriminator for Controllable Image Translation,” CVPR, 2022.
• Jaeyeon Kang et al., "Error Compensation Framework for Flow-Guided Video Inpainting", ECCV, 2022.
• Sung-Hoon Yoon et al. "Adversarial Erasing Framework via Triplet with Gated Pyramid Pooling Layer for Weakly Supervised Semantic Segmentation," ECCV, 2022.
• Boeun Kim et al., "Global-local Motion Transformer for Unsupervised Skeleton-based Action Learning", ECCV, 2022.
• John Seon Keun Yi et al., “PT4AL: Using Self-Supervised Pretext Tasks for Active Learning,” ECCV, 2022.
• Jaemin Na et al., “Contrastive Vicincal Space for Unsupervised Domain Adaptation,” ECCV, 2022.
• Jinwhan Seo et al., “Object Discovery via Contrastive Learning for Weakly Supervised Object Detection,” ECCV, 2022.
• Dongmin Cha, Daijin Kim, “DAM-GAN: Image Inpainting using Dynamic Attention Map based on Face Texture Detection,” ICASSP 2022.
• Hyemin Lee, Daijin Kim, “Systematized Event-aware Learning for Multi-object Tracking,” UAI, 2022.
• Sunoh Kim et al., ”SWAG-Net: Semantic Word-Aware Graph Network for Temporal Video Grounding,” CIKM, 2022.
• Youngwan Lee et al., “Localization Uncertainty Estimation for Anchor-Free Object Detection,” ECCV Workshop, 2022.
• Junho Cho et al., "Font Representation Learning via Paired-glyph Matching," BMVC, 2022.
• Kyuewang Lee et al., "Tracking Failure Prediction for Siamese Trackers Based on Channel Feature Statistics," AVSS, 2022.
• Seong-Yun Jeong et al., “Temporal-Invariant Video Representation Learning with Dynamic Temporal Resolutions,” AVSS, 2022.
• Ji-Hoon Han et al., “SAR Image Denoising in High Dynamic Range with Speckle and Thermal Noise Refinement Modeling,” AVSS, 2022.
• Dongmin Cha et al, “SAC-GAN: Face Image Inpainting with Spatial-aware Attribute Controllable GAN”, ACCV, 2022.
• Taehun Kim et al. “Revisiting Image Pyramid Structure for High Resolution Salient Object Detection,” ACCV, 2022
• Hyeonbyeong Lee et al. “High-Dimensional Indexing Scheme for Scene Graph Retrieval,” AVSS, 2022.
• Kimin Yun et al., "Unsupervised Moving Object Detection through Background Models for PTZ Camera," ICPR, 2021.
• Jiwoong Park et al., "Unsupervised Hyperbolic Representation Learning via Message Passing Auto-Encoders," CVPR, 2021.
• Lin Wang et al., "EvDistill: Asynchronous Events to End-task Learning via Bidirectional Reconstruction-guided Cross-modal Knowledge Distillation," CVPR, 2021.
• Younghyun Jo et al., "Tackling the Ill-Posedness of Super-Resolution through Adaptive Target Generation," CVPR, 2021.
• Younghyun Jo et al., "Practical Single-Image Super-Resolution Using Look-Up Table," CVPR, 2021.
• Eunyeong Jeon et al., "FA-GAN: Feature-aware GAN for Text to Image Synthesis," ICIP, 2021.
• Sanghun Park et al., "Localization Uncertainty-based Attention for Object Detection," ICIP, 2021.
• Joongwon Hwang et al., "Adversarial Training with Stochastic Weight Average," ICIP, 2021.
• Seulki Park et al., "Influence-balanced Loss for Imbalanced Visual Classification," ICCV, 2021.
• Taehun Kim et al., "UACANet: Uncertainty Augmented Context Attention for Polyp Segmentation," ACM MM, 2021.
• Sunoh Kim et al., "Position-aware Location Regression Network for Temporal Video Grounding," AVSS, 2021.
• Kangmin Bae et al., "The Dataset and Baseline Models to Detect Human Postural States Robustly against Irregular Postures," AVSS, 2021.
• Dae Ung Jo et al., 'Associative Variational Auto-encoder with Distributed Latent Spaces and Associators”, AAAI, 2020.,
• Youngwan Lee, et al., "CenterMask: Real-Time Anchor-Free Instance Segmentation," CVPR, 2020.
• Gun-Hee Lee and Seong-Whan Lee, "Uncertainty-aware Mesh Decoder for High Fidelity 3D Face Reconstruction," CVPR, 2020.
• Hyunjun Eun et al., "Learning to Discriminate Information for Online Action Detection," CVPR, 2020.
• Kangmin Bae and Kimin Yun et al., "Anti-Litter Surveillance based on Person Understanding via Multi-Task Learning," BMVC, 2020.
• Jaeyeon Kang et al., "Deep Space-time Video Upsampling Networks,” ECCV, 2020.
• Byeongho Heo et al., "Knowledge Distillation with Adversarial Samples Supporting Decision Boundary," AAAI, 2019.
• Byeongho Heo et al., “Knowledge Transfer via Distillation of Activation Boundaries Formed by Hidden Neurons,” AAAI, 2019.
• Seonguk Seo et al., "Learning for Single-shot Confidence Calibration in Deep Neural Networks through Stochastic Inferences,” CVPR, 2019.
• Seonghyeon Nam et al., “End-to-end Time-lapse Video Synthesis from a Single Outdoor Image,” CVPR, 2019.
• Jiwoong Park et al., "Symmetric Graph Convolutional Autoencoder for Unsupervised Graph Representation Learning,” ICCV, 2019.
• Youngjoo Jo and Jongyoul Park, "SC-FEGAN: Face Editing Generative Adversarial Network with Users's Sketch and Color," ICCV, 2019.
• Sunoh Kim et al., "Skeleton-based Action Recognition of People Handling Objects," WACV, 2019.
• Youngwan Lee, et al., "An Energy and GPU-Computation Efficient Backbone Network for Real-Time Object Detection," CVPR Workshop, 2019.
• Seoungwug Oh et al., "Fast Video Object Segmentation by Reference-Guided Mask Propagation,” CVPR, 2018.
• Seung-Wook Kim et al., "Parallel Feature Pyramid Network for Object Detection," ECCV, 2018.
• Yonghyun Kim, et al., "SAN: Learning Relationship between Convolutional Features for Multi-Scale Object Detection," ECCV, 2018.
• Ilchae Jung, et al., "Real-Time MDNet," ECCV, 2018.

[Domestic Journals]

• 이현병, 신보경, 복경수, 유재수, "그래프 스트림 처리를 위한 점진적 빈발 패턴 기반 인-메모리 압축 기법", 한국콘텐츠학회논문지, 22(1), 2022.
• 김윤아, 최도진, 임종태, 김상혁, 김종훈, 복경수, 유재수, "크라우드 소싱 기반의 지역 교통 이벤트 검출 기법", 한국콘텐츠학회논문지, 22(4), 2022.
• 김남영, 최도진, 복경수, 유재수, "동적 그래프에서 GPU 기반의 점진적 연결 요소 처리", 한국콘텐츠학회논문지, 22(6), 2022.
• 최도진, 오영호, 복경수,유재수, "워드 임베딩 기반 근사 Top-k 레이블 서브그래프 매칭 기법", 한국콘텐츠학회논문지, 22(8), 2022.
• 이기원, 맹주형, 송석일, “CNN 기반의 이미지 특징과 객체 정보를 결합한 내용 기반 이미지 검색 기법”, 정보기술학회논문지, 20(5), 2022
• 문진영 외, "온라인 행동 탐지 기술 동향," 전자통신 동향분석, 2021.
• 최도진 외, "ArangoDB기반 벤치마킹 시스템 설계 및 구현," 한국콘텐츠학회논문지, 2021.
• 오원석 외, "RDID-GAN:비식별화 이미지 데이터 복원을 통한 효과적인 학습데이터 생성," 한국정보과학회 논문지, 2021.
• 은현준 외, "시간적 행동 구간 생성을 위한 LSTM 기반 단편 관련성 학습", 한국통신학회 논문지, 2020.
• 은현준 외, "시간적 행동 검출: 서베이", 한국통신학회 논문지, 2020.
• 문진영 외, "시간적 행동 탐지 기술 동향", 전자통신동향분석, 2020.
• 조영주 외, "GAN 적대적 생성 신경망과 이미지 생성 및 변환 기술 동향", 전자통신동향분석, 2020.
• 최도진 외, "스파크 환경에서 내용 기반 이미지 검색을 위한 효율적인 분산 인-메모리 고차원 색인기법", 정보과학회논문지, 2020.
• 박수빈 외, "소셜 네트워크에서 연관 문서 분석을 통한 지역 이벤트 검출 기법", 데이타베이스연구 논문지, 2020.
• Ariunerdene Nyamdavaa 외, "분산 병렬 환경에서 이동객체에 대한 위치기반 연속 이벤트 검출 기법", 한국정보기술학회논문지, 2020.
• 최도진 외, "대용량 그래프 스트림 환경에서 데이터 재사용을 고려한 근사 Top-k 서브 그래프 매칭 기법", 한국콘텐츠학회논문지, 2020.
• 위지원 외, "DNN 모델을 이용한 기계 학습 기반 k-최근접 질의 처리 최적화 기법", 한국콘텐츠학회논문지, 2020.
• 김민영 외, "분산 환경에서 경로 질의 기반 서브 그래프 탐색 기법", 콘텐츠학회논문지, 2019.
• 최도진 외, "데이터 재사용을 고려한 효율적인 연속 서브 그래프 매칭 기법", 정보과학회논문지, 2019.
• 조정찬, "단일 이미지에 기반을 둔 사람의 포즈 추정에 대한 연구 동향", 차세대컴퓨팅학회 논문지, 2019.
• 서인덕 외, "소셜 네트워크에서 연결 관계와 영향력을 고려한 사용자 간접 신뢰도 판별", 한국콘텐츠학회논문지, 2018.
• 김형일 외, "딥러닝 기반 고성능 얼굴인식 기술 동향", 전자통신동향분석, 2018.

수상

2021년 국가연구개발 우수성과 100선

2019년도 ETRI 대표성과 대상

2019년 국가연구개발 우수성과 100선, 국가연구개발 성과평가 유공포상 (장관상)

ImageNet Large Scale Visual Recognition Challenge (ILSVRC)

• 2017 ILSVRC 사물 검출 (DET) 분야 카테고리 2위
• Seung-Hwan Bae et al., "Rank of Experts: Detection Network Ensemble", ArXiv, 2017.

연구자 개인링크

윤기민 선임 연구원 https://sites.google.com/view/kiminyun/profile
이영완 연구원 https://github.com/youngwanLEE
조영주 연구원 https://github.com/run-youngjoo/SC-FEGAN

Acknowledgement

This work was supported by Institute of Information & Communications Technology Planning & Evaluation(IITP) grant funded by the Korea government(MSIT) (No.2014-3-00123, Development of High Performance Visual BigData Discovery Platform for Large-Scale Realtime Data Analysis].
Updated: February 15, 2023