엔비디아, CVPR서 3년 연속 수상…자율주행 기술력 입증
- 대규모 엔드-투-엔드 드라이빙 부문 2년 연속 1위, 오토노머스 그랜드 챌린지 3년 연속 수상
- 안전성과 범용성 겸비한 일반화 경로 점수화 기법 ‘GTRS’ 선보여
- 자율주행, 헬스케어, 로보틱스 등 다양한 분야에서 60편 이상 논문 채택
AI 컴퓨팅 기술 분야의 선두주자인 엔비디아(www.nvidia.co.kr)가 미국 테네시 내슈빌에서 열린 컴퓨터 비전 및 패턴 인식 분야 국제 학술대회 ‘CVPR(Computer Vision and Pattern Recognition)’에서 오토노머스 그랜드 챌린지(Autonomous Grand Challenge) 우승자로 선정됐다. 이번 수상 결과는 ‘차세대 자율 시스템을 위한 구현 인텔리전스(Embodied Intelligence for Autonomous Systems on the Horizon)’ 워크숍에서 발표됐다.
이로써 엔비디아(NVIDIA)는 CVPR에서 ‘대규모 엔드-투-엔드 드라이빙(End-to-End Driving at Scale)’ 부문 2년 연속 1위를 차지했으며, 오토노머스 그랜드 챌리지에서 3년 연속 수상의 영예를 안았다.
올해 챌린지는 데이터 기반 비반응형 자율주행차(AV) 시뮬레이션 프레임워크인 NAVSIM v2를 활용해 ‘범용화 가능한 구현 시스템(Towards Generalizable Embodied Systems)’을 주제로 진행됐다.
이번 챌린지는 실제 인간 주행 데이터에만 의존하지 않고, 예기치 못한 상황에 대응하는 다양한 방법을 탐색하도록 했다. 이는 연구진들에게 더 똑똑하고 안전한 자율주행차 개발을 가속화할 수 있는 기회를 제공했다.
● 안전하고 적응력 있는 주행 경로 생성
챌린지 참가자들은 준반응형 시뮬레이션 환경에서 다중 센서 데이터를 활용해 주행 경로를 생성하는 과제를 수행했다. 이 환경은 주행 주체 차량의 주행 계획이 시작 시점에 고정되지만, 주변 교통 상황은 동적으로 변화하는 것이 특징이다.
출품작은 실제 또는 가상 시나리오에서 안전성, 편안함, 규정 준수, 범용성 등을 측정하는 확장 예측 운전자 모델 점수(Extended Predictive Driver Model Score)를 기준으로 평가됐다. 이를 통해 더욱 견고하고 범용적인 자율주행 기술 연구의 한계를 넓혔다.
엔비디아 자율주행 응용 연구팀(AV Applied Research Team)의 핵심 혁신은 다양한 주행 경로를 생성한 뒤, 점진적으로 최적의 경로를 선별해내는 일반화 경로 점수화(Generalized Trajectory Scoring, GTRS) 기법이었다.
GTRS 모델 아키텍처는 확산, 어휘 기반 주행 경로를 활용해 다양한 주행 경로를 생성하고 점수화하는 통합 시스템을 보여준다.
GTRS는 다양한 상황을 포괄하는 거시적 경로 집합과 안전이 중요한 상황에 특화된 정밀 경로를 결합해 도입했다. 이 경로들은 주변 환경 조건에 따라 조정되는 확산 정책을 통해 생성된다. 이후 GTRS는 인지 기반 평가 지표로부터 지식을 추출해 학습한 트랜스포머 디코더를 활용해 안전성, 편안함, 교통 규칙 준수에 중점을 두고 주행 경로 후보들을 점진적으로 선별한다. 이 디코더는 유사한 경로 간의 미세하지만 중요한 차이를 포착함으로써 가장 유망한 경로를 걸러낸다.
이 시스템은 광범위한 주행 시나리오에서 우수한 범용성을 입증했으며, 까다로운 벤치마크에서 최고 수준의 성과를 달성했다. 또한, 다양한 주행 조건에서도 견고하고 적응력 있는 경로 선택을 가능하게 했다.
● CVPR 속 엔비디아 자율주행 연구 성과
이번 CVPR 2025에서 엔비디아 논문 60편 이상이 채택됐으며, 자율주행, 헬스케어, 로보틱스 등 다양한 분야를 아우른다.
엔비디아의 연구진들은 자율주행 분야에서 인지, 계획, 데이터 생성 분야의 혁신을 통해 물리 AI 기술을 발전시키고 있다. 특히 올해는 엔비디아 논문 3편이 최우수 논문상(Best Paper Award) 후보로 지명됐다. 해당 논문은 ‘파운데이션스테레오(FoundationStereo)’, ‘제로-샷 모노큘러 씬 플로우(Zero-Shot Monocular Scene Flow)’, ‘디픽스3D+(Difix3D+)’이다.
이외에도 엔비디아는 자율주행차의 안전성과 범용성을 높이는 핵심 기술 분야에서 획기적인 성과를 발표했다. 여기에는 스테레오 심도 추정, 단안 카메라 기반 동작 이해, 3D 재구성, 폐쇄 루프 계획, 비전 언어 모델링, 생성형 시뮬레이션 등이 포함된다.
다음 논문들은 엔비디아의 주요 연구 성과를 보여준다.
• 디퓨전 렌더러: 비디오 확산 모델을 사용한 신경 역방향과 순방향 렌더링(Diffusion Renderer: Neural Inverse and Forward Rendering With Video Diffusion Models) (관련 블로그)
• 파운데이션스테레오: 제로 샷 스테레오 매칭(FoundationStereo: Zero-Shot Stereo Matching) (최우수 논문상 후보)
• 야생에서의 제로 샷 모노큘러 씬 플로우 추정(Zero-Shot Monocular Scene Flow Estimation in the Wild) (최우수 논문상 후보)
• 디픽스3D+: 단일 단계 확산 모델을 사용한 3D 재구성 개선(Difix3D+: Improving 3D Reconstructions With Single-Step Diffusion Models) (최우수 논문상 후보)
• 토큰화된 교통 모델의 폐쇄 루프 감독 미세 조정(Closed-Loop Supervised Fine-Tuning of Tokenized Traffic Models)
• 제로-샷 4D 라이더 팬옵틱 세분화(Zero-Shot 4D Lidar Panoptic Segmentation)
• NVILA: 효율적인 프론티어 시각 언어 모델(NVILA: Efficient Frontier Visual Language Models)
CVPR에서 다음과 같은 자율주행 워크숍과 튜토리얼이 소개됐다.
• 데이터 기반 자율주행 시뮬레이션 워크숍(Workshop on Data-Driven Autonomous Driving Simulation), 엔비디아 AV 리서치 담당 수석 이사 마르코 파보네(Marco Pavone)와 엔비디아 AI 리서치 담당 부사장 산자 피들러(Sanja Fidler) 참여
• 자율주행 워크숍(Workshop on Autonomous Driving), 엔비디아 수석 연구 매니저 로라 레알-타이세(Laura Leal-Taixe) 참여
• 파운데이션 모델을 통한 오픈 월드 3D 장면 이해 워크숍(Workshop on Open-World 3D Scene Understanding with Foundation Models), 로라 레알-타이세 수석 연구 매니저 참여
• 모든 도메인을 위한 안전한 인공지능 워크숍(Safe Artificial Intelligence for All Domains), 엔비디아 AV 응용 연구 담당 이사 호세 알바레스(Jose Alvarez) 참여
• V2X 기반 협력 자율주행을 위한 파운데이션 모델 워크숍(Workshop on Foundation Models for V2X-Based Cooperative Autonomous Driving), 마르코 파보네 수석 이사, 레알-타이세 수석 연구 매니저 참여
• 생성형 AI 시대의 다중 에이전트 구현 지능형 시스템 워크숍(Workshop on Multi-Agent Embodied Intelligent Systems Meet Generative AI Era), 마르코 파보네 수석 이사 참여
• CV 분야 라틴X 연구자 워크숍(LatinX in CV Workshop), 레알-타이세 수석 연구 매니저 참여
• 차세대 데이터 활용을 위한 탐구 워크숍(Workshop on Exploring the Next Generation of Data), 호세 알바레스 이사 참여
• 파운데이션 모델을 통한 연속 데이터 사이클 워크숍(Continuous Data Cycle via Foundation Models), 엔비디아 진행
• 자율주행을 위한 파운데이션 모델 증류 워크숍(Distillation of Foundation Models for Autonomous Driving), 엔비디아 진행
여기에서 CVPR에서 발표한 엔비디아 연구 논문을 살펴볼 수 있으며, 여기에서 엔비디아 창립자 겸 CEO인 젠슨 황(Jensen Huang)의 GTC 파리(GTC Paris) 기조연설을 시청할 수 있다.
여기에서 AI, 컴퓨터 그래픽, 컴퓨터 비전, 자율주행 자동차, 로보틱스 등 다양한 분야를 탐구하는 수백 명의 과학자와 엔지니어로 구성된 엔비디아 리서치 글로벌 팀에 대해 자세히 알아볼 수 있다.
위의 주요 이미지는 자율주행 차량이 GTRS 모델을 사용해 동적인 교통량이 있는 도시 환경을 탐색하기 위해 경로를 조정하는 방법을 보여준다.
▶ CVPR 2025에서 발표된 엔비디아의 연구 혁신
| 유동식 기자 press@ruliweb.com |
