자율주행 협력 인지(Cooperative Perception): RSU 공간 정보를 차량에 전송하는 포맷
자율주행 자동차는 카메라와 레이더, 라이다, 초음파 센서, GNSS 등 다양한 센서를 이용해 주변 환경을 파악한다.
하지만 아무리 많은 센서를 장착하더라도 차량 한 대가 모든 주변 상황을 완벽하게 확인하기는 어렵다.
대표적인 문제가 사각지대다.
건물이나 다른 차량, 도로 구조물 등에 가려진 물체는 자동차에 장착된 센서가 직접 확인하기 어려울 수 있다.
이러한 한계를 보완하기 위해 등장한 개념이 **협력 인지(Cooperative Perception)**다.
협력 인지는 차량이 혼자 주변을 인식하는 것이 아니라 다른 차량이나 도로 인프라가 확보한 정보를 공유하여 하나의 차량이 직접 보지 못한 주변 상황까지 파악하도록 돕는 기술이다.
특히 교차로나 복잡한 도로 환경에서는 도로변에 설치된 **RSU(Roadside Unit)**가 중요한 역할을 할 수 있다.
RSU는 자율주행에서 어떤 역할을 할까?
RSU는 도로 주변에 설치되는 통신 장치다.
V2X 환경에서는 차량과 도로 인프라 사이에서 정보를 전달하는 역할을 할 수 있으며, 카메라나 레이더 등의 센서가 함께 설치된 경우에는 주변 도로 환경을 측정하는 인프라 장치로 활용할 수도 있다.
예를 들어 교차로에 카메라와 레이더가 설치된 RSU가 있다고 생각해 보자.
차량 A가 교차로에 접근하고 있지만 건물이나 대형 차량 때문에 오른쪽에서 접근하는 차량 B를 직접 확인하기 어려운 상황이 발생할 수 있다.
이때 RSU가 주변 상황을 측정하고 있다면 차량 A가 직접 볼 수 없는 영역의 정보를 확보할 가능성이 있다.
RSU가 측정한 정보를 차량 A에 전달하면 차량 A의 자율주행 시스템은 자신의 센서가 확보한 정보와 외부에서 전달받은 정보를 함께 활용할 수 있다.
이것이 협력 인지의 기본적인 개념이다.
협력 인지가 필요한 이유
일반적인 자율주행 시스템에서는 차량에 탑재된 센서가 주변 환경을 직접 관찰한다.
이 방식은 차량이 독립적으로 판단할 수 있다는 장점이 있다.
하지만 차량 센서에는 물리적인 한계가 있다.
카메라는 시야가 제한될 수 있고, 레이더와 라이다 역시 주변 차량이나 구조물에 의해 가려질 수 있다.
특히 교차로에서는 이러한 문제가 더 커질 수 있다.
차량이 교차로에 진입하기 전에는 건물이나 주차 차량 등에 가려진 영역을 직접 확인하기 어렵기 때문이다.
RSU가 높은 위치에서 도로를 관찰한다면 차량과 다른 방향에서 주변 상황을 확인할 수 있다.
따라서 차량 센서와 RSU 센서를 결합하면 서로 다른 위치에서 바라본 정보를 활용하는 것이 가능해진다.
RSU는 어떤 공간 정보를 차량에 보낼까?
여기서 중요한 것이 데이터 포맷이다.
RSU가 주변 차량이나 보행자, 자전거 등을 감지했다고 해서 단순히 카메라 영상을 차량에 보내는 것만으로 협력 인지가 완성되는 것은 아니다.
차량의 자율주행 시스템이 활용할 수 있도록 측정 결과를 구조화된 데이터로 표현하는 것이 중요하다.
대표적으로 다음과 같은 정보가 포함될 수 있다.
객체 식별 정보
RSU가 어떤 객체를 감지했는지 구분하기 위한 정보다.
객체 위치
도로 좌표계나 지리 좌표계 등을 기준으로 객체가 어디에 있는지 나타낼 수 있다.
객체 속도
객체가 어느 방향으로 얼마나 빠르게 움직이고 있는지 나타내는 정보다.
객체 크기
차량이나 장애물의 크기를 추정하여 전달할 수도 있다.
이동 방향
객체가 어느 방향으로 움직이고 있는지 나타내는 정보다.
객체 유형
차량, 보행자, 자전거 등 객체의 분류 결과를 포함할 수 있다.
이처럼 센서가 측정한 원시 데이터 자체보다 자율주행 시스템이 바로 활용할 수 있는 객체 중심 정보로 변환해서 전달하는 방식이 협력 인지에서 중요하다.
영상 전체를 보내는 것과 객체 정보를 보내는 것은 다르다
협력 인지 시스템을 설계할 때 중요한 선택 가운데 하나가 무엇을 통신으로 전달할 것인가다.
RSU 카메라가 촬영한 원본 영상을 차량에 그대로 보내는 방법도 생각할 수 있다.
하지만 고해상도 영상은 데이터 용량이 크다.
도로에 여러 대의 차량과 보행자가 존재한다면 지속적으로 대량의 데이터를 전송해야 할 수도 있다.
반면 RSU가 영상이나 레이더 데이터를 먼저 처리해 객체 정보를 추출한다면 훨씬 간결한 형태로 정보를 전달할 수 있다.
예를 들어 차량 한 대에 대해
객체 ID + 위치 + 속도 + 진행 방향 + 크기 + 객체 종류
와 같은 구조화된 정보를 전달하는 것이다.
이 방식은 통신량을 줄이는 데 유리할 수 있고 차량의 인지 시스템이 데이터를 처리하기에도 편리하다.
물론 원본 센서 데이터가 필요한 연구나 특정 애플리케이션에서는 다른 방식이 사용될 수도 있다.
협력 인지 데이터에서 좌표계가 중요한 이유
협력 인지에서 생각보다 중요한 문제가 좌표계다.
차량과 RSU가 서로 다른 위치에서 센서를 사용하기 때문에 각각의 센서가 측정한 위치를 그대로 비교할 수 없는 경우가 있다.
예를 들어 RSU는 자신의 위치를 기준으로 객체를 측정하고 차량은 자신의 위치를 기준으로 주변 객체를 인식할 수 있다.
두 정보를 결합하려면 동일한 기준 좌표계로 변환해야 한다.
따라서 데이터 포맷에는 단순히 X, Y 좌표만 포함하는 것이 아니라 어떤 좌표계에서 측정된 값인지 판단할 수 있는 정보가 필요할 수 있다.
이 과정이 정확하지 않으면 RSU가 정확하게 측정한 객체라도 차량에서는 다른 위치에 있는 것으로 판단할 수 있다.
결국 협력 인지에서는 센서 정확도뿐 아니라 좌표 변환과 시간 동기화도 중요하다.
시간 정보도 매우 중요하다
차량과 RSU가 주고받는 정보는 시간이 지나면서 빠르게 변한다.
예를 들어 RSU가 1초 전에 측정한 차량의 위치와 현재 위치는 다를 수 있다.
따라서 협력 인지 데이터에는 측정 시점이나 메시지 생성 시점 등을 나타내는 시간 정보가 중요하다.
차량은 이러한 시간 정보를 바탕으로 해당 데이터가 얼마나 최신 정보인지 판단할 수 있다.
특히 빠르게 움직이는 차량이나 보행자의 경우 오래된 데이터는 현재 상황과 큰 차이를 보일 수 있다.
따라서 협력 인지에서는 데이터 내용뿐 아니라 언제 측정됐는가, 얼마나 지연되어 도착했는가도 함께 고려해야 한다.
차량은 RSU 정보를 그대로 믿어도 될까?
그렇지 않다.
협력 인지의 중요한 원칙 중 하나는 외부에서 전달받은 정보를 무조건 사실로 간주하지 않는 것이다.
RSU의 센서가 객체를 잘못 인식할 수도 있고, 통신 과정에서 데이터가 손실되거나 지연될 수도 있다.
또한 악의적인 장치가 잘못된 정보를 전달하는 상황도 고려해야 한다.
따라서 차량은 자신의 카메라, 레이더, 라이다 등의 센서 정보와 RSU에서 받은 정보를 비교하고 필요한 경우 서로 다른 정보의 신뢰도를 평가해야 한다.
예를 들어 차량 센서는 물체를 감지하지 못했지만 RSU가 동일한 위치에서 차량을 감지했다면 자율주행 시스템은 두 정보를 종합하여 판단할 수 있다.
이처럼 협력 인지는 센서 정보를 단순히 추가하는 기술이 아니라 서로 다른 출처의 정보를 융합하는 기술이라고 이해하는 것이 정확하다.
협력 인지에서 데이터 포맷의 표준화가 중요한 이유
자동차 제조사마다 데이터 표현 방식이 완전히 다르다면 협력 인지를 구축하기 어렵다.
차량 제조사 A의 시스템이 이해할 수 있는 데이터와 RSU 제조사 B의 데이터 형식이 서로 다르면 중간에서 변환하는 과정이 필요하기 때문이다.
따라서 V2X와 협력 인지 분야에서는 서로 다른 시스템이 정보를 교환할 수 있도록 표준화된 메시지 구조와 데이터 표현 방식이 중요하다.
실제 V2X 환경에서는 지역과 적용 기술에 따라 다양한 표준과 메시지 구조가 활용될 수 있다.
중요한 것은 특정 하나의 포맷만 사용하는 것이 아니라 객체의 위치, 속도, 방향, 유형, 시간 등의 정보를 서로 이해할 수 있는 형태로 표현하는 것이다.
이러한 표준화가 제대로 이루어져야 서로 다른 자동차와 RSU가 연결되는 개방적인 협력 인지 생태계를 만들 수 있다.
협력 인지가 가져올 수 있는 변화
협력 인지가 제대로 구현된다면 자율주행차가 자신의 센서만으로 확인하기 어려운 영역을 보완할 수 있다.
특히 교차로, 곡선 도로, 대형 차량이 많은 도로 등에서는 외부 인프라가 제공하는 정보가 도움이 될 가능성이 있다.
또한 차량과 차량 사이의 정보 공유까지 확대되면 여러 차량이 각자 측정한 주변 정보를 서로 공유하는 분산형 인지 시스템으로 발전할 수도 있다.
결국 자율주행의 인식 범위가 차량의 센서 범위를 넘어 도로 전체의 정보를 활용하는 방향으로 확장될 수 있는 것이다.
해결해야 할 기술적 과제
협력 인지는 가능성이 큰 기술이지만 현실적인 문제도 많다.
먼저 RSU 설치 비용과 유지관리 문제가 있다.
도로 곳곳에 센서와 통신 장치를 설치하려면 상당한 인프라가 필요하다.
또한 모든 도로가 동일한 수준의 인프라를 갖추기 어렵다는 문제도 있다.
두 번째는 통신 지연이다.
RSU가 측정한 정보를 차량이 받는 순간까지 시간이 걸리면 실제 환경과 전달된 정보 사이에 차이가 발생한다.
세 번째는 센서 오인식 문제다.
RSU 역시 카메라나 레이더 등의 센서를 사용하기 때문에 항상 정확한 결과를 만들어내는 것은 아니다.
마지막으로 보안과 개인정보 보호도 고려해야 한다.
차량과 도로 인프라가 지속적으로 정보를 주고받는 환경에서는 메시지 인증과 데이터 무결성을 확보하는 것이 중요하다.
결론
**자율주행 협력 인지(Cooperative Perception)**는 차량 혼자 주변 환경을 바라보는 방식에서 벗어나 차량과 도로 인프라가 서로의 정보를 공유하는 방식으로 인지 범위를 확장하는 기술이다.
그 중심에서 RSU는 도로 주변의 차량과 보행자, 장애물 등을 센서로 측정하고 그 결과를 차량에 전달하는 역할을 할 수 있다.
이때 중요한 것은 단순히 많은 데이터를 보내는 것이 아니다.
차량이 활용할 수 있도록 객체의 위치, 속도, 방향, 크기, 유형, 측정 시간 등의 정보를 구조화하고, 서로 동일한 좌표계와 데이터 규칙을 사용하도록 만드는 것이 중요하다.
또한 차량은 RSU에서 받은 정보를 무조건 신뢰하기보다 자신의 센서 정보와 비교하고 데이터의 시간적 신선도와 신뢰성을 함께 판단해야 한다.
결국 협력 인지의 핵심은 **“차량이 보지 못하는 것을 도로 인프라가 대신 보고, 그 정보를 차량이 이해할 수 있는 형태로 전달하는 것”**이라고 정리할 수 있다.
향후 V2X와 스마트도로 인프라가 확대되고 차량 간 정보 공유가 고도화된다면 협력 인지는 자율주행 차량의 인지 능력을 보완하는 중요한 기술로 활용될 가능성이 있다.
특히 센서 기술, V2X 통신, 표준화된 데이터 포맷, 좌표 변환, 시간 동기화, 보안 기술이 함께 발전해야 실제 도로에서 안정적인 협력 인지 시스템을 구현할 수 있다는 점이 중요하다.