[헬로티]

이 글에서는 자동 운전 자동차의 LiDAR 활용에 대해 설명한다. LiDAR를 자동 운전이나 운전 지원에 활용하는 것은 어제 오늘 일이 아니며, 1990년대에는 자동차의 차간 유지 지원 장치(ACC, Adaptive Cruise Control)를 위한 차간 거리 검출 센서(레이저 레이더)로서 시판 자동차에 탑재되고 있었다. 예를 들면 1990년대의 ACC에 사용되고 있던 덴소제의 레이저 레이더는 16도의 수평 주사 범위뿐만 아니라, 수직 방향 4.4도의 범위에 6레이어의 분해능을 가지며 120m의 거리에 대응하고 있었다.

2000년대 초 무렵 자동 운전의 연구용 실험차를 보면, 구입하기 쉬운 LiDAR로서 SICK사의 180도 이상의 주사 범위를 가지는 1차원 LiDAR(거리 50m 정도)와 앞에서 말한 ACC용 LiDAR와 같이 좁은 주사 범위이지만, 100m 이상의 거리에 대응하고 수직 방향으로도 몇 레이어의 해상도를 가진 IBEO사(현재는 SICK사)의 LiDAR를 탑재한 차량을 많이 볼 수 있었다. 이들은 주변 장애물의 검출이나 앞차와의 차간 거리 측정 등에 이용됐다. 당시 필자에게 있어 LiDAR는 사용하기 편한 거리 센서라는 정도의 인식이었다.

그러나 2004년～2007년에 미국의 DARPA(국방고등연구계획국)이 개최한 자동 운전 경주에서 1차원 LiDAR를 대량으로 탑재한 차량과 수평 방향 360도 주사에 더해, 수직 방향으로도 높은 분해능(64레이어)을 가진 베로다인사제의 LiDAR(이 글에서는 이러한 LiDAR를 멀티 레이어 LiDAR라고 부른다)를 탑재한 차량이 활약함으로써 자동 운전에서 LiDAR의 유용성이 크게 주목받게 됐다. 이후 LiDAR는 자동 운전을 위한 중요한 센서로서 지위를 확립했다. 그림 1은 여러 개의 멀티 레이어 LiDAR가 탑재되어 있는 실험차의 예로서, 어센트로보틱스(Asentrobotics) 주식회사의 실험차 사진을 나타냈다.

그림 1. LiDAR를 여러 개 탑재한 자동 운전 실험차

어센트로보틱스 주식회사의 실험차. AI를 이용한 자동 운전 소프트웨어의 개발과 평가에 사용되고 있다.

이하에서는 멀티 레이어 LiDAR가 왜 자동 운전에 유용한지에 대해, 자동 운전에서 LiDAR를 활용하는 방법을 소개하면서 설명한다.

자기 위치 추정에 활용

여기서는 자동 운전에서 LiDAR를 활용하는 것으로, 자기 위치 추정에 대해 설명한다.

1. 고정밀도 지도를 이용한 자동 운전

자동 운전의 적용 범위를 분기 없는 고속도로의 동일 차선 주행 등으로 한정하는 경우, 자동 운전 자동차는 주행해야 할 차선의 위치와 동일한 차선 상의 앞차와의 거리를 검출할 수 있으면 어느 정도 주행은 가능하다. 이것을 고속도로의 복잡한 분기가 있는 구간과 교차점, 복수 차선, 차선마다의 진행 방향 규제, 일시정지, 신호, 우회전, 좌회전 등이 있는 일반도로로 확장하는 경우, 주행 환경에 대한 정보를 사전에 부여해 두는 것이 효과적이다. 즉, 차선의 정확한 위치, 차선의 연결, 일시정지의 위치, 신호의 위치와 대응하는 정지선의 위치, 최고 속도 등의 정보를 미리 차량에 저장, 자차 위치에 연결해 활용함으로써 복잡한 환경에서 자동 운전이 가능해진다. 이러한 위치와 연결해 주행에 관한 지식이 기술된 정보를 이 글에서는 고정밀도 지도라고 부른다. 현재 많은 자동 운전 자동차에서는 고정밀도 지도가 활용되고 있다. 고정밀도 지도의 정보 사용법에 따라서도 다르지만, 차선 중심의 위치 정보와 자차 위치에서 차선에 대한 가로 편차를 도출해 조타 제어에 활용하는 경우, 자차의 정확한 위치를 10cm 정도의 오차로 실시간으로 파악할 필요가 있다.

이를 위한 대표적인 센서는 GPS, GLONASS(Global Navigation Satellite System) 등의 위성 측위 정보와 보강 신호 정보를 조합해 1cm 정도의 정밀도로 위치 측정을 가능하게 하는 RTK-GNSS(Real-Time Kinematic Global Navigation Satellite System)이다. 그러나 RTK-GNSS는 사용할 수 있는 장소가 제한될(건물, 나무가 많은 장소에서는 사용할 수 없다) 뿐만 아니라, 전파 환경이나 전자 노이즈에 의해 장소에 상관없이 사용할 수 없는 경우가 많이 있다. 그래서 신뢰성이 높은 자기 위치 추정을 가능하게 하는 것이 멀티 레이어 LiDAR이다. 이하에서는 멀티 레이어 LiDAR를 사용한 자기 위치 추정의 예를 2가지 소개한다.

2. NDT 스캔 매칭에 의한 자기 위치 추정

NDT(Normal Distribution Transform) 스캔 매칭은 많은 자동 운전 자동차에서 이용되고 있는 자기 위치 추정의 방법이다. 이하에서는 차량의 2차원(X, Y) 위치의 추정 방법에 대해 간단하게 설명한다.

먼저 매칭을 위한 주행 환경의 점군 정보, 즉 LiDAR에 의한 검출점의 좌표 데이터를 준비한다. LiDAR의 계측점은 센서 위치(차량 위치)를 중심으로 하는 좌표계에서 얻을 수 있지만, 이것을 데이터 취득 시각의 LiDAR 위치․방향의 RTK-GNSS 좌표값으로 변환하면 된다. 이러한 데이터는 자동 운전 실험차(RTKGNSS와 멀티 레이어 LiDAR를 탑재한 차량)로 주행해 얻는 것도 가능하며, MMS 측량 서비스 회사에 위탁해 수집하는 것도 가능하다.

그림 2. NDT 스캔 매칭

주행 환경의 검출점을 확률 밀도 함수로 표현한 것을 지도로 해, 차재 LiDAR의 검출점을 매칭시킨다.

다음으로 매칭을 위한 지도 작성의 일례를 나타낸다. 그림 2 ①의 ●표시를 앞에서 말한 점군 정보로서 설명을 한다. 주행 환경을 2차원의 평면으로서 취급, 격자(복셀이라고 부른다)로 분할한다. 그림 2 ①에서는 알기 쉽도록 격자의 크기가 크지만, 1변의 크기를 1m로 하고 있는 연구 보고가 많다. LiDAR의 검출점 중 지표 부분이 아닌(예를 들면, 높이 0.5～1.5m의 범위에 있다) 검출점을 각 격자에 넣는다(그림 2 ①). 각 격자 내에 들어간 검출점의 X, Y좌표의 평균값, 공분산 행렬(2×2)를 구한다. 매칭을 위한 지도는 격자의 위치에 대응시킨 X, Y좌표의 평균값, 공분산 행렬(6개의 실수)이 된다. 이 정보로부터 각 격자 내를 확률 밀도 함수로 표현하는 것이 가능해진다(그림 2 ②).

마지막으로 매칭의 방법을 설명한다. 어떤 시각의 차량 위치가 정확하다고 하고, 다음 시각의 위치를 속도, 요 레이트 등에 의해 추정한다. 이 정보가 오차를 포함하는 것로 하고, 그 오차를 스캔 매칭으로 추정하게 된다. 차량의 위치․방향으로 오차를 주고, 차재 LiDAR의 검출점 위치를 지도의 좌표계로 변환한다. 그 후 검출점을 내포하는 격자를 조사, 검출점의 위치에서 격자 내의 확률 밀도 함수의 값을 계산한다. 지표 부분이 아닌 검출점 모두에 대해 이 계산을 해서 확률 밀도 함수 값의 합(점수)를 최대화하는 차량의 위치․방향을 구하고, 이 시각의 차량 위치․방향의 추정값으로 결정한다(그림 2 ③, ④).

이 방법은 지도의 크기가 작고, 평가하는 차량의 위치․방향의 변경에 따라 평가값이 연속적으로 변화하기 때문에 뉴턴법 등의 최적값 탐색 알고리즘을 사용하기 쉬운 특징이 있다.

3. 2차원 반사 강도 지도를 이용한 매칭에 의한 자기 위치 추정

이 방법은 필자가 자동 운전 실험차에서 사용하고 있는 방법이다. 매칭을 위한 주행 환경의 점군 정보 취득은 NDT 스캔 매칭과 동일하다. 이하에서는 지도 작성 이후의 방법을 설명한다.

그림 3. 반사 강도의 래스터 이미지

1도트가 0.1 m 사방에 대응하고, 항공 사진과 같은 이미지가 된다.

주행 환경을 2차원의 평면으로 취급, 영역을 0.1m×0.1m(혹은 0.2m×0.2m)의 격자로 분할한다. 검출점을 각 격자에 넣는다. 다음으로 격자 내 점의 평균 반사 강도를 구한다. 매칭을 위한 지도는 격자의 위치에 대응시킨 평균 반사 강도(0～255의 1바이트)가 된다. 반사 강도로 농담을 주어 래스터 이미지로 한 것을 그림 3에 나타냈다. 그림 3의 래스터 이미지는 1도트가 0.1m 사방에 대응하고, 또한 각 화소의 위치가 RTK-GNSS에 의해 측정한 좌표값과 일치한다. 또한 필자는 이 래스터 이미지를 밑그림으로, 페인트 소프트웨어로 자동 운전 자동차의 패스와 정지선 위치 등을 지정할 수 있게 했다(그림 4).

그림 4. 자동 운전 자동차의 패스 설정

반사 강도의 래스터 이미지를 밑그림으로, 페인트 소프트웨어를 사용해 자동 운전 

자동차의 패스와 정지 위치를 설정하고 있는 모습.

다음으로 매칭 방법을 설명한다. 차량에서 취득한 LiDAR 검출점을 지도와 동일한 격자 크기로 반사 강도의 래스터 이미지를 작성한다. 래스터 이미지를 생성할 때에는 1측정 주기(LiDAR의 미러 1회전분)의 측정에서는 검사점이 존재하지 않는 격자가 많아지기 때문에 과거 시각의 속도, 요 레이트 현재 시각 이전의 차량 상대 위치를 구하고, 과거 몇 주기분의 검출점 정보를 이용하고 있다. 이 이미지와 지도의 래스터 이미지의 정규화 상관값을 평가, 가장 일치도가 높은 차량의 위치, 방향을 구한다. 이 때 탐색 범위를 속도와 요 레이트로 산출한 위치를 기준으로 예상되는 오차의 범위로 한정함으로써 적은 연산량(Corei7의 노트북 PC에서 50ms 이하)으로 자기 위치 추정을 할 수 있다.

장애물․앞차의 검출

여기서는 LiDAR에 의한 장애물․앞차의 검출에 대해 설명한다.

1. 장애물․앞차 검출 센서로서 LiDAR의 특징

자동차에서 LiDAR는 레이저 레이더라고 불리는 경우도 많고, 처음에 언급했듯이 1990년대부터 차간 거리 검출과 장애물 검출을 위한 센서로서 실용화되고 있었다. 주변의 물체 검출과 앞차 검출의 목적으로 전파 레이더(밀리파 레이더, 준밀리파대 UWB 레이더 등), 카메라, 음파탐지기도 이용되고 있다. LiDAR는 앞에서 말한 자기 위치 추정을 쉽게 할 수 있는 점에서는 다른 센서보다 우위에 있다. 그러나 앞차와 장애물 검출에 관해서는 많은 문헌에 설명되어 있듯이 각각 장점, 단점이 있고, LiDAR가 우위에 있다고는 할 수 없다. 현재 대부분의 자동 운전 실험차는 카메라(거리 정밀도가 낮지만, 대상의 속성도 알 수 있고 흰 줄․주차 공간을 검출하기 쉽다), 밀리파 레이더(수평 방향 분해능은 낮지만, 100m 이상의 거리에도 대응할 수 있고, 상대 속도도 측정할 수 있으며 기후에 강하다), LiDAR(강우․눈, 원거리에는 약하지만, 정확한 거리를 알 수 있다)의 정보를 조합해 장점을 살리고 단점을 보완하면서 안정적인 장애물 검출을 실현하고 있다.

멀티 레이어 LiDAR는 수직 방향의 분해능을 갖기 때문에 차량의 기울기와 도로의 경사 변화가 있어도 주변의 물체를 검출할 수 있지만(1차원 LiDAR에서는 레이저가 위나 아래로 가버려 원거리에서 장애물에 닿지 않을 가능성이 있다), 먼 곳에서는 수평 방향, 수직 방향 모두 레이저광의 간격이 벌어져 가므로, 대상물에 레이저광이 닿지 않아(혹은 충분한 검출점을 얻을 수 없어) 검출할 수 없는 경우도 생긴다.

2. 멀티 레이어 LiDAR를 이용한 장애물․앞차 검출

멀티 레이어 LiDAR는 카메라보다 거리 측정 정밀도가 높고, 전파 레이더보다 수평․수직 방향의 분해능이 높다. 멀티 레이어 LiDAR를 사용한 장애물․앞차의 인식에서는 자기 위치 추정의 예와 마찬가지로 차량 주변을 2차원 격자로 분할해 격자 내에 포함되는 검출점의 높이 차이가 작은 경우는 평면(주로 노면), 높이 차이가 큰 경우는 비평면(주로 구조물, 장애물, 자동차=점유)으로 해, 점유 격자 지도를 작성하고 비평면 격자군을 그룹화해 평면⇔비평면의 변화를 관찰함으로써 장애물 검출과 추적을 하고 있는 연구가 보고되어 있다. 또한 카메라 이미지 중의 물체 인식과 마찬가지로 멀티 레이어 LiDAR의 검출점군 배치로부터 기계학습 방법을 통해 물체 인식을 하는 연구 등도 보고되어 있다.

그림 5. 위험 검지형․안전 확인형의 주행 환경 인식 

현재의 장애물․앞차 검출 센서는 위험 검지형(A)으로 물체 있음＆피검출과 물체 없음의 구별이 어렵다(B, C). 안전 확인형(D, E)으로 하기 위해서는 멀티 레이어 LiDAR로 노면을 검출, 안전한 공간이 존재하는 것을 확인하면 된다(F).

3. 멀티 레이어 LiDAR를 이용한 안전 확인형의 주행 환경 인식

장애물․앞차를 검출하는 센서에는 장점과 단점이 있으며, LiDAR가 우위에 있다고 할 수 없다고 앞에서 말했지만, 멀티 레이어 LiDAR는 자동 운전을 위한 안전 확인형 주행 환경 인식의 실현 가능성이 있다는 점에서 큰 우위성을 갖는다고 생각한다. 전파 레이더, LiDAR, 음파탐지기는 그림 5 (A)와 같이 센서가 보낸 전파, 빛, 초음파의 반사를 검출하기 때문에 물체가 존재해도 표면 소재와 형상의 영향 등으로 충분한 반사가 되지 않는 경우, 검출할 수 없다. 또한 카메라도 물체의 색이 주변의 물체 색에 가까운 역광, 어두운 곳, 안개 등에 의해 충분한 시야를 얻을 수 없는 상황에서는 물체를 검출할 수 없는 경우가 있다. 이 경우 물체가 없는지(그림 5 (B)), 물체가 있음에도 불구하고 비검출인지(그림 5 (C))를 구별할 수 없다. 즉, 비검출을 검지할 수 없는 위험 검지형이다. 바꿔 말하면, 현재의 자동 운전 센서는 높은 확률로 위험을 검지할 수 있어도 안전을 보장할 수는 없다.

안전을 보장하기 위해서는 안전 확인형의 주행 환경 인식을 할 필요가 있다. 이것을 안전 확인형으로 하기 위해서는 그림 5 (D)와 같이 차량과 동일한 속도로 움직이는 벽을 준비, 벽으로부터 반사를 검출해 안전한 공간이 있다는 것을 확인할 필요가 있다. 이 경우 그림 5 (E)와 같이 물체가 존재함에도 불구하고 비검출이 생겨도 벽으로부터 반사가 검출되지 않기 때문에 안전 확인이 불가능하다는 것으로 이상 취급으로 할 수 있다. 현실은 이와 같은 벽은 존재하지 않기 때문에 그림 5 (F)와 같이 노면을 검출해 안전한 공간이 있다는 것을 확인하면, 안전 확인형으로 할 수 있다고 생각한다. 이러한 노면의 검출은 멀티 레이어 LiDAR에 의해 가능하다.

그림 6. LiDAR 의한 노면의 검출

LiDAR로 노면을 검출하는 경우, 부각이 작아지면 노면을 검출할 수 없게 된다.

필자가 LiDAR를 사용한 경험으로는 부각(내려본각)이 얕게 되면 먼 곳에서는 노면의 반사를 얻을 수 없다. 그림 6은 높이 0.5m의 위치에 LiDAR를 탑재해 다양한 부각으로 노면을 검출한 결과인데, 20m 정도로 검출할 수 없게 된다는 것을 알 수 있다. LiDAR의 탑재 위치, 반사광의 검출 방법, 레이저 출력의 연구 등을 통해 먼 곳까지 안전한 공간이 있는 것을 광범위하게 확인할 수 있게 되기를 기대하고 있다.

그 외의 활용

여기서는 자동 운전에 관련된 제어에서 LiDAR를 활용한 예로서, 대열 주행 제어, 외부의 차량 유도 제어를 소개한다.

그림 7. 소형 EV의 대열 주행에서 LiDAR의 활용

재귀 반사 테이프를 사용하면, 앞차의 정확한 상대 위치를 쉽게 측정할 수 있다.

1. 대열 주행 제어에서 활용

자동차가 짧은 차간 거리를 유지하고 자동 운전을 하는 대열 주행에서는 LiDAR는 앞차의 위치를 정확하게 검출하는 센서로서 유효하다. 차간 거리가 아니라, 가로 방향의 위치도 정확하게 검출할 수 있으면 차간 거리 유지뿐만 아니라, 흰뺨검둥오리와 같이 앞차의 좌우 움직임에도 추종할 수 있다. 앞차의 검출에 있어 차량의 뒷면에 재귀 반사 리플렉터를 붙이면, 그 부분의 검출점에서 높은 반사 강도를 얻을 수 있으므로 쉽게 앞차의 리플렉터 부분의 상대 위치를 정확하게 측정할 수 있다. 필자 등이 구축한 소형 EV의 대열 주행에서는 그림 7과 같이 후속차의 전면에 1차원 LiDAR, 후속차의 후면에 재귀 반사 테이프를 붙였다. 재귀 반사 테이프는 수직 방향으로 폭을 주어, 후속차의 피치 등의 영향으로 1차원 LiDAR의 레이저광이 다소 상하로 움직여도 앞차의 재귀 반사 테이프를 검출할 수 있게 했다.

2. 외부의 유도 제어에서 활용

현재 자동차의 대부분은 전동 파워 스티어링, 전기 유압식 브레이크, 전자 제어 스로틀, 구동용 전동 모터 등을 탑재하고 있기 때문에 전기 신호로 조타, 제동, 구동을 할 수 있다. 도로 측의 기기가 인식, 제어 기능을 가지고 무선통신으로 조타각, 속도 지령값을 자동차에 전송한다. 지령값을 받은 자동차는 그 지령값을 실현하도록 조타, 구동, 제동을 한다. 이 경우 자동차는 무선기만 가지고 있으면, 자동 운전이 가능하다. 이와 같은 외부의 유도 제어는 구내 도로나 주차장의 자동 운전에 유효하다고 생각한다.

그림 8. 외부의 유도 제어에서 LiDAR의 활용

주행 환경의 3차원 데이터와의 차이를 취하면, 쉽게 피제어 차량과 장애물을 추출할 수 있다.

필자 등은 외부의 유도 제어를 위한 차량 인식에 있어, 차 외부에 설치한 카메라, 1차원 LiDAR, 멀티 레이어 LiDAR를 사용한 제어를 각각 구축했다. 그림 8에 멀티 레이어 LiDAR를 이용한 외부의 유도 제어로 차량이 장애물을 피하도록 유도되고 있는 모습을 나타냈다. 여기서 멀티 레이어 LiDAR에는 사전에 코스의 3차원 정보를 제공, 현재와의 차이를 추출함으로써 쉽게 유도 대상의 자동차, 장애물을 검출할 수 있다.

맺음말

이 글에서는 자동차의 자동 운전에서 LiDAR를 활용한 예를 소개했다. LiDAR는 단순히 주변 물체의 거리를 측정할 뿐만 아니라, 자기 위치 추정, 반사 강도 정보를 이용한 흰 줄 검출 등 자동 운전에 필요한 정보를 얻을 수 있으며, 멀티 레이어 LiDAR가 하나 있으면 실험 수준의 자동 운전은 가능하다. 하지만 실용화를 위해서는 하나의 정보를 여러 가지 방법에 의해 취득해 신뢰성을 높일 필요가 있으며, 밀리파․준밀리파 레이더, 카메라, GNSS 등과 조합해 각각의 장점을 살린 신뢰성 높은 시스템으로 운용할 필요가 있다.

오오마에 마나부, 게이오대학 대학원 정책․미디어연구과