[첨단 헬로티]
임베디드 시스템 구현 및 적용사례
운전이 서툴렀던 시기에 주차장에 입구에만 가면 손에 땀이 났다. 주차권을 뽑기 위해 이리저리 각도를 머리 속으로 재고 운전대로 조정을 해야 했기 때문이다. 이젠 주차장에 가도 두렵지 않다, 오히려 자동차 번호판 인식 시스템이 왜 더 일찍 개발되지 않았는지 아쉬울 뿐이다. 우리 삶에 유용한, 그리고 다방면으로 사용되는 자동차 번호판 인식 시스템에 대해 좀 더 알아보고자 한다.
자동차 번호판 인식 시스템은 차량의 번호판 글자를 자동으로 인식하는 시스템으로 카메라부와 영상처리부 그리고 영상관제 시스템부로 이루어진다. 카메라부에서는 번호판을 인식할 이미지를 촬영하는 역할을 하고, 영상처리부에서 차량 번호판을 인식하는 역할을 하며, 영상관제시스템부에서는 차량 번호판 인식된 결과를 처리하는데 사용된다.
주로 자동차 번호판 인식 시스템은 지능형 통시스템(ITS) 분야에 적용되어 과속 단속카메라와 톨게이트 카메라 시스템, 무인 주차 시스템 등에 적용이 가능하다. 또한, 지능형 방범 분야에 적용되어 국도상에 지나가는 범죄 차량 검거 시스템에 적용될 수 있으며, 불법 주정차 단속 시스템에도 적용이 될 수 있다.
자동차 번호판 인식 알고리즘은 모든 글자나 숫자를 인식하는 것이 아닌 제한된 개수의 문자를 인식하는 알고리즘이므로, 딥러닝 알고리즘을 적용하기에는 최적의 분야다. 딥러닝 알고리즘은 보통 학습 단계에서는 고성능 GPU가 달린 PC가 학습단계에 적용되나, 인식 단계에서는 여러가지 조건에 따라 다양한 임베디드 CPU가 적용될 수 있다.
최근에는 NPU(Neural Processing Unit)가 통합된 SoC(System-On-Chip) 형태의 CPU가 나오고 있다. 본 기고문에서는 GPU 뿐만 아니라 NPU도 없이 CPU core만으로 딥러닝 알고리즘 적용한 자동차 번호판 인식 임베디드 시스템을 개발한 사례를 살펴보고자 한다.
자동차 번호판 영상처리 시스템은 차량 인식 단계와 차량 번호판 자체 인식 단계 그리고 차량 번호판 글자 인식 단계로 이루어진다. 세단계에 모두 딥러닝 기법을 적용하는 것이 가능하지만, 첫번째 단계에서는 실시간 처리 성능을 만족하기 위해서 딥러닝 알고리즘에 아닌 기존 알고리즘을 적용하였다.
이 단계는 입력영상 전체에 적용이 되어야 하므로, 실시간 처리를 위해 이미지 사이즈를 줄이는 작업이 필수적으로 필요하다. 두번째 단계인 차량 번호판 자체 인식 단계에서는 이전 단계의 차량 영역 안에서 번호판 자체를 인식하는 딥러닝 알고리즘을 적용하였다.
마지막 단계 차량 번호판 글자 인식 단계에서도 딥러닝 알고리즘 적용하여 최종적으로 번호판 글자를 인식을 하였다.
전체 시스템 구성은 아래와 같이, CCTV(IP Camera) + ANPR 박스(LPCO-1200) + VMS 관제 시스템으로 이루어져 있다. CCTV에서 촬영된 영상은 RTP/RTSP/H.264로 ANPR(Automatic Number Plate Recognition) 박스로 전송되며, ANPR 박스에서 차량 번호판을 인식하여 VMS 서버로 해당 정보를 사진과 함께 FTP protocol을 사용하여 전송하도록 시스템을 구성을 하였다.
현재, 실제 국도 2차선 도로에서 양방향으로 지나가는 차량에 대해 필드 테스트 중이며, 차량 번호판 인식률은 95%가 넘으며, 차량 번호판 글자 인식률은 90%(촬영된 영상을 기준으로 눈으로 분간할 수 없는 경우는 인식률 계산에서 제외)이상을 보이고 있다.
값비싼 GPU를 사용하지 않고 저사양 임베디드 CPU를 사용하여 딥러닝 알고리즘을 적용한 자동차 번호판 인식 시스템을 구현을 하였다. 실시간성을 만족하기 위해 다양한 처리속도 최적화 기법을 적용을 하였으며, 저사양 임베디드 CPU를 사용하여 고가의 자동차 번호판 인식 시스템을 대체할 수 있다는 것을 보여주었다.
라온피플 이승열
