[헬로티]

첨단 산업 자동화, 무인 자동차, 스마트 시티를 위해서 중요한 요소 중의 하나가 속도가 빠르고 성능이 우수한 머신비전이다. 품질 관리나 생산성과 관련해서 자동화 장비, 검사 시스템, 로봇을 설계하는 엔지니어들이 더 우수한 이미지 품질을 달성하고, 이미지 포착을 더 빠르게 하고, 장비 비용과 복잡성을 낮추어야 하는 과제에 직면하고 있다.

첨단 머신비전은 자율 자동차를 위해서도 중요한 요소다. 머신비전을 활용해서 자동차가 신호등, 도로 표지판, 전방의 위험한 물체를 감지할 수 있다. 자동차로는 시스템 반응 시간을 단축하고 이미지 식별 정확도를 높이는 것이 중요하다. 스마트 시티 애플리케이션의 경우에는 도심지 CCTV의 이미지 선명도를 높임으로써 이미지를 더 잘 식별할 수 있으므로 시민들을 더 잘 보호할 수 있다.

또한 고성능 머신비전을 활용한 새로운 활용 사례들이 등장하고 있다. 온보드 드론을 사용해서 차량을 유도하거나 데이터 수집 용도로 드론을 사용하는 것을 들 수 있다(경작지나 건설 현장 감시 등).

포착된 이미지로부터 빠르게 더 많은 정보를 추출하기 위해서는 더 우수한 품질의 이미지와 향상된 신호 프로세싱 성능이 요구된다. 이를 위해서 카메라와 이미지 센서로 중요한 혁신들이 일어나고 있으며, 머신러닝 기술이 상용화되면서 이미지 프로세싱 기법에 있어서도 혁신이 가능하게 됐다.

차세대 렌즈를 사용한 초점과 이미지 향상

이 전체적인 시스템에서 가장 전방에 있는 것으로서 카메라 렌즈로 새로운 엔지니어링 기술들을 적용해서 단일 카메라 혹은 단일 렌즈를 사용해서 다중의 작업을 할 수 있게 됨으로써 유연성을 향상시키고, 사이클 시간을 단축하고, 장비 설계를 간소화하도록 기술적 발전이 이루어지고 있다.

이러한 예로서 액체 렌즈(그림 1)는 새로운 차원의 광학 기술을 적용해서 전통적인 모터식 초점 시스템의 비용이나 복잡성을 피하면서 기존 렌즈의 피사계 심도(DoF)를 확장한다. 모터식 초점 시스템은 상대적으로 속도가 느리다. 그러므로 모터식 초점 시스템이 아니라 액체 렌즈를 사용함으로써 다양한 거리로 물체들을 식별해야 하는 산업용 검사 시스템 같은 애플리케이션으로 사이클 시간을 단축할 수 있다.

▲ 액체 렌즈는 형태를 단 수 ㎛ 변화시켜서 초점을 조절할 수 있다.

액체 렌즈를 도입함으로써 표준적 광학 시스템으로 무한대에서부터 100mm 미만의 거리로 수 ms 내에 재빨리 초점을 조절할 수 있다. 액체 렌즈는 유연한 멤브레인 안에 광학적 액체가 밀봉되어 있다. 멤브레인을 움직이거나 광학적 액체의 체적을 조절해서 렌즈 반경을 단 수 ㎛ 변화시키는 것만으로 기존 모터식 초점 시스템을 사용해서 렌즈를 수 센티미터 조절한 것과 같은 효과를 낼 수 있다. 그러므로 액체 렌즈 시스템은 초점 조절이 빠르고 구조가 단순할 뿐만 아니라(움직이는 부품을 줄이므로 고장이 발생할 가능성도 감소) 관성을 낮추고 전력 소모를 낮춘다는 장점이 있다.

또 다른 예로 360도 이미지 포착은 머신비전 시스템으로 고정된 위치에 단일 카메라를 사용해서 주어진 대상에 대해서 더 많은 정보를 포착할 수 있다. 그러므로 다중 카메라 시스템에 비해서 비용과 복잡성을 낮출 수 있다. 다중 카메라 검사 시스템은 그만큼 더 많은 이미지 프로세싱 및 저장 서브 시스템을 필요로 하므로 비용과 복잡성을 높일 뿐만 아니라, 성능상의 한계 또한 야기한다. 이뿐만 아니라 식품 포장 검사나 항공 감시 같은 애플리케이션으로 카메라나 또는 검사하고자 하는 물체의 위치를 바꾸거나 회전시키기 위한 메커니즘이 필요할 수 있다. 그러기 위해서 시스템의 전반적인 비용과 복잡성을 더 증가시킬 수 있다.

예를 들어서 포장 설비에서 병으로 부착한 라벨 같은 물체를 검사하기 위해서 물체를 빙 둘러서 검사해야 할 경우에, 그 물체 바로 위로 하이퍼센트릭 혹은 페리센트릭 렌즈를 설치해서 360도 비전을 달성할 수 있다.

하이퍼센트릭 렌즈는 마치 빛이 렌즈 전방의 특정한 거리에 있는 단일의 점으로부터 나오는 것처럼 광선을 포착한다. 이 수렴점과 렌즈 둘레가 시야각을 결정한다. 아래를 향하는 렌즈 바로 밑으로 이 시야각 안에 들어오도록 물체를 놓음으로써 물체의 상단 표면과 측면으로부터의 빛이 동시에 렌즈로 들어오게 할 수 있다. 센서로 이 빛에 초점을 맞춤으로써 단일 프레임으로 전체적인 이미지를 포착할 수 있다.

마찬가지 원리로 구멍이나 공동 안으로 광학적 프로브를 삽입할 필요 없이 360도 뷰를 포착할 수 있다. 단일 프레임으로 어떤 물체에 대한 다중의 이미지를 포착하기 위한 또 다른 기법으로서 하이퍼센트릭 렌즈와 미러 어레이를 결합하면 물체의 각 측면들을 동시에 볼 수 있다.

센서 – 원리와 제조

조금 더 세밀한 이미지를 포착하기 위해서는 CMOS 이미지 센서의 해상도를 높이는 것이 중요하다. 하지만 단순히 픽셀 크기를 낮추는 것은 신호대 잡음비(SNR)를 낮춤으로써 이미지 품질을 나빠지게 할 수 있다.

뛰어난 해상도를 달성하기 위해서는 센서 성능을 떨어트리지 않으면서 픽셀 크기를 낮출 수 있는 향상된 기술이 필요하다. 이를 위해서는 픽셀 피치를 최적화하거나 광 민감성 면적 대 총 면적의 비(이것을 픽셀 채움 계수라 함)를 최적화하는 것과 같은 다양한 방법을 동원할 수 있다. 픽셀의 물리적 특성을 근본적으로 변화시킴으로써 이득, 효율, 동적 범위 같은 파라미터를 향상시킬 수 있다. 또한 센서 업체들이 픽셀로부터 데이터를 읽어들이기 위한 기술들을 향상시킴으로써 SNR, 프레임 레이트, 선형성 등을 발전시키고 있다.

지난 십여 년 사이에 센서 성능과 관련해서 가장 중요한 트렌드로는 BSI(back-side illuminated) 센서를 사용하는 것을 들 수 있다. 이 센서는 상단과 하단 표면으로 빛을 흡수함으로써, 주요 성능 파라미터(우물 용량, 양자 효율, 암전류 등)를 저하시키지 않으면서 픽셀을 작게 할 수 있다. 최근의 추세로는 센서와 이미지 프로세싱 다이의 3차원(3D) 적층을 들 수 있다. 이를 통해서 폼팩터를 소형화할 수 있다.

3D 하이브리드 적층은 실리콘 산화막과 금속 패드를 본딩하므로 실리콘 관통 비아(TSV)를 제거하고 두 칩을 조금 더 효율적이면서 직접적으로 접속할 수 있다. 최근에는 순차 집적 기술이 개발됐다. 이 기술을 사용해서 포토트랜지스터 어레이와 3D 적층 픽셀 리드아웃 로직 및 메모리를 고밀도 I/O를 사용해서 접속해서 모노리딕 이미지 센서를 제조할 수 있다.

전역 셔터를 사용해서 움직이는 물체의 이미징 향상

고속 산업 자동화, 자동차, 드론 같은 애플리케이션으로는 빠르게 움직이는 물체를 선명한 이미지로 포착하는 것이 중요하다. 이것은 기존의 회전 셔터 이미지 센서로는 어려운 과제이다. 회전 셔터 방식은 센서 픽셀에서 프레임 버퍼로 이미지 데이터를 한 번에 한 라인씩 읽어들인다. 그러므로 물체가 움직이면 한 라인으로 이미지를 읽어들이는 시간과 다음 라인을 읽어들이는 시간 사이에 위치가 변화됨으로써 이미지를 흐릿하게 하거나 휘어지게 하는 왜곡이 발생될 수 있다.

전역 셔터는 빠르게 움직이는 물체를 포착해야 하거나 카메라를 자동차 위에 탑재한 것과 같은 경우에 이미지 선명도를 향상시킨다. 초기에는 하이엔드 스틸 카메라에 주로 도입되었으나, 지금은 산업용과 자동차 비전 시스템으로도 성능을 높이기 위해서 사용이 늘고 있다. 전역 셔터 방식은 모든 픽셀의 전하값을 픽셀 내 메모리(in-pixel memory)에 동시적으로 저장했다가 프레임 버퍼로 이전과 같은 방식으로 한 라인씩 순차적으로 읽어들인다. 그러므로 회전 셔터의 왜곡을 일으키지 않고 선명한 이미지를 달성할 수 있다.

픽셀 내 메모리를 위해서는 실제적으로 광자 흡수에 사용할 수 있는 픽셀 면적이 줄어들 수밖에 없는데, 픽셀 크기를 늘리지 않으면서 SNR과 동적 범위를 높이기 위해서 전역 셔터 이미지 센서로 많은 과제를 해결해 왔다. 그러한 이미지 센서 제품으로서 1Mpixel 1/4인치 형식으로 ON Semiconductor의 ARO144를 들 수 있다.

▲ ON Semiconductor의 ARO144 이미지 센서.

전역 셔터 픽셀은 양자 효율이 높으므로 충전이 빠르고 그러면서도 전자 확산으로 인한 누화 같이 이미지와 상관없는 충전 효과에 대해서 민감하지 않다. 또한 센서 가까이로 광학적 차폐를 적용해서 픽셀 표면으로부터의 미광(stray illumination)을 차단할 수 있다.

이미지 프로세싱으로 AI 활용

카메라 광학장치와 센서 다음에 오는 신호 프로세싱 파이프라인으로 머신러닝(딥 신경망)을 활용해서 이미지를 구축하고 정보를 추출하는 방식에 있어서 혁신이 가능하게 됐다. 예를 들어서 AI를 활용해서 빛이 어두운 조건일 때의 성능을 크게 향상시킬 수 있다. 그럼으로써 깜깜한 상황에서도 고품질 이미지를 포착할 수 있다.

빛이 어두운 저조도 조건에서 포착한 원시 데이터는 기존의 신호 프로세싱 파이프라인으로 처리하기가 까다롭다. 전자적으로 센서 감도(ISO 수치)를 높이는 것은 이미지로 눈에 띄는 노이즈를 추가함으로써 이미지 품질을 떨어트리고, 이미지로 노이즈 제거 기법을 적용하는 것은 효과에 있어서 한계가 있다. 이미지 품질을 향상시키기 위한 또 다른 기법으로서 노출 시간을 늘릴 수 있다. 하지만 이 방법은 산업용이나 카메라 탑재 자동차 같은 애플리케이션으로는 실제적으로 사용하기가 불가능하다.

최근에는 저조도 조건으로 포착된 원시 데이터로 구축된 이미지로 노이즈를 머신러닝을 활용해서 크게 낮출 수 있게 되었다. 빛이 낮은 조건으로 짧은 노출로 포착된 원시 이미지와 같은 조건으로 긴 노출로 포착된 레퍼런스 이미지를 포함하는 데이터셋을 사용해서 딥 신경망을 학습시킨다. 이렇게 신경망을 학습시키고 나면, 짧은 노출로 포착된 원시 데이터에 대해서 처리를 해서 고품질 이미지를 생성할 수 있다. 이 기법이 고급형 스마트폰에 탑재되면서 시장에 나오고 있다. 스마트폰으로 이 기법을 적용해서 더 우수한 품질의 사진을 촬영할 수 있다. 생산 라인 검사나 감시 시스템 같은 산업용 및 보안 애플리케이션으로도 이 기법을 적용해서 이미지 품질을 향상시킬 수 있다.

맺음말

카메라 렌즈에서부터 그 뒤에 있는 이미지 센싱과 이미지 프로세싱에 이르기까지 최근의 이미지 프로세싱 시스템으로 다수의 기술적 진보가 이루어지고 있다. 이로써 더 다양한 애플리케이션들로 머신비전을 활용할 수 있을 뿐만 아니라, 시스템 성능을 높일 수 있게 됐다.

/ 마크 패트릭(Mark Patrick) 마우저 일렉트로닉스(Mouser Electronics)