FPGA(field-programmable gate array)는 이름에서 알 수 있듯이 트랜지스터 기반 논리 게이트의 어레이를 포함하는 집적 회로이다. 이러한 게이트 사이의 연결은 마음대로 변경할 수있으므로 FPGA가 하는 일을 변경할 수 있다. 추가 처리를 위해 픽셀을 비디오 스트림으로 변환하거나, 눈, 코, 입과 같은 기능을 찾아 사람이 어디를 보고 있는지 결정하거나, 물체 감지 및 식별과 같은 다른 시각 작업을 수행할 수 있다.

 

 

저전력, 소형 폼 팩터 및 계산 기능으로 유명한 FPGA는 처리 중 병렬 처리를 요구하는 특수 작업에 적합하다. 프로그래밍이 어렵기로 악명이 높다. 그러나 새로 개발된 도구는 프로그래밍을 더 쉽게 하지만 다른 유형의 프로세서를 프로그래밍하는 것만큼 단순하지는 않다.

 

공급업체들은 FPGA 성능을 높이는 동시에 이러한 프로그래밍 부담을 더욱 낮추기 위해 노력하고 있다. 그 결과 업계 전문가들은 특히 해상도가 증가하고 인터페이스 데이터 속도가 증가하며 컴퓨팅 부담이 증가하고 필요한 응답 시간이 단축됨에 따라 임베디드 비전에서 FPGA의 사용이 증가할 것으로 예측한다.

 

 

이 모든 것은 FPGA 공급업체들의 밝은 전망으로 해석된다. 예를 들어, 인텔은 시장이 건전하게 성장할 것으로 보고 있다. 작년 9월 인텔 이노베이션 컨퍼런스에 앞서 열린 브리핑에서 섀넌 풀린 프로그래밍 가능 솔루션 그룹의 기업 부사장 겸 제너럴 매니저는 "2022년이 끝날 때 우리가 산업으로서 80억, 90억 달러를 훨씬 넘는다고 해도 놀라지 않을 것"이라고 말했다. 이 산업 규모는 2021년에 70억 달러 이상이었고 2027년에는 130억 달러 이상이 될 것으로 예상된다.

 

또 다른 대표적인 FPGA 공급업체인 래티스 반도체도 수요가 호조를 보이고 있다. 산업 및 자동화 제품의 관계자는 “한 가지 이유는 회사가 제품을 최적화하는 방식과 관련이 있다”며, "우리의 초점은 에지 프로세싱을 위한 작은 패키지인 저전력 FPGA에 맞춰져 있다"고 말했다.

 

 

다른 방법으로는 표준 CPU 또는 이미지 처리에 최적화된 GPU에서 소프트웨어 코드를 실행하는 것이 있다. 그러나 CPU는 픽셀의 이미지 분석을 순차적으로 처리하는데, 이는 GPU나 FPGA의 병렬 동작보다 훨씬 느린 접근 방식이다.

 

그러나 대부분의 GPU는 FPGA보다 10배나 더 많은 전력을 소비한다. 임베디드 비전의 경우, 이러한 높은 전력 사용량은 더 많은 폐열을 제거해야 하는데, 이는 카메라가 다른 발열 부품으로 가득 차 있을 때 어려운 문제이다. 따라서 FPGA는 임베디드 비전을 위한 최고의 처리 솔루션이 될 수 있다.

 

AI 알고리즘 실행

 

일반적인 사용 사례에는 상시 작동하면서도 전력 소모가 적은 노트북 솔루션을 사용하는 것이 포함된다. 이 시나리오에서는 AI 알고리즘을 실행하는 FPGA가 모니터링하여 사람이 노트북에 접근할 때를 감지함으로써 기계를 사용하려는 시점과 고출력 상태에 있어야 하는 시점을 감지한다. 이 작업을 수행하기 위해 FPGA는 200mW만 소비하는데, 이는 작동 시 표준 노트북이 사용하는 50W보다 250배 적은 전력이며, 취침 시 전력의 10분의 1 수준이다.

 

 

또 다른 응용 프로그램은 JPEG XS 압축 표준의 구현이다. 이 이미지와 비디오 인코딩 시스템은 품질에 의미 있는 영향을 미치지 않으면서 비디오 스트림의 데이터 크기를 10배로 줄였다고 업체 관계자는 말했다. 이를 통해 비용이 적게 들고 전력이 낮은 네트워크에서 고대역폭 비디오를 실행할 수 있다.

 

애플리케이션별 IC(ASIC)를 사용하면 FPGA보다 더 나은 성능을 얻을 수 있다. 그러나 이러한 접근 방식은 ASIC의 설계 및 제조에 수개월이 걸리기 때문에 높은 비용과 긴 리드 타임으로 어려움을 겪고 있다. 맞춤형 설계 칩은 또한 새로운 알고리즘이나 다른 솔루션을 통합하기 위해 쉽게 변경할 수 없다.

 

 

FPGA 제조업체 한 관계자는 "AI, 특히 비전 시스템에서 FPGA는 이러한 애플리케이션에 필요한 방대한 양의 컴퓨팅을 흡수하는 데 탁월하며 배포 후에도 유연성을 유지한다. 그것은 AI와 같은 변동성이 큰 시장에서 특히 중요하다"라고 말했다.

 

컨커런트 EDA의 관계자는 FPGA를 사용할지 여부를 결정하는 데 있어 한계는 초당 0.5기가픽셀 처리에 있다고 말했다. 그 회사는 고급 FPGA 설계 및 솔루션을 전문으로 한다. 컨커런트는 또한 고속 마이크로트론 카메라, 유레시스 프레임 그래버 및 기타 머신비전 구성 요소의 유통업체이다.

 

반 기가픽셀 이하에서는 CPU를 사용하는 것이 더 합리적이라고 한 관계자는 말했다. 이 데이터 처리 임계값을 초과하면 FPGA 또는 GPU가 필요하다. 그러나 GPU의 전력 요구사항이 높다는 것은 FPGA가 임베디드 비전에 가장 적합하다는 것을 의미한다.

 

높은 데이터 속도를 처리하는 것 외에도 FPGA를 사용해야 하는 또 다른 상황은 애플리케이션이 빠르고 신뢰할 수 있는 응답을 필요로 하는 경우다. 예를 들어 컨베이어 벨트에서 제품이 빠르게 움직이는 제어 루프에 사용되는 비전 시스템을 들 수 있다. 이미지 당 처리되는 데이터의 양은 적지만, 시스템은 부품의 속도가 빨라짐에 따라 합격/불합격 범주를 거의 즉시 할당해야 한다.

 

글로벌 기술 유통업체이자 솔루션 제공업체인 Avnet의 기계학습 전문가인 한 관계자는 "이러한 애플리케이션에서 FPGA의 가장 큰 강점은 대기 시간이 짧다는 것이며, 이는 중요한 애플리케이션에 매우 중요할 수 있다"고 말했다.

 

그에 따르면, FPGA를 애플리케이션에서 작동시키는 것은 새로운 하드웨어가 필요하지 않을 수 있다. 스마트 카메라에는 일반적으로 센서 또는 외부와의 인터페이스를 처리하기 위한 FPGA가 내장되어 있다. 이러한 실시간 작업은 완전한 운영 체제를 필요로 하지 않으면서 고속 데이터 전송을 처리해야 한다. 따라서 FPGA에 적합하다.

 

대부분의 카메라는 내부 FPGA에 액세스할 수 없거나 FPGA 패브릭에 프로그래밍할 수 있는 사용되지 않은 용량이 있거나 둘 다 있다. 그러나 컨커런트가 판매하는 카메라는 접근성과 공간을 모두 제공한다. 따라서 컨커런트는 카메라의 펌웨어에 들어가는 솔루션을 제작하여 맞춤형 컴퓨팅과 맞춤형 머신비전 기능을 바로 가장자리에 배치한다.

 

예를 들어 펌웨어는 알고리즘을 통해 관심 영역을 찾은 다음 해당 영역 내에서 가장자리 또는 개체의 중심을 찾을 수 있다.

 

머신비전에서 FPGA의 힘과 유용성은 칩을 프로그래밍해야 한다. 코드는 칩의 하드웨어에 기록되며, 전체 프로세스는 소프트웨어만으로 CPU나 GPU에 필요한 프로그래밍보다 더 복잡하다. 업체 관계자는 FPGA 프로그래밍이 "정말로 칩 설계 과정"이라고 말했다

 

이 단계에는 제안된 FPGA 레이아웃을 시뮬레이션한 다음 칩을 통해 이동하는 신호와 파형을 검사하는 작업이 포함된다. 엔지니어들은 이러한 결과를 분석하여 칩의 한 부분에서 나오는 신호가 너무 일찍 또는 너무 늦게 다른 부분으로 전달되는 등의 오류가 없는지 확인한다.

 

그런 다음 엔지니어는 레이아웃으로 FPGA를 프로그래밍하고 디버깅한다. 오류가 발생하면 FPGA가 작동하지 않거나 잘못된 결과를 생성할 수 있다. 이러한 경우 전체 프로세스가 다시 시작된다.

 

FPGA 공급업체들은 프로그래밍을 더 쉽게 만들고 있다. 마이크로칩의 FPGA 사업부의 한 관계자는 “다양한 프로그래밍 언어와 도구들 때문에 애플리케이션 개발자들에게 과거의 도전들이 생겨났다”며 "하지만, 높은 수준의 합성 도구가 개발되면서, 이것은 채택에 대한 훨씬 더 낮은 장벽이 되고 있다"라고 말했다.

 

엔지니어는 익숙한 소프트웨어 환경에서 설계를 개발하고 기능성을 검증하며 코드를 동등한 하드웨어 모듈로 변환할 수 있다. 그는 모듈이 확인되면 더 큰 시스템에 통합될 수 있는 하드웨어 IP 코어가 될 수 있다고 말했다. 이러한 코어는 솔루션을 개발할 때 사용할 빌딩 블록을 제공하며 다른 애플리케이션에서 재사용할 수 있다.

 

인텔, AMD, 래티스 세미컨덕터, 그리고 다른 공급업체들도 FPGA를 더 쉽게 프로그래밍할 수 있도록 설계된 도구들을 가지고 있다.

 

그러나 한 업체 관계자는 이 모든 도구들은 그들만의 독특함과 한계를 가지고 있다고 말했다.

 

비디오 스트림을 압축하는 것과 같은 기능을 CPU에서 실행되는 소프트웨어에서 FPGA의 하드웨어로 이동하면 전력 소비와 공간을 줄일 수 있다. 인텔의 한 관계자에 따르면, 이러한 감소는 궁극적으로 이 작업을 수행하기 위한 더 낮은 비용으로 해석될 것이다.

 

그러나 소프트웨어 코드를 게이트 레이아웃으로 변환하는 도구가 완벽하지 않기 때문에 모든 기능을 FPGA로 보내는 것은 말이 안 된다고 그는 말했다. 그는 "공학이 필요하다", "그것은 매끄럽지 않다"고 말했다.

 

일반적으로 사용되는 배열은 기능을 분리하는 것으로, 일부는 FPGA에 의해 처리되고 나머지는 CPU에서 실행된다. 이 기술은 설계 중 신중한 계획이 필요하지만 비용을 최소화하면서 성능을 극대화한다.

 

컨커런트 EDA, Avnet, Gidel 등의 기업은 FPGA 경로를 원활하게 하고 비전 개념에서 구현까지 걸리는 시간을 단축하는 서비스를 제공한다. 예를 들어, FPGA 기술을 전문으로 하는 Gidel은 ProcVision Suite가 이미지 신호 처리 설계를 개발하는 데 소요되는 시간을 3배 이상 줄였다고 말한다. 솔루션을 구성하는 기본 모듈을 교체하여 결과를 인텔 FPGA로 직접 포팅할 수 있다.

 

"Gidel의 혁신적인 개발 도구는 하드웨어와 FPGA 소프트웨어의 개발 작업을 크게 단순화한다. 이를 통해 FPGA 기반 이미징 및 비전 시스템의 시장 출시 시간을 단축할 수 있다"라고 이 회사의 EMEA 한 관계자는 말했다.

 

공급업체들은 FPGA를 더 쉽게 프로그래밍할 수 있도록 하는 것 외에도 칩 자체의 성능을 향상시키고 있다. 예를 들어, 인텔의 이노베이션 컨퍼런스에서 FPGA를 레거시 생산 공정에서 최신 제조 기술로 이전하여 전력 소비를 줄이고 FPGA 칩 크기를 더욱 줄이겠다고 발표했다.

 

이러한 산업 혁신은 임베디드 비전 시스템의 성능을 더욱 향상시켜 더욱 강력한 에지 컴퓨팅 및 이미지 분석의 이점을 얻을 수 있다. 향상된 기능은 카메라 해상도가 증가하고 애플리케이션이 3D 이미징을 요구하며 센서가 스펙트럼 창을 확장하고 인터페이스 데이터 전송률이 증가함에 따라 특히 유용할 수 있다.

 

헬로티 김진희 기자 |