[첨단 헬로티]

최근 일본의 국내 인구가 감소함에 따라 물류업계 등에서는 인력 부족이 심화되고 있다. 그 중 하나인 편의점도 인력 부족 문제가 심각하며, 계산대 없는 Amazon Go와 같이 편의점 인력 부족 해소를 위해 많은 대응이 이루어지고 있다. 그러나 상품 진열․정리 작업의 자동화는 추진되지 않고 있으며, 여전히 사람이 작업을 하고 있다. 이 사회적 과제의 해결을 위한 첫걸음으로서 SICE가 주최하는 WRS Future Convenience Store Challenge 트라이얼 대회의 진열 폐기 태스크 부문은 귀중한 기회였다.

그림 1. 폐기 태스크의 규칙 개요

WRS Future Convenience Store Challenge의 진열 폐기 태스크 부문의 규칙은 주먹밥·도시락·커피를 선반에 진열하는 진열 태스크와 이미 선반에 놓여 있는 샌드위치의 유통 기한을 확인하고 유통 기한에 따라 샌드위치를 폐기하거나 정돈하는 폐기 태스크(그림 1 참조)로 나누어져 있다. 우리 팀은 앞에서 말한 진열 및 폐기의 양쪽 태스크를 모두 완수해 만점으로 우승하는 결과를 얻었다. 이 글에서는 무작위로 상품이 놓여 있는 상황에서 피킹을 하여 정돈/폐기하는 난이도가 높은 폐기 작업에 대해 우리의 대응을 소개한다.

시스템 개발의 기본 사상

앞에서 말한 사회적 과제 해결을 위한 첫걸음으로서 우리는 본 콘테스트를 통해 많은 사람들이 편의점의 인력 부족 문제를 자동화 기술로 해결할 수 있다고 느끼게 하는 것이 중요하다고 생각, 그 사고를 기초로 이하의 3가지 기본 방침을 정했다.

① 확실한 작업 실행이 가능한 시스템이다. 

② 장래적으로 본 콘테스트 태스크 이외의 작업도 실시 가능한 형태이다. 

③ 최대한 기존의 상품․선반에 변경을 가하지 않는다.

①에 관해서는 확실한 작업 실행을 실시할 수 없다면, 안심하고 맡길 수 없기 때문에 중요하다고 생각했다. ②에 관해서는 우리의 최종 목표는 본 콘테스트가 아니라 인력 부족 문제 해결이기 때문에 설정했고, 또한 점포의 운용/도입 코스트를 억제하기 위해 ③을 설정했다.

이러한 기본적인 방침에 기초해 이하에서는 하드웨어 구성에 대해 서술하고, 이어서 태스크의 실행 전략, 태스크를 실행하기 위해 필요한 기술에 대해 소개한다. 또한, 앞으로의 대응을 서술한다.

하드웨어 구성

이번 대응으로 개발한 로봇의 외관을 그림 2에 나타냈다. 진열 등의 작업에서는 이동해서 상품을 취급할 필요가 있기 때문에 무인반송차(AGV)(그림 2 참조)와 매니퓰레이터의 조합을 채용했다. 사용하는 매니퓰레이터는 앞으로 작업 범위의 확대를 고려해, 동작의 범용성이 높고 안전한 협조로봇을 채용했다.

그림 2. 개발한 장치의 외관

물체 파지 시스템에 관해서는 샌드위치․주먹밥 등으로 한정하지 않고, 다양한 종류의 상품을 파지할 수 있게 흡착 시스템을 채용했다. 상품 인식은 2D와 3D 2종류의 카메라를 병용해 선반 하나마다 카메라를 설치하는 것보다 저렴한 핸드 아이를 이용하고, 좁은 공간에 진입하는 것을 고려해 매니퓰레이터의 5축째에 설치했다.

이외에도 나중에 설명하겠지만, 경로 계획의 확실한 실행을 위해 매니퓰레이터 끝단에는 7축 째를 추가한 구성으로 되어 있다(그림 3).

그림 3. 핸드 아이 시스템과 7축 시스템

태스크의 실행 전략

우리가 실시한 로봇의 구체적인 동작을 분류하면 그림 4가 된다. 상품을 못 보고 빠트리는 일이 생기지 않게 하기 위해 우선 전체 시야에서 상품의 대략적인 장소를 특정하는 단계 1. 파지 실패를 방지하기 위해 개별 시야에서 고정도의 물체 파지점을 산출하고, 이에 기초해 상품을 파지하는 단계 2. 라벨을 판정하는 단계 5. 최종적으로 선반에 샌드위치를 진열하는 단계 6이 있다.

그림 4. 태스크 전략

앞에서 말한 단계 6에서 실패한 경우, 복구가 어렵기 때문에 이 대응은 이 단계 6을 확실하게 성공시키기 위한 전략을 취했다. 내용은 선반에 샌드위치를 확실하게 진열할 수 있는 자세로 한번 대상물을 임시로 놓는 단계 4를 설정했다. 또한, 선반에서 상품을 파지하는 단계 2에서, 임시로 놓은 지정한 자세로 직접 놓을 수 없는 경우에는 다시 바꿔서 파지하는 단계 3을 경유함으로써 태스크를 실현했다.

태스크 전략을 실행하기 위한 기술

여기에서는 실용화를 시야에 넣는 동시에, 앞에서 서술한 태스크 전략을 확실하게 실행하기 위해 이용한 기술을 소개한다. 

1. 대상물 인식 기술 

앞에서 서술한 태스크 전략을 실행하기 위해서는 물체 인식이 필수이며, 이 물체 인식에는 조명 환경이나 대상물의 개체 차이 등 변동 요인이 많은 가운데서도 확실하게 인식할 수 있는 것이 요구된다. 심층학습을 이용한 물체 인식 기술을 이용함으로써 이러한 변화에 강한 인식은 실현 가능하다고 생각되지만, 이번 태스크에서는 그림 4와 같이 전체 시야/개별 시야/파지 변경·임시 놓기 시야/라벨 인식 등 여러 가지 시야의 물체 인식이 필요하며, 이러한 다양한 시야마다 모델을 작성한 경우 PC의 메모리량 증가가 하나의 문제가 된다.

따라서 이번 대응에서는 하나의 네트워크에서 물건을 찾아 그것이 무엇인지 식별하고, 물건의 위치와 크기를 얻는 것이 가능한 Single Shot MultiBox Detector(SSD)(그림 5)를 이용해 여러 시점에서도 단일 모델로 시점에 의존하지 않는 인식 기술을 구축함으로써 메모리 문제를 해결하면서 변동 요인에 강한 인식을 실현했다.

이 기술을 사용한 상품의 인식 예를 그림 6, 메모리량 절감 결과를 그림 7, 또한 각 시야의 인식률을 그림 8에 나타냈다. 그림 7과 같이 모든 시점을 동시에 학습한 SSD는 시점마다 학습한 경우에 비해 GPU의 메모리 사용량을 약 1/4로 하면서, 그림 8과 같이 인식률에 관해서도 시점마다 학습한 경우에 비해 크게 떨어지지 않고 어느 장면이나 85 % 이상의 높은 인식 성능을 달성했다.

이번 인식률에 관해서는 100%에는 이르지 않지만, 본 기술에 관해서는 단체로 100%를 달성할 필요는 없고 인식 못한 경우 또는 식별 결과에서 표본과의 일치 정도가 낮아 오인식의 가능성이 있는 경우에는 로봇 자세를 바꾸어 다시 인식을 실행하는 방안을 취함으로써 보완이 가능하며, 본 기술과 로봇 동작을 조합함으로써 확인율을 거의 100%로 하고 적은 메모리 사용량으로 확실한 물체 인식을 실현했다.

2. 유연물의 파지점 인식 기술

앞에서 말한 단계 2·6을 실행하기 위해서는 상품을 파지할 필요가 있다. 상품을 파지하기 위해서는 어떤 점을 파지점으로 해야 할지 산출할 필요가 있는데, 본 태스크의 대상물인 샌드위치는 유연물로 형상이 고정이 아니기 때문에 일반적으로 이용되고 있는 모델 매칭 등의 방법으로 파지점을 산출하는 것은 어렵다.

지그 등을 이용해 샌드위치의 형상을 고정시킴으로써 모델 매칭을 하는 방안도 있지만, 상품 형태를 최대한 변경하지 않는다는 방침에서 우리는 모델이 없는 파지점 산출을 실시했다. 이 파지점 산출 방법의 개요를 그림 9에 나타냈다. 3D 센서에 의해 취득된 점군 데이터에 대해 점군의 법선이나 곡률 등에 기초하는 영역 분할법(Region Growing)을 이용해 물체를 표면마다 세그먼테이션하고, 그 후 각 세그먼트의 중심점을 파지 위치로서 산출한다.

앞에서 말한 방법에 더해 정답 산출률을 향상시키기 위해 이용한 방법을 그림 10, 또한 이를 이용한 구체적인 장면을 그림 11에 나타냈다. (그림 11 (a)는 사용하는 장면, (b)는 제안 방법 실시 후의 장면이며, (c)는 제안 방법 실시 전의 장면이다. 동일한 모양으로 표현되어 있는 점군은 동일한 물체로서 인식되고 있는 것을 보여주고 있다.) 이 방법만으로는 그림 11 (a)와 같이 카메라에서의 거리가 동일한 정도인 경우 등은 외부 환경 등에 따라 3D의 점군이 없는 것인지 아니면 실제로 물체가 존재하지 않는 것인지를 판별하는 것이 어렵고, 그림 11 (c)와 같이 모든 점군이 동일한 물체로 인식돼 파지점을 오산출하게 되는 경우가 있었다.

따라서 그림 10에 나타냈듯이 대상물 인식 기술을 이용해 그림 6과 같이 대상물의 존재 범위를 한정한 후 본 기술을 사용함으로써 그림 11 (b)와 같이 각각 다른 물체인 것으로 인식할 수 있게 되고, 이에 따라 파지점의 정답 산출률을 향상시킬 수 있었다. 결과를 그림 12에 나타냈다. 이 방법을 이용함으로써 파지점의 정답 산출률을 97%까지 향상시킬 수 있었다. 이에 더해 대상물 인식 기술과 마찬가지로 이 파지점의 인식에 관해서도 오산출의 경우에도 로봇이 파지를 다시 실행함으로써 보완이 가능하며, 본 기술과 로봇 동작을 조합해 파지 성공률을 거의 100%로 해 실용적이고 확실한 파지점 인식을 실현했다.

3. 경로 계획 기술

그림 4에 나타낸 동작에서 로봇은 장해물(선반)을 피하면서 동작을 실행할 필요가 있다. 이와 같이 장해물을 피하면서 목표 위치로 이동 경로를 산출하는 것을 일반적으로 경로 계획이라고 부른다. 이번 대응에서는 ROS의 MoveIt!을 이용해 경로 탐색 방법으로서 RRT(Rapidly exploring Random Trees)-Connect를 사용했다. 그러나 이 태스크에서는 장해물이 많고 로봇 동작 경로가 복잡해지기 때문에 경로 탐색에 오랜 시간이 소요된다는 문제가 생겼다.

일반적으로 경로 탐색 시간은 정답 경로의 수가 많고 또한 해답의 탐색 범위가 좁아질수록 짧아지는 것으로 알려져 있으며, 이 대응에서는 정답 경로의 수를 늘리기 위해 ①7축 째를 추가하고 또한 해답의 검색 범위를 좁히기 위해 ②지정축의 각도 구동 범위의 제한을 실시했다.

①에 관해 비교하기 쉽도록 핸드 손끝 롤 자세를 고정했을 때의 6축째 골 자세에 착안해 개선 전후의 비교 예를 그림 13에 나타냈다. 6축의 경우 하나밖에 해답 후보가 없었던 것에 대해, ±90°의 자유도를 가진 7축 째 제어축을 추가함으로써 그림 13에 나타냈듯이 7축 째의 근원을 중심으로 하는 7축 째 링크 길이를 반경으로 하는 반원의 원주상 임의 위치에 6축 째의 골 자세를 취할 수 있게 됐다. 이와 같이 7축을 추가함으로서 정답 경로의 수를 증가시켰다.

한편, 이 7축 째를 추가함으로써 로봇의 차원이 6차원에서 7차원으로 확장됐기 때문에 해답의 탐색 범위가 늘어난 것도 사실이다. 이 탐색 범위의 확대를 방지하기 위해 본 태스크에서 이번에 이용한 로봇의 움직임을 분석한 결과, 로봇의 4축 째와 5축 째는 거의 움직일 필요가 없는 것을 실험적으로 발견해 이들 축의 각도에 제한을 가함으로써 정답 경로의 수를 감소시키지 않고 탐색의 범위를 줄이는 것에 성공했다. 그림 14는 앞에서 말한 ①, ②를 이용한 결과를 나타낸 것이다. 기존에는 5s 경과한 경우에도 70% 정도밖에 경로를 탐색할 수 없었던 것에 대해, 대부분의 경우에 1s 이내로 경로 탐색을 실현했다.

앞으로의 대응

앞에서 말한 대응을 실시함으로써 이번 콘테스트에서는 태스크를 완수해 만점이라는 결과를 얻을 수 있었지만, 세부 제작이나 활용 리소스의 크기 등 점포의 운영/도입에 있어서는 과제가 있다.

그림 15. 앞으로의 대응

따라서 앞으로 그림 15에 나타냈듯이 리스(less)화 기술·미니멈화 기술에 대응, 로봇 시스템 도입/운용의 문턱을 낮추는 것을 목표로 한다.

古賀 達也·青木 豪·沖 賢太朗·井尻 善久, 오므론(주)

藤吉 弘亘, 추부대학 공학부 로봇이공학과

橋本 学, 추쿄대학 공학부 기계시스템공학과