2015년, Google DeepMind의 AlphaGo가 인간 프로 바둑 기사에게 핸디캡 없이 이긴 전후로 AI 기술은 다양한 분야에 많이 적용되게 됐으며, 그 결과 현재 많은 성과가 보고되고 있다. 또한 최근에는 디지털 트랜스포메이션(Digital Transformation, 이후 DX라고 한다)의 필요성이 높아짐에 따라 DX를 실현하기 위한 핵심 기술 중 하나로 AI 기술이 항상 주목받고 있으며, 진화를 계속하고 있다. 최근에는 2022년 말경부터 시작된 ChatGPT로 대표되는 생성형 AI의 출현에 의한 진화가 기억에 새롭다.

 

이러한 흐름 속에서 플랜트 분야에서도 AI 기술의 적용이 진행되고 있다. AI 기술의 플랜트 분야에 대한 적용은 플랜트 유지보수 분야에서 시작됐다. 설비의 이상 전조 검지를 AI 기술로 하는 것이다. 이것에는 많은 플랜트 사업자가 도전하고 있으며, 많은 성과를 내고 있다. 이 분야에서는 요꼬가와전기(横河電機) 주식회사 그룹(이하 당사라고 한다)도 많은 실적을 보유하고 있다.

 

그러나 플랜트 제어 분야에 AI 기술을 적용한 사례는 플랜트 유지보수 분야에 비해 상당히 적은 상태이다. 특히 강화학습을 사용한 사례나 AI가 직접 제어한 사례는 거의 없는 상황이다.

 

여기에서는 당사의 강화학습 AI에 의한 플랜트 제어 기술의 개발 경위와 이를 사용해 실시한 화학 플랜트의 에너지 절약 오퍼레이션의 상세를 설명한다. 또한 앞으로의 방향에 대해서도 다루기로 한다.

 

플랜트 제어에 있어 유의점

 

플랜트에서 제어의 목적은 목표 품질을 충족한 생산물을 목표량만큼 만드는 것이 기본이다. 여기에 ‘가능한 한 적은 원료로’, ‘가능한 한 인력을 사용하지 않고’라는 조건이 추가되어, 이들 조건에 대응하기 위해 각종 센서가 도입되거나 새로운 제어 방법이 도입되거나 해서 플랜트 조업의 자동화가 오랜 기간 추진되어 왔다. 또한 시장 경쟁에 기반한 플랜트의 생산 행위와 생산물에 대한 경제적 최적화의 촉진 및 플랜트 자체의 경년 변화가 플랜트의 제어에 대해 ‘가능한 한 원자재의 변동에 좌우되지 않고’, ‘가능한 한 에너지를 사용하지 않고’, ‘가능한 한 설비의 변화를 받지 않고’ 등의 새로운 조건을 추가시켜 왔다. 그 결과, 플랜트 제어에는 항상 새로운 것이 계속 요구되고 있다. 특히 최근에는 탄소 중립과 같은 사회적 요구가 강한 조건이 추가되고 있다.

 

그런데 앞서 언급한 목적에는 대전제가 있다. 그것은 ‘플랜트에서는 무엇보다도 안전을 우선시한다!’는 것이다. 즉, 플랜트의 제어는 안전성이 첫 번째이며, 그 바탕 위에 계속 증가하는 앞서 언급한 조건을 충족하면서 목적을 달성해 가는 것이 요구된다.

 

AI 기술을 플랜트 제어에 적용한다

 

플랜트 제어의 첫 번째 요건은 ‘안전’이다. 이것을 충족하지 못하면, 아무리 우수한 기술이라도 채용되지 않는다.

 

그런데 ‘안전’을 보장하기 위해 플랜트에서는 기존에 여러 가지 대응이 이루어져 왔다. 그 기본은 다양한 센서 설치와 그 감시 및 플랜트 상태에 따른 안전한 오퍼레이션의 정의이다. 여기에 센서나 조작의 실수를 방지하기 위한 여러 가지 장치가 마련되어 있는 것이 일반적이다.

그런데 AI 기술에 대한 일반적인 인식은 다음과 같다.

 

• AI의 움직임을 이해할 수 없어서 불안

• 예상치 못한 상황에서 AI의 움직임이 불명확해 불안

• AI를 사용해 본 적이 없어 불안

• …

 

등과 같은 ‘불안’인 경우가 많다.

 

확실히, AI 기술은 데이터 기반 형태로 모델화하기 때문에 물리나 화학의 이론식과 같은 이해 방식은 불가능하다. 그러나 인간의 오조작이나 센서의 오동작(고장)을 전제로 한 ‘안전’을 보장하기 위한 장치는 여전히 유효할 것이다.

 

여기에 더해, AI가 도출한 모델의 동작을 다양한 형태로 가시화함으로써 AI의 동작에 대한 불안을 제거할 수 있다고 생각하고 있다.

 

플랜트 제어에 적용하는 AI의 고찰과 개발

 

1. 플랜트 제어에 적합한 AI의 조건

플랜트에서 사용하는 것을 고려할 때, (1) 예상 조건에 대한 동작을 사전 확인할 수 있는 것, (2) 예상치 못한 조건에 대해 최대한 대응할 수 있는 것, 이 두 가지가 조건이라고 생각했다. (1)에 대해서는 AI가 생성한 모델에 대해 과거 데이터를 제공함으로써 사전 확인할 수 있다고 생각했다.

 

한편, (2)에 대해서는 선택하는 AI의 성질을 고려할 필요가 있다. AI는 학습 방법에 따라 크게 분류하면 그림 1과 같이 된다.

 

 

(2)의 관점에서 AI는 가능한 한 넓은 범위의 학습이 가능해야 하며, 즉 가능한 한 넓은 내삽 구간을 갖는 것이 좋다고 생각된다. 그런데 플랜트의 과거 데이터에서 학습하는 경우, 당연하지만 정상 데이터가 압도적으로 많은 상태에 있다. 왜냐하면 기본적으로 플랜트는 정상적으로 작동하고 있으며, 이상 상태가 발생해 방치되는 경우는 절대 없기 때문이다. 결과적으로 기존의 플랜트 데이터에서 학습하는 경우, 이상 상태의 학습이 적어질 수밖에 없다. 즉, 이상 상태를 학습할 기회가 적다는 것이다.

 

한편 강화학습의 경우, AI 자체가 스스로 시행하기 때문에 결과적으로 이상 상태를 학습하게 된다. 이러한 관점에서 우리는 강화학습 AI를 선택하기로 했다. 그러나 강화학습에는 약점이 있다.

 

2. Factorial Kernel Dynamic Policy Programing의 개발

강화학습은 학습(시행) 과정에서 한번 좋은 결과를 얻었다고 하더라도 다음 시행에서 좋은 결과를 얻지 못하는 상황이 발생할 수 있다. 좋은 결과를 안정적으로 얻는 상태가 될 때까지 학습이 필요하다. 이러한 상태의 해를 안정해라고 한다. 일반적으로 강화학습에서 안정해를 구하기 위해서는 많은 수(예를 들어 100만회 등)의 시행을 할 필요가 있다. 이는 강화학습을 현실 세계에 적용할 때의 최대 약점이다. 예를 들어 1회의 시행에 10초가 걸린다고 가정할 경우, 100만회의 시행에는 115일 정도가 필요하며, 그 결과 겨우 하나의 모델이 완성되는 식이다. 즉, 시간이 너무 걸려 현실적이지 않다.

 

그런데 일본 나라(奈良) 첨단과학기술대학원 대학에서는 로봇 팔에 대한 강화학습 적용을 위해 Kernel Dynamic Policy Programming(이후 KDPP라고 한다)을 개발하고 있었다. 이것은 적은 시행 횟수로 안정해를 도출하는 성질을 가지고 있으며, 10회 정도의 시행 횟수로 로봇 팔이 페트병의 뚜껑을 열 수 있게 되는 성능을 가지고 있었다.

 

2018년에 당사와 나라 첨단과학기술대학원 대학이 공동 연구를 시작한 계기는 KDPP를 플랜트 제어에 적용하는 것이었다. 그러나 KDPP에서는 안정해를 잘 구할 수 없었고, KDPP를 기반으로 Factorial Kernel Dynamic Policy Programming(이후 FKDPP라고 한다)을 공동 개발해 플랜트에 적용할 수 있는 AI 알고리즘으로 했다. FKDPP에서는 각 밸브가 기본체로 독립적으로 움직이도록 설계되어 있는 플랜트 특유의 성질을 가미해서 플랜트에 적용할 때에 더 적은 횟수로 높은 정도의 계산이 가능해졌다.

 

여기서 강화학습에 대한 간단한 설명을 한다. 일반적으로 강화학습의 특징으로는 이하와 같은 점을 들 수 있다.

 

• 사전에 데이터를 준비하지 않고, AI가 스스로 데이터 샘플링을 한다.

• 제어 대상의 수학적 모델을 준비하는 것이 아니라, 경험칙으로부터 AI가 제어 방침을 학습한다.

• 시행 횟수가 많아 샘플 비용이 높아진다.

 

앞서 언급했듯이 과거 데이터로부터 학습하는 것이 아니라 AI가 스스로 학습함으로써 경험칙으로부터 학습하는데, 학습하기 위한 시행 횟수를 매우 많이 필요로 한다. 이것을 현실 세계에 적용하기 위해서는 시행의 비용을 낮추는 것, 즉 시행 횟수를 줄이는 대응이 매우 중요해진다.

 

강화학습의 이미지를 그림 2에 나타냈다. 강화학습은 어린아이가 블록을 쌓아올리는 것을 시행해 숙련해 가는 과정과 매우 유사하다.

 

 

당사가 나라 첨단과학기술대학원 대학과 공동 개발한 FKDPP의 가장 큰 특징은 적은 시행 횟수로 안정해를 도출하는 점이다. 2018년 개발 시점에는 플랜트 시뮬레이터 상의 아세트산비닐 생산 플랜트에서 9개의 센서를 사용해 안전을 확보하면서 품질을 보장하고, 제품 수율을 최대화하는 4개의 밸브 액션을 겨우 30회의 시행으로 도출했다. 이것은 현실적인 사용이 가능한 시행 횟수이다.

 

더욱이 FKDPP는 알고리즘의 성질상, 조건을 주면 일의적으로 동작을 결정하기 때문에 예상 조건이 주어지면 움직임을 재현할 수 있다. 즉, (1) ‘예상 조건에 대한 동작을 사전 확인할 수 있는 것’의 조건도 충족한다.

 

3. 현실 세계의 제어 실험

앞서 언급한 바와 같이 FKDPP는 2018년에 개발되어 그 성능이 입증됐지만, 이 시점의 실험 환경은 플랜트 시뮬레이터 상에서 이루어졌다. 시뮬레이션 상의 성과이기 때문에 게임 세계의 강화학습 적용과 큰 차이가 없다. 현실 세계에서도 FKDPP가 제어할 수 있다는 것을 증명하기 위해 2019년에 프로세스 제어 실험에서 사용되는 삼단 수조의 레벨 제어에 FKDPP를 적용했다.

 

그림 3에 사용된 삼단 수조의 전경을 나타냈다. 삼단 수조는 이름 그대로 3개의 수조가 세로로 나란히 배열되어 있으며, 밸브를 조작해 가장 위의 수조에 공급되는 수량을 조절함으로써 가장 아래 수조의 레벨을 지정된 레벨로 안정시키는 제어 실험이 가능하다. 수조가 삼단으로 되어 있기 때문에 밸브의 조정이 가장 아래 수조의 레벨 변화에 영향을 미치기까지 시간 지연이 있으며, 사람이 매뉴얼로 실시하는 것은 상상 이상으로 어렵다. 실제로 도전해 본 적이 있지만, 필자는 중간에 포기했다.

 

 

이 실험에서 목표 수위 레벨은 30%로 설정하고, FKDPP에 의한 자습을 삼단 수조에서 진행했다. 1회의 시행 시간을 400초로 하고 이것을 30회 실시(약 4시간의 자동 학습)한 결과, FKDPP는 안정된 움직임을 보이는 AI 제어 모델을 만들어냈다.

 

FKDPP가 만들어낸 AI 제어 모델에 의한 삼단 수조의 레벨 제어 결과를 그림 4에 나타냈다. AI 제어 모델은 목표인 30%의 수위에 대해 레벨 제어가 잘되고 있다는 것을 알 수 있다. 또한 PID 제어에서 볼 수 있는 오버슈트가 거의 발생하지 않는다는 것도 알 수 있다.

 

 

이와 같이 삼단 수조를 사용한 실험에서 FKDPP가 실제 제어 가능하다는 것이 확인됐다. 참고로, 같은 모델을 사용해 삼단 수조 모두가 만수 상태에서 실험을 시작한 경우, 마찬가지로 수면 레벨은 30%로 언더슈트 없이 조정됐다.

 

화학 플랜트의 적용 사례

 

1. 플랜트 적용 절차

강화학습 AI를 플랜트에 적용할 경우, 또 다른 약점이 존재한다. 시행 횟수가 현실적인 정도로 적더라도, 안전 면에서 플랜트에서는 시행이 불가능하다는 것이다. 이 점을 해결하기 위해 우리는 FKDPP가 시행을 수행하는 학습 환경으로 플랜트 시뮬레이터를 사용하기로 했다. 즉, 가상의 플랜트에서 학습한 AI 제어 모델을 현실 세계에 적용하기로 했다. 그 절차를 그림 5에 나타냈다.

 

 

• 처음에 플랜트 모델을 작성하고, 동작이 실제 플랜트와 충분히 유사한지 확인한다.

• 플랜트 시뮬레이터를 사용해 안전하게 시행을 실시하고, AI 제어 모델을 구축

• AI 제어 모델의 안전성·안정성·타당성을 확인하기 위해 과거 데이터(과거 상황)를 제공해 안전성·안정성·타당성을 확인

• 실제 데이터를 실시간으로 AI 제어 모델에 제공해 안전성·안정성·타당성을 확인

• 기존 인터락(interlock) 등의 안전 기능을 활용하고, 운용 면의 안전을 확보하면서 AI 제어를 실행한다.

 

2. AI 제어를 적용해야 할 부분

우리는 AI 제어는 어디에나 적용하는 것이 아니라 기존 기술로는 제어할 수 없거나, 적용하기 어려운 부분에 적용해야 한다고 생각하고 있다.

 

AI 제어는 기존 제어 기술을 대체하는 것이 아니라 지금까지 제어할 수 없었던 부분을 제어할 수 있도록 하는 기술로, 기존 기술(PID나 고도 제어)로 잘 제어할 수 없는 부분, 비정상이고 복잡한 트레이드오프가 존재하는 곳에 적용해야 한다. 기존 기술과의 연계를 통해 자동화 부분을 확대하고, 궁극적으로는 완전한 자동화를 실현하는 기술로 생각하고 있다.

 

이 관점에서 화학 플랜트에서 강한 외란이 존재하는 가운데 안정되지 않은 폐열 이용의 열원을 사용하면서도 안정된 품질을 유지하고 생산을 계속 해야 하는 곳을 선택했다. 구체적으로는 그림 6에 나타낸 폐열을 이용한 두 개의 리보일러 밸브의 제어이다.

 

 

3. AI 제어의 타깃

이 사례에서 FKDPP를 적용한 것은 그림 6에 나타낸 manual valve-A 및 manual valve-B의 조작이다. 이 두 개의 밸브는 폐열을 이용한 열원을 제어하는 것으로, 그 목적은 에너지 절약에 있다. 순수하게 에너지 절약만을 고려한다면, 이들 밸브는 항상 100% 오픈, 전개로 해서 모든 폐열을 이용하는 것이 바람직하다. 그러나 폐열에 의한 에너지는 일정한 것이 아니다. 날씨나 계절의 영향뿐만 아니라, 폐열을 수집하는 별도 공정의 조업 상태의 영향을 받는다. 그 결과, 생산 품질이 크게 흔들리게 되어 규정 품질을 벗어나게 된다. 규정 품질을 벗어나면 재증류가 되기 때문에 결과적으로 에너지 절약 관점에서도 바람직하지 않은 결과가 된다. 이 타깃은 계절 변화·기온 변화 등의 외란에 더해, 안정되지 않은 열원이라는 불안정 요소를 가진 제어 관점에서 어려운 것이 되고 있다.

 

실제로, 과거에 PID 제어나 고도 제어를 사용해 자동화를 시도했지만 성공하지 못하고, 사람의 손으로 365일 24시간 제어되고 있었다.

 

4. AI 제어를 실제로 적용한다

실제로, 앞서 언급한 세 단계로 FKDPP를 두 개의 밸브 제어에 적용했다.

 

Step1에는 대략 8개월이 소요됐다. 시뮬레이터에서 구동하기 위한 플랜트 모델 구축에 6개월, FKDPP의 학습에 2개월이 걸렸다.

 

Step2에는 대략 6개월이 소용됐다. 과거 데이터를 사용한 검증에 1개월 정도, 실시간 데이터를 사용한 검증에 5개월이 걸렸다. 실시간 데이터를 사용한 검증에 많은 시간이 필요했던 것은 오퍼레이터가 충분히 움직임을 확인하기 위해서는 약 1.5개월 정도가 필요하고, 오퍼레이터로부터 피드백을 받아 AI 제어 모델을 브러시업하는 반복을 3회 실시했기 때문이다.

 

Step3의 4개월 중에 처음 2개월은 안전 기능의 실장 및 그 테스트에 사용하고, 나머지 2개월은 AI 제어의 실증 시험 기간으로 했다. Step3의 시험 기간 중 35일 연속 제어에 성공했다. 35일로 연속 제어를 일시 중지한 것은 플랜트의 정기 수리 기간에 들어갔기 때문이다. 정기 수리가 끝난 후 다시 AI 제어 시스템을 기동해 연속 제어를 실시하고 있다.

 

5. AI 제어의 적용 결과

정기 수리 후, AI 제어 시스템을 재기동해 그대로 연속 제어를 계속하고 있기 때문에 2022년 5월부터 현재(2024년 10월)까지 2년 5개월 정도 문제 없이 계속 작동하고 있다.

장기간 안정된 제어를 실시함으로써 이하와 같은 결과를 얻었다.

 

1) 장기간에 걸친 날씨나 계절의 변화와 폐열의 불안정성을 극복하고 규정대로의 품질로 생산을 계속하는 제어를 달성할 수 있었다.

2) 오퍼레이터에 의한 매뉴얼 제어에 비해 신규 스팀의 투입량을 약 40% 줄일 수 있어 기대 이상의 에너지 절약을 달성할 수 있었다.

3) 지금까지 자동화할 수 없었던 부분을 자동화할 수 있어 오퍼레이터의 부담을 극적으로 줄일 수 있었고, 제품 품질도 안정시킬 수 있었다.

4) 정기 수리의 영향은 전혀 확인되지 않았으며, 열교환기의 청소 정도의 변화로는 제어 성능이 변하지 않는다는 것을 확인할 수 있었다.

 

그런데, 기대 이상의 에너지 절약 결과를 얻은 점에 대해 보충 설명한다. 이 결과는 사실이지만, 이 결과를 가지고 AI 제어가 매뉴얼 제어를 극복했다고 생각하는 것은 잘못이다. 매뉴얼 제어의 경우, 오퍼레이터 간의 경쟁이나 필요 이상의 안정성을 실현하고 있기 때문에 더 많은 새로운 증기를 사용하게 된 것이 실제이다. 즉, 인간이 더 안정된 고품질의 제어를 하고 있었다는 것이다.

 

마지막으로

 

여기에서는 플랜트 제어에 AI 기술을 적용하기 위해 당사가 지금까지 검토하고 개발해 온 강화학습 AI와 적용 기법에 대해 설명하고, 실제로 적용한 사례에 대해 자세히 설명했다. 이미 언급했듯이 AI 제어는 대체하는 기술이 아니라, 자동화 범위를 넓히는 기술이다. 플랜트에서는 다양한 제어 기술이 적재적소에 사용되고, 전체적으로 자동화가 진행되어 갈 것으로 생각된다. 그 결과로, 당사가 제안하는 IA2IA(Industrial Automation To Industrial Autonomy)가 실현된다.

 

여기서 언급한 FKDPP에 의한 제어는 플랜트 조작에 관한 판단의 일부를 AI에 맡긴 사례이다. 이러한 액션으로 이어지는 AI의 사용은 앞으로 증가할 것으로 생각된다. 특히 최근에 화제가 되고 있는 생성형 AI는 잘 활용하면 어느 정도의 액션이 가능해지는 것을 보여주고 있다. AI 기술의 발전에 따라 기존에는 불가능하다고 여겨졌던 자동화가 공장·플랜트 전체뿐만 아니라 사업 활동의 모든 범위에서 실현되어 갈 것으로 당사는 생각하고 있다.

 

DX를 진행하고 있는 회사는 많다고 생각되지만, 아직 충분한 혜택을 DX에서 얻지 못하고 있는 것은 아닐까? 단순한 디지털화로 끝나고 혁신에 이르지 못하고 있는 것처럼 보인다. 진정한 DX 실현에는 역시 AI 기술이 중요한 역할을 맡고 있다. 요꼬가와는 고객의 진정한 DX를 실현하기 위해 AI 기술을 공장·플랜트 전체뿐만 아니라 사업 활동의 모든 범위에 적용하는 것을 고려해 연구와 개발을 더욱 추진해 갈 것이다.