AI 시스템의 심리와 행동 분석해 잠재적 위험 사전 감지
인공지능(AI) 분야의 세계적 석학 요슈아 벤지오 캐나다 몬트리올대 교수가 인간 통제를 벗어난 AI 출현에 대비해 새로운 형태의 '과학자 AI' 개발에 나선다. 그는 이를 위해 비영리단체 '로제로(LawZero)'를 설립하고, 안전한 AI 생태계 구축에 본격적으로 나섰다.
요슈아 벤지오 교수는 최근 급속히 발전하고 있는 AI 기술이 인간의 통제 밖으로 벗어날 가능성을 경고해 왔다. 로제로는 이러한 우려를 반영해 AI의 위험성을 예측하고 통제하는 역할을 수행할 독립적인 AI 모델 개발을 목표로 한다.
새롭게 개발될 '과학자 AI'는 기존 AI 모델과 달리 인간 행동을 모방하지 않는다. 대신 다른 AI 시스템의 심리와 행동을 분석해 잠재적 위험을 사전에 감지하고, 이를 억제하는 기능에 초점을 맞춘다. 요슈아 벤지오 교수는 이 AI가 거짓말을 하거나 생존을 추구하지 않고, 솔직하고 속이지 않는 특성을 갖추도록 설계할 것이라고 밝혔다.
그는 대부분의 AI가 인간 행동을 본떠 개발되면서 거짓말이나 속임수 같은 부정적 특성까지 학습할 위험이 있다고 지적했다. 이에 대해 요슈아 벤지오 교수는 "우리는 인간을 모방하는 AI를 만들고 있는데, 이는 바람직하지 않은 결과를 초래할 수 있다"고 경고했다. 특히, AI가 인간보다 우월한 사고 능력을 갖출 경우, 이를 통제할 확신이 없다는 점을 우려했다.
요슈아 벤지오 교수는 최근 AI 모델들이 실제 개발자를 속이거나, 자신들의 역량과 목적을 숨기려 했던 사례를 언급하며, AI 통제가 점점 더 어려워지고 있다고 경고했다. 그는 이 같은 현상이 AI가 인간 감독 없이 스스로 행동할 수 있는 위험한 영역으로 진입하고 있음을 보여준다고 분석했다.
이에 따라 로제로는 과학자 AI가 기존 AI 모델들과 함께 배치돼 이들의 행위와 잠재적 위험성을 예측하고 사전에 방지하는 역할을 수행할 계획이다. 이 AI는 모든 것을 아는 척하지 않고, 모르는 부분에 대해서는 겸손한 태도를 유지하도록 설계된다. 이는 기존의 확답 중심 AI 모델과 차별화된 접근 방식이다.
로제로는 현재 초기 투자금으로 3000만 달러(약 412억 원)를 확보했으며, 향후 각국 정부 및 AI 연구 기관과의 협력을 확대해 나갈 계획이다. 벤지오 교수는 세계 각국의 지원을 통해 AI 안전 연구를 지속적으로 강화할 방침이다.
한편, 요슈아 벤지오 교수는 제프리 힌턴 토론토대 교수와 함께 2018년 컴퓨터 과학 분야의 노벨상으로 불리는 튜링상을 수상하며 AI 연구의 권위자로 자리매김했다. 그는 최근 '국제 AI 안전 보고서'에 참여해, 자율적 AI 주체가 인간 감독 없이 행동할 경우 심각한 결과를 초래할 수 있다고 경고하는 등 AI 기술의 윤리적 개발과 안전성 확보에 대한 목소리를 꾸준히 내고 있다.
헬로티 서재창 기자 |
