휴머노이드 로봇(Humanoid Robot)의 보행은 이미 공개 석상에서 반복 연출된 일반적인 장면이 됐다. 계단을 오르고, 균형을 잡고, 사람을 따라 걷는 이러한 움직임은 로봇 기술의 진전 상황을 시각화했다. 그러나 산업 현장의 남은 자동화 공백은 여전히 발보다 손에 가깝다.

 

공장·물류센터·다중이용시설 등에 남은 수작업은 앞선 단순 이동만으로는 해결하지 못한다. 케이블을 끼우고, 천처럼 형태가 바뀌는 대상물을 집고, 박스를 열고, 작은 부품을 방향에 맞춰 놓는 일이다. 물체는 매번 다르게 놓이고, 손에 가려 보이지 않는 정보가 생기며, 접촉 순간의 힘 조절까지 필요하다.

 

이 구간은 기존 자동화가 여전히 쉽게 넘지 못하는 영역으로 알려져 있다. 정해진 위치의 부품을 반복 처리하는 로봇 팔(Robot Arm)과 다르게, 사람의 손재주(Dexterity)는 움직임·기억·촉각·판단을 동시에 쓰는 영역이기 때문이다. 모니터 화면에서 벗어나 실제 하드웨어를 구동하는 '피지컬 AI(Physical AI)'가 산업 현장에 들어가기 위해서는 로봇이 보는 능력과 다루는 능력을 함께 확보해야 한다.

 

 

이 같은 로봇 손 조작의 난도는 손가락 수가 중요한 게 아니다. 움직이는 물체의 방향을 읽고, 이전 장면의 정보를 기억하고, 손끝에 걸리는 힘과 접촉 상태를 행동에 반영해야 한다. 여기에 서로 다른 로봇 몸체와 센서 구성까지 맞물린다. 손 조작은 결국 데이터 수집 방식, 모델 구조, 하드웨어 적용성, 현장 배포 전략이 함께 움직이는 문제다.

 

대규모 로봇 동작 학습 플랫폼 국내 업체 리얼월드가 지난 10일 공개한 로보틱스 파운데이션 모델(RFM) ‘알엘디엑스-1(RLDX-1)’은 이 문제를 겨냥했다. 이날 전개된 선언의 초점은 로봇 한 대보다, 로봇 손재주를 호텔·물류·제조·클라우드 생태계로 확장하는 산업 구조다. 이 과정에서 손재주를 학습시키는 데이터 구조, 물리 신호를 처리하는 모델 구조 등이 강조됐다.

 

 

“국내 공장 자동화율은 고작 75%” 25%의 빈틈을 데이터 자산으로 바꾸는 청사진

 

리얼월드가 이날 던진 첫 화두가 이 손재주였다. 그동안 국내 로봇 업계에서 휴머노이드는 주로 걷기, 균형 잡기, 전신 제어 등 ‘발’의 영역을 중심으로 소비되어 왔으나, 리얼월드는 산업 현장의 진짜 병목이 ‘손 조작’에 있다고 단언했다.

 

류중희 리얼월드 대표는 “로봇공학계의 오랜 화두인 덱스터리티를 우리말로 번역하면 손재주에 해당한다”며 “왜 하필 이 시점에 손재주인가라는 질문이 이번 개발의 출발점”이라고 포문을 열었다.

 

류 대표는 전 세계에서 자동화율이 가장 높은 한국 시장마저도 정작 사람의 ‘손’이 필요한 최종 공정에는 명확한 한계가 있다고 짚었다. 류 대표의 분석에 따르면, 우리 공장은 전 세계에서 제조 무인화가 가장 많이 진행됐지만, 냉정히 따지면 여전히 75% 수준에 머물러 있다. 나머지 25%의 빈틈은 여전히 사람의 수작업으로 이어진다.

 

이번 공개 발표는 사측이 미지의 영역으로 남아 있는 이 잔여 노동 시장을 자동화하겠다는 포부다.

 

실제로 실제 현장에 남겨진 작업의 성격은 기존의 단순 반복형 공정과 궤를 달리한다. 정형화되지 않은 플렉서블(Flexible) 케이블을 커넥터에 조립하고, 초소형 부품을 미세하게 집어 정밀한 방향으로 정렬하는 식이다. 이러한 형태는 비정형 대상물을 다루는 고난도 공정들이다.

 

류 대표는 이 영역을 인간 수준의 고도화된 인지 지능과 실전형 덱스터리티가 결합되지 않으면 수행 자체가 불가능한 작업으로 규정했다. 기존의 로봇 팔이 정해진 좌표와 고정된 자세를 전제로 움직였다면, 남은 자동화 구간은 물체 상태와 접촉 면의 물리적 조건이 매 순간 가변적으로 요동치는 가혹한 환경인 셈이다.

 

이때 회사의 해법은 이 정밀한 손기술을 디지털 데이터셋(Dataset)으로 전이하는 데서 시작된다. 류 대표는 “작업자가 동작을 수행하면 그 물리적 궤적·힘의 변수를 로봇이 그대로 모방해 학습하는 ‘휴먼 데이터 파이프라인(Human Data Pipeline)’을 구축하고 있다”고 밝혔다. 즉 현실의 사람 손동작을 가상 환경의 자산으로 변환하는 '현실·가상 전이(Real2Sim)' 접근법이다.

 

 

이 맥락에서 호텔 객실은 전통적인 제조·물류 현장보다 높은 비정형성을 갖는다. 호텔 객실은 제조 라인보다 정돈된 공간처럼 보이지만, 로봇에게는 까다로운 테스트베드다. 침구류는 매번 다른 형태로 접히고, 편의용품(Amenity)·집기는 크기·재질이 제각각이다. 투숙객이 남긴 물건, 가구 배치, 청소 동선도 매번 달라진다. 사람에게 익숙한 객실 정돈은 로봇 제어 관점에서 대상물 인식·파지·힘·순서 등 판단이 한꺼번에 요구되는 비정형 조작 과제다.

 

김재환 롯데호텔 상무도 이 맥락을 짚었다. 호텔이야말로 피지컬 AI가 넘어야 할 가장 완벽하고도 까다로운 장소라는 뜻을 전했다. 그러면서 “기존 인프라·인테리어를 바꾸지 않고 작업자의 동선에 그대로 녹아들 수 있는 기술 방법론이 휴머노이드가 아닐까 생각한다”고 말했다. 제조·물류 현장보다 호텔이 늦은 적용처가 아니라, 사람 중심 공간에서 피지컬 AI의 실효성을 검증하는 고난도 현장이라는 설명이다.

 

이어 그는 휴머노이드 도입을 인력 대체 논리에서 국한하지 않았다. 그에 따르면, 기술로 직원을 대체하겠다는 수준의 문제가 아니고, 작업자를 반복적이고 육체적인 노동에서 해방시키면 호텔 서비스의 본질인 감성 케어에 집중할 수 있다. 객실 물품 배달, 집기 세척, 세팅 등 반복 작업을 로봇이 맡고, 작업자는 고객 응대와 정서적 서비스에 집중하는 구조다.

 

이것이 리얼월드가 호텔리어의 동작을 데이터화하려는 이유다. 작업자의 숙련을 지우는 것이 아니라, 반복 손작업을 모델이 학습 가능한 형태로 바꾸는 작업이다.

 

물류 현장에서도 같은 논리가 이어졌다. 구성용 CJ대한통운 상무는 “물류센터 안에 축적된 작업자 노하우와 운영 방식이 아직 사람에게 남아 있다”고 봤다. 문제는 이 노하우가 해외 물류센터나 다른 현장으로 그대로 전이되지 않는다는 점이다. 구 상무는 “답은 현장에 있는데, 그 답을 시스템화하고 기술화하고 로봇으로 자동화하는 기술이 필요하다”고 설명했다.

 

이 발언은 리얼월드의 데이터 전략과 맞물린다. 피지컬 AI의 학습 재료는 인터넷 문서나 이미지 묶음이 아니다. 물건을 집는 순서, 손가락을 쓰는 위치, 접촉면에서 힘을 빼거나 더하는 순간, 작업자가 실패를 피하는 방식이 모두 데이터가 된다. 어떤 현장에서 어떤 동작을 얼마나 잘 수집하고, 이를 다른 로봇 몸체와 다른 작업으로 확장하느냐에 달려 있다는 관점이다.

 

이 가운데 실전 데이터 부족 문제가 수면 위로 떠오른다. 류 대표는 실제 현장 데이터만으로는 산업별 손작업 케이스를 모두 덮기 어렵다고 보고, 합성 데이터(Synthetic Data) 파이프라인을 함께 제시했다. 이때 합성 데이터는 실환경을 모사한 가상 시뮬레이터 안에서 인공지능(AI)이 스스로 만들어낸 가상 학습 데이터다.

 

 

그는 “현장 데이터가 20%만 있어도 나머지 80%를 AI로 증강해 100%의 학습 데이터를 만들 수 있다”며 “이 방식으로 학습해도 실제 구동 품질 저하가 거의 없는 모델을 만들었다”고 핵심 메커니즘을 내세웠다. 실제 작업 데이터와 합성 데이터가 결합되면, 특정 현장에서 얻은 손기술을 더 많은 작업 조건과 로봇 기체로 확장할 수 있다는 판단이다.

 

알엘디엑스-1은 이 구조의 모델 계층에 적용된다. 사람의 손동작을 특정 로봇이 그대로 따라 하는 수준이 보다, 현장 동작을 수집·증강하고 학습해 서로 다른 로봇 몸체로 옮기는 방식이다. 사측이 겨냥한 것은 산업 현장에서의 최종 수작업을 데이터 자산으로 바꾸는 피지컬 AI의 작동 구조다.

 

보고, 기억하고, 느낀다...정지 화면 한 장으로 대상물 만지라는 난제 깨는 법

 

이러한 알엘디엑스-1은 RFM의 한계에서 출발했다. 신진우 한국과학기술원(KAIST) AI대학원 석좌교수 겸 리얼월드 최고과학책임자(Chief Scientist)는 현존 비전·언어·행동(VLA) 모델의 근본적인 약점을 단일 화면 추론 구조에서 찾았다고 언급했다. 로봇이 실제 대상물을 다루는 순간에는 한 장의 이미지보다 훨씬 많은 정보가 필요하다는 지적이다.

 

신 교수는 “현존하는 VLA의 가장 중요한 근본적 한계는 한 장의 스냅샷(Snap-shot)만 가지고 추론한다는 것”이라며 “실제 로봇 조작은 그 이상의 정보를 필요로 한다”고 피력했다. 화면 속 공을 잡는 방향, 상자 안에 있던 물체의 기억, 플러그가 소켓에 제대로 꽂혔는지를 판단하는 상황을 예로 들었다. 정지 화면 한 장으로는 대상물의 움직임과 과거 맥락, 접촉 상태를 동시에 읽을 수 없다는 설명이다.

 

이 차이는 손 조작에서 결정적으로 드러난다. 움직이는 물체를 잡으려면 시간에 따른 위치 변화를 읽어야 한다. 손에 대상물이 가려진 뒤에도 이전에 본 색상과 형태를 기억해야 하는 것이다. 케이블을 끼우거나 플러그를 꽂는 작업에서는 눈에 보이는 장면만으로 충분하지 않다. 손끝에 걸리는 저항, 조인트 토크, 접촉면의 미세한 변화를 행동 예측에 반영해야 한다는 점이다.

 

신 교수는 이를 알엘디엑스-1의 세 가지 핵심 기능으로 제시했다. 움직임을 읽는 ‘모션 어웨어니스(Motion Awareness)’, 이전 장면을 저장하는 ‘롱텀 메모리(Long-term Memory)’, 촉각과 힘의 변화를 처리하는 ‘피지컬 센싱(Physical Sensing)’이다.

 

 

덧붙여 그는 “공을 잡으려면 어느 방향으로 움직여야 할지 알아야 하고, 상자 안에 어떤 물건이 있었는지는 현재 화면만으로 풀 수 없다”며 “접촉이 많은 작업에서는 촉각과 힘의 개념이 매우 중요하다”고 이 핵심 개념을 직관화했다.

 

리얼월드는 시각·언어 데이터를 입력으로 받는 비전·언어 '근간(Backbone)'을 새로 설계하고, 그 위에 행동 생성을 담당하는 ‘멀티 스트림 액션 트랜스포머(MSAT)’를 결합했다. 기존 모델이 시각 정보를 행동으로 바꾸는 데 집중했다면, 알엘디엑스-1은 시간 흐름과 기억, 물리 신호를 함께 처리하는 방향으로 확장됐다는 것.

 

신 교수는 이를 연장해 “입력 신호가 이질적이라는 점이 로봇 정책 모델의 큰 난제”라고 짚었다. 카메라 영상과 언어 지시, 로봇 관절 상태, 손끝 촉각, 토크(Torque) 데이터는 서로 성격이 다른 신호다. 이를 하나의 덩어리로 밀어 넣으면 특정 감각이 사라진다. 이에 대해 교수는 “단일 방식으로 모델링하면 보기는 하는데 느낄 수 없거나, 느끼기는 하는데 보지 못하는 문제가 생긴다”고 한계를 지적했다.

 

이에 대응해 리얼월드가 제시한 해법은 ‘분리’와 ‘결합’이다. 영상과 언어는 장면의 의미를 읽고, 행동 스트림은 다음 동작을 예측한다. 이후 물리적 스트림은 촉각·토크·관절 상태 같은 물리 데이터를 반영한다. 손 조작이 실제 환경과의 연속 접촉 문제라는 판단이 구조에 반영된 셈이다.

 

류 대표는 이 지점에서 알엘디엑스-1은 일반적인 시각 기반 로봇 제어 모델과 구분된다고 기술 경쟁력을 앞세웠다. 목표는 지나간 장면 압축, 움직임 방향 예측, 손끝 힘을 다음 행동 반영 등 과정을 구현하는 것이다.

 

박동욱 LG이노텍 상무는 이 과정에서 피지컬 AI 시대의 부품 기업이 단순 공급자에 머물 수 없다고 내다봤다. 그는 기존 IT 산업에서는 좋은 카메라 모듈과 구동부(Actuator)를 공급하면 사용자가 이를 활용하는 구조였지만, 피지컬 AI에서는 예측 불가능한 열린 환경에서 인지·판단·제어가 함께 맞물려야 한다고 설명했다.

 

아마존웹서비스(AWS)·엔비디아(NVIDIA)가 이 논의에 등판한 이유도 이와 연결된다. 손재주 모델은 현장 데이터를 수집·정제·합성·학습하고, 다른 하드웨어에 배포하는 전 과정을 요구한다.

 

김기완 AWS 디렉터는 피지컬 AI를 새로운 큰 덩어리의 변화로 보고, 사용자가 새로운 혁신을 만들 수 있는 기반 플랫폼의 역할을 강조했다. 이어 이경한 엔비디아 이사 또한 피지컬 AI 스타트업 생태계와 개발 플랫폼의 연결성을 중심으로 이 흐름을 설명했다.

 

“로봇 손재주가 이런 것?!” 기자가 직접 체험해보니

 

이 구조는 이날 현장 시연에서 곧장 시험대에 올랐다. 이들이 마련한 데모는 작은 물체의 이동·접촉에 집중한 모양새다. 컨베이어 벨트 위로 올라온 양말, 박스 안에 담긴 물체, 다섯 손가락 로봇 핸드가 실제로 접촉해야 하는 작업을 시각화했다. 앞서 설명한 행동, 메모리, 피지컬 센싱(Physical Sensing) 구조다.

 

기자는 현장에서 두 가지 데모를 확인했다. 하나는 컨베이어 벨트 위를 지나가는 양말을 집고 색상에 따라 분류하는 동작이다. 다른 하나는 마우스와 마우스 박스를 대상으로 한 5지 로봇 핸드 조작이다.

 

박정헌 리얼월드 로보틱스 엔지니어는 전자에 대해, 산업 현장의 동적인 상황을 압축한 시연으로 설명했다. 그는 “움직이는 컨베이어 벨트 위에서 물건을 잡거나, 오고 있는 물건을 보고 종류별로 구별하는 데모를 준비했다”고 말했다. 연이어 “한 양팔 로봇이 박스 안의 양말을 집어 컨베이어 위에 올리고, 다른 양팔 로봇이 컨베이어 위 양말을 색상에 따라 분류하는 방식이 구현했다”고 덧붙였다.

 

양말은 작았다. 그러나 과제는 작지 않았다. 로봇은 움직이는 컨베이어 위 대상물의 위치·속도를 읽어야 했다. 또 대상물을 잡은 뒤에는 손에 가려진 색상 정보를 이전 장면에서 기억해야 했다. 형태가 고정되지 않은 양말은 플라스틱 부품처럼 일정한 파지점을 제공하지 않는다. 같은 대상물이라도 접히는 형태와 놓인 방향에 따라 손가락이 닿는 위치가 달라진다.

 

▲알엘디엑스-1이 적용된 두 대의 양팔형 로봇이 각자의 작업을 수행하고 있다. (촬영·편집 : 헬로티 최재규 기자)

 

이 과정에 대해 박 엔지니어는 “양말을 손으로 잡으면 손에 가려져 색깔이 잘 보이지 않는다”며 “들어올 때 본 양말의 색깔을 기억한 다음 구분해야 한다”고 말했다. 이는 이전 장면을 저장하는 메모리 모듈의 필요성을 강조한 부분이다. 컨베이어 위에서 이동하는 대상물을 잡는 과정은 모션 모듈과 연결된다. 로봇 손이 대상물을 쥔 뒤에도 작업 판단이 이어지는 순간은 알엘디엑스-1이 긴 공정 시간을 처리하는 데 어떤 기능을 제공하는지 보여줬다.

 

다른 한편, 두 번째 데모는 다섯손가락 로봇 핸드가 필요한 작업이다. 마우스와 마우스 박스가 놓인 이 시연에서는 물체를 잡은 상태에서 다른 접촉을 만들어내는 동작을 내세웠다. 그리퍼(Gripper)는 대상물을 집는 데 유리하지만, 이를 잡은 채 다른 손가락으로 박스를 열거나, 잡은 힘을 유지하면서 다른 동작을 이어가는 데 한계가 있다. 이 데모는 이 부분을 개선하는 데 초점을 맞췄다.

 

김승현 리얼월드 소프트웨어 엔지니어는 이 장면을 “그리퍼로는 불가능한 작업”이라고 표현했다. 그는 “마우스를 잡고 있는 상태에서 박스를 열어야 하는데, 사람 손처럼 다섯 손가락이 있으니 다른 작업을 하는 와중에도 박스를 열 수 있다”고 설명했다. 이 대목에서 다섯 손가락이 제공하는 이점은 파지, 고정, 접촉 전환, 힘 분배를 동시에 수행하도록 돕는 하드웨어 조건이다.

 

▲ 대만 타이베이에서 이달 1일(현지시간) 열린 엔비디아의 AI·GPU(그래픽처리장치) 분야 개발자 콘퍼런스 ‘엔비디아 GTC 타이베이 2026(NVIDIA GTC Taipei 2026)’ 현장에서 해당 데모가 앞서 공개됐다. 리얼월드는 미국 샌프란시스코, 일본 도쿄, 대만 타이베이를 거쳐 이번 서울에서 알엘디엑스-1 글로벌 투어를 마무리했다. (촬영·편집 : 타이베이(대만)=헬로티 최재규 기자)

 

리얼월드가 강조한 크로스 엠바디먼트(Cross-Embodiment)는 이 지점에서 의미를 갖는다.

 

끝으로 김 엔지니어는 “오늘 데모는 3종의 로봇을 동일한 알엘디엑스-1으로 가동하고 있다”며 “다종·이기종 로봇에서 동일한 성능을 구현하도록 만들어진 것”라고 말했다. 서로 다른 몸체에 맞춰 행동 정책을 적용하는 크로스 엠바디먼트 구조다.

 

이날 리얼월드는 자사 모델 성능만큼이나 현장 적용 구조를 강조했다. 이강욱 리얼월드 최고사업책임자(CBO)는 “모델을 만드는 정체성도 중요하지만, 이 모델이 실제 산업 현장에 적용되고 배포되는 것이 가장 중요하다”고 짚었다.

 

이 CBO는 리얼월드가 플랫폼 인프라, 도메인 산업, 하드웨어·센서 등으로 나눈 자사 글로벌 파트너십 전략을 공개했다. 제조·물류·호텔 등 현장은 로봇 수요처인 동시에 손재주 데이터의 출처라는 내용을 강조했다. 클라우드와 가속 컴퓨팅 기업은 이 데이터를 정제·합성·학습·배포하는 기반이 된다. 센서와 구동부 기업은 물리 신호를 모델에 연결한다는 뜻을 부연했다.

 

 

마지막으로 류 대표는 “알엘디엑스-1의 상용화를 산업 전반에서 가속화하고 있으며, 차기 모델인 알엘디엑스-2(RLDX-2) 개발에도 본격 착수했다”고 공론화했다. 이어 “한국·대만·일본 중심의 동아시아 피지컬 AI 생태계를 AWS·엔비디아·마이크로소프트(MS) 등 글로벌 빅테크 업체와의 협업을 통해 글로벌 표준으로 확장해 나갈 것”이라고 포부를 덧붙였다.

 

헬로티 최재규 기자 |