로봇을 연구하는 조직은 이제 방대한 영상을 학습해 손과 물체의 움직임을 예측하는 모델을 만든다. 그런데 로봇을 실제 사업 현장에 배치하는 이야기를 읽다 보면 최첨단 모델의 성능보다 훨씬 소박한 장면이 등장한다. 냅킨 한 장을 집어 정확히 접고, 접은 냅킨을 일정한 위치에 내려놓는 일이다.
개념 설명용 일러스트레이션입니다. 실제 Dyna-2 또는 DreamDojo 시연 영상이 아닙니다.
왜 하필 냅킨일까. 미래를 예측하는 인공지능이 쉬워 보이는 작업을 완성하기 위해 오랜 시간을 들여야 한다는 사실은 물리적 AI의 수준을 낮게 평가하라는 의미가 아니다. 오히려 연구실에서 높은 점수를 얻는 것과 고객의 일상에 반복적으로 가치를 제공하는 것 사이에 어떤 단계가 있는지 보여준다.
Dyna Robotics는 2026년 8월 Dyna-2 모델을 발표하며 인간의 일인칭 작업 영상 100만 시간 이상을 사전학습에 사용했다고 밝혔다.[^1] 한편 국제학술대회 ICML 2026에 발표된 DreamDojo는 4만 4천 시간의 사람 시점 영상을 사용해 행동 이후의 세계를 생성·예측하는 모델을 제시했다.[^2] 두 숫자는 로봇 학습의 범위가 커지고 있음을 보여주지만, 서로 다른 데이터·방법·평가 조건을 갖기 때문에 숫자 하나만으로 모델 간 우열을 결론 내릴 수 없다.
중요한 질문은 얼마나 많이 학습했느냐만이 아니다. 학습한 로봇이 실제 업무를 얼마나 오래, 얼마나 낮은 개입 비용으로, 얼마나 일관되게 완수할 수 있느냐다.
로봇이 세계를 '안다'는 말의 정확한 의미
언어모델의 다음 단어 예측과 달리 로봇이 다루는 세상에는 중력과 마찰, 물체의 변형, 손과 도구의 접촉이 있다. 컵을 건드리면 움직이고, 종이를 잘못 잡으면 미끄러지고, 냅킨은 접은 뒤에도 모양이 달라질 수 있다. 물체를 다루는 작업에는 장면을 인식하는 것뿐 아니라 행동의 결과를 예측하고, 잘못됐을 때 자세를 다시 조정하는 능력이 필요하다.
월드모델(world model)은 이런 세계의 변화를 학습하려는 접근이다. 현재 상태와 행동을 바탕으로 다음 상태나 영상의 전개를 예측하면 로봇이 실제 세계에서 반복해 실패하기 전에 가능한 결과를 비교할 수 있다. 그러나 월드모델이 모든 경우에서 정확한 물리 시뮬레이터라는 뜻은 아니다. 학습 데이터에 없던 물체와 재질, 낯선 조명, 가려진 시야, 새로운 작업 순서에서는 예측이 흔들릴 수 있다.
일반적인 세계모델 개념도입니다. 특정 모델의 실제 내부 처리나 시연을 나타내지 않습니다.
DreamDojo 연구진은 사람 시점 영상에서 다양한 상호작용 패턴을 익히고, 행동 라벨이 충분하지 않은 문제를 연속 잠재 행동(continuous latent actions)으로 다루었다.[^2] 이후 목표 로봇 데이터로 추가 학습해 실제 로봇에 활용할 수 있는 행동 제어와 예측 능력을 평가했다. 공개된 연구에는 원격 조작, 정책 평가, 모델 기반 계획과 같은 응용이 소개된다.
여기서 사람 영상으로 경험한 '세계'와 로봇이 움직이는 '몸' 사이에는 차이가 있다. 사람의 손은 로봇 집게와 모양도 자유도도 다르다. 연구가 이 차이를 줄이는 방법을 제안했다는 사실과, 임의의 현장에 추가 작업 없이 바로 배포할 수 있다는 주장은 다르다.
Dyna-2가 말하는 100만 시간의 의미
Dyna는 사람의 작업 영상을 모아 모델을 사전학습한 뒤, 별도로 확보한 로봇 데이터에서의 예측 성능과 실제 로봇 작업을 비교했다. 회사의 연구 글에 따르면 학습 영상 규모를 늘릴수록 사전학습에서 보지 않은 로봇 데이터의 오프라인 예측 지표가 개선됐다.[^1]
연구에는 정확한 조건이 있다. 사람 데이터 1천·1만·10만·100만 시간 단계에서 비교했고, 로봇 평가 자료로는 두 플랫폼의 39개 작업을 사용했다. 추가 학습 후 실제 로봇의 14개 작업을 평가한 결과도 공개했다. 회사는 이 실험에서 학습 데이터의 규모에 따른 성능 변화가 실제 로봇으로 이어졌다고 해석한다. 이는 매우 흥미로운 결과지만 제시된 작업과 설정 아래의 결과이지 모든 상용 현장의 성공률을 뜻하지 않는다.
Dyna는 사전학습에 로봇 데이터를 사용하지 않았어도, 상대적으로 적은 목표 로봇 데이터로 병뚜껑 열기 등 일부 새 작업을 익힐 수 있었다고 설명한다.[^1] 이것이 시사하는 것은 현장에서 모든 동작을 처음부터 가르칠 필요가 줄어들 수 있다는 점이다. 반대로 로봇별 추가 학습과 평가가 여전히 필요하다는 사실도 동시에 드러난다.
동일 회사의 Dyna-2 학습 인프라 설명은 규모 확대에 동반되는 운영 문제를 자세히 다룬다. 작업 영상, 로봇의 자기 상태(proprioception), 제어 명령은 서로 다른 센서와 주기로 수집된다. 데이터가 크다고 해서 학습하기 좋은 형태로 저절로 정리되지는 않는다. 시간 축을 맞추고 품질을 걸러내며 누락과 불일치를 처리하는 파이프라인이 있어야 한다.[^3]
따라서 100만 시간은 데이터와 학습 역량의 중요한 신호이지만, 곧바로 100만 시간만큼의 안정적인 상용 경험을 뜻하는 숫자는 아니다.
냅킨을 접는 것과 냅킨 업무를 끝내는 것은 다르다
Dyna가 고객 현장 배포 경험을 소개한 글에서 인상적인 부분은 접기 동작을 넘어선 작업 흐름이다.[^4] 냅킨이 잘 접혀도 지정한 통에 어지럽게 쌓이면 직원이 다시 정리해야 했다. 이때 로봇이 '접기'라는 동작에는 성공했지만 '식당 직원에게 정리된 냅킨을 전달한다'는 업무에는 완전히 성공하지 못한 셈이다.
개념 설명용 일러스트레이션이며 실제 현장 배치 영상이 아닙니다.
회사 설명에 따르면 Dyna-2는 Dyna-1보다 시간당 접는 냅킨 수가 2.7배 많았으며, 일정한 위치에 놓도록 제어하는 기능도 중요한 개선 대상으로 다뤘다.[^4] 이 숫자는 해당 회사가 공개한 비교 실험의 수치이고, 모든 고객 현장의 생산성 배율이 아니다.
이 장면이 중요한 이유는 작업의 평가 단위가 다르기 때문이다. 로봇 연구에서는 한 동작을 정해진 시간에 성공했는지 확인할 수 있다. 고객 입장에서는 교대 근무 사이에 적정한 품질로 필요한 물량이 전달되고, 직원이 중간에 정렬·수거·오류 복구를 얼마나 해야 하는지가 더 중요하다.
실제 업무를 다섯 단계로 쪼개보면 차이가 분명해진다.
- 냅킨이 일정한 상태로 공급되는가.
- 로봇이 한 장만 집어 올리는가.
- 원하는 방향과 품질로 접는가.
- 접은 냅킨을 정해진 위치에 정렬해 내려놓는가.
- 실패·중단·용지 부족이 생겼을 때 안전하게 복구하고 업무를 이어가는가.
세 번째 단계만 성공률이 높아도 다섯 번째 단계까지 사람의 개입이 많이 필요하면 고객은 서비스 도입을 망설일 수 있다. 따라서 로봇의 '성능'을 한 번의 행동 성공률로만 설명하는 것은 생산 현장의 가치 구조를 과도하게 단순화한다.
물리적 AI에서는 데이터가 하나가 아니다
상용 로봇의 학습 데이터를 단순히 총 영상 시간으로 합산하면 서로 다른 데이터의 용도를 구분하기 어렵다.
사람 영상은 일상 도구와 물체의 관계, 여러 작업의 공통 패턴을 넓게 학습하는 데 유리하다. 반복적인 정답 라벨을 일일이 생성하지 않고도 큰 규모로 확보할 수 있다는 장점이 있다. 그러나 사람이 로봇의 관절과 집게로 움직이는 것은 아니므로 실제 제어로 옮기는 과정이 필요하다.
로봇 시연 및 원격조작 데이터는 관절·그리퍼·카메라 구성 등 실제 몸체에 맞춘 행동을 학습시키는 데 필요하다. 작업 정확도를 높일 수 있지만 사람이 직접 시연을 수집해야 하므로 비용이 들 수 있다.
현장 실패와 복구 데이터는 오히려 드문 예외 상황을 다룬다. 낯선 물체가 들어왔을 때, 카메라가 잠시 가려졌을 때, 직원이 주변 환경을 바꿨을 때 어떻게 회복했는지 학습해야 한다. 실사용 환경에서 수집된 데이터에는 실험실과 다른 형태의 정보가 축적된다.
시뮬레이션 데이터는 실제 장비를 위험에 노출시키지 않고 반복적으로 조건을 바꿔 검증하는 데 유용하다. 다만 실제 마찰·형상·센서오차와의 차이(sim-to-real gap)를 확인해야 한다.
이 네 층은 서로 대체재라기보다 보완재에 가깝다. 큰 사전학습이 현장 엔지니어링을 완전히 없애지는 않지만, 필요한 현장 학습과 디버깅의 범위를 줄이는 방향으로 작동할 수 있다. 상용화의 경쟁은 특정 학습 데이터 한 종류의 규모뿐 아니라 각 데이터 층을 실제 서비스 개선으로 되돌리는 폐쇄 루프의 품질에서 생길 가능성이 있다.
사업이 보는 숫자는 연구가 보는 숫자와 다르다
고객에게 로봇을 판매하거나 서비스 형태로 제공하는 회사라면 모델 점수 외에도 따져볼 비용이 많다. 장비 구입과 설치, 작업대 개조, 안전 설비, 센서 관리, 소모품, 원격 모니터링, 현장 방문, 장애 복구, 직원 교육이 실제 운영 비용으로 들어간다.
가령 로봇이 24시간 연속으로 작동하더라도 사람들이 계속 옆에서 복구하고 품질을 다시 확인해야 한다면 투자 수익률은 낮을 수 있다. 반대로 일정 부분의 인력 개입이 있더라도 안정적인 야간 시간대에 반복 업무를 처리하고 작업자들의 다른 업무를 돕는다면 가치가 생길 수 있다.
그래서 사업화 평가에는 적어도 다음과 같은 지표를 구분하는 편이 낫다.
| 평가 차원 | 연구·데모의 질문 | 사업 현장의 질문 |
|---|---|---|
| 작업 능력 | 한 번의 지시를 수행하는가 | 실제 주문 흐름에서 필요한 품질과 수량을 확보하는가 |
| 처리량 | 로봇 동작 속도가 얼마나 빠른가 | 재작업·정렬·수거 시간까지 포함하면 순처리량은 얼마인가 |
| 신뢰성 | 반복 실험에서 성공률이 얼마인가 | 긴 운영시간에 걸쳐 중단 없이 완료되는 업무 비율은 얼마인가 |
| 개입 | 성공 작업의 비율이 얼마인가 | 사람의 개입시간은 얼마나 들며 어떤 전문성이 필요한가 |
| 적응 | 새 물체에서 제어가 가능한가 | 현장 배치와 변경에 몇 시간이 들고 비용은 얼마인가 |
| 경제성 | 성능이 기술적으로 개선됐는가 | 총소유비용과 현장 순편익은 무엇인가 |
이 비교는 어느 특정 회사의 공개 재무제표를 뜻하지 않는다. 현장 사업화를 평가하기 위해 구분해야 할 실무 지표의 예시다.
예시 화면입니다. 실제 운영 데이터나 Dyna-2·DreamDojo의 결과 화면이 아닙니다.
피지컬 AI 스타트업의 병목은 모델만이 아닐 수 있다
소프트웨어 서비스라면 고객의 새 요구를 코드로 빠르게 반영할 수 있다. 그러나 물리적 AI는 공급망과 장비 안전, 설치 공간, 작업환경, 현장 근무자와의 조정이 함께 필요하다. 카메라 위치를 바꾸는 작업이나 집게의 마모 같은 문제가 모델 업데이트보다 큰 영향을 주기도 한다.
따라서 연구에서 제시한 규모 확장 법칙(scaling law)이 곧장 판매량이나 고객 유지율로 변환된다고 기대해서는 안 된다. 판매할 수 있는 역할과 안전하게 수행할 수 있는 경계를 명확히 정의하고, 초기 고객의 업무를 자세히 관찰해야 한다.
예를 들어 '모든 주방에서 쓰는 로봇'이라는 포괄적 목표보다, 일정한 작업대에서 같은 크기의 냅킨을 반복 처리하는 계약은 첫 운영 지표를 설정하기 쉽다. 이처럼 좁은 업무에서 실패와 복구를 반복적으로 학습하면 다음 고객에 적용할 수 있는 지식도 남는다. 다만 한 고객의 환경에 지나치게 맞춘 구조가 확장성을 해치지 않는지도 함께 측정해야 한다.
여기서 중요한 자산은 모델 파일만이 아니다. 작업 별 장애 기록, 설치 과정, 고객의 업무 기준, 회복 전략, 장비 구성에 대한 경험도 경쟁자가 쉽게 복제하기 어려운 운영 지식이 될 수 있다. 같은 모델을 사용하더라도 이 체계에 따라 실제 고객의 체감 가치는 달라진다.
월드모델이 성공하려면 다음을 검증해야 한다
개발팀과 투자자는 모델의 학습 규모와 논문 수치만 보지 말고 실제 역할의 정의부터 질문할 필요가 있다.
첫째, 어느 업무를 자동화하려는가. 연구실 데모의 동작 단위와 고객이 구매하려는 작업 단위가 일치하는가. 둘째, 어떤 조건에서 실패하는가. 낯선 물체·위치·조명·사람의 개입이 성능을 얼마나 떨어뜨리는가. 셋째, 실패 후 어떻게 복구하는가. 로봇이 재시도해도 안전한지, 언제 사람에게 넘겨야 하는지가 분명해야 한다.
넷째, 설치하고 운영하는 데 드는 시간과 비용은 무엇인가. 마지막으로 고객의 시간과 비용을 실제로 얼마나 절약했는가. 데모 영상의 길이보다 이 질문에 대한 증거가 중요하다.
한국 현장 적용 가능성을 살펴보기 위한 가설적 예시이며 실제 도입 사례를 뜻하지 않습니다.
Dyna-2와 DreamDojo는 서로 다른 경로에서 로봇이 복잡한 세계의 움직임을 더 폭넓게 이해하고 예측할 수 있음을 보여주는 사례다.[^1][^2] 그러나 연구가 흥미로운 이유는 현장이 더 이상 중요하지 않기 때문이 아니다. 연구에서 익힌 능력을 현장의 운영 데이터와 결합해 실제 가치를 만드는 과정이 어떤 모습인지 더욱 명확하게 드러나기 때문이다.
냅킨을 접는 장면이 최첨단 로봇 연구의 상징처럼 보이는 데에는 이유가 있다. 화려하지 않지만, 물체를 다루는 작은 동작을 끝까지 반복 가능한 업무로 만들기 위해 필요한 모든 것이 그 안에 담겨 있기 때문이다.
로봇은 미래의 움직임을 예측할 수 있을지 모른다. 그러나 고객이 구매하는 것은 미래의 영상이 아니다. 오늘 저녁에도 문제없이 정리되어 있는 냅킨 바구니다.
[^1]: Dyna Robotics, “Dyna-2: A 1-Million-Hour Scaling Law for World-Action Models,” 2026-08. https://www.dyna.co/dyna-2 [^2]: Gao et al., “DreamDojo: A Generalist Robot World Model from Large-Scale Human Videos,” ICML 2026, Proceedings of Machine Learning Research 306:33340–33366. https://proceedings.mlr.press/v306/gao26q.html [^3]: Dyna Robotics, “Training Dyna-2 at million-hour scale, repeatably,” 2026-08. https://www.dyna.co/research/dyna-2-infrastructure [^4]: Dyna Robotics, “Not Just a Model, But a Product,” 2026-08. https://www.dyna.co/research/scaling-customer-deployments