399달러짜리 오리는 걷는데, 피지컬 AI는 왜 어렵다고 할까

요약: 오리 로봇 마이크로덕은 가상 세계에서 4,096마리가 먼저 넘어진 덕분에 걷는다. 로봇청소기는 바닥만 다니면 되니까 된다. 피지컬 AI가 어렵다고 하는 건 손으로 하는 일의 데이터가 인터넷에도 없고 가상에서 만들기도 까다롭기 때문이다.

무대에 나온 오리 네 마리

지난달 엔비디아 GTC 베를린 기조연설 영상을 봤다. 젠슨 황 옆으로 오리처럼 생긴 작은 로봇 네 마리가 걸어 나왔다.

귀여웠다. 발표 내용보다 오리가 더 오래 남았다.

이름은 마이크로덕이다. 허깅페이스의 로봇 회사 폴른 로보틱스가 만들었다. 키 25센티미터, 무게 800그램 이하, 모터 15개. 가격은 399달러다. 부리로 가벼운 물건을 집을 수도 있다.

무대 위 상황은 매끄럽지만은 않았다. 보도에 따르면 앉으라면 앉고 일어서라면 일어섰는데, 낮잠을 자라고 하자 세 마리가 바닥에 쓰러졌고 한 마리는 몇 걸음 더 걷다가 옆으로 넘어졌다. 공중제비를 시키자 두 마리만 해냈다. 한 마리는 혼자 멀리 걸어가다 발이 걸려 넘어졌고 스스로 일어났다. 젠슨 황이 그 오리를 불렀다. "Pay attention. Stay focused. Come here."

시연 뒤 하루 만에 사전 주문이 2만 대를 넘겼다고 한다.

보다가 궁금한 게 생겼다.

요즘 일하면서 제일 많이 듣는 말이 "피지컬 AI는 어렵다"다. 데이터가 없다, 현장에 나가면 안 된다, 아직 멀었다. 그런데 399달러짜리 오리는 두 발로 걷는다. 집집마다 로보락이 알아서 바닥을 쓸고 닦는다. 이 둘은 되는데 왜 피지컬 AI는 어렵다고 할까.

나는 로봇을 만드는 사람이 아니다. 그래서 궁금한 순서대로 찾아봤다.

로봇청소기는 할 일이 하나다

로봇청소기는 오래된 물건이다. 아이로봇 룸바가 2002년에 나왔고 2004년까지 100만 대가 팔렸다. 지금 우리가 말하는 AI가 나오기 한참 전이다. 그때 룸바는 부딪히면 방향을 틀고 계단 같은 낭떠러지를 센서로 피하는 게 거의 전부였다.

요즘 로보락 같은 제품은 거기서 많이 왔다. 라이다로 집 지도를 그리고, 바닥에 놓인 장난감을 피해 가고, 문턱을 넘는다.

그래도 하는 일의 모양은 그때와 같다. 내 식으로 정리하면 세 가지다.

• 바닥만 다닌다. 평면 위에서 어느 쪽으로 갈지만 정하면 된다. 바퀴라서 넘어질 일도 없다.

• 물건을 만지지 않는다. 장난감을 알아봐도 하는 일은 피해 가는 것이다.

• 틀려도 된다. 의자 다리에 부딪히고 구석을 한 번 빼먹어도 아무 일도 안 생긴다.

사이언티픽 아메리칸은 이런 로봇을 정해진 공간에서 한 가지 일을 하는 로봇으로 따로 묶는다. 해마다 수천만 명이 사는 청소 로봇과 잔디깎이 로봇, 공장에서 도는 로봇이 여기에 들어간다.

문제를 좁혀놨기 때문에 풀린 것이다.

오리는 4,096마리가 대신 넘어졌다

오리는 좀 다르다. 두 발로 걷는다. 바퀴보다 훨씬 어려워 보인다.

엔비디아가 공개한 기술 글을 보면 방법이 나온다. 오리를 현실에서 가르치지 않았다. 컴퓨터 안에 가상의 오리와 가상의 바닥을 만들고, 그런 환경 4,096개를 동시에 돌렸다. 오리 4,096마리가 한꺼번에 걷고 넘어지고 다시 걷는다. 잘 된 동작에 점수를 주고 그걸 되풀이한다.

폴른 로보틱스가 공개한 학습 코드 기준으로는 이렇게 한두 시간이면 쓸 만한 걸음걸이가 나온다고 한다.

현실의 오리는 한 번에 한 번만 넘어질 수 있다. 가상에서는 4,096번을 동시에 넘어진다.

그래도 가상과 현실은 다르다. 엔비디아 글에도 그 대목이 있다. 모터가 명령을 늦게 받는 것, 기어의 유격, 전압이 떨어지는 것까지 모델에 넣고, 마찰 같은 값을 일부러 흔들어가며 학습시킨다. 그렇게 하고도 실제 로봇에 올리면 손볼 곳이 나온다고 적혀 있다.

무대에서 넘어진 오리들을 다시 떠올렸다.

그게 문제가 되지 않았다. 800그램짜리가 넘어지면 귀엽다. 다치는 사람도 없고 망가지는 것도 없다. 다시 일어나면 된다.

오리가 귀여운 이유와 오리가 되는 이유가 같았다. 넘어져도 되는 로봇이다.

넘어지면 안 되는 쪽

회사들이 말하는 피지컬 AI는 조건이 반대다.

공장과 물류창고에서 로봇에게 시키려는 일은 대부분 손으로 하는 일이다. 부품을 집고, 끼우고, 옮기고, 쌓는다. 물건마다 무게와 재질이 다르고 놓인 자리도 매번 다르다. 그리고 틀리면 안 된다. 부품을 떨어뜨리면 라인이 선다.

로보락도 손을 달아본 적이 있다. 2025년 CES에서 공개한 사로스 Z70에는 접이식 로봇 팔이 들어갔다. 바닥에 떨어진 양말을 집어서 치워주는 팔이다.

리뷰를 보면 집을 수 있는 물건은 말아둔 양말, 작은 수건, 구겨진 휴지, 슬리퍼 정도로 정해져 있다. 정격 하중은 300그램이고 팔은 일부러 천천히 움직인다. 카펫 위에 놓인 양말은 알아보지 못한다. 기즈모도는 리뷰 제목에 헛스윙이라고 썼다.

바닥을 다니는 일은 그렇게 잘하는 회사도, 물건을 집는 일 앞에서는 양말 한 짝이 어렵다.

여기서 데이터 이야기가 나온다.

글을 쓰는 AI는 인터넷에 쌓인 글로 배웠다. 로봇이 물건을 잡는 데이터는 인터넷에 없다. 구글 딥마인드에서 로보틱스를 맡고 있는 카니슈카 라오도 로봇의 물리적 상호작용 데이터가 인터넷만큼 크지 않다는 점을 문제의 핵심으로 꼽았다. 사람이 물건을 잡는 영상은 유튜브에 많다. 그런데 영상에는 얼마나 세게 쥐었는지, 관절이 몇 도 꺾였는지가 안 찍힌다.

그러면 오리처럼 가상에서 만들면 되지 않나.

여기가 어렵다고 한다. 걷기는 자기 몸과 바닥을 계산하면 되는데, 물건을 만지기 시작하면 계산할 것이 늘어난다. 미끄러운 정도, 말랑한 재질, 조명. 사이언티픽 아메리칸은 이런 작은 차이 때문에 시뮬레이터에서 쉬웠던 일이 현실에서 실패한다고 설명한다. 파쿠르를 하는 로봇이 설거지는 못 하는 이유도 거기에 있다고 한다.

그래서 지금은 사람이 로봇 팔을 직접 조종해 시범을 보이고 그걸 기록하는 방법을 많이 쓴다. 한 건 한 건이 사람의 시간이다.

셋을 나란히 놓으면 이렇다.

피지컬 AI가 어렵다는 말은 로봇의 몸 이야기가 아니었다. 오리에게는 4,096마리가 있었는데, 손으로 하는 일에는 대신 넘어져 줄 상대가 아직 마땅치 않다는 이야기였다.

데이터가 어디에 있느냐

여기부터는 내가 일하는 회사 이야기다.

직접 모아야 한다면 많이 모으면 되지 않나 싶었다. 그런데 페블러스 연구팀이 한 실험을 보면 양만의 문제가 아니다.

로봇 팔이 큐브를 집는 실험이다. 학습 데이터 200개가 작업대 가운데에 몰려 있었다. 가운데에 놓인 큐브는 집는다. 가장자리에 놓으면 성공률이 0%였다.

가장자리 데이터를 8개 추가했다. 성공률이 52%가 됐다. 같은 개수를 가운데에 추가했을 때는 달라진 게 거의 없었다.

200개가 있어도 필요한 자리에 없으면 0%이고, 8개라도 빈자리에 들어가면 52%다. 사람이 로봇 팔을 붙잡고 한 건씩 모으는 데이터라면 이 차이가 그대로 비용이다.

페블러스가 하는 일이 이 두 가지다. 모아둔 데이터가 어디에 몰려 있고 어디가 비어 있는지 진단하는 일, 그리고 비어 있는 자리를 물리 법칙이 들어간 시뮬레이터로 채우는 일이다. 같은 연구에서 시뮬레이터로 만든 장면 420개 중 409개가 물리 검사를 통과했다. 로봇이 실제로 움직일 수 있는 장면인지, 물체끼리 겹치지 않는지를 확인하는 검사다.

오리가 4,096마리 덕분에 걷게 됐듯이, 손으로 하는 일에도 대신 넘어져 줄 상대를 만드는 쪽이다. 걷기만큼 깔끔하게 풀린 문제는 아직 아니다.

오리 한 마리

마이크로덕은 크리스마스 전에 첫 배송이 나갈 예정이라고 한다.

한 마리 사볼까 잠깐 생각했다. 사무실 책상에서 걷다가 넘어지는 걸 보여주면 "피지컬 AI는 왜 어렵냐"는 질문에 답하기가 쉬울 것 같다. 넘어져도 되는 로봇이 있고 넘어지면 안 되는 로봇이 있는데, 우리가 만나는 고객은 대부분 뒤쪽이라고.

지금은 품절이다.