연구자들은 AI를 사용해 일반 스마트워치를 손 움직임을 정밀하게 측정하는 기기로 변환했습니다

새로운 시계 보조기능, 코넬 대학교와 KAIST에서 개발

코넬 대학교(미국)와 한국첨단과학기술원(KAIST)의 과학자들은 WatchHand라는 시스템을 만들어 일반 스마트워치를 완전한 손 움직임 추적기로 바꾸었습니다. 이 시스템은 시계에 내장된 스피커와 마이크만 사용하며 외부 센서가 필요 없습니다.

WatchHand 작동 방식
1. 음향 신호 – 시계는 들리지 않는 소리 파장을 방출합니다.
2. 에코 수신 – 마이크가 반사된 신호를 포착해 에코 프로필을 만듭니다.
3. 기기 내 처리 – 로컬에서 실행되는 머신러닝 알고리즘이 프로필을 세 축의 손 좌표로 변환합니다.

따라서 데이터는 시계 안에서 바로 처리되어 개인정보 보호와 최소 지연 시간을 보장합니다.

장점
WatchHand 지표 전통적 솔루션 외부 센서 필요 없음 ✔ ❌ (카메라, IMU 센서) 일상 사용에 적합 ✔ ❌ 수백만 장으로 확장 가능 ✔ ❌ 데이터 로컬 처리 ✔ ❌

테스트
- 참가자 – 40명
- 데이터 – 4개의 독립 실험에서 수집된 약 36시간의 제스처
- 플랫폼 – 여러 스마트워치 모델
- 시나리오 – 다양한 손 위치와 소음 환경

결과는 복잡한 조건에서도 손가락 움직임 및 손목 회전을 신뢰성 있게 추적했습니다.

응용 전망
* 제스처를 통한 컴퓨터 및 앱 제어
* AR/VR 시스템과의 상호작용
* 제한된 이동성 또는 언어 장애가 있는 사람 지원

KAIST 대학원생 지완 김은 “장치에 스피커와 마이크만 있으면 우리 접근법이 적용될 수 있다”고 말했습니다.

제한 사항 및 미래
* 현재는 Android 기기에서만 동작
* 사용자가 움직일 때(예: 걷기) 정확도가 감소

팀은 모바일 시나리오 개선을 적극적으로 개발 중입니다.

연구 결과는 2026년 ACM CHI 인체공학 회의에 발표될 예정입니다.

핵심 아이디어

코넬 대학교 부교수 정 장은 “WatchHand는 단순한 소프트웨어 업데이트가 수백만 개의 기존 시계를 행동 추적용 지능형 플랫폼으로 바꿀 수 있음을 보여줍니다. 이는 키보드와 마우스 없이 디지털 기기와 상호작용할 새로운 방식을 열어 줍니다.”라고 요약했습니다