[Unity AR] 2D Body Tracking 코딩 실습 + 이론 설명

2D 바디 트래킹의 이해

바디 트래킹은 사람의 신체 움직임을 추적하는 기술인데, 크게 2D와 3D 방식으로 나뉘어요. 3D 바디 트래킹은 XYZ 좌표를 반환해서, 손이나 발이 앞에 있는지 뒤에 있는지를 알 수 있지만, 2D 바디 트래킹은 XY 좌표만 제공하죠. 예를 들어, 손이 얼굴보다 앞에 있는지 뒤에 있는지 알 수 없는 상태인 거예요.

재미있는 게 뭐냐면요, AR 기술이 발전하면서 바디 트래킹이 점점 더 정교해지고 있다는 거예요. 하지만 여전히 많은 자료가 부족한 상황이라, 이 기술을 활용하려는 개발자들에게는 도전이 될 수 있죠. 그래서 이번 포스팅에서는 2D 바디 트래킹의 기본을 이해하고, 실제로 구현해보는 과정을 살펴보려고 해요.

AR 휴먼 바디 매니저 설정하기

먼저, 유니티에서 AR 휴먼 바디 매니저를 설정해야 해요. AR 세션 오리진 아래에 AR 휴먼 바디 매니저를 추가하고, 다양한 옵션 중 2D 포즈를 체크해주면 되죠. 여기서 3D 포즈는 체크하지 않아야 해요. 이 설정이 완료되면, 이제 스크립트를 작성해볼 차례예요.

스크립트 파일을 만들고, AR 파운데이션 관련된 라이브러리도 추가해줘야 해요. 그런 다음, AR 휴먼 바디 매니저 컴포넌트를 받아오는 코드를 작성하는데, 이 부분이 중요해요. 매프레임마다 조인트 값을 받아와야 하니까요.

이렇게 설정을 마치면, 이제 조인트 값을 받아올 준비가 된 거예요. 2D 조인트 값을 가져오는 함수가 존재하는데, 이 함수를 사용하면 쉽게 조인트의 상태를 확인할 수 있어요. 이 과정에서 인덱스와 포지션 값 등을 통해 각 조인트의 위치를 알 수 있게 되죠.

조인트 값 활용하기

이제 조인트 값을 활용해볼 시간이에요. 각 조인트마다 게임 오브젝트를 생성하고, 이 오브젝트들을 조인트 위치에 맞춰서 움직이게 할 거예요. 예를 들어, 스피어 형태의 오브젝트를 만들어서 각 조인트에 배치할 수 있죠.

조인트 값을 업데이트하는 방법은 간단해요. 조인트 인식이 가능한지 확인한 후, 해당 조인트의 위치에 게임 오브젝트를 부착하면 돼요. 이때, 2D 좌표를 3D 공간으로 변환하기 위해 '뷰포트 2 월드포인트' 함수를 사용해야 해요. 이 함수는 카메라의 위치에 따라 화면 좌표를 3D 좌표로 변환해주는 역할을 하죠.

흥미로운 점은, 이제 우리는 특정 조인트에만 게임 오브젝트를 생성할 수도 있다는 거예요. 예를 들어, 머리 조인트에만 헬멧을 씌우거나, 손 조인트에만 구슬을 올리는 식으로요. 이렇게 되면 훨씬 더 다양한 AR 콘텐츠를 개발할 수 있게 되죠.