MediaPipe

MediaPipe는 Desktop은 물론 Web, Mobile 환경에서도 다양한 ML feature를 활용할 수 있게 해주는 솔루션이다. Vision, Text, Audio 등의 task를 지원하며, MediaPipe Studio에서 실시간 데모를 살펴볼 수 있다.

Vision task를 통한 AR 활용

일반적으로 AR에는 카메라 뿐 아니라 중력 센서 등 다양한 센서가 필요하기 때문에, 별도의 HMD나 모바일 기기에서만 구동 가능하고 웹캠만으로는 지원이 어렵다.
그러나, Face landmark 추적, 동작 인식 등의 Vision AI 기술을 활용하여 AR스러운 서비스를 만들 수 있다.

MediaPipe의 vision task를 사용하여 AR로 활용할 수 있는 예제들을 직접 연동해보았다.

예제

	Face Tracking Face Landmarker를 이용한 실시간 face tracking 예제
	Face Avatar Face Landmarker의 facialTransformationMatrixes, faceBlendshapes를 이용한 실시간 face avatar 렌더링 예제
	Hand Tracking Hand Landmarker를 이용한 실시간 hand tracking 예제
	Pose Tracking Pose Landmarker를 이용한 실시간 pose tracking 예제