일부 번역

SMPL(Skinned Multi-Person Linear) 이란?

: skinned vertex 기반의 모델로서, 다양한 인간의 체형을 현실적으로 나타내고 자연스러운 자세에 따른 변형을 취할 수 있으며 연조직 움직임을 나타낸다.

※ skinned vertex: 스킨(피부)을 씌워진 뼈구조에 속한 메시의 정점 (뼈의 움직임에 따라 변형되는 정점)

SMPL 연구의 목적

: 다양한 체형을 대표할 수 있는 실제적인 애니메이션 인간 신체를 만들고, 자연스러운 자세에 따라 자연스럽게 변형되며, 실제 인간과 같은 연조직 움직임을 나타낼 수 있는 모델을 만들고자 한다.

: 추가적으로, 렌더링이 빨라야 하며, 배포가 용이하고, 기존의 렌더링 엔진과 호환될 수 있도록 해야 한다.

기존의 방법 및 한계

LBS(Linear Blend Skinning)

: 3차원 물체를 컴퓨터 그래픽으로 형상화시킬 때에 사람의 뼈 구조(skeleton structure)로부터 Mesh를 만드는 기본적이고 널리 쓰이고 있는 방법

※ mesh: 물체의 Vertex(점)들을 연결해서 여러 Polygon(면)들을 만들게 되는데, 이런 Polygon들이 하나로 모여서 만들어진 물체를 의미

💢 collapsing elbow 와 candy-wrapper effect의 문제

3차원 물체를 LSB로 표현한 경우. 꼬인 경우에는 물체의 표면 면적 자체가 작아지면서 많은 Volume이 사라지게 됨
1. collapsing elbow: 관절 부분에서 비현실적으로 부러지거나 무너지는 현상
2. Candy-wrapper effect: 종이 포장지를 풀어 펴는 듯한 비현실적인 변형
3. taffy(엿): 인접한 뼈들의 영향이 지나치게 클 경우, 해당 관절이 늘어나게 되는 현상
4. Bowtie(넥타이): 정점이 두 개의 뼈에 겹쳐서 뾰족한 형태로 변형되어 ‘넥타이’ 모양이 되는 현상
⇒ 현실성 부족, 기존 패키지와의 호환성 문제, 한정된 체형, 수동 노동 필요
Auto-rigging(자동) (↔LBS(수동))

: 메시의 컬렉션을 가져와서 뼈와 관절 및 블렌드 가중치를 추론하여 메시를 자동으로 리깅하는 방법이지만, 일반적으로 기본 LBS 모델의 문제를 수정하지는 않음.

Blend Shapes

: 기본 Blend skinning의 문제를 해결하기 위해, 기본 모양에 상대적인 변형으로 정의된 변형을 사용하여 자세에 따른 보정된 블렌드 형상을 정의함. 포즈에 대해 보정된 모양을 정의하여 기본 모양에 추가하고 블렌드 스킨닝에 의해 변형시킴

→ 단일 자세/단일 형상 모델에만 수행 가능

Learning pose and shape models

: 인간 체형 변화 공간을 커버하는 자세 가능한 모델을 구축하기 위해 통계적 형상 변화 모델을 학습하는 방법들로 SCAPE를 기반으로 하거나, 삼각형 변형을 사용하여 다양한 체형과 자세를 표현
- 삼각형 변형

SMPL 이전의 문제들:

⇒ mesh와 Blend 가중치를 학습(기존에 정의된 형상만을 사용한다고 이해함) 하지만 Blend Shape은 학습하지 않음.

⇒ 따라서 다양한 자세에 대해 현실적인 변형을 제공하지 않음

<aside> 💡 SMPL은 적절한 shape blend shapes(체형) **pose blend shapes(자세, 관절 움직임)**를 사용하여 자연스럽고 현실적인 변형을 가능하게 한다.

</aside>

SMPL의 원리와 작동

Untitled

Untitled

Untitled

전체 SMPL 식(자세히는..논문 참고*^^*)

최종

Untitled

DMPL(Dynamic Blend Shapes)

Untitled

SMPL의 경우,

: 특정한 자세를 취한 상태의 변화만 표현할 수 있었음 (움직이는 동작x)

: 즉, 동적인 움직임이나 지면과의 충돌(뛰는 동작 or 땅에 발을 내딛는 움직임)이 발생할 경우, 움직임을 모델링하지 못함

➡️ 실제 움직임을 표현하기에는 한계가 존재 + 현실성이 부족
DMPL의 경우,