[BMI estimator] A Skeleton-Free Kinect System for Body Mass Index Assessment using Deep Neural Networks

#############################################

# 공동 연구로 BMI estimator를 만들기위한 관련 논문 읽기 #

#############################################

이 논문의 내용은 제목에 쓰여있듯이, bmi를 kinect rgb-d 로 estimate하는 framework를 논문의 주제로 한다.

 

서론 

- 사람마다 각각 키, 체중과 같은 단순한 요소도 다름, 지리적으로 유사성을 볼 수 있으나, 유전과 생활방식에 전적으로 의존함. [P. B. Eveleth and J. M. Tanner, Worldwide variation in human growth. CUP Archive, 1976, vol. 8.]

- 이들을 일반적으로 측정하기 위해 체질량 지수(BMI)가 포함됨 이는 대다수의 인구를 평가하는 데 잘 적용됨. 

- 여기에는(대다수의 사람들의 의료 보건 상태를 측정하거나 한 공동체를 측정할때에) 키와 체중 측정에 크게 의존하는 체질량 지수(BMI)와 같은 방법이 포함됨. 특히 이 방법은 대다수의 인구를 평가하는 데 잘 작동하는 것으로 나타남. BMI식은 다음과 같음

bmi 수식

- 인구의 신체적 건강에 대한 간단하고 효과적인 측정의 필요성은 가치가 있을 뿐만 아니라 지역사회 기반 건강 프로젝트 내에서 사전 계획을 세우고 지역사회 내 전반적인 건강 상태를 결정하는 데 필수적임 

- 건강 관리 계획의 영향을 효과적으로 모니터링하기 위해서는 인구의 체성분을 효과적이고 간단한 방식으로 대규모로 관찰할 수 있는 분석 도구가 필요함

- 근래의 방법론들은 정확하지만 어느 부분에서 침략적/ 침습적이고 시간이 걸림. 개개인의 신체의 구성요소를 이해가능한 데이터로서 얻으려면, skin fold test, 키와 몸무게 사지와 중간 부분의 둘레와 길이 측정이 필요함(시간이 오래걸림) 

[M. H. Slaughter et.al. “Skinfold equations for estimation of body fatness in children and youth."]

- 이에대한 근래의 대안으로 kinect를 이용한 방법론이 대두되었음 (덜 침습적이고 효과적이며, 대규모 샘플링 가능함) 

- 데이터셋을 모으는 것에 많은 시간과 노력과 돈이 들기 때문에 11, 12, 13-15에 의거하여 진행하였음 (뒤에 보면 알겠지만 실제 데이터셋을 사용하지 않음)

 

<서론의 개인적 의견 및 활용방안>

• 서론의 구성은 간편한 방식으로 무게를 추정해야함 => 그러기 위해서는 BMI 추정해야함 => 기존의 방법은 오래걸리고 침습적임 => kinect를 이용하여 덜 침습적이고, 효과적으로 하겠음
• 본문을 인용하자면 가장 하고싶은 말은 "In this paper we propose a novel vision-based approach for estimation BMI usin Kinect" 일 것임.
• Depth를 얻기위해 센서를 사용하는 것은 주위에서 쉽게 얻을 수 있는 RGB 카메라보다 접근도가 떨어짐 또한 데이터셋이 인위적임(synthetic) 본문에는 정확히 표현하지 않았으나, 아마도 정해진 포즈에서만(양팔벌린 T형) 여기서 사용한 MakeHuman의 경우 리깅(스켈레톤이 잡혀진)되어 있지 않은 상태인걸로 알고 있음. 따라서 본논문에서 주장하는 정확한 수준은(오차가 소수점 두자리 수준) robust하게 나오지 않을것으로 예상됨.

관련 연구

- kinect를 이용하여 bmi를 뽑는 연구는 현재 까지 모두 skeleton을 사용하였으며, 이는 body-part 세그먼트를 하여야하기 때문에 불완전함.

- Andersson et al. 의 경우 kinect 센서를 이용하여 키와 몸무게를 추정하였고 SVM ,MLP, KNN을 사용하여 분류를 함. 포즈를 3가지로 미리 정의 하였고 양팔을 벌린 포즈, 양팔을 가슴에 교차한포즈, 양팔이 몸 옆에 있는포즈로 정의 하였음.

- 얼굴의 포인트 클라우드를 조사하여 bmi를 추측하는 방식이 있음 이방식의 경우 인종과 성별에 따른 인체측정학의 variation(변화)을 반영하지 않음

- 가장 정확한 방법론은 Souleau et al이 제안한 방법일 것으로 보임(Perhaps라는 표현을 씀 개인적으로 좋아 보이지는 않음) 16개의 kinect로 360도 둘러쌓아서 인체스캔을 하여 golden standard수준으로 구함 이는 kinect가 공간적 정확성이 높음을 보여줌 (저자들은 여기에 영감을 받아 kinect approach를 제안하였다고 저술함)

 

<관련 연구의 개인적 의견 및 활용방안>

• 인체 측정학에 대한 연구를 우리가 따로 보완?! 안써도 된다 오차가 크다 이런부분을 보완해야할듯함 어찌되었건 우리의(공동연구의) 방향성은 좋을 것으로 생각됨 생각보다 이쪽 분야가 비전쪽으로 발전되어있지 않다는 느낌을 강하게 받았음

 

제안하는 방법론

 

1. Make Human을 통하여 3D 마네킹을 생성함

2. 생성한 마네킹을 통하여 Blender를 이용하여 Depth이미지를 랜더링함

3. Resnet모델에 BMI 값과 함께 학습시킴

 

제안된 파이프라인 이고 input 224x224

- 위의 파이프라인이 본 논문의 주된 내용이고, Make Human 의 BMI를 구하는 과정도 보면 실제하지 않기 때문에 BSA(body surface area)로 추정하였음

- 10만개의 마네킹 생성하였고 데이터의 분포를 테이블로 설명함

- RGB colorisation이라는 부분이 있지만 크리티컬하다고 생각되지 않음

- Resnet34를 파인튜닝하여 사용하였음 학습시 MSE Loss사용

- 성능 척도로 RMSE, MAE 사용 

 

 

<본논문의 개인적 의견 및 활용방안>

• 공격을 상당히 받을 수 있을 논문이 아니었나 싶음. 포즈에대한 정의나 그런것들이 없고 약간 컨셉으로 사용한 것이 아닌가 싶은 논문임 여기에 보이는 것들을 보완하는 것들을 사용해야할 것으로 보임

1. 포즈의 정의

2. 카메라 각도의 정의

3. 데이터셋에 대한 EDA(깔끔한)

4. GT를 얻은 랜더링 방식

5. BMI에 공간적 정보 정확성이 필요한 이유

 

본의 아니게 단어 정리

feasible 실현 가능한

reluctant 꺼리다

invasive 침습적인 침해하는