COVID-19 팬데믹으로 인해 체육관이 폐쇄되고 학교 스포츠가 중단되었을 때 많은 십대들은 활동적으로 생활할 수 있는 다른 방법을 찾았습니다. 일부는 집에서 요가나 달리기를 시작했습니다. 고등학교 2학년인 Michelle Hua에게는 그것만으로는 충분하지 않았습니다. 미시간 주 Bloomfield Hills에 있는 Cranbrook Kingswood School의 16세 학생은 자신의 움직임을 추적하는 앱을 발명했습니다. 그것은 그녀의 운동을 식별하고 심지어 그녀의 코칭 조언을 제공합니다.

팬데믹 기간 동안 활동을 유지하는 데 도움이 되었습니다. 더욱 보람된 것은 이 앱 덕분에 그녀는 이번 주 $75,000 George D. Yancopoulos Innovator Award를 수상했습니다. 올해 Regeneron International Science and Engineering Fair에서 최우수상입니다. (더 많은 수상자에 대해서는 하단의 상자를 참조하십시오.) Society for Science(이 잡지 발행)에서 만든 ISEF는 거의 2,000명의 고등학교 결선 진출자를 모았습니다. 올해는 연례 과학 대회가 가상으로 개최되었습니다.

Michelle은 후프, 리본 또는 공과 같은 소품으로 바닥 운동을 하는 리듬 체조 선수입니다. 이 스포츠는 체조와 춤을 혼합합니다. 그러나 COVID-19 동안 그녀의 체육관은 문을 닫았습니다. 그녀는 집에서 온라인으로 연습을 계속했지만 Michelle은 만족하지 않았습니다. 그녀는 훈련을 강화하고 싶었습니다.

그래서 십대는 자신의 움직임을 추적하는 앱을 개발했습니다. 그녀가 올바르게 수행하고 있는지 여부도 알려줍니다.

일부 움직임 식별 앱은 스켈레톤 모델을 사용하여 움직임을 결정합니다. 영상을 분석해 신체 부위를 파악하고 이를 바탕으로 움직임을 파악한다. 그러나 그 접근 방식은 그다지 정확하지 않다고 Michelle은 말합니다. “비디오의 각 프레임에서 머리, 어깨, 팔, 다리, 발 등이 어디에 있는지 알아야 합니다.”라고 그녀는 말합니다.

Michelle은 대신 전체 인물의 윤곽인 실루엣을 사용하기로 결정했습니다. 실루엣을 사용하면 프로그램이 “신체 부위의 위치에 대한 정보가 필요하지 않을 것”이라고 그녀는 설명합니다. “머리, 팔, [및] 다리의 위치에 관계없이 사람의 모양을 배경에서 분리하기만 하면 됩니다.”

체조 선수는 신경망 시스템을 사용하여 프로그램을 설계했습니다. 이것은 훈련하는 데이터로부터 학습할 수 있는 일종의 인공 지능 프로그램입니다. Michelle은 다양한 이동 파일 세트의 데이터를 사용하여 그녀를 훈련시켰습니다. 그 수천 개의 비디오는 사람들이 앉는 것부터 뛰고 뛰는 것까지 모든 종류의 동작을 보여줍니다. 그녀의 프로그램은 각 비디오를 분석하고 실루엣을 그린 다음 그 실루엣이 무엇을 하는지 학습했습니다.

이제 이 프로그램은 머리를 빗는 것부터 껌을 씹는 것까지 모든 것을 인식할 수 있습니다. 점핑 잭과 같은 운동도 인식할 수 있습니다. 그러나 리듬 체조는 그녀의 프로그램이 훈련한 어떤 동작 데이터 세트에도 없었습니다. 그래서 십대는 자신이 공연하는 비디오를 찍었습니다. “내 데이터에 레이블을 지정하고 모델을 교육했습니다.”라고 그녀는 말합니다.

새로운 앱은 각 운동 실루엣이 무엇을 해야 하는지 알고 있습니다. 예를 들어 누군가 점핑 잭을 하면 앱이 실루엣을 촬영한 다음 사용자에게 팔을 더 높이 들라고 지시할 수 있습니다. “앱의 피드백은 사용자가 운동 관련 부상을 방지하기 위해 자세를 교정하는 데 도움이 됩니다.”라고 Michelle은 말합니다. 그녀는 사람들이 자신의 앱을 사용하여 보다 효과적으로 운동하기를 바랍니다. 사람들은 또한 부상에서 회복 중인 사람들에게 처방된 물리 치료를 얼마나 잘 수행하는지 분석하는 데 사용할 수 있습니다.

그녀의 프로젝트를 개발하면서 십대는 Zichun Zhong과 함께 일했습니다. 그는 미시간 주 디트로이트에 있는 웨인 주립 대학의 컴퓨터 과학자입니다. 그들은 함께 Computer Aided Geometric Design 저널에 Michelle의 연구 결과를 발표했습니다.

다음 단계는 그녀의 앱을 Apple 앱 스토어에 올리는 것이라고 Michelle은 말합니다. 그동안 그녀는 “남동생과 나는 내 앱을 사용하고 있다. 1년 내내 우리를 활동적으로 유지하고 운동하게 함으로써 우리에게 도움이 되었습니다.”