KR-102961056-B1 - AI-based self-evolving golf lesson system, and providiong method thereof

Abstract

본 발명은 AI 기반의 자기진화형 골프레슨시스템 및 그 제공방법에 관한 것으로, 보다 구체적으로는, 골퍼의 신체 특성을 고려하여 최적의 스윙 메커니즘을 분석하고, 이를 바탕으로 골퍼의 스윙을 실시간으로 코칭하는 AI 기반의 개인 맞춤형 골프 스윙 분석 및 코칭 플랫폼을 제공하도록 하기 위한 AI 기반의 자기진화형 골프레슨시스템 및 그 제공방법에 관한 것이다.

Inventors

• 김선주

Assignees

• 티스닥 주식회사

Dates

Publication Date

20260506

Application Date

20250909

Claims (8)

1. 사용자단말(100); 고속 카메라 및 센서를 포함하는 IoT 센서장치(200); 및 IoT 센서장치(200)로부터 네트워크(300)를 통해 사용자 스윙 데이터를 수집·분석하고, 관절 각도, 회전량, 체중 이동, 클럽 궤적을 포함하는 운동학적 데이터를 벡터 형태로 가공하여 프로골퍼 표준 스윙 데이터와 비교 가능하도록 구성하며, IoT 센서장치(200)로부터 수신된 스윙 데이터를 기반으로 AI 알고리즘을 통해 사용자의 최적 스윙 자세를 산출하고, 개인 맞춤형 레슨 피드백을 사용자단말(100)에 제공하는 골프레슨 제공서버(400); 를 포함하는 것을 특징으로 하는 AI 기반의 자기진화형 골프레슨시스템에 있어서, 골프레슨 제공서버(400)는, 터치입력모듈을 구비한 IoT 센서장치(200) 또는 사용자단말(100)로부터 네트워크(300)를 통해 사용자 프로필 정보를 수신하되, 사용자 프로필 정보로 연령, 성별, 신체 치수, 체형 정보를 포함하여 수신하며, IoT 센서장치(200)로부터 네트워크(300)를 통해 고속 카메라로 촬영한 골프 스윙 영상을 수신하되, IoT 센서장치(200)에 의해 사용자의 스윙 동작 시 발생하는 관절 각도, 회전량, 체중 이동, 클럽 궤적을 포함한 복수의 운동학적 데이터를 취득 후 취득된 데이터에 대해서 벡터 형태로 수치화된 뒤 전달받는 수집모듈(421); 고속 카메라로부터 수신된 골프 스윙 영상을 통해 인체 주요 관절의 좌표를 산출하고, 시간에 따른 변화를 분석하여 스윙 시 발생하는 3차원 운동 패턴을 추출하며, 추출된 운동학적 특징에 대해서 벡터 데이터로 변환을 수행하고, 프로 골퍼의 표준 스윙 데이터와 비교 가능한 형태로 가공하되, 수신된 골프 스윙 영상으로부터 인체의 주요 관절 위치를 산출하기 위해 영상 기반의 포즈 추정(Pose Estimation) 기술을 활용하며, 각 프레임의 이미지 데이터를 분석하여 골퍼의 신체 윤곽과 관절 후보 지점을 검출하고, 이를 연결하여 스켈레톤 모델(Skeleton Model)을 구성하고, 스켈레톤 모델의 각 관절 노드(Node)는 골퍼의 어깨, 팔꿈치, 손목, 골반, 무릎, 발목을 포함하는 주요 관절을 나타내며, 각 노드의 2차원 좌표를 영상 상에서 추출하며, 다수 카메라 또는 고속 카메라의 영상 정보와 센서 데이터를 결합하여 2차원 좌표를 3차원 좌표로 변환하며, 시간에 따른 프레임 간 관절 위치 변화를 분석하여 스윙 동작 중의 3차원 운동 패턴을 산출하고, 3차원 좌표 데이터를 벡터 형태로 수치화하고, 골퍼의 개별 스윙 특성과 프로 골퍼의 표준 스윙 데이터 간 비교가 가능하도록 가공하고, 관절 위치의 정확도를 향상시키기 위해 관절 부착형 IMU 센서 데이터의 데이터와 추가로 활용함으로써, 영상 기반 추정에서 발생할 수 있는 오차를 보정하고 실시간 3차원 관절 좌표 산출의 정밀도를 높이는 자세추정모듈(422); 사용자의 스윙 벡터 데이터와 프로 골퍼의 표준 스윙 데이터 간의 정량적 유사도를 산출하되, 사용자와 체형적 특성이 유사한 프로 골퍼(archetype)를 매칭하여 교정 기준점을 설정하여 단순한 기계적 비교가 아닌, 체형 적합성을 고려한 맞춤형 스윙 교정 기준을 제공하며, 사용자 스윙 벡터 데이터를 기반으로, 프로 골퍼의 표준 스윙 데이터와 체형적 적합성을 고려한 정량적 비교를 수행시, 먼저 사용자와 프로 골퍼의 스윙 데이터를 시간 및 공간 축에서 정규화하고, 사용자의 키, 체형, 근력, 유연성을 포함하는 체형 정보를 기반으로 각 관절과 운동학적 요소에 가중치를 부여한 뒤, Dynamic Time Warping(DTW), Cosine Similarity 중 적어도 하나 이상의 시계열 및 공간 기반 유사도 측정 알고리즘을 적용하여 사용자와 각 프로 골퍼 간 유사도를 계산하고, 계산된 유사도를 바탕으로 사용자의 체형과 운동 특성에 매칭되는 프로 골퍼(archetype)를 추출하고, 추출된 프로 골퍼의 스윙 데이터를 기준으로 사용자에게 최적화된 스윙 교정 목표와 피드백 방향을 설정하는 유사체형매칭모듈(423); 강화학습(Reinforcement Learning)을 기반으로 하는 AI 학습 모듈(Pytorch 및 Stable-Baselines3 적용)을 통해 사용자의 스윙 개선도, 프로 스윙과의 유사도 향상 정도, 피드백 수용률, 장기적인 구질 중 적어도 하나 이상을 보상(reward) 요소로 반영하여, 시간이 지남에 따라 스스로 최적화된 피드백 정책을 학습하도록 하되, 사용자 스윙 벡터와 유사체형 매칭된 프로 골퍼 스윙 벡터 간 차이를 정량적으로 분석하고, 관절 각도, 회전량, 체중 이동, 클럽 궤적을 포함하는 운동학적 요소별 편차를 계산하여 스윙 단계별 교정이 필요한 자세 요소를 도출하고, 강화학습(Reinforcement Learning) 기반 AI 학습 모듈을 통해 사용자의 스윙 개선도, 프로 스윙과의 유사도 향상 정도, 피드백 수용률, 장기적인 구질 변화 중 적어도 하나 이상을 보상 요소로 반영하여, 시간 경과에 따라 스스로 최적화된 피드백 정책을 학습하고, 학습된 정책에 따라 사용자별 맞춤형 피드백을 제공함으로써 자기 진화형 스윙 교정 및 장비 추천이 가능하도록 함에 따라, 반복적인 훈련 과정에서 누적된 데이터를 활용하여 판단 기준을 지속적으로 보완·진화시키며, 개인 맞춤형 레슨 시나리오를 동적으로 생성하도록 하는 분석모듈(424); 및 생성된 레슨 피드백 및 장비 추천 결과를 네트워크(300)를 통해 사용자단말(100)에게 전송함으로써, 사용자단말(100) 상의 사용자 인터페이스(UI)를 통해 시각적으로 제공하도록 하는 피드백제공모듈(425); 을 포함하며, 사용자단말(100)은 사용자 스윙과 프로 골퍼의 표준 스윙을 비교하여, 정량적인 차이 지표와 교정 가이드를 사용자 인터페이스(UI) 상에 시각적으로 제공하되, 화면 상단에는 사용자의 실제 스윙 영상(좌측)과 프로 골퍼의 표준 스윙 영상(우측)이 나란히 배치되어, 사용자가 시각적으로 동작 차이를 직관적으로 확인하도록 하며, 화면 중단에는 △회전각도 차이, △백스윙의 깊이, △하체 리드 타이밍을 포함하는 주요 스윙 요소의 비교 결과가 수치화하여 제시하되, 제시되는 결과는 벡터 기반 데이터 분석 및 유사도 측정 알고리즘을 통해 산출된 정량적 차이 값에 근거하며, 화면 하단에는 사용자 맞춤형 피드백 문구를 제공하는 것을 특징으로 하는 AI 기반의 자기진화형 골프레슨시스템.
2. 삭제
3. 삭제
4. 청구항 1에 있어서, 골프레슨 제공서버(400)는, LightGBM, Random Forest 등의 회귀 기반 머신러닝 모델을 이용하여 사용자 스윙 특성과 클럽 스펙 간 상관관계를 학습하고, 스윙 교정 이력과 장비 추천 결과를 통합 분석하며, 사용자단말(100)에 최적화된 클럽 피팅 추천과 통합 레슨 리포트를 시각화 제공하도록 구성된 것을 특징으로 하는 AI 기반의 자기진화형 골프레슨시스템.
5. 삭제
6. 삭제
7. 삭제
8. 삭제

Description

ＡＩ 기반의 자기진화형 골프레슨시스템 및 그 제공방법{AI-based self-evolving golf lesson system, and providiong method thereof} 본 발명은 AI 기반의 자기진화형 골프레슨시스템 및 그 제공방법에 관한 것으로, 보다 구체적으로는, 골퍼의 신체 특성을 고려하여 최적의 스윙 메커니즘을 분석하고, 이를 바탕으로 골퍼의 스윙을 실시간으로 코칭하는 AI 기반의 개인 맞춤형 골프 스윙 분석 및 코칭 플랫폼을 제공하도록 하기 위한 AI 기반의 자기진화형 골프레슨시스템 및 그 제공방법에 관한 것이다. 기존의 골프 레슨 시스템은 대체로 이론적인 분석이나 프로 선수들의 모델 스윙을 기준으로 골퍼를 평가하는 방식을 채택하고 있다. 이러한 시스템은 아마추어 골퍼들에게는 효과적인 훈련 방법이 되지 않으며, 신체적 특성이나 개인적인 한계를 충분히 고려하지 않고 일률적인 스윙을 강요하는 경우가 많다. 이로 인해 부상 위험이 증가하고, 지속 가능한 훈련이 어려운 문제가 발생한다. 기존 골프 레슨 시스템은 표준화된 스윙 폼이나 모델 스윙을 기준으로 피드백을 제공하지만, 이는 각 골퍼의 신체 조건과 운동 특성, 습관을 충분히 반영하지 못하는 한계가 있다. 키, 유연성, 체형, 근력 등 개별 골퍼의 물리적 조건은 스윙 메커니즘에 큰 영향을 미치므로, 이를 정량적으로 분석하고 개인에게 최적화된 기준점에서 진단할 수 있는 기술이 필요하다. 골프 스윙은 단발성 피드백보다는 반복 훈련을 통해 점진적으로 개선되는 학습적 특성을 가지며, 교정 효과는 개인의 반응과 오류 유형에 따라 달라진다. 이러한 복잡한 상호작용을 반영하기 위해서는 사용자의 스윙 교정 이력과 반응 데이터를 누적 학습하고, 최적의 피드백 전략을 스스로 진화시킬 수 있는 강화학습 기반 AI 시스템이 요구된다. 또한, 신체 조건, 스윙 메커니즘, 샷 구질 등을 통합적으로 분석하여 최적의 클럽 사양을 추천할 수 있는 데이터 기반 시스템이 현재 부재하다. 개별 골퍼의 스윙 특성과 성능 데이터를 머신러닝으로 분석하여 자동화된 클럽 스펙 추천이 가능해진다면, 골퍼는 장비에 대한 전문 지식 없이도 자신에게 맞는 클럽을 과학적으로 선택할 수 있다. 이에 따라, 해당 기술 분야에 있어서는 이러한 문제점을 해결하고, 개인의 신체 특성, 운동 특성 및 스윙 특성에 최적화된 맞춤형 골프 레슨을 제공할 수 있는 기술 개발이 요구되고 있다. 도 1은 본 발명의 실시예에 따른 AI 기반의 자기진화형 골프레슨시스템(1)을 나타내는 도면이다. 도 2는 본 발명의 실시예에 따른 AI 기반의 자기진화형 골프레슨시스템(1) 중 골프레슨 제공서버(400)의 구성요소를 나타내는 블록도이다. 도 3은 본 발명의 일 실시예에 따른 AI 기반의 자기진화형 골프레슨 제공방법을 나타내는 도면이다. 도 4 내지 도 8은 본 발명의 실시예에 따른 AI 기반의 자기진화형 골프레슨시스템(1) 및 골프레슨 제공방법을 설명하기 위한 도면이다. 이하, 본 발명의 바람직한 실시예의 상세한 설명은 첨부된 도면들을 참조하여 설명할 것이다. 하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 '전송'하는 경우에는 구성요소는 다른 구성요소로 직접 상기 데이터 또는 신호를 전송할 수 있고, 적어도 하나의 또 다른 구성요소를 통하여 데이터 또는 신호를 다른 구성요소로 전송할 수 있음을 의미한다. 도 1은 본 발명의 실시예에 따른 AI 기반의 자기진화형 골프레슨시스템(1)을 나타내는 도면이다. 도 1을 참조하면, AI 기반의 자기진화형 골프레슨시스템(1)은 복수의 사용자단말(100), 복수의 IoT 센서장치(200), 네트워크(300), 골프레슨 제공서버(400), 그리고 복수의 프로골퍼단말(500)을 포함할 수 있다. 이러한 구성을 통해 골프레슨 제공서버(400)는 고속 카메라와 센서가 내장된 런치모니터 형태의 IoT기반의 IoT 센서장치(200)로부터 네트워크(300)를 통해 사용자의 스윙 데이터를 실시간으로 수집분석하고 관절 각도·회전·중심이동 등 주요 데이터를 수치화한 후, 프로골퍼의 표준 스윙 데이터와 비교 가능한 벡터 형태로 가공할 수 있다. 본 발명의 일 실시예에 따른 IoT 센서장치(200)는 고속 카메라와 다양한 센서를 구비하여 사용자의 스윙 데이터를 외부에서 실시간으로 수집·분석할 수 있다. 즉, 본 발명의 IoT 센서장치(200)는 골퍼의 스윙 동작에 대한 정밀한 운동학적 데이터를 실시간으로 취득하기 위해 구성된다. IoT 센서장치(200)는 고속 카메라, 관절 부착형 IMU(Inertial Measurement Unit), 클럽 부착형 IMU, 발바닥 포스 플레이트 또는 압력 센서, 및 필요에 따라 LIDAR/적외선 거리 센서 등을 포함하며, IoT 센서장치(200)와 각 센서는 일체형으로 형성되거나 무선통신을 통해 신호 및 데이터를 송수신하는 외장형으로 형성될 수 있다. 고속 카메라는 초당 수백에서 수천 프레임의 영상을 촬영하여 골퍼의 관절 위치와 클럽 궤적을 3차원 좌표로 추적하고, 영상 처리 기술을 통해 관절 위치, 클럽 위치 및 스윙 속도 등을 정량화한다. 관절 부착형 IMU는 각 관절에 부착되어 관절 각도, 회전 속도 및 회전량을 실시간으로 측정하며, 클럽 부착형 IMU는 클럽의 궤적, 각도, 회전량을 정밀하게 취득한다. 발바닥 포스 플레이트 또는 압력 센서는 스윙 시 체중 이동과 중심(Center of Pressure) 위치를 측정하여 골퍼의 체중 이동 패턴을 분석한다. 또한, 필요에 따라 LIDAR 또는 적외선 거리 센서를 이용하여 골퍼와 클럽의 상대 위치를 보정함으로써 3차원 스윙 데이터를 더욱 정확하게 생성할 수 있다. 이와 같이 IoT 센서장치(200)는 수집된 관절 각도, 회전량, 체중 이동, 클럽 궤적 등의 운동학적 데이터를 네트워크(300)를 통해 골프레슨 제공서버(400)로 전송함으로써, 프로 골퍼의 표준 스윙 데이터와 비교 가능한 벡터 형태로 가공되도록 함으로써, 각 골퍼의 스윙 특성에 최적화된 피드백 및 맞춤형 코칭이 제공되도록 할 수 있다. 여기서, IoT 센서장치(200)에 의해 수집되는 관절 각도는 관절 부착형 IMU를 이용하여 각 관절의 회전 각도를 실시간으로 측정되며, 회전량은 관절 부착형 IMU 내 자이로스코프를 이용하여 각 관절의 회전 속도를 측정하고, 이를 적분하여 회전량을 산출하며, 체중 이동은 발바닥 포스 플레이트 또는 압력 센서를 이용하여 스윙 시 체중 이동과 중심(Center of Pressure)의 위치를 측정하며, 클럽 궤적은 클럽 부착형 IMU와 고속 카메라를 이용하여 클럽의 3차원 위치, 속도, 각도 및 궤적을 실시간으로 추적할 수 있다. 골프레슨 제공서버(400)는 유사도를 측정하는 알고리즘 등 시계열 및 공간 유사도 알고리즘을 통해 개인별 스윙 차이를 정량 진단하여 유사 체형의 프로 아키타입(archetype)과 매칭해 맞춤형 교정 기준점 설정을 사용자단말(100)에게 네트워크(300)를 통해 제공할 수 있다. 보다 구체적으로, 골프레슨 제공서버(400)는 사용자의 스윙 데이터를 시간축 기준과 공간 벡터 기준으로 동시에 비교하기 위해 DTW(Dynamic Time Warping)와 Cosine Similarity와 같은 유사도 측정 알고리즘을 활용한다. DTW는 시계열 데이터의 속도 차이를 보정하여 동작의 흐름을 비교하고, Cosine Similarity는 관절 벡터나 클럽 궤적의 방향을 비교함으로써 공간적 차이를 정량화한다. 이러한 분석 결과를 프로 골퍼의 표준 스윙 데이터베이스와 대조하여, 유사 체형을 가진 프로 아키타입(archetype)과 매칭하고, 차이가 나는 구간을 교정 기준점으로 설정함으로써 맞춤형 교정 모델을 제공할 수 있다. 여기서, 프로 아키타입은 골프 스윙 분석에서는 프로 선수들을 체형·스타일·스윙 패턴별로 대표 유형화한 그룹을 의미할 수 있으며, 파워형 archetype, 유연형 archetyp, 컨트롤형 archetype 등으로 구분될 수 있다. 한편, 본 발명에서 사용되는 Dynamic Time Warping(DTW)은 시간축이 조금씩 어긋나도 두 시계열 데이터를 비교할 수 있는 알고리즘으로, DTW를 사용함으로써, 시간 왜곡을 보정해서 실제 동작 유사도를 비교 가능하여, 스윙 궤적이나 관절 움직임을 시간의 흐름에 맞춰 정렬하고 유사도를 측정할 수 있다. Cosine Similarity는 두 벡터 간의 방향(각도)을 기준으로 유사도를 계산하는 것으로 길이나 크기보다는 방향이 중요한 경우 유용하게 사용되므로, 클럽 궤적 벡터, 몸 회전 방향 벡터 등이 프로 선수와 같은 방향성을 가지고 있는지를 평가할 때 활용할 수 있다. 이와 같이 시계열 및 공간 유사도 알고리즘 활용하되, DTW는 시간에 따른 움직임의 패턴 비교(시계열 유사도), Cosine Similarity는 스윙 궤적, 관절 벡터 방향 비교(공간 유사도)에 사용되는 두 가지를 결합하면, “동작의 흐름”과 “공간상의 방향”을 동시에 비교 가능할 수 있다. 한편, 골프레슨 제공서버(400)는 사용자 스윙 개선도, 프로 스윙 유사도 향상, 피드백 수용률, 장기적 구질 변화 등을 reward로 반영하고, PyTorch 및 Stable-Baselines3(강화학습(Reinforcement Learning) 알고리즘) 기반의 정책 학습을 통해 스스로 효과적인 피드백을 제공하는 AI 코칭 플랫폼을 사용자단말(100)에게 제공할 수 있다. 즉, 골프레슨 제공서버(400)는 사용자의 반복 훈련 과정에서 축적되는 데이터를 기반으로 AI가 스스로 판단 기준을 수정·보완해 나가며, 골퍼의 개선 속도, 피드백 수용도 등을 반영해 지속적으로 진화하는 맞춤형 레슨 시나리오 생성을 통해 사용자단말(100)에게 제공할 수 있다. 이때, 골프레슨 제공서버(400)는 LightGBM, Random Forest 등 회귀 기반 ML 모델을 활용해 스윙 특성과 클럽 스펙 간의 관계를 학습하고, 사용자 데이터에 기반한 장비 추천을 수