Search

KR-20260060958-A - ADAPTIVE HVAC COTROL SYSTEM BASED BASED ON REINFORCEMENT LEARNING AND METHOD THEREOF

KR20260060958AKR 20260060958 AKR20260060958 AKR 20260060958AKR-20260060958-A

Abstract

본 발명은 강화학습 기반 적응형 HVAC 제어 시스템 및 방법에 관한 것으로, 보다 상세하게는 건물 에너지 시뮬레이션, 실시간 환경 데이터 처리, 및 학습된 강화학습 에이전트를 조합하여 HVAC 장치의 설정값을 동적으로 조절함으로써에너지 소비를 최적화하면서 재실자의 쾌적성을 유지할 수 있도록 난방, 환기 및 공조(HVAC)에 대한 지능형 제어가 가능한 강화학습 기반 적응형 HVAC 제어 시스템 및 방법에 관한 것이다. 본 발명에 따른 강화학습 기반 적응형 HVAC 제어 시스템은, 건물 환경과 HVAC 시스템을 모델링하는 건물 에너지 시뮬레이션 모듈과, 외부 기상 데이터, 건물 내부 환경 센서로부터의 실시간 데이터, 재실 정보 및 에너지 소비 계측기로부터 데이터를 수집하고 처리하는 데이터 수집 및 전처리 모듈과, 건물의 현재 상태와 수집된 데이터를 기반으로 HVAC 설정값을 최적화하도록 훈련되는 강화학습 에이전트와, 시스템 모니터링 및 수동 제어를 위한 사용자 인터페이스가 포함된 것을 특징으로 한다. 또한, 본 발명에 따른 강화학습 기반 적응형 HVAC 제어 방법은, 다음 단계를 포함하는 적응형 HVAC 제어 방법으로서 a) 다양한 조건에서 건물 에너지 소비를 지속적으로 시뮬레이션하는 단계; b) 실시간 환경 및 재실 데이터를 수집하고 전처리하는 단계; c) 시뮬레이션 및 실시간 데이터를 기반으로 강화학습 에이전트를 사용하여 최적의 HVAC 설정값을 결정하는 단계; d) 기존 HVAC 제어 인프라를 통해 최적의 설정값을 구현하는 단계; e) 실제 성능을 모니터링하고 피드백을 사용하여 강화학습 모델을 개선하는 단계를 포함하는 것을 특징으로 한다.

Inventors

  • 김경수
  • 이정옥

Assignees

  • 주식회사 아이엠알

Dates

Publication Date
20260506
Application Date
20241025

Claims (10)

  1. 건물 환경과 HVAC 시스템을 모델링하는 건물 에너지 시뮬레이션 모듈과, 외부 기상 데이터, 건물 내부 환경 센서로부터의 실시간 데이터, 재실 정보 및 에너지 소비 계측기로부터 데이터를 수집하고 처리하는 데이터 수집 및 전처리 모듈 건물의 현재 상태와 수집된 데이터를 기반으로 HVAC 설정값을 최적화하도록 훈련되는 강화학습 에이전트와, 시스템 모니터링 및 수동 제어를 위한 사용자 인터페이스가 포함된 것을 특징으로 하는 강화학습 기반 적응형 HVAC 제어 시스템.
  2. 제1항에 있어서, 상기 강화학습 에이전트는 근접 정책 최적화(PPO) 알고리즘을 사용하는 것을 특징으로 하는 시스템.
  3. 제1항에 있어서, 상기 강화학습 에이전트의 보상 함수는 에너지 효율성과 재실자 쾌적성의 균형을 맞추는 것을 특징으로 하는 시스템.
  4. 제1항에 있어서, 상기 건물 에너지 시뮬레이션 모듈은 다양한 HVAC 설정값, 재실 수준 및 기상 조건을 포함한 다양한 시나리오를 시뮬레이션할 수 있는 것을 특징으로 하는 시스템.
  5. 제1항에 있어서, 상기 데이터 수집 모듈은 외부 기상 소스, 내부 환경 센서, 재실 센서 및 에너지 소비 계측기로부터 데이터를 수집하는 것을 특징으로 하는 시스템.
  6. 제1항에 있어서, 상기 사용자 인터페이스는 실시간 모니터링, 과거 데이터 확인 및 자동 설정의 수동 조정을 허용하는 것을 특징으로 하는 시스템.
  7. 다음 단계를 포함하는 적응형 HVAC 제어 방법: a) 다양한 조건에서 건물 에너지 소비를 지속적으로 시뮬레이션하는 단계; b) 실시간 환경 및 재실 데이터를 수집하고 전처리하는 단계; c) 시뮬레이션 및 실시간 데이터를 기반으로 강화학습 에이전트를 사용하여 최적의 HVAC 설정값을 결정하는 단계; d) 기존 HVAC 제어 인프라를 통해 최적의 설정값을 구현하는 단계; e) 실제 성능을 모니터링하고 피드백을 사용하여 강화학습 모델을 개선하는 단계.
  8. 제7항에 있어서, 상기 강화학습 에이전트는 시뮬레이션 데이터와 과거 건물 성능 데이터의 조합을 사용하여 훈련되는 것을 특징으로 하는 방법.
  9. 제7항에 있어서, 상기 최적의 설정값은 에너지 효율성과 재실자 쾌적성 지표 사이의 균형을 기반으로 결정되는 것을 특징으로 하는 방법.
  10. 제7항에 있어서, 사용자 인터페이스를 통해 자동화된 설정값의 수동 조정을 허용하는 단계를 추가로 포함하는 방법.

Description

강화학습 기반 적응형 HVAC 제어 시스템 및 방법{ADAPTIVE HVAC COTROL SYSTEM BASED BASED ON REINFORCEMENT LEARNING AND METHOD THEREOF} 본 발명은 강화학습 기반 적응형 HVAC 제어 시스템 및 방법에 관한 것으로, 보다 상세하게는 건물 에너지 시뮬레이션, 실시간 환경 데이터 처리, 및 학습된 강화학습 에이전트를 조합하여 HVAC 장치의 설정값을 동적으로 조절함으로써에너지 소비를 최적화하면서 재실자의 쾌적성을 유지할 수 있도록 난방, 환기 및 공조(HVAC)에 대한 지능형 제어가 가능한 강화학습 기반 적응형 HVAC 제어 시스템 및 방법에 관한 것이다. 난방(히팅), 환기 및/또는 공기 조화(heating, ventilation, and/or air conditioning: HVAC)(이하 "HVAC" 이라 함) 시스템은 건물이나 기타 장소의 쾌적함을 유지하기 위하여 사용된다. 대한민국 공개특허 제10-2013-0098346호(ＨＶＡＣ 시스템을 위한 에너지 최적화 제어 결정, 2013.09.04)에 개시된 바와 같이 일반적으로 HVAC 제어 시스템은 대한 건축물의 실내 환경 데이터, 실외 환경 데이터 및 벽체 데이터를 이용하여 고정된 설정값 제어 방식이나 규칙 기반 제어 방식이 이용된다. 그러나, 상기와 같은 고정된 설정값 제어 방식이나 규칙 기반 제어 방식의 HVAC 제어 시스템은 효율적인 에너지 사용과 최적화된 쾌적도를 제공하는데 한계를 갖는다. 최근 에너지 절약에 대한 관심이 높아지고 더욱 지능적인 건물 관리 시스템의 필요성이 증가함에 따라, 다양한 환경 요인과 재실 패턴을 기반으로 성능을 최적화할 수 있는 적응형 공기조화(HVAC) 제어 기술에 대한 수요가 증가하고 있다. 또한, 기계학습, 특히 강화학습 분야의 발전으로 더욱 정교하고 효율적인 공기조화 제어 시스템을 구성할 수 있는 새로운 가능성이 열렸다. 이에 따라 최근에는 대한민국 등록특허 제10-2530179호(강화학습 기반 HVAC 제어 방법, 2023.05.03)에 개시된 바와 같이 상태 정보에 기초하여 공조기의 동작을 수행한 후 상태 정보 및 공조기 동작에 기초하여 리워드를 최대화하는 강화학습 기반 HVAC 제어 시스템에 대한 개발이 이루어지고 있다. 그러나 기존 강화학습 기반 HVAC 제어 시스템은 데이터 수집, 시뮬레이션 정확도, 그리고 다양한 건물 환경과 기후 조건에 적응하는데 여전히 한계를 갖고 있다. 도 1은 본 발명의 일실시예에 따른 강화학습 기반 적응형 HVAC 제어 시스템의 전체 구조를 도시한 블록도 도 2는 본 발명의 일실시예에 따른 강화학습 기반 적응형 HVAC 제어 시스템 및 방법에서 강화학습 에이전트의 학습 프로세스를 나타내는 순서도 도 3은 본 발명의 일실시예에 따른 강화학습 기반 적응형 HVAC 제어 시스템 및 방법에서 시뮬레이션 모듈과 실제 건물 환경 사이의 데이터 흐름을 나타내는 다이어그램 도 4는 본 발명의 일실시예에 따른 강화학습 기반 적응형 HVAC 제어 시스템 및 방법에서 사용자 인터페이스의 주요 화면 구성에 대한 도면 도 5는 본 발명의 일실시예에 따른 강화학습 기반 적응형 HVAC 제어 시스템 및 방법을 적용한 경우와 기존 HVAC 제어 방식을 사용한 경우의 에너지 소비량 및 실내 온도 변화를 비교하는 그래프 이하에서는 도면 및 실시예를 참조하여 본 발명에 따른 강화학습 기반 적응형 HVAC 제어 시스템 및 방법을 상세하게 설명하기로 한다. 도 1은 본 발명의 일실시예에 따른 강화학습 기반 적응형 HVAC 제어 시스템의 전체 구조를 도시한 블록도이고, 도 2는 본 발명의 일실시예에 따른 강화학습 기반 적응형 HVAC 제어 시스템 및 방법에서 강화학습 에이전트의 학습 프로세스를 나타내는 순서도이며, 도 3은 본 발명의 일실시예에 따른 강화학습 기반 적응형 HVAC 제어 시스템 및 방법에서 시뮬레이션 모듈과 실제 건물 환경 사이의 데이터 흐름을 나타내는 다이어그램이고, 도 4는 본 발명의 일실시예에 따른 강화학습 기반 적응형 HVAC 제어 시스템 및 방법에서 사용자 인터페이스의 주요 화면 구성에 대한 도면이며, 도 5는 본 발명의 일실시예에 따른 강화학습 기반 적응형 HVAC 제어 시스템 및 방법을 적용한 경우와 기존 HVAC 제어 방식을 사용한 경우의 에너지 소비량 및 실내 온도 변화를 비교하는 그래프이다. 본 발명은 이러한 과제들을 해결하기 위해 강화학습 기술을 건물 에너지 시뮬레이션과 결합하여 최적의 에너지 효율과 재실자 쾌적성을 달성하는 적응형 HVAC 제어 시스템을 제공한다. 본 시스템은 다음과 같은 구성요소로 이루어져 있다. 1) 복잡한 건물 환경과 HVAC 시스템을 모델링할 수 있는 EnergyPlus 기반의 건물 에너지 시뮬레이션 모듈 2) 실시간 환경 데이터, 재실 정보 및 기타 관련 매개변수를 통합하는 데이터 수집 및 전처리 모듈 3) 건물의 현재 상태와 환경 조건을 기반으로 HVAC 설정값을 최적화하도록 훈련된 강화학습 에이전트 4) 시스템 성능을 모니터링하고 필요 시 수동 조작을 허용하는 사용자 인터페이스 본 시스템은 다양한 조건에서 건물 에너지 소비를 지속적으로 시뮬레이션하고, 이 데이터를 사용하여 강화학습 에이전트를 훈련하고 개선한다. 그런 다음 에이전트는 HVAC 설정값에 대한 실시간 권장사항을 제공하며, 이는 건물의 기존 HVAC 제어 인프라를 통해 구현된다. ## 1. 건물 에너지 시뮬레이션 모듈 건물 에너지 시뮬레이션 모듈은 미국 에너지부에서 개발한 종합적인 건물 에너지 시뮬레이션 프로그램인 EnergyPlus를 기반으로 한다. 이 모듈은 다음과 같은 역할을 수행한다: - 건물 구조(기하학적 형태, 재료, 열적 특성 포함)를 모델링 - 다양한 조건에서 HVAC 시스템 성능을 시뮬레이션 - 강화학습 에이전트 훈련을 위한 합성 데이터 생성 시뮬레이션 모듈은 건물 특성을 정의하기 위해 .idf 또는 .epJSON 형식의 입력 파일을 사용하며, 기후 데이터에는 .epw 파일을 사용한다. 다음과 같은 다양한 시나리오를 시뮬레이션할 수 있다: - 다양한 HVAC 설정값 - 변화하는 재실 수준 - 외부 기상 조건의 변화 - 건물 외피의 변경(예: 문이나 창문 개방) ## 2. 데이터 수집 및 전처리 모듈 이 모듈은 다음과 같은 다양한 소스에서 실시간 데이터를 수집하고 처리하는 역할을 한다: - 외부 기상 데이터(온도, 습도, 풍속, 일사량) - 내부 환경 센서(온도, 습도, CO2 수준) - 재실 센서 및 일정 - 에너지 소비 계측기 수집된 데이터는 시뮬레이션 모듈과 강화학습 에이전트 모두와 호환되도록 전처리 및 형식화된다. 이 모듈은 또한 학습 알고리즘에 대한 입력 데이터의 품질을 보장하기 위해 데이터 정규화, 특성 추출 및 이상치 탐지를 처리한다. ## 3. 강화학습 에이전트 적응형 제어 시스템의 핵심은 근접 정책 최적화(Proximal Policy Optimization, PPO) 알고리즘을 특별히 사용하는 강화학습 에이전트이다. 이 에이전트는 다음과 같이 설계되었다: - 시뮬레이션된 환경과의 상호작용을 통해 최적의 제어 전략을 학습 - 학습된 전략을 실제 건물 조건에 일반화 - 시간이 지남에 따라 지속적으로 적응하고 성능 개선 에이전트의 상태 공간은 다음을 포함한다: - 현재 실내 온도 및 습도 수준 - 실외 온도, 습도 및 기타 관련 기상 데이터 - 시간 및 날짜 - 재실 수준 - 현재 에너지 소비량 행동 공간은 HVAC 시스템의 난방 및 냉방 설정값 조정으로 구성된다. 보상 함수는 에너지 효율성과 재실자 쾌적성의 균형을 맞추도록 설계되었으며, 다음과 같은 요소를 고려한다: - 에너지 소비량 - 원하는 온도 범위에서의 편차 - 재실자 쾌적성 지표(예: 예상 평균 투표, PMV) ## 4. 사용자 인터페이스 및 제어 시스템 본 시스템은 건물 관리자와 재실자가 다음과 같은 작업을 수행할 수 있는 웹 기반 사용자 인터페이스를 포함한다: - 실시간 시스템 성능 모니터링 - 과거 데이터 및 에너지 절감 현황 확인 - 필요 시 자동 설정을 수동으로 조정 - 쾌적성 선호도 조정 제어 시스템은 기존 건물 관리 시스템과 통합되어 강화학습 에이전트가 제공하는 설정값 권장사항을 구현한다. ## 5. 시스템 운영 본 시스템은 다음과 같은 단계로 운영된다: 1. 건물 에너지 시뮬레이션 모듈은 현재 건물 상태와 예측된 기상 데이터를 기반으로 지속적으로 시뮬레이션을 실행한다. 2. 데이터 수집 모듈은 다양한 센서와 계측기에서 실시간 데이터를 수집한다. 3. 강화학습 에이전트는 시뮬레이션 결과와 실시간 데이터를 처리하여 최적의 HVAC 설정값을 결정한다. 4. 제어 시스템은 수동 조정을 고려하여 권장 설정값을 구현한다. 5. 시스템은 실제 성능을 모니터링하고 이 피드백을 사용하여 강화학습 모델을 더욱 개선한다. # 발명의 장점 1. 에너지 효율성: 본 시스템은 기존 제어 방식에 비해 유사한 쾌적도 수준을 유지하면서 최대 19%의 에너지 절감을 달성했다. 2. 적응형 제어: 강화학습 에이전트는 시간이 지남에 따라 변화하는 조건과 건물 특성에 적응하여 지속적으로 성능을 개선할 수 있다. 3. 재실자 쾌적성: 온도 외에도 여러 요소를 고려함으로써 본 시스템은 재실자에게 더 일관된 수준의 쾌적성을 제공할 수 있다. 4. 유연성: 본 시스템은 최소한의 맞춤화로 다양한 건물 유형과 HVAC 구성에 적용될 수 있다. 5. 확장성: 시뮬레이션 기반 훈련을 사용함으로써 제한된 과거 데이터를 가진 새로운 건물에도 시스템을 배포할 수 있다. ## 6. 강화학습 모델의 상세 구조 본 발명에서 사용되는 강화학습 모델은 다음과 같은 구조적 특징을 가진다: ### 6.1 상태 공간 (State Space) 상태 공간은 다음과 같은 요소들로 구성된다: - 현재 시간 (시간, 분) - 현재 날짜 (월, 일, 요일) - 실내 온도 (섭씨) - 실내 습도 (%) - 실외 온도 (섭씨) - 실외 습도 (%) - 일사량 (W/m²) - 풍속 (m/s) - 풍향 (도) - 재실 인원 수 - 최근 1시간 동안의 에너지 소비량 (kWh) - HVAC 시스템의 현재 작동 상태 (on/off, 냉방/난방 모드) ### 6.2 행동 공간 (Action Sp