KR-20260060864-A - Continuous learning method for category classification and computing device for performing the same

Abstract

카테고리 분류를 위한 연속 학습 방법 및 이를 수행하기 위한 컴퓨팅 장치가 개시된다. 개시되는 일 실시예에 따른 연속 학습 방법은, 하나 이상의 프로세서들, 및 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 연속 학습 방법으로서, 연속 학습 방법은, 기본 세션(base session) 및 증분 세션(incremental session)으로 이루어지며, 기본 세션에서, 라벨 된 데이터 셋을 학습 데이터로 하여 오프라인 모델이 입력되는 학습 데이터들의 카테고리를 분류하도록 오프라인 모델을 학습하는 단계를 포함하고, 증분 세션에서, 언 라벨 된 데이터 셋을 학습 데이터로 하여 온라인 모델이 입력되는 학습 데이터들의 카테고리를 분류하도록 온라인 모델을 학습하는 단계를 포함하며, 온라인 모델은 오프라인 모델이 증분 세션을 통해 파인 튜닝 되는 모델이다.

Inventors

• 박경문
• 박건희

Assignees

• 경희대학교 산학협력단

Dates

Publication Date

20260506

Application Date

20241025

Claims (20)

1. 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 연속 학습 방법으로서, 상기 연속 학습 방법은, 기본 세션(base session) 및 증분 세션(incremental session)으로 이루어지며, 상기 기본 세션에서, 라벨 된 데이터 셋을 학습 데이터로 하여 오프라인 모델이 입력되는 학습 데이터들의 카테고리를 분류하도록 상기 오프라인 모델을 학습하는 단계를 포함하고, 상기 증분 세션에서, 언 라벨 된 데이터 셋을 학습 데이터로 하여 온라인 모델이 입력되는 학습 데이터들의 카테고리를 분류하도록 상기 온라인 모델을 학습하는 단계를 포함하며, 상기 온라인 모델은 상기 오프라인 모델이 증분 세션을 통해 파인 튜닝 되는 모델인, 연속 학습 방법.
2. 청구항 1에 있어서, 상기 기본 세션은, 오프라인 학습(Offline Learning) 방식으로 수행되고, 상기 증분 세션은, 온라인 학습(Online Learning) 방식으로 수행되며, 상기 언 라벨 된 데이터 셋에는, 상기 기본 세션에서 학습한 카테고리 이외에 새로운 카테고리에 속하는 데이터들을 포함하는, 연속 학습 방법.
3. 청구항 2에 있어서, 상기 온라인 모델을 학습하는 단계는, 언 라벨 된 데이터들을 상기 오프라인 모델에 입력하고, 상기 오프라인 모델에서 출력되는 로짓(logit)을 기초로 상기 언 라벨 된 데이터들에 대한 제1 에너지 스코어를 각각 산출하는 단계; 및 상기 제1 에너지 스코어를 기반으로 상기 언 라벨 된 데이터들을 알려진(known) 카테고리 또는 알려지지 않은(unknown) 카테고리로 분류하는 단계를 포함하는, 연속 학습 방법.
4. 청구항 3에 있어서, 상기 분류하는 단계는, 상기 제1 에너지 스코어를 기반으로 상기 언 라벨 된 데이터들을 두 개의 클러스터로 분류하되, 상기 제1 에너지 스코어가 낮은 클러스터에 속하는 데이터는 알려진(known) 카테고리로 분류하고, 상기 제1 에너지 스코어가 높은 클러스터에 속하는 데이터는 알려지지 않은(unknown) 카테고리로 분류하는, 연속 학습 방법.
5. 청구항 3에 있어서, 상기 온라인 모델을 학습하는 단계는, 상기 언 라벨 된 데이터들 중 알려지지 않은(unknown) 카테고리로 분류된 데이터들을 상기 온라인 모델에 입력하고, 상기 온라인 모델에서 출력되는 로짓(logit)을 기초로 상기 알려지지 않은 카테고리로 분류된 데이터들에 대한 제2 에너지 스코어를 각각 산출하는 단계; 및 상기 제2 에너지 스코어를 기반으로 상기 알려지지 않은 카테고리로 분류된 데이터들을 관찰된(seen) 데이터 또는 관찰되지 않았던(unseen) 데이터로 분류하는 단계를 더 포함하는, 연속 학습 방법.
6. 청구항 5에 있어서, 상기 분류하는 단계는, 상기 제2 에너지 스코어를 기반으로 상기 알려지지 않은 카테고리로 분류된 데이터들을 두 개의 클러스터로 분류하되, 상기 제2 에너지 스코어가 낮은 클러스터에 속하는 데이터는 관찰된(seen) 데이터로 분류하고, 상기 제2 에너지 스코어가 높은 클러스터에 속하는 데이터는 관찰되지 않았던(unseen) 데이터로 분류하는, 연속 학습 방법.
7. 청구항 2에 있어서, 상기 온라인 모델을 학습하는 단계는, 언 라벨 된 데이터들을 카테고리가 알려진(known) 데이터, 새로운 카테고리에 속하나 관찰된(seen) 데이터, 및 새로운 카테고리에 속하면서 관찰되지 않았던(unseen) 데이터로 분류하는 단계를 포함하는, 연속 학습 방법.
8. 청구항 7에 있어서, 상기 온라인 모델을 학습하는 단계는, 상기 카테고리가 알려진 데이터를 상기 오프라인 모델에 입력하여 상기 오프라인 모델이 예측하는 카테고리를 해당 데이터의 의사 라벨로 부여하는 단계; 상기 새로운 카테고리에 속하나 관찰된 데이터를 상기 온라인 모델에 입력하여 상기 온라인 모델이 예측하는 카테고리를 해당 데이터의 의사 라벨로 부여하는 단계; 및 상기 새로운 카테고리에 속하면서 관찰되지 않았던 데이터를 상기 온라인 모델에 입력하여 특징 벡터를 각각 추출하고, 추출한 특징 벡터들의 분산을 산출하며, 추출한 특징 벡터 및 특징 벡터들의 분산에 기초하여 상기 새로운 카테고리에 속하면서 관찰되지 않았던 데이터에 대해 의사 라벨을 부여하는 단계를 더 포함하는, 연속 학습 방법.
9. 청구항 8에 있어서, 상기 새로운 카테고리에 속하면서 관찰되지 않았던 데이터에 대해 의사 라벨을 부여하는 단계는, 상기 추출한 특징 벡터 및 특징 벡터들의 분산을 기초로 상기 특징 벡터에 대해 증강 특징 벡터를 생성하는 단계; 및 상기 추출한 특징 벡터와 상기 생성된 증강 특징 벡터들을 대상으로 유사도 기반의 클러스터링을 수행하고, 상기 클러스터링을 기반으로 상기 새로운 카테고리에 속하면서 관찰되지 않았던 데이터에 대해 의사 라벨을 부여하는 단계를 포함하는, 연속 학습 방법.
10. 청구항 8에 있어서, 상기 온라인 모델을 학습하는 단계는, 새로운 카테고리에 속하는 데이터들을 상기 온라인 모델의 특징 추출기로 입력하여 특징 벡터를 추출하는 단계; 상기 추출한 특징 벡터를 상기 오프라인 모델의 분류기에 입력하고 상기 분류기로부터 출력되는 로짓에 기초하여 상기 기본 세션에서의 에너지 스코어를 산출하는 단계; 상기 추출한 특징 벡터를 상기 온라인 모델의 분류기에 입력하고, 상기 분류기로부터 출력되는 로짓에 기초하여 상기 증분 세션에서의 에너지 스코어를 산출하는 단계; 및 상기 기본 세션에서의 에너지 스코어는 증가되도록 하고, 상기 증분 세션에서의 에너지 스코어는 감소되도록 증분 세션을 수행하는 단계를 더 포함하는, 연속 학습 방법.
11. 하나 이상의 프로세서들; 메모리; 및 하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은, 기본 세션(base session) 및 증분 세션(incremental session)으로 이루어지는 연속 학습을 수행하되, 상기 기본 세션에서, 라벨 된 데이터 셋을 학습 데이터로 하여 오프라인 모델이 입력되는 학습 데이터들의 카테고리를 분류하도록 상기 오프라인 모델을 학습하기 위한 명령을 포함하고, 상기 증분 세션에서, 언 라벨 된 데이터 셋을 학습 데이터로 하여 온라인 모델이 입력되는 학습 데이터들의 카테고리를 분류하도록 상기 온라인 모델을 학습하기 위한 명령을 포함하며, 상기 온라인 모델은 상기 오프라인 모델이 증분 세션을 통해 파인 튜닝 되는 모델인, 컴퓨팅 장치.
12. 청구항 11에 있어서, 상기 기본 세션은, 오프라인 학습(Offline Learning) 방식으로 수행되고, 상기 증분 세션은, 온라인 학습(Online Learning) 방식으로 수행되며, 상기 언 라벨 된 데이터 셋에는, 상기 기본 세션에서 학습한 카테고리 이외에 새로운 카테고리에 속하는 데이터들을 포함하는, 컴퓨팅 장치.
13. 청구항 12에 있어서, 상기 온라인 모델을 학습하기 위한 명령은, 언 라벨 된 데이터들을 상기 오프라인 모델에 입력하고, 상기 오프라인 모델에서 출력되는 로짓(logit)을 기초로 상기 언 라벨 된 데이터들에 대한 제1 에너지 스코어를 각각 산출하기 위한 명령; 및 상기 제1 에너지 스코어를 기반으로 상기 언 라벨 된 데이터들을 알려진(known) 카테고리 또는 알려지지 않은(unknown) 카테고리로 분류하기 위한 명령을 포함하는, 컴퓨팅 장치.
14. 청구항 13에 있어서, 상기 분류하기 위한 명령은, 상기 제1 에너지 스코어를 기반으로 상기 언 라벨 된 데이터들을 두 개의 클러스터로 분류하되, 상기 제1 에너지 스코어가 낮은 클러스터에 속하는 데이터는 알려진(known) 카테고리로 분류하고, 상기 제1 에너지 스코어가 높은 클러스터에 속하는 데이터는 알려지지 않은(unknown) 카테고리로 분류하는, 컴퓨팅 장치.
15. 청구항 13에 있어서, 상기 온라인 모델을 학습하기 위한 명령은, 상기 언 라벨 된 데이터들 중 알려지지 않은(unknown) 카테고리로 분류된 데이터들을 상기 온라인 모델에 입력하고, 상기 온라인 모델에서 출력되는 로짓(logit)을 기초로 상기 알려지지 않은 카테고리로 분류된 데이터들에 대한 제2 에너지 스코어를 각각 산출하기 위한 명령; 및 상기 제2 에너지 스코어를 기반으로 상기 알려지지 않은 카테고리로 분류된 데이터들을 관찰된(seen) 데이터 또는 관찰되지 않았던(unseen) 데이터로 분류하기 위한 명령을 더 포함하는, 컴퓨팅 장치.
16. 청구항 12에 있어서, 상기 온라인 모델을 학습하기 위한 명령은, 언 라벨 된 데이터들을 카테고리가 알려진(known) 데이터, 새로운 카테고리에 속하나 관찰된(seen) 데이터, 및 새로운 카테고리에 속하면서 관찰되지 않았던(unseen) 데이터로 분류하기 위한 명령을 포함하는, 컴퓨팅 장치.
17. 청구항 16에 있어서, 상기 온라인 모델을 학습하기 위한 명령은, 상기 카테고리가 알려진 데이터를 상기 오프라인 모델에 입력하여 상기 오프라인 모델이 예측하는 카테고리를 해당 데이터의 의사 라벨로 부여하기 위한 명령; 상기 새로운 카테고리에 속하나 관찰된 데이터를 상기 온라인 모델에 입력하여 상기 온라인 모델이 예측하는 카테고리를 해당 데이터의 의사 라벨로 부여하기 위한 명령; 및 상기 새로운 카테고리에 속하면서 관찰되지 않았던 데이터를 상기 온라인 모델에 입력하여 특징 벡터를 각각 추출하고, 추출한 특징 벡터들의 분산을 산출하며, 추출한 특징 벡터 및 특징 벡터들의 분산에 기초하여 상기 새로운 카테고리에 속하면서 관찰되지 않았던 데이터에 대해 의사 라벨을 부여하기 위한 명령을 더 포함하는, 컴퓨팅 장치.
18. 청구항 17에 있어서, 상기 새로운 카테고리에 속하면서 관찰되지 않았던 데이터에 대해 의사 라벨을 부여하기 위한 명령은, 상기 추출한 특징 벡터 및 특징 벡터들의 분산을 기초로 상기 특징 벡터에 대해 증강 특징 벡터를 생성하기 위한 명령; 및 상기 추출한 특징 벡터와 상기 생성된 증강 특징 벡터들을 대상으로 유사도 기반의 클러스터링을 수행하고, 상기 클러스터링을 기반으로 상기 새로운 카테고리에 속하면서 관찰되지 않았던 데이터에 대해 의사 라벨을 부여하기 위한 명령을 더 포함하는, 컴퓨팅 장치.
19. 청구항 18에 있어서, 상기 온라인 모델을 학습하는 단계는, 새로운 카테고리에 속하는 데이터들을 상기 온라인 모델의 특징 추출기로 입력하여 특징 벡터를 추출하기 위한 명령; 상기 추출한 특징 벡터를 상기 오프라인 모델의 분류기에 입력하고 상기 분류기로부터 출력되는 로짓에 기초하여 상기 기본 세션에서의 에너지 스코어를 산출하기 위한 명령; 상기 추출한 특징 벡터를 상기 온라인 모델의 분류기에 입력하고, 상기 분류기로부터 출력되는 로짓에 기초하여 상기 증분 세션에서의 에너지 스코어를 산출하기 위한 명령; 및 상기 기본 세션에서의 에너지 스코어는 증가되도록 하고, 상기 증분 세션에서의 에너지 스코어는 감소되도록 증분 세션을 수행하기 위한 명령을 더 포함하는, 컴퓨팅 장치.
20. 비일시적 컴퓨터 판독 가능한 저장 매체(non-transitory computer readable storage medium)에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 하나 이상의 명령어들을 포함하고, 기본 세션(base session) 및 증분 세션(incremental session)으로 이루어지는 연속 학습을 수행하되, 상기 명령어들은 하나 이상의 프로세서들을 갖는 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금, 상기 기본 세션에서, 라벨 된 데이터 셋을 학습 데이터로 하여 오프라인 모델이 입력되는 학습 데이터들의 카테고리를 분류하도록 상기 오프라인 모델을 학습하는 단계를 수행하도록 하고, 상기 증분 세션에서, 언 라벨 된 데이터 셋을 학습 데이터로 하여 온라인 모델이 입력되는 학습 데이터들의 카테고리를 분류하도록 상기 온라인 모델을 학습하는 단계를 수행하도록 하며, 상기 온라인 모델은 상기 오프라인 모델이 증분 세션을 통해 파인 튜닝 되는 모델인, 컴퓨터 프로그램.

Description

카테고리 분류를 위한 연속 학습 방법 및 이를 수행하기 위한 컴퓨팅 장치{Continuous learning method for category classification and computing device for performing the same} 본 발명의 실시예는 온라인 연속 학습에 기반한 새로운 클래스 발견을 위한 딥러닝 모델의 학습 기술과 관련된다. 사람은 이전에 경험하지 못한 범주(클래스)에 속한 객체를 이전에 경험한 범주를 기반으로 구별해 낼 수 있다. 한편, 딥 러닝 모델에서 새로운 범주의 발견은 사람의 인지 능력을 모방하여 신경망이 이전에 관측되지 않은 새로운 개념을 기존의 관측한 범주를 기반으로 구별할 수 있도록 학습하는 것을 목적으로 한다. 온라인 연속 학습을 통한 새로운 클래스의 발견은 새로운 클래스의 데이터들에 대해 정답 레이블을 제공하지 않기 때문에 새로운 클래스를 딥 러닝 모델이 발견해야 하는 어려움이 존재하며, 온라인 학습 방식으로 데이터에 제한적으로 접근하기 때문에 학습을 위한 효과적인 의사 레이블 생성에 한계가 존재한다. 또한, 기본 세션(base session)과 증분 세션(incremental session)을 순차적으로 학습하는 과정에서 기본 세션의 지식을 망각하는 파괴적 망각(catastrophic forgetting) 현상이 존재하는 바 이를 해결할 수 있는 기술이 요구된다. 도 1은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도 도 2는 본 발명의 일 실시예에 따른 온라인 연속 학습 기반의 새로운 범주 발견을 위한 학습 과정을 나타낸 도면 도 3은 본 발명의 일 실시예에서 기본 세션 및 증분 세션의 학습 과정을 전체적으로 나타낸 도면 도 4는 본 발명의 일 실시예에서 증분 세션 중 범주 발견 단계(Discovery step)를 나타낸 도면 도 5는 본 발명의 일 실시예에 따른 증분 세션에서 온라인 연속 학습 단계(Online Continual Learning)를 나타낸 도면 도 6은 본 발명의 일 실시예에 따른 카테고리 분류 학습 기법과 종래의 카테고리 분류 학습 기법의 성능을 비교한 그래프 도 7은 본 발명의 일 실시예에 따른 카테고리 분류를 위한 연속 학습 방법을 나타낸 흐름도 이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다. 본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다. 또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다. 도 1은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다. 도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 온라인 연속 학습 기반의 새로운 범주 발견을 위한 학습 장치일 수 있다. 컴퓨팅 장치(12)는 딥 러닝 모델이 새로운 범주(카테고리)를 발견할 수 있도록 연속 학습을 수행하는 장치일 수 있다. 컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다. 컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다. 통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다. 컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다. 도 2는 본 발명의 일 실시예에 따른 온라인 연속 학습 기반의 새로운 범주 발견을 위한 학습 과정을 나타낸 도면이다. 도 2를 참조하면, 새로운 범주 발견을 위한 학습 과정은 기본 세션(base session)과 증분 세션(incremental session)으로 이루어진다. 기본 세션의 학습이 이루어진 후 증분 세션의 학습이 이루어질 수 있다. 기본 세션은 오프라인 학습(Offline Learning)으로 이루어지고, 라벨 된 데이터 셋(Labeled Dataset)을 이용하여 딥 러닝 모델이 입력 데이터들을 라벨에 맞게 구별할 수 있도록 학습하게 된다. 기본 세션의 경우 오프라인 학습으로 진행됨에 따라, 딥 러닝 모델이 주어진 데이터 셋의 모든 데이터에 접근을 하여 학습을 할 수 있다. 증분 세션에서는 온라인 학습(Online Learning)으로 이루어지고, 언 라벨 된 데이터 셋(Unlabeled Dataset)을 이용하여 딥 러닝 모델이 기본 세션에서 학습했던 지식을 기반으로 입력 데이터들을 카테고리에 따라 분류하도록 학습할 수 있다. 즉, 증분 세션에서는 기본 세션에서 학습된 딥 러닝 모델을 언 라벨 된 데이터 셋을 통해 온라인 학습 방식으로 파인 튜닝을 진행하게 된다. 여기서, 증분 세션은 온라인 학습으로 진행됨에 따라, 딥 러닝 모델은 모든 학습 데이터에 접근을 하는 것이 아니라, 학습 때 주어지는 미니 배치 별로 접근을 하게 되고 한번 학습을 한 데이터에는 딥 러닝 모델이 다시 접근하지 못하게 된다. 한편, 증분 세션의 언 라벨 된 데이터 셋(Unlabeled Dataset)에는 기본 세션에서 학습한 카테고리의 데이터들과 함께 새롭게 등장하는 카테고리의 데이터들이 포함된다. 도 3은 본 발명의 일 실시예에서 기본 세션 및 증분 세션의 학습 과정을 전체적으로 나타낸 도면이다. 여기서, 증분 세션은 범주 발견 단계(Discovery step)와 온라인 연속 학습 단계(Online Continual Learning)를 포함할 수 있다. 도 3을 참조하면, 컴퓨팅 장치(12)는 기본 세션에서 딥 러닝 모델을 라벨 된 오프라인 데이터(Labeled Offline Data)를 통해 학습할 수 있다. 일 실시예에서, 딥 러닝 모델은 비전 트랜스포머 모델일 수 있으나, 이에 한정되는 것은 아니며 그 이외의 다양한 분류 모델 또는 객체 검출 모델 등이 사용될 수 있다. 기본 세션에서 딥 러닝 모델은 오프라인 학습으로 학습되기 때문에 오프라인 모델(Offline Model)로 지칭될 수 있다. 딥 러닝 모델은 입력 데이터에서 특징을 추출하는 특징 추출기 및 추출된 특징을 기초로 입력 데이터의 카테고리를 분류하는 분류기를 포함할 수 있다. 컴퓨팅 장치(12)는 기본 세션에서 딥