KR-20260061820-A - METHOD, DEVICE AND PROGRAM FOR SELECTING OPTIMAL SUBSET OF INPUT CONTEXT DATA THROUGH EVALUATION OF THEIR COMBINATIONS AND QUESTION DECOMPOSITION FOR IMPROVED LARGE LANGUAGE MODEL RESPONSES

Abstract

일 실시예에 따른 질문의 분해 및 답변에 대한 평가를 통해 거대 언어 모델로부터 최적의 답변을 획득하는 방법은, 하나 이상의 에피소드를 갖는 대본을 에피소드 별로 요약기에 입력하는 단계; 상기 요약기에서 상기 대본의 줄거리를 생성하는 단계; 상기 대본에 대하여 관계 추출기를 통해 캐릭터 관계도를 생성하는 단계; 상기 캐릭터 관계도로부터 주연 및 조연에 대한 정보를 추출하는 단계; 상기 대본에 대한 평가 질문에 대응되는 하나 이상의 평가 기준을 식별하는 단계; 상기 주연 및 조연에 대한 정보 및 상기 하나 이상의 평가 기준에 기초하여 제1 거대 언어 모델에서 분해된 질문을 생성하는 단계; 상기 평가 질문에 대한 유사도를 통해 결정된 검색된 장면들, 상기 대본의 줄거리, 및 상기 대본에 관련된 기획안 중 적어도 하나를 포함하는 조합 및 상기 분해된 질문에 기초하여 제2 거대 언어 모델에서 후보 답변들을 생성하는 단계; 및 상기 후보 답변들 중 미리 정해준 기준에 의해 결정되는 스코어가 가장 높은 답변을 최종 답변으로 결정하는 단계를 수행할 수 있다.

Inventors

• 박세운
• 김병학
• 신동일
• 정연석
• 김현탁

Assignees

• 씨제이올리브네트웍스 주식회사

Dates

Publication Date

20260506

Application Date

20241028

Claims (15)

1. 질문의 분해 및 답변에 대한 평가를 통해 거대 언어 모델로부터 최적의 답변을 획득하는 장치가 수행하는 방법에 있어서, 상기 장치의 제어부가, 하나 이상의 에피소드를 갖는 대본을 에피소드 별로 요약기에 입력하는 단계; 상기 요약기에서 상기 대본의 줄거리를 생성하는 단계; 상기 대본에 대하여 관계 추출기를 통해 캐릭터 관계도를 생성하는 단계; 상기 캐릭터 관계도로부터 주연 및 조연에 대한 정보를 추출하는 단계; 상기 대본에 대한 평가 질문에 대응되는 하나 이상의 평가 기준을 식별하는 단계; 상기 주연 및 조연에 대한 정보 및 상기 하나 이상의 평가 기준에 기초하여제1 거대 언어 모델에서 분해된 질문을 생성하는 단계; 상기 평가 질문에 대한 유사도를 통해 결정된 검색된 장면들, 상기 대본의 줄거리, 및 상기 대본에 관련된 기획안 중 적어도 하나를 포함하는 조합 및 상기 분해된 질문에 기초하여 제2 거대 언어 모델에서 후보 답변들을 생성하는 단계; 및 상기 후보 답변들 중 미리 정해준 기준에 의해 결정되는 스코어가 가장 높은 답변을 최종 답변으로 결정하는 단계 를 수행하는, 거대 언어 모델이 최적의 답변을 획득하는 방법.
2. 청구항 1에 있어서, 상기 제어부는, 상기 제1 거대 언어 모델에서 상기 분해된 질문을 생성하기 전에, 서로 다른 압축률로 압축된 테스트 대본에 대한 특정 질문에 대한 답변의 품질에 근거하여 상기 제1 거대 언어 모델에 대한 최적의 압축률을 결정하는 단계; 상기 제1 거대 언어 모델에 대하여 상기 최적의 압축률로 압축된 훈련 데이터를 이용하여 미세 조정을 수행하는 단계; 및 상기 제1 거대 언어 모델에 대하여 라벨링된 선호셋을 이용하여 추가 학습을 수행하는 단계 를 더 수행하는, 거대 언어 모델이 최적의 답변을 획득하는 방법.
3. 청구항 1에 있어서, 상기 제어부는, 상기 제2 거대 언어 모델에서 상기 후보 답변들을 생성하기 전에, 서로 다른 압축률로 압축된 테스트 대본에 대한 특정 질문에 대한 답변의 품질에 근거하여 상기 제2 거대 언어 모델에 대한 최적의 압축률을 결정하는 단계; 상기 제2 거대 언어 모델에 대하여 상기 최적의 압축률로 압축된 훈련 데이터를 이용하여 미세 조정을 수행하는 단계; 및 상기 제2 거대 언어 모델에 대하여 라벨링된 선호셋을 이용하여 추가 학습을 수행하는 단계 를 더 수행하는, 거대 언어 모델이 최적의 답변을 획득하는 방법.
4. 청구항 1에 있어서, 상기 대본에 대하여 관계 추출기를 통해 캐릭터 관계도를 생성하는 단계는, 상기 대본의 상기 하나 이상의 에피소드를 연결하는 단계; 상기 연결된 대본에 대해 미리 정해진 글자수를 단위로 하여 조각화를 수행하는 단계; 상기 각각의 조각에 대해 관계 추출기를 통해 트리플 리스트를 생성하는 단계; 및 상기 생성된 트리플 리스트를 지식 그래프 빌더에 입력하여 캐릭터 관계도를 생성하는 단계 를 포함하는, 거대 언어 모델이 최적의 답변을 획득하는 방법.
5. 청구항 1에 있어서, 상기 분해된 질문은, 상기 주연 및 조연에 대한 정보 및 상기 하나 이상의 평가 기준과 더불어, 상기 대본의 줄거리 및 상기 기획안에 기초하여 생성되는, 거대 언어 모델이 최적의 답변을 획득하는 방법.
6. 청구항 1에 있어서, 상기 후보 답변들은, 상기 조합 및 상기 분해된 질문과 더불어, 제3 거대 언어 모델의 상기 평가 질문에 대한 답변에 기초하여 생성되는, 거대 언어 모델이 최적의 답변을 획득하는 방법.
7. 청구항 1에 있어서, 상기 미리 정해진 기준은, 답변의 품질 및 답변의 사실성 중의 적어도 하나를 포함하는, 거대 언어 모델이 최적의 답변을 획득하는 방법.
8. 질문의 분해 및 답변에 대한 평가를 통해 거대 언어 모델로부터 최적의 답변을 획득하는 장치에 있어서, 상기 장치의 제어부가, 하나 이상의 에피소드를 갖는 대본을 에피소드 별로 요약기에 입력하고; 상기 요약기에서 상기 대본의 줄거리를 생성하고; 상기 대본에 대하여 관계 추출기를 통해 캐릭터 관계도를 생성하고; 상기 캐릭터 관계도로부터 주연 및 조연에 대한 정보를 추출하고; 상기 대본에 대한 평가 질문에 대응되는 하나 이상의 평가 기준을 식별하고; 상기 주연 및 조연에 대한 정보 및 상기 하나 이상의 평가 기준에 기초하여 제1 거대 언어 모델에서 분해된 질문을 생성하고; 상기 평가 질문에 대한 유사도를 통해 결정된 검색된 장면들, 상기 대본의 줄거리, 및 상기 대본에 관련된 기획안 중 적어도 하나를 포함하는 조합 및 상기 분해된 질문에 기초하여 제2 거대 언어 모델에서 후보 답변들을 생성하고; 상기 후보 답변들 중 미리 정해준 기준에 의해 결정되는 스코어가 가장 높은 답변을 최종 답변으로 결정하는, 거대 언어 모델이 최적의 답변을 획득하는 장치.
9. 청구항 8에 있어서, 상기 제어부는, 상기 제1 거대 언어 모델에서 상기 분해된 질문을 생성하기 전에, 서로 다른 압축률로 압축된 테스트 대본에 대한 특정 질문에 대한 답변의 품질에 근거하여 상기 제1 거대 언어 모델에 대한 최적의 압축률을 결정하고; 상기 제1 거대 언어 모델에 대하여 상기 최적의 압축률로 압축된 훈련 데이터를 이용하여 미세 조정을 수행하고; 상기 제1 거대 언어 모델에 대하여 라벨링된 선호셋을 이용하여 추가 학습을 수행하는, 거대 언어 모델이 최적의 답변을 획득하는 장치.
10. 청구항 8에 있어서, 상기 제어부는, 상기 제2 거대 언어 모델에서 상기 후보 답변들을 생성하기 전에, 서로 다른 압축률로 압축된 테스트 대본에 대한 특정 질문에 대한 답변의 품질에 근거하여 상기 제2 거대 언어 모델에 대한 최적의 압축률을 결정하고; 상기 제2 거대 언어 모델에 대하여 상기 최적의 압축률로 압축된 훈련 데이터를 이용하여 미세 조정을 수행하고; 및 상기 제2 거대 언어 모델에 대하여 라벨링된 선호셋을 이용하여 추가 학습을 수행하는, 거대 언어 모델이 최적의 답변을 획득하는 장치.
11. 청구항 8에 있어서, 상기 제어부가, 상기 대본에 대하여 관계 추출기를 통해 캐릭터 관계도를 생성하는 것은, 상기 대본의 상기 하나 이상의 에피소드를 연결하고; 상기 연결된 대본에 대해 미리 정해진 글자수를 단위로 하여 조각화를 수행하고; 상기 각각의 조각에 대해 관계 추출기를 통해 트리플 리스트를 생성하고, 상기 생성된 트리플 리스트를 지식 그래프 빌더에 입력하여 캐릭터 관계도를 생성하는 것을 포함하는, 거대 언어 모델이 최적의 답변을 획득하는 장치.
12. 청구항 8에 있어서, 상기 분해된 질문은, 상기 주연 및 조연에 대한 정보 및 상기 하나 이상의 평가 기준과 더불어, 상기 대본의 줄거리 및 상기 기획안에 기초하여 생성되는, 거대 언어 모델이 최적의 답변을 획득하는 장치.
13. 청구항 8에 있어서, 상기 후보 답변들은, 상기 조합 및 상기 분해된 질문과 더불어, 제3 거대 언어 모델의 상기 평가 질문에 대한 답변에 기초하여 생성되는, 거대 언어 모델이 최적의 답변을 획득하는 장치.
14. 청구항 8에 있어서, 상기 미리 정해진 기준은, 답변의 품질 및 답변의 사실성 중의 적어도 하나를 포함하는, 거대 언어 모델이 최적의 답변을 획득하는 장치.
15. 질문의 분해 및 답변에 대한 평가를 통해 거대 언어 모델로부터 최적의 답변을 획득하기 위한, 기록매체에 저장된 프로그램에 있어서, 상기 프로그램은, 하나 이상의 에피소드를 갖는 대본을 에피소드 별로 요약기에 입력하는 동작; 상기 요약기에서 상기 대본의 줄거리를 생성하는 동작; 상기 대본에 대하여 관계 추출기를 통해 캐릭터 관계도를 생성하는 동작; 상기 캐릭터 관계도로부터 주연 및 조연에 대한 정보를 추출하는 동작; 상기 대본에 대한 평가 질문에 대응되는 하나 이상의 평가 기준을 식별하는 동작; 상기 주연 및 조연에 대한 정보 및 상기 하나 이상의 평가 기준에 기초하여 제1 거대 언어 모델에서 분해된 질문을 생성하는 동작; 상기 평가 질문에 대한 유사도를 통해 결정된 검색된 장면들, 상기 대본의 줄거리, 및 상기 대본에 관련된 기획안 중 적어도 하나를 포함하는 조합 및 상기 분해된 질문에 기초하여 제2 거대 언어 모델에서 후보 답변들을 생성하는 동작; 및 상기 후보 답변들 중 미리 정해준 기준에 의해 결정되는 스코어가 가장 높은 답변을 최종 답변으로 결정하는 동작을 컴퓨터에 실행시키는, 기록매체에 저장된 프로그램.

Description

향상된 거대 언어 모델 응답을 위한 입력 문맥 데이터 조합의 평가와 질문의 분해를 통한 최적 부분 집합을 선택하는 방법, 장치, 및 프로그램{METHOD, DEVICE AND PROGRAM FOR SELECTING OPTIMAL SUBSET OF INPUT CONTEXT DATA THROUGH EVALUATION OF THEIR COMBINATIONS AND QUESTION DECOMPOSITION FOR IMPROVED LARGE LANGUAGE MODEL RESPONSES} 본 발명은 향상된 거대 언어 모델 응답을 위한 입력된 문맥(context) 데이터 조합의 평가와 질문의 분해를 통한 문맥 데이터의 최적 부분 집합의 선택 방법, 장치, 및 프로그램에 관한 것이다. 또한, 본 발명은 질문의 분해 및 답변에 대한 평가를 통해 거대 언어 모델이 최적의 답변을 획득하는 방법, 장치, 및 프로그램에 관한 것이다. 대규모(거대) 언어 모델(Large Language Model, LLM)은 주어진 프롬프트에 대해 인간과 유사한 응답을 생성하기 위해 방대한 양의 텍스트 데이터로 훈련된 인공지능 모델이다. LLM은 기존의 머신러닝 모델과는 달리, 인간의 언어를 이해하고, 사용자로부터 제공받은 지시사항에 따라 인간과 유사하게 작업을 수행하는 능력을 갖추고 있다. 이는 기계학습 알고리즘을 통해 구현되며, 텍스트 형태의 입력을 통해 사용자의 의도를 파악하고 적절한 반응을 생성한다. LLM에 텍스트를 제공하는 것을 프롬프트(Prompt)라고 한다. 프롬프트는 사용자의 지시사항, 질문, 요청 등이 될 수 있으며, 모델이 이를 해석하고 처리해 원하는 출력을 얻게 된다. 키워드 서치는 실제로 요구하는 것을 쿼리를 통해 전달하기 어려운 경우가 많으며, 이를 보완하기 위하여 의미론적 서치(semantic search)를 수행할 수 있다. LLM은 의미론적 서치의 주요 방법인 밀집 검색(dense retrieval) 및 재정렬(reranking)을 가능하게 한다. 주어진 질문(query)으로부터 문서를 찾아내는 리트리버(retriever)는 정보 검색에 사용될 수 있으며, 희소 리트리버(sparse retriever)와 밀집 리트리버(dense retriever)로 나눌 수 있다. 희소 리트리버는 단어의 빈도를 기반으로 문서의 관련성을 평가하며, 전통적인 검색 엔진에서 많이 사용된다. 반면에 밀집 리트리버는 문서와 질문을 벡터로 변환한 후, 이 벡터들 간의 유사도를 계산하는 방식으로 작동한다. 밀집 리트리버는 임베딩 기법을 사용하여 단어의 의미적 유사성을 더 잘 반영하며, 코사인 유사도와 같은 수학적 기법을 통해 질문과 문서 간의 적합도 점수를 계산한다. 이러한 기법은 대규모 문서 집합에서 사용자가 원하는 정보를 빠르게 찾을 수 있도록 도와준다. 밀집 검색이 쿼리와 유사한 문서를 검색하기 위해 사용하는 텍스트 임베딩은 각 텍스트에 벡터(긴 숫자 목록)를 할당하는 것이다. 임베딩의 주요 속성 중 하나는 유사한 텍스트 조각(chunk)이 유사한 벡터로 이동한다는 것이다. 밀집 검색은, 쿼리에 대응하는 임베딩 벡터를 찾고, 각 응답에 대응하는 임베딩 벡터들을 찾고, 임베딩의 쿼리 벡터에 가장 가까운 응답 벡터를 검색(retrieve)하는 과정을 거친다. 지식 그래프(Knowledge Graph, KG)란 정보나 지식을 노드(점)과 엣지(선)로 연결하여 표현한 그래프이다. 지식 그래프는 LLM의 사전학습단계나 추론 단계에 통합되어 외부 지식을 제공할 수도 있고, LLM을 분석하고 해석을 제공하는 데에도 사용될 수 있다. 반대로 LLM을 사용하여 지식 그래프의 완성도를 더 높이는 것도 가능하다. 도 1은 일 실시예에 따른 답변 획득 장치의 구성을 나타낸다. 도 2는 일 실시예에 따른 긴 글 처리를 위한 거대 언어 모델의 학습 과정을 도시한다. 도 3은 일 실시예에 따른 요약기의 동작 과정을 나타낸다. 도 4는 일 실시예에 따른 대본으로부터 주연 및 조연을 추출하는 과정을 나타낸다. 도 5는 일 실시예에 따른 분해된 쿼리를 생성하는 과정을 나타낸다. 도 6은 일 실시예에 따른 조합된 입력에 대하여 답변을 생성하는 과정을 나타낸다. 도 7은 일 실시예에 따라 최종 답변을 획득하는 과정을 나타낸다. 도 8은 일 실시예에 따른 답변 획득 시스템의 구성도를 나타낸다. 도 9는 일 실시예에 따른 질문의 분해 및 답변에 대한 평가를 통해 거대 언어 모델로부터 최적의 답변을 획득하는 장치가 수행하는 방법의 흐름도를 나타낸다. 이하, 본 개시의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성 요소들에 참조부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면 상에 표시되더라도 가능한 한 동일한 부호를 가질 수 있다. 또한, 본 실시예들을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 기술 사상의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다. 본 명세서 상에서 언급된 "포함한다", "갖는다", "이루어진다" 등이 사용되는 경우 "~만"이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성 요소를 단수로 표현한 경우에 특별한 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함할 수 있다. 또한, 본 개시의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질, 차례, 순서 또는 개수 등이 한정되지 않는다. 구성 요소들의 위치 관계에 대한 설명에 있어서, 둘 이상의 구성 요소가 "연결", "결합" 또는 "접속" 등이 된다고 기재된 경우, 둘 이상의 구성 요소가 직접적으로 "연결", "결합" 또는 "접속" 될 수 있지만, 둘 이상의 구성 요소와 다른 구성 요소가 더 "개재"되어 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다. 여기서, 다른 구성 요소는 서로 "연결", "결합" 또는 "접속" 되는 둘 이상의 구성 요소 중 하나 이상에 포함될 수도 있다. 구성 요소들이나, 동작 방법이나 제작 방법 등과 관련한 시간적 흐름 관계에 대한 설명에 있어서, 예를 들어, "~후에", "~에 이어서", "~다음에", "~전에" 등으로 시간적 선후 관계 또는 흐름적 선후 관계가 설명되는 경우, "바로" 또는 "직접"이 사용되지 않는 이상 연속적이지 않은 경우도 포함할 수 있다. 한편, 구성 요소에 대한 수치 또는 그 대응 정보가 언급된 경우, 별도의 명시적 기재가 없더라도, 수치 또는 그 대응 정보는 각종 요인에 의해 발생할 수 있는 오차 범위를 포함하는 것으로 해석될 수 있다. 본 발명의 다양한 실시예에서, 문맥 데이터는 대본을 포함할 수 있다. 본 발명의 다양한 실시예에서, 대본은 드라마의 대본인 것으로 예시되어 있으나, 대본의 용도가 드라마에 한정되는 것은 아니며, 영화 또는 연극 등에 이용되는 대본 또는 다른 텍스트 컨텐츠에도 본 발명의 다양한 실시예가 적용될 수 있다. 본 발명의 다양한 실시예에서, 최적의 답변은 최종 답변 또는 답변으로 칭할 수 있다. 도 1은 일 실시예에 따른 답변 획득 장치의 구성을 나타낸다. 도 1의 답변 획득 장치는 제어부(110), 표시부(120), 통신부(130), 및 저장부(140)를 포함하고 있다. 제어부(110)는 답변 획득 장치의 전반적인 제어 기능을 수행하고, 다른 부들을 제어할 수 있다. 제어부(110)는 예를 들어 프로세서(CPU 또는 GPU) 또는 엔진일 수 있다. 본 개시의 다양한 실시예에서 제어부(110)는 외부 장치(예를 들어 서버)에 위치할 수도 있다. 제어부(110)는 저장부(140)에 저장된 프로그램 및 데이터를 이용하여 답변 획득 장치의 다양한 동작을 수행할 수 있다. 본 발명의 다양한 실시예에서 제어부(110)는, 하나 이상의 대규모 언어 모델을 포함할 수도 있고, 하나 이상의 대규모 언어 모델을 호출할 수도 있다. 표시부(display unit)(120)는 제어부(110)의 제어에 의해, 저장부(140)에 저장된 사용자 인터페이스 및/또는 그래픽 사용자 인터페이스를 이용하여 다양한 콘텐츠를 표시할 수 있다. 여기서, 표시부(120)에 표시되는 콘텐츠는 다양한 텍스트 또는 이미지 데이터(각종 정보 데이터 포함)와 아이콘, 리스트 메뉴, 콤보 박스 등의 데이터를 포함하는 메뉴 화면 등을 포함할 수 있다. 또한, 표시부(120)는 터치 스크린일 수 있다. 표시부(120)는 액정 디스플레이(Liquid Crystal Display: LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display: TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode: OLED), 플렉시블 디스플레이(Flexible Display), 3차원 디스플레이(3D Display), 전자잉크 디스플레이(e-ink display) 등이 포함될 수 있으며, 표시부(120)에 사용되는 기술이 상기 예시된 것에 한정되는 것은 아니다. 통신부(130)는 유/무선 통신망을 통해 내부의 임의의 구성 요소 또는 외부의 임의의 적어도 하나의 장치와 통신 연결할 수 있다. 여기서, 무선 인터넷 기술로는 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS), 5G 이동통신 서비스, 블루투스 (Bluetooth), RFID(Radio Fr