Search

KR-20260060787-A - METHOD FOR SEMANTIC INFORMATION COMPRESSION USING ATTENTION AS A DISTACNE METRIC

KR20260060787AKR 20260060787 AKR20260060787 AKR 20260060787AKR-20260060787-A

Abstract

본 개시의 실시예에 따른 어텐션 값을 거리 지표로 활용한 시맨틱 정보 압축 장치는, 제1 입력 데이터를 입력받고, 제1 입력 데이터와 유사한 적어도 하나의 제2 입력 데이터를 입력받는 입력부, 제1 입력 데이터와 제2 입력 데이터 사이의 거리 지표 데이터를 산출하고, 제1 입력 데이터 또는 제2 입력 데이터와, 거리 지표 데이터를 압축한 압축 데이터를 획득하는 제어부 및 압축 데이터를 외부의 수신 장치로 전송하는 통신부를 포함한다.

Inventors

  • 김근영
  • 김진경

Assignees

  • 한국전자통신연구원

Dates

Publication Date
20260506
Application Date
20241025

Claims (14)

  1. 어텐션 값을 거리 지표로 활용한 시맨틱 정보 압축 방법에 있어서, 제1 입력 데이터를 입력받는 단계; 상기 제1 입력 데이터와 유사한 적어도 하나의 제2 입력 데이터를 입력받는 단계; 상기 제1 입력 데이터와 상기 제2 입력 데이터 사이의 거리 지표 데이터를 산출하는 단계; 상기 제1 입력 데이터 또는 상기 제2 입력 데이터와, 상기 거리 지표 데이터를 압축한 압축 데이터를 획득하는 단계; 및 상기 압축 데이터를 외부의 수신 장치로 전송하는 단계를 포함하는, 방법.
  2. 제1항에 있어서, 상기 거리 지표 데이터를 산출하는 단계는, 상기 제1 입력 데이터와 상기 제2 입력 데이터 사이의 유사도 값을 획득하는 단계, 및 상기 유사도 값에 기반하여 상기 제1 입력 데이터와 상기 제2 입력 데이터 사이의 거리 지표 데이터를 산출하는 단계를 포함하는, 방법.
  3. 제2항에 있어서, 상기 유사도 값을 획득하는 단계는, 트랜스포머의 어텐션 매커니즘(Transformer Attention Mechanism)을 포함하는 어텐션 매커니즘에 기반하여 상기 유사도 값을 획득하는 단계를 포함하는, 방법.
  4. 제3항에 있어서, 상기 거리 지표 데이터를 산출하는 단계는, 상기 유사도 값을 미리 설정된 감소함수에 입력하여 그 출력으로서 상기 거리 지표 데이터를 산출하는 단계를 포함하는, 방법.
  5. 제1항에 있어서, 상기 압축 데이터를 획득하는 단계는, 상기 제2 입력 데이터와 상기 거리 지표 데이터를 함께 압축하는 단계를 포함하는, 방법.
  6. 제5항에 있어서, 상기 제2 입력 데이터와 상기 거리 지표 데이터를 함께 압축하는 단계는, 상기 제2 입력 데이터 내의 부분 데이터 중 상기 제1 입력 데이터 내의 부분 데이터와의 거리 지표값이 임계값 이하인 요소 데이터를 도출하는 단계, 및 상기 도출된 요소 데이터와 상기 거리 지표 데이터를 압축하는 단계를 포함하는, 방법.
  7. 제1항에 있어서, 상기 압축 데이터를 획득하는 단계는, 상기 적어도 하나의 제2 입력 데이터들 중 상기 제1 입력 데이터와의 거리 지표 값이 가장 작은 하나의 제2 입력 데이터를 선택하는 단계, 및 상기 선택된 하나의 제2 입력 데이터와 상기 거리 지표 데이터를 함께 압축하는 단계를 포함하는, 방법.
  8. 어텐션 값을 거리 지표로 활용한 시맨틱 정보 압축 장치에 있어서, 제1 입력 데이터를 입력받고, 상기 제1 입력 데이터와 유사한 적어도 하나의 제2 입력 데이터를 입력받는 입력부; 상기 제1 입력 데이터와 상기 제2 입력 데이터 사이의 거리 지표 데이터를 산출하고, 상기 제1 입력 데이터 또는 상기 제2 입력 데이터와, 상기 거리 지표 데이터를 압축한 압축 데이터를 획득하는 제어부; 및 상기 압축 데이터를 외부의 수신 장치로 전송하는 통신부를 포함하는, 시맨틱 정보 압축 장치.
  9. 제8항에 있어서, 상기 제어부는, 상기 거리 지표 데이터를 산출함에 있어서, 상기 제1 입력 데이터와 상기 제2 입력 데이터 사이의 유사도 값을 획득하고, 상기 유사도 값에 기반하여 상기 제1 입력 데이터와 상기 제2 입력 데이터 사이의 거리 지표 데이터를 산출하는 것을 특징으로 하는, 시맨틱 정보 압축 장치.
  10. 제9항에 있어서, 상기 제어부는, 상기 유사도 값을 획득함에 있어서, 트랜스포머의 어텐션 매커니즘(Transformer Attention Mechanism)을 포함하는 어텐션 매커니즘에 기반하여 상기 유사도 값을 획득하는 것을 특징으로 하는, 시맨틱 정보 압축 장치.
  11. 제10항에 있어서, 상기 제어부는, 상기 거리 지표 데이터를 산출함에 있어서, 상기 유사도 값을 미리 설정된 감소함수에 입력하여 그 출력으로서 상기 거리 지표 데이터를 산출하는 것을 특징으로 하는, 시맨틱 정보 압축 장치.
  12. 제8항에 있어서, 상기 제어부는, 상기 압축 데이터를 획득함에 있어서, 상기 제2 입력 데이터와 상기 거리 지표 데이터를 함께 압축하는 것을 특징으로 하는, 시맨틱 정보 압축 장치.
  13. 제12항에 있어서, 상기 제어부는, 상기 제2 입력 데이터와 상기 거리 지표 데이터를 함께 압축함에 있어서, 상기 제2 입력 데이터 내의 부분 데이터 중 상기 제1 입력 데이터 내의 부분 데이터와의 거리 지표값이 임계값 이하인 요소 데이터를 도출하고, 상기 도출된 요소 데이터와 상기 거리 지표 데이터를 압축하는 것을 특징으로 하는, 시맨틱 정보 압축 장치.
  14. 제8항에 있어서, 상기 제어부는, 상기 압축 데이터를 획득함에 있어서, 상기 적어도 하나의 제2 입력 데이터들 중 상기 제1 입력 데이터와의 거리 지표 값이 가장 작은 하나의 제2 입력 데이터를 선택하고, 상기 선택된 하나의 제2 입력 데이터와 상기 거리 지표 데이터를 함께 압축하는 것을 특징으로 하는, 시맨틱 정보 압축 장치.

Description

어텐션 값을 거리 지표로 활용한 시맨틱 정보 압축 방법 및 장치{METHOD FOR SEMANTIC INFORMATION COMPRESSION USING ATTENTION AS A DISTACNE METRIC} 본 개시는 시맨틱 정보 압축 방법에 관한 것으로서, 보다 구체적으로는 어텐션 값을 거리 지표로서 활용한 압축 방법 및 장치에 관한 것이다. 기존의 통신 방식은 오류없이 정확하고 빠르게 정보를 전송하는 것이 목표이다. 이와 달리, 시맨틱 통신은 인공 지능을 활용하여 임무에 따른 의미를 추출하고, 의미 변화가 없이 전달하는 전달하는 것이 목표이다. 즉, 기존의 패러다임인 정확한 비트를 전송하는 목적보다, 데이터 내 중요한 부분에 대한 의미를 전달하는 것을 추구하는 통신 패러다임으로 전환되는 기술로 정의할 수 있다. 이를 통해 전송 데이터 양을 대폭 감소시킬 수 있으며, 임무의 효율적 완수가 가능하다. 시맨틱 통신을 위해서는, 오류없이 데이터를 압축하는 것이 아닌, 의미 중심으로 데이터를 압축하는 방식이 필요하다. 정보이론에서 제시된 레이트 왜곡 이론(rate distortion theory)는 일정 부분 오류를 허용하면서 데이터를 압축하는 최대 한계 및 이를 달성하기 위한 이론적인 방안을 제시하고 있다. 다만, 레이트 왜곡 이론에서 제시하는 사항은 데이터가 bit로 정형화되어 있고, 데이터 간 거리(distance) 또는 오류가 수학적으로 엄밀히 정의된 경우에 한정되며, 데이터가 정규분포 등과 같이 일부 한정된 분포를 따를 경우에만 압축 한계와 이를 달성하기 위한 방안을 구할 수 있다. 도 1은 종래 기술에 따라 데이터의 의미와 무관하게 인덱스를 전송하고 수신하여 복원하는 방식을 도시한다. 도 2는 종래 기술의 통신 기술과 본 개시의 시맨틱 통신 기술을 비교한 도면이다. 도 3은 본 개시에 따라 이미지를 송수신하는 과정을 도시한다. 도 4는 본 개시의 활용예 중 하나를 도시한다. 도 5는 본 개시에 따라 복수의 단말이 임무를 수행하는 과정을 도시한다. 도 6은 레이트 왜곡 이론에서 활용되는 압축 프로세스를 도시한다. 도 7은 본 개시에서 이용되는 알고리즘의 하나인 트랜스포머의 프로세스를 도시한다. 도 8은 비주얼 어텐션 방식을 도시한다. 도 9는 본 개시에 따른 시맨틱 정보 압축 방법을 나타낸 흐름도이다. 도 10은 본 개시에 따른 시맨틱 정보 압축 장치를 도시한 블록도이다. 도 11은 본 개시에서 두 데이터 X, Y 사이의 거리를 계산하는 과정을 도시한다. 도 12는 본 개시에서 압축 데이터 Z를 획득하는 과정의 하나의 예를 도시한다. 도 13은 본 개시에서 압축 데이터 Z를 획득하는 과정의 다른 하나의 예를 도시한다. [본 명세서의 용어 설명] 이하에서 설명되는 모든 실시 예들은 본 개시의 이해를 돕기 위해 예시적으로 나타낸 것이며, 여기에 설명된 실시 예들과 다르게 변형되어 다양한 실시 형태로 실시될 수 있다. 또한, 본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 공지 구성요소에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 구체적인 설명은 생략하도록 한다. 첨부된 도면은 개시의 이해를 돕기 위해서 실제 축척대로 도시된 것이 아니라 일부 구성요소의 치수가 과장되게 도시될 수 있으며, 각 구성요소들에 참조번호를 기재할 때, 동일한 구성요소들에 대해서는 다른 도면에 표시되더라도 가능한 한 동일한 부호로 표시하였다. 또한, 본 개시의 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 '연결', '결합' 또는 '접속'된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결, 결합 또는 접속될 수 있지만, 그 구성 요소와 그 다른 구성요소 사이에 또 다른 구성 요소가 '연결', '결합' 또는 '접속'될 수도 있다고 이해되어야 할 것이다. 따라서, 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 개시의 가장 바람직한 실시 예에 불과할 뿐이고 본 개시의 기술적 사상을 모두 대변하는 것은 아니므로, 본 개시에 대한 다양한 변형 실시 예들이 있을 수 있다. 그리고, 본 명세서 및 청구범위에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정되어서는 안되며, 발명자는 그 자신의 개시를 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 개시의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 또한, 본 출원에서 사용된 단수의 표현은 문맥상 명백히 다른 것을 뜻하지 않는 한, 복수의 표현을 포함한다. [본 개시의 시맨틱 통신] 기존의 정보이론 중에서도, 새논의 정보이론에 기반한 현 통신 방식은 잡음 채널채널에서 오류없이 정확하고 빠르게 비트를 전송하는 것이 목표이다. 즉, 데이터가 가진 의미와는 상관없이 데이터를 인덱스에 대응시키고, 송신기는 이 인덱스를 전송하고, 수신기는 인덱스에 해당하는 원본 데이터를 복원하는 방식이 종래의 통신 시스템의 근간이다. 도 1은 종래 기술에 따라 데이터의 의미와 무관하게 인덱스를 전송하고 수신하여 복원하는 방식을 도시한다. 도 1에 도시된 바와 같이, 고호와 피카소 그림을 전송하는 방식(100)을 설명하면, 예를 들면, 데이터가 가진 의미와 상관없이 고호 그림을 인덱스 0, 피카소 그림을 인덱스 1에 대응시키고, 이 인덱스를 송수신할 수 있다. 상기한 도 1의 종래의 통신 시스템은 오류없이 전송 데이터를 향상시키는 방향이 발전이 이루어져 왔다. 다만, 종래의 통신 시스템과 같이 데이터의 의미를 무시하고 전송하는 것보다 데이터의 의미를 파악하고, 이를 고려하여 전송한다면 이점을 얻을 수 있다. 도 2는 종래 기술의 통신 기술과 본 개시의 시맨틱 통신 기술을 비교한 도면이다. 도 2에 도시된 바와 같이, 예를 들면, 특정 이미지 내의 데이터를 확인하고 고양이인지 아닌지 분류하는 임무가 주어진 시스템에서는, 고양이가 포함된 이미지의 배경은 무시하면서, 고양이와 관련된 이미지 부분만을 전송하여 보낼 수 있으며, 이로써 송수신되는 데이터의 양을 대폭 감소시킬 수 있다. 도 3은 본 개시에 따라 이미지를 송수신하는 과정을 도시한다. 도 3에 도시된 바와 같이, 본 개시에 따라서 저화질 이미지에서 초고화질 이미지 복원이 가능한 인공지능 기술을 이용하면, 단말의 능력을 반영하여 임무 수행에 필요한 데이터 만큼만 적은 전달해도 된다. 도 4는 본 개시의 활용예 중 하나를 도시한다. 도 4에 도시된 바와 같이, 인공지능 기술은 월등하게 발전되고 있으며, 텍스트를 통한 이미지 및 영상 생성도 가능하다. 또한, 텍스트, 음성, 이미지 등 다양한 종류의 데이터 처리도 가능하다. 도 5는 본 개시에 따라 복수의 단말이 임무를 수행하는 과정을 도시한다. 도 5에 도시된 바와 같이, 제한된 성능을 가지는 복수의 단말이 협력하여 임무를 수행하는 상황에서는, 단말의 제한된 성능 및 제한된 대역폭을 고려하여 의미를 전달하여야 한다. 기존의 통신 시스템은 비트오류율, 전송률 향상을 목표로 구현 복잡도를 해결하고 최적화를 통한 발전을 이루어져 왔다. 다만, 본 개시의 경우와 같이, 임무에 맞게 데이터의 의미를 파악하고 데이터를 전송하면, 기존 통신 시스템 대비 임무성공률 향상을 목표로 성능 저하 없이 대역폭 및 지연을 대폭 감소할 수 있다. 또한, 본 개시에 의하면, 의미 추론이 가능한 범위까지 오류를 허용하는 등 새로운 통신 시스템 구현이 가능하다. 한편, 비트를 오류없이 정확하게 전송하는 현재 통신 시스템에서 탈피하여, 임무에 따른 데이터의 적절성, 위급성, 효용성에 따른 의미를 성공적으로 전달하는 통신 패러다임을 전환하는 시맨틱 통신은 6G 관련 임무를 수행하는 미국의 Next G Alliance, 유럽의 Hexa-X 등 주요 연구 그룹에서 주요한 기술로 다루고 있다. [본 개시에서 메트릭 공간(metric space)에서 정의되는 거리(distance)] 한편, 수학에서 정의된 두 데이터 간 차이, 즉, 거리(distance, d(x,y))는 하기의 수학식 1의 조건을 만족해야 한다. 다양한 분야에서 활용하는 거리(distance) 지표는 데이터 전송 혹은 데이터 압축 관점에서는 두 데이터 간 오류를 의미하는 값으로 해석할 수 있다. [본 개시와 관련된 정보이론 레이트 왜곡 이론(Rate distortion theory)] 정보이론에서는 랜덤 변수(X)가 가진 모호성을 하기 수학식 2를 이용하여 엔트로피로 수치화될 수 있다. 상기와 같이 수학식 2를 통해 수치화된 엔트로피 값은 데이터의 발생 확률에 따라 정의된다. 데이터가 가지는 모호성을 데이터가 가진 의미가 아닌 데이터가 발생할 확률로 정의할 경우, 확률 1 혹은 0으로 발생되는 이진 데이터는 엔트로피가 0이 되고, 확률 1/2로 발생하는 이진 데이터는 엔트로피가 1이 될 수 있다. 상기와 같은 엔트로피 값은 이진 데이터가 가지는 모호성을 구분하기 위해 필요한 비트수로 해석할 수 있다. 이산 데이터에 대한 엔트로피는 데이터가 가진 자체 값이 아닌 확률 값에 의해 정해지므로, 데이터의 의미와 상관없이 정해지는 값이다. 또한, 정보이론에서는 두 랜덤 변수(X, Y) 간 관계를 하기의 수학식 3과 같은 상호 정보(mutual information)로 수치화될 수 있다. 상호 정보(Mutual information)는 한 랜덤 변수(Y 혹은 X)의 정보를 파악하여 다른 랜덤 변수(X 혹은 Y)에서 감소된 모호성을 의미할 수 있다. 또한, 상호 정보는 채널 코딩 측면에서는 한 랜덤 변수를 통해 오류없이 다른 랜덤 변수를 특정할 수 있는 이론상 가능한 최대 비트 수를 의미할 수 있다. 또한, 상호 정보는 소스 코딩 측면에서는 한 랜덤 변수를 다른 랜덤 변수로 근사화하여 표현하기 위해 필요한 이론상 최소 비트 수를 의미할 수 있다. 오류없이 정보를 압축하고자 할 경우, 이론적 압축 한계는 데이터의 엔트로피 값인 H(X)와 같다. 정보이론의 한 분야인 레