Knowledge graph 관련 논문

- Knowledge graph
[https://metawriters.tistory.com/m/41](https://metawriters.tistory.com/m/41)
지식 그래프는 실제 엔터티와 해당 관계를 나타내는 데이터 구조입니다. 노드와 에지로 구성되어 웹과 같은 구조를 만듭니다. 이 구조는 기존의 관계형 데이터베이스와 비교할 때 보다 직관적이고 유연한 쿼리 및 정보 표시를 허용합니다.  
지식 그래프의 주요 목적은 포괄적이고 의미론적으로 풍부한 정보 표현을 제공하는 것입니다. 이 정보는 정형 및 비정형 데이터를 비롯한 다양한 소스에서 가져올 수 있으며 자연어 처리, 추천 시스템 및 질문 응답 시스템을 비롯한 광범위한 애플리케이션을 처리하는 데 사용할 수 있습니다.

- KG 생성
[https://taejoone.jeju.onl/posts/2022-01-29-knowledge-graph-triple/](https://taejoone.jeju.onl/posts/2022-01-29-knowledge-graph-triple/)
그래프 생성 가능 데이터의 경우 자연어 입력 후 의존 그래프, 트리플 그래프 생성 가능하며, 
이를 이용하여 Word2Vec 임베딩 모델 생성 가능하다.
즉, NLP에서 텍스트의 의미론적 분석이 가능하다.
[https://neo4j.com/developer-blog/knowledge-graph-rag-application/](https://neo4j.com/developer-blog/knowledge-graph-rag-application/)
neo4j의 graph dataset 사용 방법

[https://github.com/dylanhogg/llmgraph](https://github.com/dylanhogg/llmgraph)
특정 위키나 도큐먼트 기반 그래프 생성 모델도 이미 개발되었다.

- KG 해석 및 탐색(KG-LLM)
[https://arxiv.org/abs/2403.07311](https://arxiv.org/abs/2403.07311)
1, 2번째 연구 인과성 추론 모델은 유사한 선행 연구가 존재한다.
KG-LLM은 기본 지식의 베이스를 Knowledge Graph를 통해 얻는다.
1. KG 데이터셋 입력 시 chain-of-thought(CoT) 프롬프트로 변환된다.
2. 이를 기반으로 In-context Learning을 진행한다.

링크 예측, 관계 예측 프롬프트를 정해놓고 입력함으로써 복잡하고 긴 입력을 간결한 프로세스로 나눈다.
이 과정을 통해 LLM이 KG를 해석하고 탐색할 수 있게 된다.
[https://inblog.ai/graphwoody/GraphRAG-01](https://inblog.ai/graphwoody/GraphRAG-01)
또한, GraphRAG를 구축하는 방법도 있다.

- 양방향 추론
[https://velog.io/@ingeol/Unifying-Large-Language-Models-and-Knowledge-Graphs-A-Roadmap](https://velog.io/@ingeol/Unifying-Large-Language-Models-and-Knowledge-Graphs-A-Roadmap)
[https://arxiv.org/abs/2306.08302v2](https://arxiv.org/abs/2306.08302v2)
KG는 LLMs에 외부지식으로부터의 inference와 해석가능성을 강화시킬 수 있다. 하지만 KG는 만드는데 어려움이 존재하고, unseen knowledge에 대해서 새로운 facts를 생성하는것은 challenges로 남아있다. 

본 논문의 저자는 LLMs과 KG의 unification에 대한 forward-looking roadmap을 제시한다
1. LLM의 사전 훈련 및 추론 단계에서 또는 LLM에서 학습한 지식에 대한 이해를 높이기 위한 목적으로 KG를 통합하는 "KG-enhanced LLM" 
2. 임베딩, 완성, 구성, 그래프-텍스트 생성 및 질문 답변과 같은 다양한 KG 작업에 LLM을 활용하는 "LLM-augmented KGs" 
3. LLM과 KG가 동일한 역할을 수행하고 상호 이익이 되는 방식으로 작동하여 데이터와 지식을 기반으로 하는 양방향 추론을 위해 LLM과 KG를 모두 향상시키는 "Synergized LLM KG"