목록논문 리뷰/Computation and language (3)
chanyong's notepad
[2402.14714] Efficient and Effective Vocabulary Expansion Towards Multilingual Large Language Models
보호되어 있는 글입니다.
논문 리뷰/Computation and language
2024. 3. 4. 00:07

0. Backgroundchatgpt와 같은 딥러닝 모델은 아래와 같은 한계점을 지니고 있습니다.1. 정보 접근 제한 2. 토큰 제한 3. 환각 현상 이들을 해결하기 위해 아래와 같은 학습 기법들이 활용됩니다.1. Fine-tuning : 기존 딥러닝 모델의 weight를 조정하여 원하는 용도의 모델로 업데이트2. N-shot learning : 0~n개의 출력 예시를 제시하여 딥러닝이 용도에 알맞은 출력을 하도록 조정3. In-context learning : 문맥을 제시하고, 이 문맥 기반으로 모델이 출력하도록 조정1. In-context Learning(ICL) 문맥을 제시하고, 이 문맥 기반으로 모델이 출력하도록 조정하는 학습 방법입니다.zero-shot learning, few-shot lea..
논문 리뷰/Computation and language
2024. 3. 4. 00:03