Lost in the Middle: How Language Models Use Long Contexts

논문: https://arxiv.org/abs/2307.03172

초록

최근의 언어 모델은 긴 문맥을 입력으로 사용할 수 있는 기능을 갖추고 있지만, 긴 문맥을 얼마나 잘 사용하는지에 대해서는 상대적으로 알려진 바가 거의 없습니다. 저희는 입력 문맥에서 관련 정보를 식별해야 하는 두 가지 작업, 즉 다중 문서 질문 답변과 키 값 검색에 대한 언어 모델의 성능을 분석합니다. 관련 정보의 위치를 변경할 때 성능이 크게 저하될 수 있으며, 이는 현재의 언어 모델이 긴 입력 문맥에서 정보를 강력하게 활용하지 못한다는 것을 나타냅니다. 특히, 관련 정보가 입력 문맥의 시작이나 끝에 있을 때 성능이 가장 높고, 명시적으로 긴 문맥을 가진 모델이라 하더라도 긴 문맥의 중간에 관련 정보에 액세스해야 할 때 성능이 크게 저하되는 것으로 나타났습니다. 이번 분석을 통해 언어 모델이 입력 문맥을 사용하는 방식을 더 잘 이해하고 향후 긴 문맥 언어 모델을 위한 새로운 평가 프로토콜을 제공할 수 있습니다.