PaperQA: Retrieval-Augmented Generative Agent for Scientific Research

논문: https://arxiv.org/abs/2312.07559v2

초록

대규모 언어 모델(LLM)은 언어 작업 전반에서 잘 일반화되지만, 환각과 해석 불가능성이 있어 근거 자료 없이는 정확성을 평가하기 어렵습니다. 환각을 줄이고 답변이 어떻게 생성되었는지에 대한 출처를 제공하기 위해 검색 증강 생성(RAG) 모델이 제안되었습니다. 이러한 모델을 과학 문헌에 적용하면 과학 지식을 대규모로 체계적으로 처리할 수 있습니다. 여기에서는 과학 문헌에 대한 질문에 답하기 위한 RAG 에이전트인 PaperQA를 소개합니다. PaperQA는 전체 텍스트 과학 논문에서 정보 검색을 수행하고, 출처와 구절의 관련성을 평가하며, RAG를 사용해 답변을 제공하는 에이전트입니다. 이 에이전트를 질문 답변 모델로 볼 때, 현재 과학 QA 벤치마크에서 기존 LLM 및 LLM 에이전트의 성능을 뛰어넘는 것으로 나타났습니다. 또한 인간이 과학 문헌에 대한 연구를 수행하는 방식에 더 가까이 다가가기 위해 문헌 전체에서 전체 텍스트 과학 논문의 정보를 검색하고 종합해야 하는 더 복잡한 벤치마크인 LitQA를 소개합니다. 마지막으로, PaperQA가 LitQA에서 전문 인간 연구원과 매칭되는 모습을 시연합니다.