Let Me Speak Freely? A Study on the Impact of Format Restrictions on Performance of Large Language Models

논문: https://arxiv.org/abs/2408.02442

본 논문은 대규모 언어 모델(LLM)의 성능에 대한 형식 제한의 영향을 연구합니다. 특히, LLM이 구조화된 형식(JSON, XML 등)을 따르도록 제한했을 때 추론 능력과 도메인 지식 이해 능력에 미치는 영향을 평가합니다. 놀랍게도, LLM은 형식 제한 하에서 추론 능력이 크게 저하되는 것으로 나타났으며, 엄격한 형식 제한은 추론 작업의 성능 저하를 더욱 심화시키는 것으로 확인되었습니다.

초록

구조화된 생성은 JSON 및 XML과 같은 표준화된 형식으로 콘텐츠를 생성하는 프로세스로, 대규모 언어 모델(LLM)에서 주요 출력 정보를 추출하기 위해 실제 애플리케이션에서 널리 활용되고 있습니다. 이 연구에서는 생성 공간에 대한 이러한 제약이 추론과 도메인 지식 이해 등 LLM의 능력에 영향을 미치는지 조사합니다. 특히 다양한 일반 작업에서 구조화된 형식을 준수하도록 제한했을 때와 자유 형식 응답을 생성하도록 제한했을 때 LLM의 성능을 평가합니다. 놀랍게도 형식에 제한을 두었을 때 LLM의 추론 능력이 현저히 떨어지는 것을 관찰할 수 있었습니다. 또한 형식 제약이 엄격할수록 일반적으로 추론 작업에서 더 큰 성능 저하를 초래한다는 사실도 발견했습니다.