cleanUrl: "Grammatical_Error_Correction"
floatFirstTOC: right
title: "GPT 기반 문법 교정 시스템 분석"
description: "GPT를 활용한 문법 오류 교정(GEC) 시스템의 성능과 한계점을 4개의 최신 연구 논문을 통해 상세히 분석해드립니다."

이번 아티클에서는 GPT를 이용한 문법 오류 교정(GEC) 논문 4편을 알아본다. 문법 교정은 모어 화자와 외국어 학습자의 문법 오류를 감지하고 수정할 수 있도록 하는 방법을 모두 포함된다. 따라서 모어 화자는 규범에 맞는 말을 사용할 수 있도록 도움을 주고, 외국어 학습자는 언어 장벽을 낮출 수 있다는 점에서 중요한 연구라고 할 수 있다. 또한 GPT 이전에도 문법 오류에 대한 연구가 있었으나 주된 관심은 띄어쓰기 교정과 같이 사용자의 의도에 반하지 않는 선에서 최소한의 교정에 초점이 맞추어져 있었다. 그런데 생성 모델의 등장과 함께 인공지능 언어 모델이 다변화되면서 (1) 음성 인식기 오류 개선 (2) 문장 전체를 좀 더 자연스러운 모국어와 같이 수정할 수 있는 모델의 등장에 따라 사용자의 요구 사항도 다양화해지고 있다고 할 수 있다. 따라서 GPT를 사용한 문법 오류 교정 모델이 이와 같은 요구 사항에 어느 정도까지 충족될 수 있는지를 4편의 논문을 통해 살펴보고자 한다.

• 과소 교정, 오교정, 과도 교정 사례 조사 | Zero-shot과 Few-shot | ChatGPT와 인간 주석을 결합한 하이브리드 데이터셋을 구축 | | 대상언어 | 영어, 독일어, 중국어 | 영어 | 영어 | 중국어 | | 결과 | - Precision과 F0.5 점수는 SOTA 모델들보다 낮지만 Recall 점수는 더 높음
• 문장 수준의 유창성과 오류 탐지에 강함
• 문장 간 일치, 대명사 참조, 시제 오류 등 문서 수준 오류 수정에 취약
• 문장 간 경계를 넘는 오류 수정에도 어려움
• 문서 수준 오류탐지와  특정 유형의 오류는 개선 필요
• 최소 편집 원칙을 덜 따르고 과도 수정하는 경향이 있음
• ChatGPT가 생성한 문장의 유창성이 매우 높음 | - 자동 평가 지표상으로는 ChatGPT가 Grammarly와 GECToR보다 낮은 성능을 보임
• 긴 문장에서 ChatGPT의 성능이 더 낮게 나타남
• ChatGPT는 단순히 오류를 하나씩 고치는 것을 넘어 문장 구조나 표현을 자연스럽게 바꾸는 경향이 있음 인간 평가 결과, ChatGPT는 과소 교정과 오교정이 적었지만 과도 교정은 많았음 |
• 적절한 작업 지시문과 예시를 제공하면 GPT-3로 GEC 작업을 효과적으로 제어할 수 있음
• 퓨샷 설정에서 예시의 수가 증가할수록 성능이 향상되는 경향을 보임 작업 지시문보다 예시가 모델의 출력을 제어하는 데 더 중요한 역할을 함 | -GrammarGPT의 성능이 가장 우수 -NLPCC2023 SharedTask에서 1~3위
• 모델 파라미터 크기는 20배 더 크지만, 파인튜닝에 필요한 데이터는 1/1200 수준으로 줄임 |

정량적 성능 비교

Is ChatGPT a Highly Fluent Grammatical Error Correction System?A Comprehensive Evaluation의 성능 보고

영어

독일어와 중국어

유창성, 최소한의 수정, 과다 수정, 과소 수정에 대해 세 명의 평가자가 제공한 평균 점수

• ChatGPT가 생성한 문장의 유창성이 매우 높음
• 최소 편집 원칙을 덜 따르고 과도 수정하는 경향이 있음

ChatGPT or Grammarly? Evaluating ChatGPT on Grammatical Error Correction Benchmark의 성능 보고