Clova X를 이용한 SuperNI 데이터세트 한국어 번역

cleanUrl: "/StrategyQA"
floatFirstTOC: right

SuperNI × Clova X 한국어 번역(1): StrategyQA

(이미지출처) Microsoft Designer - Stunning designs in a flash 를 사용하여 자동 생성 후 편집

Did Aristotle Use a Laptop? A Question Answering Benchmark with Implicit Reasoning Strategies

데이터 개관

데이터 이름	내용	범주	도메인	입력 언어	출력 언어
task169_strategyqa_sentence_generation	특정 질문이 주어졌을 때 그 질문에 답하기 위해 알아야 할 사실을 기술	[질의 응답] Misc.	위키피디아	영어	영어

개요

다단계 추론 질문 답변(QA) 벤치마크

암시적인 질문인 ‘아리스토텔레스는 노트북을 사용했는가’에 답하기 위하여 명시적인 질문인 ‘노트북이 발명되었을 때 아리스토텔레스는 살아있었는가’ 로 변형하는 작업. 이를 위해 정답을 도출하는 프로세스를 설명하는 데이터의 특성을 지님
1. 아리스토텔레스의 생몰년월, 2. 노트북이 발명된 시기, 3. 2는 1 이전에 일어난 사건인가? 와 같이 정답을 도출하는 프로세스를 명시적으로 설명하는 과정을 데이터에 포함함
위의 질문과 같은 전략적 질문에는 어떤 것이 있는지 확인하고 멀티 홉으로 분해하여 데이터를 구축
QA 데이터 세트라고는 하나 대답은 ‘Yes/No’의 선택의문에 불과하여 기존의 질의응답 데이터 세트와는 구별된다.

생성 모델의 경우 주석자 편향을 극복하는 것이 데이터의 난이도를 결정하는 하나의 원인이 될 수 있는데 이 논문에서는 다음과 같이 데이터 수집 파이프라인을 구성하여 주석자 편향을 극복