cleanUrl: "/Super_NaturalInstructions"
floatFirstTOC: right
title: SuperNI 논문과 데이터셋 분석
description: AI 연구자들이 참여한 SuperNI 프로젝트의 핵심 내용과 1,600여 개의 NLP instruction 데이터셋을 상세히 살펴봅니다.

이 아티클의 전반부는 Super-NaturalInstructions(SuperNI) 논문을 개괄적으로 살펴본 후 후반부에서는 SuperNI에 포함된 데이터 세트 중에서 한국어로 되어 있거나 흥미로운 주제를 담고 있는 데이터 세트를 다룸.

논문 소개

개요

• SuperNI는 Allen Institute for AI, University of Washington, Arizona State University를 비롯한 총 21개 기관 소속의 연구자들이 참여하여 1,600 여개의 NLP instruction 데이터를 제작하고 공개한 프로젝트
  • github 주소 : https://github.com/allenai/natural-instructions
  • 관련 논문 : https://arxiv.org/abs/2204.07705
• https://arxiv.org/abs/2104.08773 에서 61개 task에 대한 데이터를 공개하는 것으로 시작
• 총 88명의 contributor들이 기존에 공개된 NLP 데이터를 활용하고 crowdsourcing 하는 등의 방법으로 작업
• Tk-Instruct(영어) 및 mTk-Instruct(다국어) 모델 개발
  • 각각 T5 및 mT5 모델을 SuperNI 데이터로 fine-tuning
  • 119가지 영어 task에서 InstructGPT 대비 ROUGE-L 점수 기준 9.9점 향상
  • 35가지 영어가 아닌 언어 task에서 InstructGPT 대비 13.3점 향상

방법론 상세

• 데이터 구조

  

  • Definition : task 수행을 위한 instruction
  • Positive examples : input / correct output / 관련 설명으로 구성
  • Negative examples : input / incorrect output / 관련 설명으로 구성
  • Evaluation instances : Tk-Instruct 및 mTk-Instruct 모델 학습에는 사용하지 않고 evaluation에만 사용하는 테스트 데이터. Task별 밸런스를 맞추기 위하여 최대 6500개로 제한

• SuperNI 데이터 세트의 간단한 통계 분석

  

• SuperNI에 포함된 Task의 종류 및 다른 instruction 데이터 세트와 비교

  

  

Results

• 전체 결과 summary

  • 영어 : 발표 당시 기준 InstructGPT 대비 ROUGE-L 점수 기준 9.9점 높음 (52.1 vs 66.0)

  • 다국어 : 발표 당시 기준 InstructGPT 대비 ROUGE-L 점수 기준 13.3점 높음 (52.8 vs 66.1)

    

• Task 유형별 성능 비교

  • 모든 유형에서 InstructGPT보다 더 좋으며 일부 유형에서는 supervised SOTA 성능과 거의 유사한 수준

    

(이미지출처) Microsoft Designer - Stunning designs in a flash 를 사용하여 자동 생성 후 편집