Subeen lab

[2022] Learning to Transfer Prompts for Text Generation Junyi Li, Tianyi Tang , Jian-Yun Nie , Ji-Rong Wen and Wayne Xin Zhao 본문의 논문은 NAACL 2022 Accepted paper로, 여기를 확인해주세요. Abstract PLM (Pretrained Languaged Model)은 fine-tuning을 통해 text generation에서 주목할만한 진전이 있었다. 그렇지만, 데이터가 부족한 상황에서는 PLM을 fine-tuning 하는 것이 어려웠다. 이를 해결하기 위해서 가벼운 모델을 만드는 것은 그리 쉽지 않은 부분이고, 이를 위해 최근에는 prompt-based 가 잠재적인 해결책을 주었다...

[2022] Embedding Hallucination for Few-Shot Language Fine-tuning Yiren Jian∗ Dartmouth College 본문의 논문은 NAACL 2022 Accepted paper로, 여기를 확인해주세요. Abstract abstract을 이용하여 본 논문의 모델을 한 줄로 설명하자면 다음과 같습니다. 본 논문을 짧게 정리하자면, pre-trained language model을 fine-tuning 하여 over-fitting 문제 해결에 도움을 준 모델인 "EmbedHalluc"을 제안하고 있습니다. Intro 우리는 NLP task에서 pre-trained language model(LM) 이용한 fine-tuning 즉, Data augmentat..

[acl 2022 long paper] Learn to Adapt for Generalized Zero-Shot Text Classification Yiwen Zhang, Caixia Yuan∗ , Xiaojie Wang, Ziwei Bai, Yongbin Liu text classification에 대한 연구를 하던 중, acl 2022에 올라온 zero-shot에 대한 논문을 읽어 보았다. 읽으면서 거의 처음 들어보는 부분이 많아 여러 번 읽고 찾아본 후에 이해를 하였다. Intro 일반적인 deep-learning에서는 training에 사용된 class만을 예측한다. 즉, unseen data를 seen class로 분류를 하게 된다. 다음 그림으로 쉽게 이해하자면, 일반적으로 CNN에 고양이, ..

zero shot 논문을 읽던 중, few shot에 대한 언급을 하여 짧게 정리하였다. Few Shot : 말 그대로, few (적은) 데이터도 잘 분류를 한다는 것. 하지만, 헷갈리면 안되는 부분이 있다. few data를 잘 분류한다는 것이 데이터가 적다는 것을 의미하는 것이 아니기 때문이다. 쉬운 예시를 들어보겠다. 위의 support set에 우리는 생전 처음보는 armadilo와 pangolin의 사진이 있다. 그 후, 우리가 query의 사진을 보고 어떤 사진이냐고 물어본다면 뭐라고 대답할까? 모든 사람들이 pangolin이라고 잘 대답할 것이다. Traditional한 deep learning model은 이와 같이 각 클래스별 사진 단 두 장을 가지고 query 이미지를 맞출 수 있을까?..