Subeen lab

[2022] ALP: Data Augmentation Using Lexicalized PCFGs for Few-Shot Text Classifcation Hazel H. Kim, Daecheol Woo , Seong Joon Oh , Jeong-Won Cha , Yo-Sub Han 본문의 논문은 AAAI 2022 paper로, 링크를 확인해 주세요. Introduction deep learning에서 labeled data를 이용하는 것은 좋은 재료가 된다. 최근에는 많은 data augmentation 기법이 사용되었는데, 아래와 같이 대부분의 방법들은 문장 구조의 다양성과 그럴듯하게 만들어진 문장 생성에 많이 실패하였다. 저자들은 이러한 한계점을 이용해 문법 기반의 증강 모델인, ALP (Augmen..

[2023] AugGPT : Leveraging ChatGPT for Text Data Augmentation 본문의 논문은 다음 링크를 확인해 주세요. Abstract text augmentation은 여전히 challenge한 부분이지만, 그만큼 사용하는 방법 또한 단순하다고 느낀다. 지난번에 알아본 방법론에서는 동의어 대체, 랜덤 하게 삭제 그리고 랜덤 하게 단어 삽입하는 방법이 있다. 단순하지만 효과적인 text augmentation이지만, 한국어에는 아직 그리 좋은 성능을 보이지 않는다고 생각한다. 그리고 작년부터 많이 언급된 ChatGPT 또한 많은 이목을 끌어오고 있다. 본 논문의 저자들은 이 ChatGPT를 활용하여 text augmentation을 하는 방식을 생각하였는데, 제목부터 흥..

[2022] Embedding Hallucination for Few-Shot Language Fine-tuning Yiren Jian∗ Dartmouth College 본문의 논문은 NAACL 2022 Accepted paper로, 여기를 확인해주세요. Abstract abstract을 이용하여 본 논문의 모델을 한 줄로 설명하자면 다음과 같습니다. 본 논문을 짧게 정리하자면, pre-trained language model을 fine-tuning 하여 over-fitting 문제 해결에 도움을 준 모델인 "EmbedHalluc"을 제안하고 있습니다. Intro 우리는 NLP task에서 pre-trained language model(LM) 이용한 fine-tuning 즉, Data augmentat..

[acl 2022 long paper] Learn to Adapt for Generalized Zero-Shot Text Classification Yiwen Zhang, Caixia Yuan∗ , Xiaojie Wang, Ziwei Bai, Yongbin Liu text classification에 대한 연구를 하던 중, acl 2022에 올라온 zero-shot에 대한 논문을 읽어 보았다. 읽으면서 거의 처음 들어보는 부분이 많아 여러 번 읽고 찾아본 후에 이해를 하였다. Intro 일반적인 deep-learning에서는 training에 사용된 class만을 예측한다. 즉, unseen data를 seen class로 분류를 하게 된다. 다음 그림으로 쉽게 이해하자면, 일반적으로 CNN에 고양이, ..

zero shot 논문을 읽던 중, few shot에 대한 언급을 하여 짧게 정리하였다. Few Shot : 말 그대로, few (적은) 데이터도 잘 분류를 한다는 것. 하지만, 헷갈리면 안되는 부분이 있다. few data를 잘 분류한다는 것이 데이터가 적다는 것을 의미하는 것이 아니기 때문이다. 쉬운 예시를 들어보겠다. 위의 support set에 우리는 생전 처음보는 armadilo와 pangolin의 사진이 있다. 그 후, 우리가 query의 사진을 보고 어떤 사진이냐고 물어본다면 뭐라고 대답할까? 모든 사람들이 pangolin이라고 잘 대답할 것이다. Traditional한 deep learning model은 이와 같이 각 클래스별 사진 단 두 장을 가지고 query 이미지를 맞출 수 있을까?..

zero shot에 관한 논문을 보던 중, capsule network를 처음 접하게 되었다. 관련 자료를 찾아보며 짧게 이해할 수 있도록 정리하였다. Capsule Network - capsule network : CNN에서 pooling의 문제(max, average..)를 극복할 수 있게 만들어졌다. pooling 문제의 예시로는 max pooling이 있다. max pooling은 pooling 시 가장 큰 값만 사용하므로, 가치있는 정보를 잃어버리는 문제가 있다. - Neuroscience에서 영감을 얻어 인간의 뇌와 같은 module을 가진다. - Image rotation 문제를 해결하기 위해, 위치, 색상, 크기, 방향, 속도, 텍스쳐 등의 dynamic한 방법을 이용하였다. 기존의 CNN..