Subeen lab

[2020] Retrieval-Augmented Generation for Knowledge-Intensive NLP TasksPatrick Lewis†‡, Ethan Perez?, Aleksandra Piktus†, Fabio Petroni†, Vladimir Karpukhin†, Naman Goyal†, Heinrich Küttler†, Mike Lewis†, Wen-tau Yih†, Tim Rocktäschel†‡, Sebastian Riedel†‡, Douwe Kiela† 본문의 논문은 neurips paper로, 링크를 확인해 주세요. Abstract  parameteric 메모리는 pretrained seq2seq, non-parameteric 메모리는 위키피디아의 벡터를 사용하여 두 가지를 ..

[2024] The Amazon Nova Family of Models:Technical Report and Model CardAmazon Artificial General Intelligence 본문의 논문은 amazon science paper로, 링크를 확인해 주세요. Summary   아마존에서 발표한 NOVA 모델이 다양한 방식으로 나왔다.  1. NOVA-Pro : 다양한 task에서 정확성, 속도, 비용 측면에서 높은 수용성을 나타내는 멀티모달 모델 2. NOVA-Lite : text, image, documents, video의 처리가 가볍고 빠른 저비용 멀티모달 모델 3. NOVA-Micro : 응답시간이 매우 빠른 저비용 text처리 모델 4. NOVA-Canvas : 다양한 커스텀을 ..

[2020] Language Models are Few-Shot LearnersopenAI 본문의 논문은 다음 링크를 확인해 주세요.  Abstract  최근 생성형 ai 모델이 많이 떠오르면서, openAI에서 보여준 ChatGPT가 선두주자로 달리고 있다. 아마 개발자들은 다들 한 번씩 사용해 봤을 거라 생각하고, 성능이 꽤나 나쁘지 않다는 점에서 자연어처리 전공자들이 많이 놀랐을 것이라 생각한다. (나 역시 마찬가지..) NLP 모델은 단어 임베딩을 학습하는 것에서 시작하여 RNN 레이어를 쌓아 문맥 벡터를 만들어내는 다양한 모델들 (ELMo, BERT, GPT, ULMFit)과 같이 트랜스포머 구조를 이용해 문맥을 표현하는 모델, 대량의 코퍼스를 이용해 학습된 모델은 fine-tuning을 통해 ..

[2019] CRAFT : Character Region Awareness for Text Detection Youngmin Baek, Bado Lee, Dongyoon Han, Sangdoo Yun, Hwalsuk Lee ClovaAI Research ,NAVER Corp. 본문의 논문 링크는 다음을 확인해주세요. Introduction 저자들은 두 가지 score를 사용하였다. region score는 이미지에서 개별 글자들의 위치를 확인하는 데 사용하고, affinity score는 각 글자를 개별 instance로 그룹화하는 데 사용한다. 글자 단위의 주석의 부족함을 보충해 주기 위해 실제 단어 단위의 데이터셋을 사용하여 ground-truth를 측정하는 weakly supervised learn..

[2022] ALP: Data Augmentation Using Lexicalized PCFGs for Few-Shot Text Classifcation Hazel H. Kim, Daecheol Woo , Seong Joon Oh , Jeong-Won Cha , Yo-Sub Han 본문의 논문은 AAAI 2022 paper로, 링크를 확인해 주세요. Introduction deep learning에서 labeled data를 이용하는 것은 좋은 재료가 된다. 최근에는 많은 data augmentation 기법이 사용되었는데, 아래와 같이 대부분의 방법들은 문장 구조의 다양성과 그럴듯하게 만들어진 문장 생성에 많이 실패하였다. 저자들은 이러한 한계점을 이용해 문법 기반의 증강 모델인, ALP (Augmen..

[2023] AugGPT : Leveraging ChatGPT for Text Data Augmentation 본문의 논문은 다음 링크를 확인해 주세요. Abstract text augmentation은 여전히 challenge한 부분이지만, 그만큼 사용하는 방법 또한 단순하다고 느낀다. 지난번에 알아본 방법론에서는 동의어 대체, 랜덤 하게 삭제 그리고 랜덤 하게 단어 삽입하는 방법이 있다. 단순하지만 효과적인 text augmentation이지만, 한국어에는 아직 그리 좋은 성능을 보이지 않는다고 생각한다. 그리고 작년부터 많이 언급된 ChatGPT 또한 많은 이목을 끌어오고 있다. 본 논문의 저자들은 이 ChatGPT를 활용하여 text augmentation을 하는 방식을 생각하였는데, 제목부터 흥..

[2021] Revisiting the Performance of iALS on Item Recommendation Benchmarks Steffen Rendle, Walid Krichene, Li Zhang, Yehuda Koren 본문의 논문은 ACM RecSys paper로, 링크를 확인해 주세요. Abtract google에서 낸 논문으로, 추천 시스템의 트릭을 발견하여 조금 더 잘 적용해보았다고 한다. 기존의 SOTA모델과 경쟁이 될 정도로 성능이 좋은 편은 아니지만, 기존의 것을 사용한 update된 논문 정도로 생각하면 좋을 듯하다. Introduction iALS (implicit Alternating Least Square)는 implicit 피드백을 통해 top-n 아이템 추천을 목적으..

[2017] DeepFM : A Factorization-Machine based Neural Network for CTR Prediction Huifeng Guo, Ruiming Tang, Yunming Ye, Zhenguo Li, Xiuqiang He 본문의 논문은 링크를 확인해 주세요. Introduction CTR (Click-Through Rate) · 추천된 아이템을 유저가 클릭할 확률을 뜻한다. · 대부분의 추천 시스템은 이 확률의 최대화를 목표로 한다. CTR 예측을 위한 user의 implicit feature interaction 예시) · 유저들의 식사 시간(시간)에 음식 배달 앱(앱 종류)을 자주 다운로드 한다. → CTR 신호 : 시간과 앱 종류 사이의 order-2 interac..

추천 시스템에서 기반이 되는 Factorization 에 대해 간략히 정리하고자 한다. MF (Matrix Factorizatoin) Matrix Factorization은 가장 대중적인 Latent Factor model로, SVD(Singular Value Decomposition)과 유사하게 유저와 아이템을 $f$차원의 latent factor space로 매핑한다. $f$개의 latent factor 로 표현된 user, item vector $\mathbf{p}_u, \mathbf{q}_i$의 내적으로 둘 사이의 interaction $\hat{\mathbf{r}}_{ui}$를 다음과 같이 구한다. $\hat{\mathbf{r}}_{ui} = \mathbf{p}_u \mathbf{q}_i$ Fa..

[2017] Neural Collaborative Filtering Xiangnan He, Lizi Liao, Hanwang Zhang, Liqiang Nie, Xia Hu, Tat-Seng Chua 본문의 논문은 ICER paper로, 링크를 확인해 주세요. Introduction 추천 시스템은 이전에도 궁금하여 다루어 보았던 내용으로, collaborative filtering기법에서 가장 대표적으로 많이 사용되는 matrix factorization (MF)이 있다. 이는 유저 또는 아이템의 잠재적 특성을 가진 벡터를 사용하여 곱하여 계산하는 방식이다. 즉, 아이템에 대한 사용자의 상호작용을 내적을 이용하여 모델링한 것이다. 추천 시스템에 적용되는 가장 유명한 것으로 넷플릭스를 뽑을 수 있다. 이는..