Subeen lab

Keyword Analysis 네이버 영화 리뷰 데이터를 이용한 간단한 키워드 분석입니다. 마지막에는 wordcloud나 squarift를 이용한 시각화도 하였습니다. 자세한 코드는 여기를 확인해주세요.

Natural Language Processing 기초적인 부분으로 , 많이 사용되는 함수에 대한 언급을 시작으로 각각 예시를 들어 코드를 연습하였습니다. 필요한 함수가 많으므로 download 및 install을 하여 연습하였습니다. colab 환경에서 사용한 간단한 예제입니다. 자세한 코드는 여기를 확인해주세요. 사용된 모델의 간단한 정리는 제 tistory를 확인해주세요. + 추가

document classification 관련 연습 코드는 여기를 확인해주세요! [2016] RNN for Multi-Task Learning ⓐ task 가 identical 하지만 datasets는 다르다. hidden layer structure은 공유하되, (task specific embedding + shared embedding) 두 가지의 embedding으로 동시에 학습시킨다. ⓑ hidden nodes는 서로 영향을 준다. ⓒ 각자의 hidden layer가 있어 m과 n에 대해 각각 수행하고, shared layer가 (m, n)을 같이 학습한다. RNN : Attention two main attention mechanisms ① Bahadanau attention : attent..

document classification 관련 예시 코드는 여기를 확인해주세요. [2014] yoon-kim Input : n by k matrix representation of sentence - n : the number of words in a sentence (parameter) ▷ 짧은 문장은 zero padding을 주고 긴 문장은 trimmed - k : word embedding dimensions ▷ pre-trained word embedding vectors를 사용 ▷ vectors는 static (training 과정에서 update를 하지 않는다) or non-static (fine-tuning) - multi-channel input 가능하다. → 하나의 텐서 형태가 된다. ..

document classification 관련 예시 코드는 여기를 확인해주세요. Vector space model - A single document is transformed into a single vector : 각 문서(doc)에서 단어에 대한 p차원(본 그림에서는 5차원)인 vector로 표현하는 것이다. 여기서 자주 사용되는 DTM, Topic Models, Doc2Vec 등이 있습니다. Matrix-based Model - A document is represented as a NxP matrix ▷ N : single doc에서 단어들의 최대 수 (e.g. 512 of BERT) ▷ P : word embedding dimension (e.g. 128) : 위 그림에서 5차원의 embed..

#10250 t = int(input()) for i in range(t): h,w,n = map(int,input().split()) if (n%h) == 0 : x = n//h y = h print(y*100+x) else : x = n//h + 1 y = n%h print(y*100+x) 생각보다 간단했지만 구현하다가 딴 길로 새서 시간이 좀 걸렸다. 여기서 포인트는 if (n%h) == 0 일 때를 따로 생각해주어야한다.

#2869 a,b,v = map(int, input().split()) # x : 걸리는 일이라고 한다면, (x-1)까지 a-b만큼 올라갈 것이고 마지막 날은 a만큼만 올라간다. # 그러므로 (x-1)(a-b) + a >= v # 따라서 x에 관한 식은 : (v-a)/(a-b) + 1 # 소수는 모두 올림해야한다. import math count = math.ceil((v-a)/(a-b)) + 1 print(count) . . . 나는 단순하게 처음부터 더하고 빼고 그날을 세어 결과를 만들었다. 그렇게 하였더니 예제 3이 제 값이 나오지 않았다. 차근차근 다시 생각하고 힌트를 얻은 후 다시 작성하였더니 짧고 간결하게 나왔다. 항상 생각하지만 코드 하나 구현하는데 참 많은 생각과 시간이 필요하다.

[2019] Exploring Transfer Learning with T5: the Text-To-Text Transfer Transformer T5 : 여러 task가 존재할 때 이 task 자체를 text로 변환하고 input값과 함께 넣어주면 output값 또한 text로 뽑아낸다고 설명합니다. main idea ① text to text e.g.) - grammar check dataset (CoLA) original input : sentence : "I am a great man." original target : 1 processed input : CoLA sentence : "I am a great man." processed target : acceptable - Sentiment da..

[2019] MT-DNN : Multi-Task Deep Neural Networks for Natural Language Understanding : BERT에 multi-task learning을 적용한 model architecture shared layer = BERT와 동일 muti-task learning : 이전 task로부터 학습된 지식이 다음 task 학습을 도와 성능 향상이 이루어질 것이라 기대하는 것 - MTL은 related task로부터 모인 supervised data를 활용해 학습할 수 있습니다. (비교적 많은 양의 label data) - single model로 여러 가지 task를 학습하기 때문에 regularization 효과를 줄 수 있습니다. model trainin..

[2020] BART : Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension BART - seq2 seq model을 pretrain 시키는 denoising autoencoder입니다. - bidirectional 하게 autoregressive transformer를 진행하였다는 점입니다. - 위의 그림과 같이 encoder에서는 noise input을 주고 decorder에서는 따로 하지 않았습니다. Noise 방법 다음처럼 ABC. DE. 의 두 sentence가 있다고 가정하여보겠습니다. ① token masking - 임의의 token을 [mask]로 교..