Subeen lab

관련 예시 코드는 여기를 확인해주세요. [2018] BERT : Bidirectional Encoder Representations from Transformer BERT - bidirectional encoder representation을 학습한다. ▷ Masekd language model (MLM) : 임의의 순서에 해당하는 (순차적으로 forward/backward를 사용하는 것이 아니라) 위치를 making 하여 이들을 예측하는 model을 만드는 것이다. ELMo 같은 경우, forward와 backward model을 따로 학습한 후, 해당 representation을 결합하였고, GPT의 경우, transformer의 decoder부분 (보고자 하는 단어의 후반 부분)을 모두 maskin..

시작하기 전, 내용을 보아도 이해가 잘 안 된다면 Alamar(Attention) 페이지를 소개합니다. 시각적인 부분도 잘 설명해두었고, 더할 나위 없이 완벽하다고 볼 수 있는 내용이기에 한 번쯤 보는 것을 추천합니다. https://jalammar.github.io/ Jay Alammar – Visualizing machine learning one concept at a time. Visualizing machine learning one concept at a time. jalammar.github.io [2014] Sequence-to-sequence model Sequence-to-sequence model - model의 input에 sequence를 받는다. (words, letters, f..

[1990] LSA(Latent Semantic Analysis) Singular Value Decomposition : SVD - real or complex matrix를 factorization - A = $U ∑ V^T$ - A = mxn (m>n) / $U$ = mxm / $V^T$ = nxn Properties of SVD - Singular vectors of the matrix U and V are orthogonal - The number of positive singular values in ∑ = Rank(A) Reduce SVDs - Thin SVD : ∑ → square matrix - Compact SVD : remove zero-singular values and corresp..

고려대 강필성 교수님의 강의를 짧게 요약하였습니다. sentence/paragraph/document-leveld에서 embedding을 보겠습니다. [2015] Document Embedding Paragraph Vector model : Distributed Memory(PV-DM) model - Paragraph vectors are shared for all windows generated from the same paragraph, but not across paragraphs Paragraph ID 는 항상 해당 단어 모델링할 때 같은 값을 가진다. - Word vectors are shared across all paragraphs Paragraph Vector model : Distribu..

이번에는 python에 있는 Tensorflow를 이용하여 딥러닝의 기본 모델 학습을 해볼 것이다. 텐서플로로 표현한 선형회귀 모델 class MyModel(tf.keras.Model): def __init__(self, **kwargs): super().__init__(**kwargs) self.w = tf.Variable(tf.ones([1,1])) #기울기 self.b = tf.Variable(tf.ones([1])) #y절편 def call(self,x): #x:데이터 x좌표 return tf.matmul(x,self.w) + self.b #모델 선언 및 최적화 방법 결정 #예측 모델 설정 model = MyModel() #수치최적화 알고리즘 설정 MaxEpoch = 25 lr = 0.25 opt..