Subeen lab

퍼셉트론은 데이터에서 복잡한 패턴을 학습할 수 없다는 단점이 있다. 배타적 논리합(XOR)에 해당하는 데이터 셋을 퍼셉트론은 학습하지 못한다. MLP (MultiLayer Perceptron) - 간단한 퍼셉트론을 구조적으로 확장한 신경망 CNN (Convolutional Neural Network) - 디지털 신호 처리에 사용하는 윈도 필터에 영향을 받아 만든 신경망 - 윈도 특성 덕분에 입력에 있는 국부 패턴을 학습할 수 있다. - 컴퓨터 비전에 아주 적합하고 단어나 문장 같으느 순차 데이터에서 부분 구조를 감지하는 데도 이상적이다. 크게 위의 두 가지를 소개하고 예제도 함께 보겠다. 1. 다층 퍼셉트론 (MLP) - MLP는 많은 퍼셉트론이 모여 있으므로 층의 출력은 출력값 하나가 아닌 벡터이다. ..

Convolutional Neural Network, CNN 이미지 인식, 음성 인식 등에 자주 사용되는데, 특히, 이미지 인식 분야에서 거의 모든 딥러닝 기술에 사용 1989년 얀 르쿤(Yann LeCun) 교수의 논문에서 발표 필기체 인식에서 의미가 있었지만 범용화하는데에는 무리 1998년, "Gradient-Based Learning Applied to Document Recognition"이라는 논문에서 LeNet-5 제시 합성곱 층(convolution layer), 풀링 층(pooling layer) 소개 간단한 실습 예제 코드는 여기를 확인해주세요. + 스팸메일 분류기 with CNN 관련한 간단한 내용 정리는 제 tistory를 확인해주세요.

document classification 관련 연습 코드는 여기를 확인해주세요! [2016] RNN for Multi-Task Learning ⓐ task 가 identical 하지만 datasets는 다르다. hidden layer structure은 공유하되, (task specific embedding + shared embedding) 두 가지의 embedding으로 동시에 학습시킨다. ⓑ hidden nodes는 서로 영향을 준다. ⓒ 각자의 hidden layer가 있어 m과 n에 대해 각각 수행하고, shared layer가 (m, n)을 같이 학습한다. RNN : Attention two main attention mechanisms ① Bahadanau attention : attent..

document classification 관련 예시 코드는 여기를 확인해주세요. [2014] yoon-kim Input : n by k matrix representation of sentence - n : the number of words in a sentence (parameter) ▷ 짧은 문장은 zero padding을 주고 긴 문장은 trimmed - k : word embedding dimensions ▷ pre-trained word embedding vectors를 사용 ▷ vectors는 static (training 과정에서 update를 하지 않는다) or non-static (fine-tuning) - multi-channel input 가능하다. → 하나의 텐서 형태가 된다. ..

이상치 탐지 이미지를 우리 눈으로 분류 가지고 있는 사진들은 정면에서 보이는 사진, 우측 치아만 보이거나 좌측 치아만 보이는 경우, 윗 또는 아래 치아가 보이는 경우, 입술이 더 잘 보이는 경우, 치아보다는 입 위주의 사진 등 다양했습니다. 이를 더 확실하게 잡아내기 위해 ㉮ 정면에서 치아의 모습이 보이는 경우 ㉯ 좌측 아래 (또는 위) 치아의 모습 ㉰ 우측 아래 (또는 위) 치아의 모습 등으로 모두 파일을 따로 만들어 분류를 하였습니다. Feature map 추출로 중간점검 저희가 가진 이미지를 이용하여 feature map을 형성하였습니다. 위 사진은 일부만을 캡처하여 온 것이며, 실제로는 feature map이 너무 많이 (사진이 만장 이상이었기 때문에) 쌓였기 때문에 차원을 줄일 필요성을 느꼈습니..