Subeen lab

퍼셉트론은 데이터에서 복잡한 패턴을 학습할 수 없다는 단점이 있다. 배타적 논리합(XOR)에 해당하는 데이터 셋을 퍼셉트론은 학습하지 못한다. MLP (MultiLayer Perceptron) - 간단한 퍼셉트론을 구조적으로 확장한 신경망 CNN (Convolutional Neural Network) - 디지털 신호 처리에 사용하는 윈도 필터에 영향을 받아 만든 신경망 - 윈도 특성 덕분에 입력에 있는 국부 패턴을 학습할 수 있다. - 컴퓨터 비전에 아주 적합하고 단어나 문장 같으느 순차 데이터에서 부분 구조를 감지하는 데도 이상적이다. 크게 위의 두 가지를 소개하고 예제도 함께 보겠다. 1. 다층 퍼셉트론 (MLP) - MLP는 많은 퍼셉트론이 모여 있으므로 층의 출력은 출력값 하나가 아닌 벡터이다. ..

퍼셉트론 : 가장 간단한 신경망 $y = f(w * x + b)$ - 선형 함수와 비선형 함수의 조합으로 선형 함수 표현인 $wx + b$ 는 아핀 변환 (affine transform)이라고도 한다. 2. 활성화 함수 (1) 시그모이드 $f(x) = \frac{1}{1+e^{-x}}$ - 입력 범위 대부분에서 매우 빠르게 포화되어 gradient가 0이 되거나 발산하여 부동소수 오버플로가 되는 문제 발생. → 그레이디언트 소실/ 폭주 문제 → 신경망에서 거의 출력층에서만 쓰임 (2) 하이퍼볼릭 탄젠트 $f(x) = tanh x = \frac{e^x - e^{-x}}{e^x + e^{-x}}$ - (-∞,∞) 범위의 실숫값을 [-1, 1]로 바꾼다. (3) 렐루 $f(x) = max(0, x)$ - gr..

이 전의 게시물에서는 처음 github와 vscode를 연동하여 파일을 올리는 방법을 작성하였다. 이번에는 작성하고 있는 파일을 본래의 github repository에 올리는 방법을 간단하게 보겠다. 현재 pytorch 공부 중인 파일을 업로드하려 할 때, 파일이 저장되면 좌측의 소스 제어에서 다음과 같이 변경 사항에 파일이 생긴다. 이 옆의 +를 눌러 스테이징된 변경 사항에 올린다. 다음과 같이 필요한 commend도 달아서 커밋을 눌러준다. 마지막으로 소스 제어의 ··· 을 눌러 push 한다.

생각보다 단순한 문제였다. 몫이 1이 되기 전까지 while문을 돌리는데, 2로 나누었을 때 0이 되면 바로 출력하고 남은 몫을 다시 업데이트시킨다. 만약 나누어지지 않으면 +1씩 하면서 인수분해를 진행한다.

도커의 구조 - 일반적인 서버라면 운영체제 위에 프로그램이나 데이터가 직접 올라간다. 도커를 사용하는 경우 운영체제 위에 도커 엔진이 동작하고 그 위에서 컨테이너가 동작한다. - 컨테이너 구조에서, 모든 컨테이너에는 '리눅스 운영체제 비슷한 무언가' 가 들어 있다. - 도커 엔진 아래에도 리눅스 운영체제가 있는데, 컨테이너 속에 또 리눅스 운영체제(비슷한 것)가 있다. 운영체제가 하는 일? - 운영체제는 소프트웨어나 프로그램의 명령을 하드웨어에 전달하는 역할을 한다. 예를 들어, 사람 : "귤을 먹어라" → 어려움 없이 명령 수행 하드웨어 : "테이블 오른쪽 상단에 위치한 귤을 손에 쥐고 껍질을 벗겨 알맹이를 먹어라" → 구체적인 지시가 필요 (운영체제가 할 일) - '커널' 과 '그 외의 주변 부분' ..

1978 문제인 소수 찾기에서 거의 아이디어를 가져왔다. 1978을 금방 해결했다면 바로 풀 수 있었던 문제!

②[그림과 실습으로 배우는 도커 & 쿠버네티스] 교재를 참고하여 정리한 내용입니다. 도커 (docker) : 데이터 또는 프로그램을 격리시키는 기능을 제공하는 소프트웨어이다. 즉, 개인용 컴퓨터 또는서버 상의 환경을 컨테이너라고 할 때, 도커는 이 컨테이너를 다루는 기능을 제공하는 소프트웨어이다. 도커는 몇 가지 제약 사항이 있는데, 우선 종류와 상관없이 리눅스 운영체제가 필요하다. 윈도우나 macOS도 도커를 사용할 수 있지만 이 경우 내부적으로 리눅스가 사용된다. 또, 컨테이너에서 동작시킬 프로그램도 리눅스용 프로그램이다. 독립된 환경에 격리해야 하는 이유? 워드 프레스(WordPress) 가 MySQL 데이터베이스를 따로 갖추지 않으면 사용할 수 없듯이, 소프트웨어 역시 단일 프로그램이 아니라 여러..

github 확인해보기 2.1 말뭉치, 토큰, 타입 - 말뭉치(corpus) : 원시 텍스트(ASCII나 UTF-8)와 이 텍스트에 관련된 메타데이터 - 토큰(token) : 일반적으로 문자를 연속된 단위로 묶음 - 샘플 / 데이터 포인트 : 메타데이터가 붙은 텍스트 - 토큰화(tokenization) : 텍스트를 토큰으로 나누는 과정 - 타입(type) : corpus에 등장하는 고유한 token ※ 특성공학 (feature engineering) : 언어학을 이해하고 NLP 문제 해결에 적용하는 과정 2.2 유니그램, 바이그램, 트라이그램, ... , n-그램 N-그램 : 텍스트에 있는 고정 길이(n)의 연속된 token sequence - unigram : 토큰 한 개, bigram : 토큰 두 개..

[파이토치로 배우는 자연어처리] 교재 참고 처음부터 공부하는 마음으로 책 정리를 해보았다. 1.1 지도학습 - 머신러닝에서 지도 또는 지도 학습은 샘플(observation)에 대응하는 예측하는 값(target)의 정답을 제공하는 방식이다. - sample : 예측 시 사용하는 아이템. 즉, input - target : sample에 상응하는 label, 또는 ground truth - model : target label을 예측하는 함수 - parameter : 모델을 규정함. weight라고도 불림. - predict : estimate $\hat{y}$ - loss function : 훈련 데이터에 대한 예측이 타깃과 얼마나 멀리 떨어져 있는지 비교 ①..