Subeen lab

[2022] Generating Repetitions with Appropriate Repeated Words Toshiki Kawamoto, Hidetaka Kamigaito, Kotaro Funakoshi and Manabu Okumura 본문의 논문은 NAACL 2022 Accepted paper로, 여기를 확인해주세요. Abstract 반복은 대화에서 사람들의 말을 번복하는 것이다. 이런 반복은 언어학적인 연구에 큰 비중을 차지하는데, 저자들은 이 반복 생성에 주목하였다. 저자들은 Weighted Label Smoothing을 제안하는데, 이는 fine-tuning 단계에서 반복할 단어를 명시적으로 학습하기 위한 smoothing 방법이고, 디코딩 중 더 적절한 반복을 출력할 수 있는 반복 스코어..

[2022] Learning to Transfer Prompts for Text Generation Junyi Li, Tianyi Tang , Jian-Yun Nie , Ji-Rong Wen and Wayne Xin Zhao 본문의 논문은 NAACL 2022 Accepted paper로, 여기를 확인해주세요. Abstract PLM (Pretrained Languaged Model)은 fine-tuning을 통해 text generation에서 주목할만한 진전이 있었다. 그렇지만, 데이터가 부족한 상황에서는 PLM을 fine-tuning 하는 것이 어려웠다. 이를 해결하기 위해서 가벼운 모델을 만드는 것은 그리 쉽지 않은 부분이고, 이를 위해 최근에는 prompt-based 가 잠재적인 해결책을 주었다...

[2022] Embarrassingly Simple Performance Prediction for Abductive Natural Language Inference Em¯ıls Kadik, is, Vaibhav Srivastav, and Roman Klinger 본문의 논문은 NAACL 2022 Accepted paper로, 여기를 확인해주세요. Abstract Abductive natural language interence ($\alpha$NLI)는 관찰 데이터 셋을 더 잘 설명하는 가설이 무엇인지 결정하는 작업으로, 특히 NLI의 어려운 부분이다. 저자들은 단순한 관계를 정의하는 대신, 얼마나 합리적으로 설명하는지를 평가하기 위해 common sense를 사용한다. 최근 연구들은 상황에 맞는 표현..

[2022] Learning to Borrow Relation Representation for Without-Mention Entity-Pairs for Knowledge Graph Completion Huda Hakami , Mona Hakami , Angrosh Mandya and Danushka Bollegala 본문의 논문은 NAACL 2022 Accepted paper로, 여기를 확인해주세요. Abstract Knowledge Graph Embedding 학습에서 without-mention entity-pairs를 표현하는 문제 해결책을 제시하는 방법론이다. Corpus를 사용하여 augmented KG를 위해 with-mention entity-pairs에서 LDP를 borrow 하는 방식..

[2022] Embedding Hallucination for Few-Shot Language Fine-tuning Yiren Jian∗ Dartmouth College 본문의 논문은 NAACL 2022 Accepted paper로, 여기를 확인해주세요. Abstract abstract을 이용하여 본 논문의 모델을 한 줄로 설명하자면 다음과 같습니다. 본 논문을 짧게 정리하자면, pre-trained language model을 fine-tuning 하여 over-fitting 문제 해결에 도움을 준 모델인 "EmbedHalluc"을 제안하고 있습니다. Intro 우리는 NLP task에서 pre-trained language model(LM) 이용한 fine-tuning 즉, Data augmentat..

상위 command container 더보기 docker container 하위_커맨드 옵션 하위 커맨드 내용 생략 가능 여부 주요 옵션 start container 실행 ㅇ -i stop container 정지 ㅇ 거의 사용 x create docker image로부터 container 생성 ㅇ --name -e -p -v run docker image를 내려받고 container를 생성해 실행함(다운로드는 필요한 경우에만). docker image pull, docker container create, docker container start 라는 세개의 명령을 하나로 합친 것과 같음. ㅇ --name -e -p -v -d -i -t rm 정지 상태의 container 삭제 ㅇ -f -v exec 실..

해당 논문은 여기를 확인해주시면 됩니다. 위 논문은 NAACL 2022 Accepted Paper에서 확인할 수 있습니다. 본 논문은 text classification을 SSL, 즉 Semi-Supervised Learning과 결합하여, 흔히들 알고 있는 BERT를 예로 들어 쉽게 이해할 수 있습니다. Semi-Supervised Learning (SSL) - SSL은 SL(Supervised Learning)에 비해 한정적인 labeling data를 가지고 하기에 경제적이며, 접근성이 좋은 것이 특징입니다. - 또한 현재 text와 image 분야 모두에서 각광받는 학습 방법입니다. PLM (Pretrained Language Model) - 본 논문에서 SSL을 위한 PLM의 사용에 대해 언급하..

도커의 설치 및 오류까지 확인하였으니 이제는 진짜 도커를 사용해볼 차례이다. 컨테이너 사용의 기본은 도커 명령어 더보기 docker ~ 컨테이너를 다루는 모든 명령은 'docker' 명령어이다. (docker + 무엇을 + 어떻게 + 대상) 여기서 '무엇을', '어떻게'와 같이 docker 명령어 뒤에 해당하는 부분은 '커맨드'라고 한다. 더보기 docker 커맨드 대상 여기서 이름이 penguin인 이미지를 container로 run 하려면 다음 명령어가 된다. 더보기 docker container run penguin ① penguin이라는 이름의 이미지를 pull(내려받기) 하려면, → docker image pull penguin ② penguin이라는 이름의 이미지로 컨테이너를 start(시작)..

1. 임베딩 - 임베딩 : 이산 타입과 벡터 공간의 포인트 사이에 매핑을 학습하는 것 1.1 임베딩 이유 - 문장에 등장하는 카운트 값은 단어의 빈도에 상응하는데, 이 카운트 기반 표현은 중요한 내용이나 의미가 벡터의 여러 차원에 표현되어서 분산적 표현이라고도 부른다. 분산 표현은 단어가 훨씬 낮은 차원의 밀집 벡터로 표현된다는 사실에서 이름을 따왔습니다. 단어의 의미와 다른 속성이 이 밀집 벡터의 여러 차원에 걸쳐 분산됩니다. - 저차원으로 학습된 밀집 표현은 one-hot vector나 카운트 기반의 벡터와 다른 장점이 있는데, ① 계산이 효율적으로 수행된다. ② 카운트 기반은 여러 차원에 비슷한 정보를 중복해 인코딩한 고차원 벡터를 만듭니다. ③ 매우 고차원 입력은 머신러닝과 최적화에서 실제로 문제..

[도커 설치 방법 및 오류 해결] 1. windows 기능 켜기/ 끄기 Hyper-V 와 Linux용 Windows 하위 시스템, 가상 머신 플랫폼을 모두 체크하고 컴퓨터를 재시작한다. 2. 리눅스 커널 내려받아 업데이트 + 윈도우용 데스크톱 내려받기 - 리눅스용 커널 https://wslstorestorage.blob.core.windows.net/wslblob/wsl_update_x64.msi - 윈도우용 도커 데스크톱 https://docs.docker.com/docker-for-windows/install Redirecting… docs.docker.com 3. 환경 확인 도커 설치 후, configuration의 모든 항목을 체크하고 [OK]를 클릭한다. 이후 [Close and log out]..