Subeen lab

[2017] Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks Chelsea Finn , Pieter Abbeel , Sergey Levine 본문의 논문은 PMLR paper로, 링크를 확인해 주세요. Introduction Meta-learning은 learn-to-learn 방식으로, 작은 예제들로 이전의 경험을 바탕으로 새로운 task를 학습하는 방법이다. fast 학습과 새로운 것에 대한 fast adaption은 인간의 지능을 보여주는 인증 같은 것입니다. 물론 이런 것들이 우리가 만들 인공지능에도 adaption이 된다면 가장 좋을 것이다. 작은 양으로도 학습할 수 있고 그로 인해 overfitting을 피할 수 있게 하는,..

On-policy On policy는 behavior policy와 target policy가 같다. 즉, 현재 행동하는 policy를 그대로 update 할 목적으로 환경을 탐색한다. 현재 policy를 통해 얻은 trajectories(궤적)를 가지고 policy를 update를 하기 때문에 얻어지는 상태 분포 자체가 현재 policy에 의존적이게 된다. 그렇기 때문에, data dependent 한다. 이는 local optimal에 수렴할 수 있는 가능성을 만든다. 또한 한번 policy를 update 한 후, 그 이전의 trajectories는 현재의 policy와 다르기 때문에 더 이상 쓸 수 없다. 하지만 주로 update 할 action selection이 stochastic 하기 때문에,..

[2023] Deep Bidirectional Language-Knowledge Graph Pretraining Michihiro Yasunaga, Antoine Bosselut, Hongyu Ren, Xikun Zhang, Christopher D Manning, Percy Liang, Jure Leskovec 본문의 논문은 aaai 2023 workshop paper로, 링크를 확인해 주세요. Abstract 저자들의 제안 모델인 DRAGON (Deep Bidirectional Language-Knowledge Graph Pretraining) 은 MLM 과 KG의 linke prediction, 두 가지의 self-supervised reasoning task를 통합한 언어-지식 설립 모델을 사전훈..

[2023] Knowledge Relevance BERT: Integrating Noisy Knowledge into Language Representations Karan Samel, Jun Ma, Zhengyang Wang, Tong Zhao, Irfan Essa 본문의 논문은 AAAI 2023 Work Shop Accepted paper로, 여기를 확인해 주세요. Introduction 저자들은 BERT를 이용한 새로운 domain에서 데이터를 수집할 수 있는 모델을 만들고자 하였다. 저자들이 사용할 데이터, 실세계에서의 e-commerce 데이터의 양이 적고 새로운 domain이기에 어려움이 있다고 첫 번째로 언급하고, 두 번째로, 추출한 지식들(knowledges)의 noise에 대해 이야기한다..

[2022] Generative Knowledge Graph Construction: A Review Hongbin Ye, Ningyu Zhang, Hui Chen , Huajun Chen 본문의 논문은 EMNLP 2022 paper로, 여기를 확인해 주세요. Abstract KGC (Knowledge Graph Construction) 은 knowledge graph, 지식 그래프를 만들기 위해 sequence-to-sequence framework를 사용하는 방법으로, 광범위한 task에도 적용할 수 있고 유연성 있는 방법이다. 생성 지식 그래프에 대한 최근 주목할 만한 연구들을 요약한 논문이다. 각 각의 paradigm의 이점과 약점을 보여주고, 이론적인 통찰력과 경험에 의거한 분석을 제공한다. I..

[2022] Learning Inter-Entity Interaction for Few-Shot Knowledge Graph Completion Yuling Li, Kui Yu∗ , Xiaoling Huang, Yuhong Zhang 본문의 논문은 EMNLP 2022 Accepted paper로, 여기를 확인해 주세요. Abstract Few-shot knowledge graph completion (FKGC) 은 few-shot을 이용해 추론한 entity 쌍을 사용하여 알려지지 않은 relation의 triples를 발견하는 것이 목적인 그래프이다. 최근 이 연구에는 head와 tail entities의 neighborhoods를 따로 encoding 하여 entity 쌍의 의미론적인 표현을 학습하는..

[2021] Robust Knowledge Graph Completion with Stacked Convolutions and a Student Re-Ranking Network Justin Lovelace, Denis Newman-Griffis, Shikhar Vashishth, Jill Fain Lehman, Carolyn Penstein Rose´ 본문의 논문은 ACL 2021 Accepted paper로, 여기를 확인해 주세요. Abstract NAACL 2022 paper을 보던 중 이와 연관된 논문이 있어 읽게 되었다. 전체적인 결과나 흐름을 꼼꼼히 보기보다는 모델 architecture과 train이 어떻게 진행되었는지만 간단히 요약해보려 한다. Method 전반적으로 먼저 감을 잡아 보자면..

[2022] A Framework for Adapting Pre-Trained Language Models to Knowledge Graph Completion Justin Lovelace∗ Carolyn Penstein Rosé 본문의 논문은 EMNLP 2022 paper로, 여기를 확인해 주세요. Introduction 최근 연구에서 KG 내에 자연적으로 발생하는 희소성을 더 강하게 접근할 수 있는 방법을 개발하기 위해 pre-trained language model을 활용하였다. 이 접근법은 그래프 연결에 덜 의존하는 entity representations를 개발하기 위해 텍스트 entity 묘사를 활용하는 것이다. 이런 연구는 언어 모델에 entities를 인코딩하기 위한 훈련 중 직접적으로 f..

[2019] Neo-GNNs: Neighborhood Overlap-aware Graph Neural Networks for Link Prediction Seongjun Yun, Seoyoon Kim, Junhyun Lee, Jaewoo Kang∗ , Hyunwoo J. Kim* 본문의 논문은 여기를 확인해 주세요. Abstract GNN (Graph Neural Network)는 그래프 구조 데이터 학습을 위해 다양한 분야에서 많이 적용되었다. 노드 분류와 그래프 분류와 같은 전통적인 휴리스틱 방법 (경험 기반 방식)에서 큰 향상을 보여주었다. 하지만 GNN은 그래프 구조보다 매끄러운 노드 특성에 크게 의존하기 때문에, 구조적 정보, 예를 들어 오버랩된 이웃, degree, 최단 경로가 중요한 링크 예..

[2021] "Serving Each User"- Supporting Different Eating Goals Through a Multi-List Recommender Interface ALAIN D. STARKE, EDIS ASOTIC and CHRISTOPH TRATTNER 본문의 논문의 출처는 RecSys 2021로, 여기를 확인해주세요. Summary 유저들의 다양한 목적에 부합하는 multi-list 음식 추천 인터페이스를 제안한다. 저자들은 두 가지 인터페이스 (single vs multiple lists)의 방법을 노출했을 때 어떤 차이가 있는지 유저 스터디로 비교 분석하였다. 비록 multi-list 인터페이스가 single보다 덜 건강한 것을 선택하지만, 다양성과 선택의 만족성은 sin..