Subeen lab

[2022] Generative Knowledge Graph Construction: A Review Hongbin Ye, Ningyu Zhang, Hui Chen , Huajun Chen 본문의 논문은 EMNLP 2022 paper로, 여기를 확인해 주세요. Abstract KGC (Knowledge Graph Construction) 은 knowledge graph, 지식 그래프를 만들기 위해 sequence-to-sequence framework를 사용하는 방법으로, 광범위한 task에도 적용할 수 있고 유연성 있는 방법이다. 생성 지식 그래프에 대한 최근 주목할 만한 연구들을 요약한 논문이다. 각 각의 paradigm의 이점과 약점을 보여주고, 이론적인 통찰력과 경험에 의거한 분석을 제공한다. I..

[2022] Learning Inter-Entity Interaction for Few-Shot Knowledge Graph Completion Yuling Li, Kui Yu∗ , Xiaoling Huang, Yuhong Zhang 본문의 논문은 EMNLP 2022 Accepted paper로, 여기를 확인해 주세요. Abstract Few-shot knowledge graph completion (FKGC) 은 few-shot을 이용해 추론한 entity 쌍을 사용하여 알려지지 않은 relation의 triples를 발견하는 것이 목적인 그래프이다. 최근 이 연구에는 head와 tail entities의 neighborhoods를 따로 encoding 하여 entity 쌍의 의미론적인 표현을 학습하는..

[2021] Robust Knowledge Graph Completion with Stacked Convolutions and a Student Re-Ranking Network Justin Lovelace, Denis Newman-Griffis, Shikhar Vashishth, Jill Fain Lehman, Carolyn Penstein Rose´ 본문의 논문은 ACL 2021 Accepted paper로, 여기를 확인해 주세요. Abstract NAACL 2022 paper을 보던 중 이와 연관된 논문이 있어 읽게 되었다. 전체적인 결과나 흐름을 꼼꼼히 보기보다는 모델 architecture과 train이 어떻게 진행되었는지만 간단히 요약해보려 한다. Method 전반적으로 먼저 감을 잡아 보자면..

[2022] A Framework for Adapting Pre-Trained Language Models to Knowledge Graph Completion Justin Lovelace∗ Carolyn Penstein Rosé 본문의 논문은 EMNLP 2022 paper로, 여기를 확인해 주세요. Introduction 최근 연구에서 KG 내에 자연적으로 발생하는 희소성을 더 강하게 접근할 수 있는 방법을 개발하기 위해 pre-trained language model을 활용하였다. 이 접근법은 그래프 연결에 덜 의존하는 entity representations를 개발하기 위해 텍스트 entity 묘사를 활용하는 것이다. 이런 연구는 언어 모델에 entities를 인코딩하기 위한 훈련 중 직접적으로 f..

지난 글에서 실패했던 걸 발판 삼아.. 다시 시작! 위 글을 참조하여 작성하였습니다. pip install neo4j 이미 설치했지만 한 번 더 언급하기 pip을 이용해서 neo4j 설치한다. 1. 새 프로젝트 만들기 좌측 상단의 +New를 이용하여 새 프로젝트를 만들 것이다. 네이버 기사를 크롤링 해볼 예정이므로, Project name은 다음과 같이 바꿨다. 그리고 우측 상단의 +Add를 늘러 Local DBMS를 눌러준다. 그러면 화면과 같이 Name 과 Password를 치라고 나와있는데, 자신이 쓰는 편한 걸로 그냥 만들면 된다. 그 후 create를 클릭! 만들어진 project를 누르면 start 버튼이 나올 것이다. 그걸 눌러서 실행을 해주고, 로딩이 끝나면 open을 눌러준다. 그러면 위..

이 전부터 계속 관심을 가져온 Knowledge Graph 분야에 쓰일 Neo4j에 관해 살짝 정리해보려 한다. 손으로 직접 kg를 구축하려고 노가다(?)를 한 적 있었는데, 들인 시간 대비 너무 좋지 않은 그래프가 나와 아쉬움이 컸다. 이번엔 조금 더 다듬어 보기 위해 neo4j를 사용하여 그래프를 구축해 볼 예정이다. 그전에 Neo4j에서 기본으로 제공하는 DB를 이용하여 tutorial을 해보도록 하겠다. 1. Neo4j 설치 물론 시작은 설치이다. pip을 이용하여 neo4j를 설치해 준다. 성공적으로 설치가 되었다면 실제 neo4j 프로그램을 설치해야 한다. https://neo4j.com/ Neo4j Graph Data Platform – The Leader in Graph Databases ..

간혹 torch 사용 시에 다음과 같은 처음 보는 긴 오류가 발생할 때가 있다. 본인은 Roberta 사용 시에 보게 되었다. runtime error : cuda error : cublas_status_not_supported when calling 'cublassgemmstridedbatched( handle, opb, m, n, k, &alpha, a, lda, stridea, b, ldb, strdeb, &beta, c , ldc, stridec, num_batches)' 처음 보기도 했고, 무슨 소리인지 전혀 이해가 가지 않았고, 검색했을 때도 조금씩 다른 오류를 언급하여 한참을 들여다 보았다. 이 오류는 가장 단순하게는 batch_size가 너무 커서 cuda가 용량을 벗어났을 때 나온다고 한..

1. 개요 코드를 돌리다 보면 용량이 너무 커서 런타임이 끊기는 경우가 있다. 코랩에서 사용할 수도 있지만, 코랩 또한 기본 기준으로 9시간이 지나면 런타임이 끊기고 다시 돌리려면 약 12시간을 기다려야 한다. 하지만, 컴퓨터에 gpu가 있다면 설치와 코드 몇 줄로 빠른 코드 실행을 할 수 있다. 나는 주로 torch를 자주 쓰므로 torch를 이용한 gpu 설치를 정리하려 한다. 나는 작년 초반에 설치해서 10.2 기준 cuda를 설치하였다. 현재는 제공하지 않으므로 상위 버전에 맞추어야 한다. 2. 그래픽 카드 확인 먼저 그래픽 카드가 어떤 것인지 확인해야 한다. 장치 관리자를 들어가 디스플레이 어댑터를 눌러 확인한다. 내 컴퓨터에는 GTX 1080 TI가 있으므로 이를 기준으로 정리하겠다. 3. 그..

[2019] Neo-GNNs: Neighborhood Overlap-aware Graph Neural Networks for Link Prediction Seongjun Yun, Seoyoon Kim, Junhyun Lee, Jaewoo Kang∗ , Hyunwoo J. Kim* 본문의 논문은 여기를 확인해 주세요. Abstract GNN (Graph Neural Network)는 그래프 구조 데이터 학습을 위해 다양한 분야에서 많이 적용되었다. 노드 분류와 그래프 분류와 같은 전통적인 휴리스틱 방법 (경험 기반 방식)에서 큰 향상을 보여주었다. 하지만 GNN은 그래프 구조보다 매끄러운 노드 특성에 크게 의존하기 때문에, 구조적 정보, 예를 들어 오버랩된 이웃, degree, 최단 경로가 중요한 링크 예..

[2021] "Serving Each User"- Supporting Different Eating Goals Through a Multi-List Recommender Interface ALAIN D. STARKE, EDIS ASOTIC and CHRISTOPH TRATTNER 본문의 논문의 출처는 RecSys 2021로, 여기를 확인해주세요. Summary 유저들의 다양한 목적에 부합하는 multi-list 음식 추천 인터페이스를 제안한다. 저자들은 두 가지 인터페이스 (single vs multiple lists)의 방법을 노출했을 때 어떤 차이가 있는지 유저 스터디로 비교 분석하였다. 비록 multi-list 인터페이스가 single보다 덜 건강한 것을 선택하지만, 다양성과 선택의 만족성은 sin..