Subeen lab

[2022] Multi-modal Text Recognition Networks : Interactive Enhancements between Visual and Semantic FeaturesByeonghu Na 1 , Yoonsik Kim 2 , and Sungrae Park 3 ∗ 본문의 논문은 paper로, 링크를 확인해주세요. Abstract 언어 지식은 결과 시퀀스에서 개별적으로 적용이 되는데, 이전 방법들은 텍스트 인지에 대한 시각적인 내용을 이해하기 위해 의미론적인 내용을 전체적으로 활용하지 못하고 있었다. 제안하는 모델인 MATRN은 더 나은 인식을 위해 시각적인 것과 의미론 적인 특성을 함께 가지는 multi-modal 모델이다. 학습 과정에서 문자와 관련 있는 시각적인 단서들은 ..

[2020] Retrieval-Augmented Generation for Knowledge-Intensive NLP TasksPatrick Lewis†‡, Ethan Perez?, Aleksandra Piktus†, Fabio Petroni†, Vladimir Karpukhin†, Naman Goyal†, Heinrich Küttler†, Mike Lewis†, Wen-tau Yih†, Tim Rocktäschel†‡, Sebastian Riedel†‡, Douwe Kiela† 본문의 논문은 neurips paper로, 링크를 확인해 주세요. Abstract  parameteric 메모리는 pretrained seq2seq, non-parameteric 메모리는 위키피디아의 벡터를 사용하여 두 가지를 ..

[2024] The Amazon Nova Family of Models:Technical Report and Model CardAmazon Artificial General Intelligence 본문의 논문은 amazon science paper로, 링크를 확인해 주세요. Summary   아마존에서 발표한 NOVA 모델이 다양한 방식으로 나왔다.  1. NOVA-Pro : 다양한 task에서 정확성, 속도, 비용 측면에서 높은 수용성을 나타내는 멀티모달 모델 2. NOVA-Lite : text, image, documents, video의 처리가 가볍고 빠른 저비용 멀티모달 모델 3. NOVA-Micro : 응답시간이 매우 빠른 저비용 text처리 모델 4. NOVA-Canvas : 다양한 커스텀을 ..

[2020] Language Models are Few-Shot LearnersopenAI 본문의 논문은 다음 링크를 확인해 주세요.  Abstract  최근 생성형 ai 모델이 많이 떠오르면서, openAI에서 보여준 ChatGPT가 선두주자로 달리고 있다. 아마 개발자들은 다들 한 번씩 사용해 봤을 거라 생각하고, 성능이 꽤나 나쁘지 않다는 점에서 자연어처리 전공자들이 많이 놀랐을 것이라 생각한다. (나 역시 마찬가지..) NLP 모델은 단어 임베딩을 학습하는 것에서 시작하여 RNN 레이어를 쌓아 문맥 벡터를 만들어내는 다양한 모델들 (ELMo, BERT, GPT, ULMFit)과 같이 트랜스포머 구조를 이용해 문맥을 표현하는 모델, 대량의 코퍼스를 이용해 학습된 모델은 fine-tuning을 통해 ..

시작은 위의 이미지였다. 단기 프로젝트 형식으로 사용해서  이제껏 aws sagemaker에서만 모델 학습을 하였는데,  운이 좋게 ? 또는 새로운 공부를 할 수 있는 기회가 생겨 회사 플젝으로 가져왔는데 로컬에서 이런 게 떠서 당황했다. 내가 볼 수 있는 건가 했지만 내가 잘 모르는 부분이었기에 인프라와 보안의 도움을 받았다.  > aws   일단 자신의 프롬프트를 열어 aws를 확인해 보자. 설치가 되어있지 않다면 아래의 사이트에서 해당되는 것을 받아 설치하면 된다. https://docs.aws.amazon.com/ko_kr/cli/latest/userguide/getting-started-install.html 최신 버전의 AWS CLI설치 또는 업데이트 - AWS Command Line Inte..

4주차 오후 2시간 정도를 포함해서 5주차는 팀 별로 개발 및 발표 준비 시간을 가졌다.  처음엔 knowledge base를 활용하였는데, 별 다른 작업을 하지 않았음에도 좋은 성능이 나왔다.  이번엔 직접 RAG을 사용하고, 처음 사용해보는 langchain을 활용하여 전체적인 프로세스를 만들기로 하였다.    우리 회사의 현업 쪽은 법 관련 개정사항을 자주 봐야 하는 어려움이 있다. 특히나 신입 사원이나, 관련 법을 공부하거나 자격증이 없는 분들에게는 어려울 수 있다. 또한 관련 공부를 하였다 하더라고 모든 것을 기억하기는 아마 쉽지 않을 것이다. 이를 토대로 현업에 사용하기 좋은 학습된 생성형 ai를 만드는 것이 우리의 목표이다.    사용된 아키텍처는 거의 비슷한 형태이다.  학습에 필요한 자료..

[4주차]   RAG 시스템이 프로덕션 환경에서 잘 안된다면?   → 컨텍스트를 잘 가져오는지, 안의 정보가 명확한지 파악해야 한다.  컨텍스트를 잘 가져오기 위해서는,  Context Retriever  (1) semantic search     ( + ) 키워드가 꼭 일치하지 않더라도 의미론적으로 유사한 검색 결과를 반환   ( -  ) 검색 결과가 임베딩 품질에 의존도가 높음   ( -  ) 단순 가까운 문장을 반환하므로 실제 답변과 관련 없을 수도 있음  (2) lexical search    ( + ) 특정 도메인 용어를 검색하기에 용이   ( + ) 정확도   ( -  ) 오타 및 동의어에 취약 → 두 가지의 장점을 살린 hybrid search    : 산술 평균 기법을 사용하여 두 검색 결..

[3주차] [오전] 항상 첫 시작은 지난주 내용 정리와 퀴즈로 진행되었다.   - Amazon Q : 소프트웨어 개발을 가속화하고 회사의 내부 데이터를 활용하기 위한 가장 유능한 생성형 AI 기반 어시스턴트로, 사용자에 따라 여러 가지 ai를 사용할 수 있다.   Amazon Q Business : 엔터프라이즈 시스템의 데이터 및 정보를 기반으로 질문에 답하고, 요약을 제공하고, 콘텐츠를 생성하고, 작업을 안전하게 완료할 수 있는 생성형 AI 기반 도우미이다. 이를 통해 직원들은 더 창의적이고 데이터 중심적이며, 효율적이고 준비성과 생산성을 높일 수 있다.        2.  Amazon Q Developer  : 소프트웨어 개발 시 사용할 때 유용한 ai 도우미이다. 코드 생성, 디버그등 짧은 시간 내..

[1 주차]  첫 주인만큼 어느 회사에서 왔는지, 어떤 팀에서 왔는지와 GenAI 개념을 이해하고, AWS를 통해 GenAI 기반 아키텍처를 구성할 수 있는 다양한 서비스를 알아보는 시간을 가졌다. 또한 각자의 회사가 만들고자 하는 기능(MVP)의 초안을 AWS Working Backwards 프로그램을 통해 기획하는 시간을 가졌다.  6주의 기간을 거치며 각 회사에서 생성형 AI를 사용한 프로젝트를 하게 된다.   작년과 달라진 GenAI의 동향을 보았을 때, 작년까지는 chatgpt의 열풍이 불며 이를 믿어도 될지, 사용에 다른 불이익이 없을 지에 대해 관심을 가졌다면, 올해부터는 어떻게 커스터마이즈하고 더 효율적으로 사용할지를 생각하는 방향으로 바뀌었다.  aws에서 기본 FM을 사용하여 커스터마이..

상황 설명하자면... 개발 branch에서 main으로 merge request 중, commit conflict가 떴다. 말 그대로 원인은 commit 에러였고, 해결하기엔... 이해를 못 했다, 바로 저 한 시간 전인 17시간 전 updated는 승인 났는데 ㅠㅠ 여튼 그래서 새로운 방법을 찾기로 했고, 해결 방법은 아니지만 다른 명령어 정리 겸 작성해 보자. 전체 흐름을 보자면 , ● 새 브랜치 생성 → 생성된 새 브랜치에 기존 브랜치 복사 → 둘 연결해서 기존 main 지우기 ㅎ 혹시 있는 그대로에서 해결 방법을 아는 사람은 알려주길 바람... # 새 브랜치 생성 git branch [new branch name] # 생성된 새 브런치로 전환 git checkout [new branch name]..