Subeen lab

[2020] Language Models are Few-Shot LearnersopenAI 본문의 논문은 다음 링크를 확인해 주세요.  Abstract  최근 생성형 ai 모델이 많이 떠오르면서, openAI에서 보여준 ChatGPT가 선두주자로 달리고 있다. 아마 개발자들은 다들 한 번씩 사용해 봤을 거라 생각하고, 성능이 꽤나 나쁘지 않다는 점에서 자연어처리 전공자들이 많이 놀랐을 것이라 생각한다. (나 역시 마찬가지..) NLP 모델은 단어 임베딩을 학습하는 것에서 시작하여 RNN 레이어를 쌓아 문맥 벡터를 만들어내는 다양한 모델들 (ELMo, BERT, GPT, ULMFit)과 같이 트랜스포머 구조를 이용해 문맥을 표현하는 모델, 대량의 코퍼스를 이용해 학습된 모델은 fine-tuning을 통해 ..

시작은 위의 이미지였다. 단기 프로젝트 형식으로 사용해서  이제껏 aws sagemaker에서만 모델 학습을 하였는데,  운이 좋게 ? 또는 새로운 공부를 할 수 있는 기회가 생겨 회사 플젝으로 가져왔는데 로컬에서 이런 게 떠서 당황했다. 내가 볼 수 있는 건가 했지만 내가 잘 모르는 부분이었기에 인프라와 보안의 도움을 받았다.  > aws   일단 자신의 프롬프트를 열어 aws를 확인해 보자. 설치가 되어있지 않다면 아래의 사이트에서 해당되는 것을 받아 설치하면 된다. https://docs.aws.amazon.com/ko_kr/cli/latest/userguide/getting-started-install.html 최신 버전의 AWS CLI설치 또는 업데이트 - AWS Command Line Inte..

4주차 오후 2시간 정도를 포함해서 5주차는 팀 별로 개발 및 발표 준비 시간을 가졌다.  처음엔 knowledge base를 활용하였는데, 별 다른 작업을 하지 않았음에도 좋은 성능이 나왔다.  이번엔 직접 RAG을 사용하고, 처음 사용해보는 langchain을 활용하여 전체적인 프로세스를 만들기로 하였다.    우리 회사의 현업 쪽은 법 관련 개정사항을 자주 봐야 하는 어려움이 있다. 특히나 신입 사원이나, 관련 법을 공부하거나 자격증이 없는 분들에게는 어려울 수 있다. 또한 관련 공부를 하였다 하더라고 모든 것을 기억하기는 아마 쉽지 않을 것이다. 이를 토대로 현업에 사용하기 좋은 학습된 생성형 ai를 만드는 것이 우리의 목표이다.    사용된 아키텍처는 거의 비슷한 형태이다.  학습에 필요한 자료..

[4주차]   RAG 시스템이 프로덕션 환경에서 잘 안된다면?   → 컨텍스트를 잘 가져오는지, 안의 정보가 명확한지 파악해야 한다.  컨텍스트를 잘 가져오기 위해서는,  Context Retriever  (1) semantic search     ( + ) 키워드가 꼭 일치하지 않더라도 의미론적으로 유사한 검색 결과를 반환   ( -  ) 검색 결과가 임베딩 품질에 의존도가 높음   ( -  ) 단순 가까운 문장을 반환하므로 실제 답변과 관련 없을 수도 있음  (2) lexical search    ( + ) 특정 도메인 용어를 검색하기에 용이   ( + ) 정확도   ( -  ) 오타 및 동의어에 취약 → 두 가지의 장점을 살린 hybrid search    : 산술 평균 기법을 사용하여 두 검색 결..

[3주차] [오전] 항상 첫 시작은 지난주 내용 정리와 퀴즈로 진행되었다.   - Amazon Q : 소프트웨어 개발을 가속화하고 회사의 내부 데이터를 활용하기 위한 가장 유능한 생성형 AI 기반 어시스턴트로, 사용자에 따라 여러 가지 ai를 사용할 수 있다.   Amazon Q Business : 엔터프라이즈 시스템의 데이터 및 정보를 기반으로 질문에 답하고, 요약을 제공하고, 콘텐츠를 생성하고, 작업을 안전하게 완료할 수 있는 생성형 AI 기반 도우미이다. 이를 통해 직원들은 더 창의적이고 데이터 중심적이며, 효율적이고 준비성과 생산성을 높일 수 있다.        2.  Amazon Q Developer  : 소프트웨어 개발 시 사용할 때 유용한 ai 도우미이다. 코드 생성, 디버그등 짧은 시간 내..

[1 주차]  첫 주인만큼 어느 회사에서 왔는지, 어떤 팀에서 왔는지와 GenAI 개념을 이해하고, AWS를 통해 GenAI 기반 아키텍처를 구성할 수 있는 다양한 서비스를 알아보는 시간을 가졌다. 또한 각자의 회사가 만들고자 하는 기능(MVP)의 초안을 AWS Working Backwards 프로그램을 통해 기획하는 시간을 가졌다.  6주의 기간을 거치며 각 회사에서 생성형 AI를 사용한 프로젝트를 하게 된다.   작년과 달라진 GenAI의 동향을 보았을 때, 작년까지는 chatgpt의 열풍이 불며 이를 믿어도 될지, 사용에 다른 불이익이 없을 지에 대해 관심을 가졌다면, 올해부터는 어떻게 커스터마이즈하고 더 효율적으로 사용할지를 생각하는 방향으로 바뀌었다.  aws에서 기본 FM을 사용하여 커스터마이..

상황 설명하자면... 개발 branch에서 main으로 merge request 중, commit conflict가 떴다. 말 그대로 원인은 commit 에러였고, 해결하기엔... 이해를 못 했다, 바로 저 한 시간 전인 17시간 전 updated는 승인 났는데 ㅠㅠ 여튼 그래서 새로운 방법을 찾기로 했고, 해결 방법은 아니지만 다른 명령어 정리 겸 작성해 보자. 전체 흐름을 보자면 , ● 새 브랜치 생성 → 생성된 새 브랜치에 기존 브랜치 복사 → 둘 연결해서 기존 main 지우기 ㅎ 혹시 있는 그대로에서 해결 방법을 아는 사람은 알려주길 바람... # 새 브랜치 생성 git branch [new branch name] # 생성된 새 브런치로 전환 git checkout [new branch name]..

현재 진행 중인 프로젝트의 끝자락에 가까워질 때쯤, 누군가 성능 테스트를 하려고 계획 중이라고 했다.. 근데 그게 왜 나한테 넘어오게 된 건지 모르겠지만.. 여튼 ! 찾아보던 와중에 많이 사용되는 k6 툴을 사용해 보기로 했다. 현재 내 pc 는 windows로 windows 버전 설치 및 성능 확인으로 정리할 것이다. java로 하려고 했지만 python으로도 가능한 부분이 있어, 주 언어로 먼저 test 해보도록 하겠다. chocolatey ? - chocolatey (aka. choco) : windows에서 사용할 수 있는 CLI package manager - Linux의 apt(apt-get), yum, Mac의 Homebrew 처럼 패키지 설치 / 업데이트 / 삭제 등에 사용하는 window..

깃랩을 사용하던 중, 어느 부분의 실수에서였는지 내가 branch에서 떨어졌다는 오류가 떴다. 찾아보던 중, 아주 정리를 잘해주신 블로그가 있어 참고하여 내 상황을 정리해 보겠다. https://devcamus.tistory.com/6 Detached Head 깃으로 버전관리 하다보면 작업내용을 commit하고 원격저장소에 push할 때, detached head 상태에 있다며, push가 reject될 때가 있다. 빨리 저장소에 push해야하는 상황에서 이런 오류를 마주치면 당황하 devcamus.tistory.com detached head가 무엇일까? → head가 branch로부터 떨어졌다는 소리로, branch를 통해서가 아닌 직접적으로 commit을 참조하는 상태이다. git 에서 head는 ..

모든 프로그램은 환경설정이 중요하다. 설정이 되지 않으면 파일이 실행되지 않으니 차근차근 따라 해보면 될 것 같다. 1. IntelliJ 설치하기 https://www.jetbrains.com/ko-kr/idea/download/#section=windows 최고의 Java 및 Kotlin IDE인 IntelliJ IDEA를 다운로드하세요 www.jetbrains.com 일단 중요한 intellij 설치부터 하는데, 결제하지 않으면 30일 무료니까 그 점 유의할 것! 설치에서 option을 선택하면 되는데, 이 사진은 퍼온 거..이고, 나의 경우는 create associations에 .java와 .gradle만 체크했다. Create Desktop Shortcut : 바로가기 생성 여부 Update P..