Subeen lab

시작은 위의 이미지였다. 단기 프로젝트 형식으로 사용해서  이제껏 aws sagemaker에서만 모델 학습을 하였는데,  운이 좋게 ? 또는 새로운 공부를 할 수 있는 기회가 생겨 회사 플젝으로 가져왔는데 로컬에서 이런 게 떠서 당황했다. 내가 볼 수 있는 건가 했지만 내가 잘 모르는 부분이었기에 인프라와 보안의 도움을 받았다.  > aws   일단 자신의 프롬프트를 열어 aws를 확인해 보자. 설치가 되어있지 않다면 아래의 사이트에서 해당되는 것을 받아 설치하면 된다. https://docs.aws.amazon.com/ko_kr/cli/latest/userguide/getting-started-install.html 최신 버전의 AWS CLI설치 또는 업데이트 - AWS Command Line Inte..

4주차 오후 2시간 정도를 포함해서 5주차는 팀 별로 개발 및 발표 준비 시간을 가졌다.  처음엔 knowledge base를 활용하였는데, 별 다른 작업을 하지 않았음에도 좋은 성능이 나왔다.  이번엔 직접 RAG을 사용하고, 처음 사용해보는 langchain을 활용하여 전체적인 프로세스를 만들기로 하였다.    우리 회사의 현업 쪽은 법 관련 개정사항을 자주 봐야 하는 어려움이 있다. 특히나 신입 사원이나, 관련 법을 공부하거나 자격증이 없는 분들에게는 어려울 수 있다. 또한 관련 공부를 하였다 하더라고 모든 것을 기억하기는 아마 쉽지 않을 것이다. 이를 토대로 현업에 사용하기 좋은 학습된 생성형 ai를 만드는 것이 우리의 목표이다.    사용된 아키텍처는 거의 비슷한 형태이다.  학습에 필요한 자료..

[4주차]   RAG 시스템이 프로덕션 환경에서 잘 안된다면?   → 컨텍스트를 잘 가져오는지, 안의 정보가 명확한지 파악해야 한다.  컨텍스트를 잘 가져오기 위해서는,  Context Retriever  (1) semantic search     ( + ) 키워드가 꼭 일치하지 않더라도 의미론적으로 유사한 검색 결과를 반환   ( -  ) 검색 결과가 임베딩 품질에 의존도가 높음   ( -  ) 단순 가까운 문장을 반환하므로 실제 답변과 관련 없을 수도 있음  (2) lexical search    ( + ) 특정 도메인 용어를 검색하기에 용이   ( + ) 정확도   ( -  ) 오타 및 동의어에 취약 → 두 가지의 장점을 살린 hybrid search    : 산술 평균 기법을 사용하여 두 검색 결..

[3주차] [오전] 항상 첫 시작은 지난주 내용 정리와 퀴즈로 진행되었다.   - Amazon Q : 소프트웨어 개발을 가속화하고 회사의 내부 데이터를 활용하기 위한 가장 유능한 생성형 AI 기반 어시스턴트로, 사용자에 따라 여러 가지 ai를 사용할 수 있다.   Amazon Q Business : 엔터프라이즈 시스템의 데이터 및 정보를 기반으로 질문에 답하고, 요약을 제공하고, 콘텐츠를 생성하고, 작업을 안전하게 완료할 수 있는 생성형 AI 기반 도우미이다. 이를 통해 직원들은 더 창의적이고 데이터 중심적이며, 효율적이고 준비성과 생산성을 높일 수 있다.        2.  Amazon Q Developer  : 소프트웨어 개발 시 사용할 때 유용한 ai 도우미이다. 코드 생성, 디버그등 짧은 시간 내..

[1 주차]  첫 주인만큼 어느 회사에서 왔는지, 어떤 팀에서 왔는지와 GenAI 개념을 이해하고, AWS를 통해 GenAI 기반 아키텍처를 구성할 수 있는 다양한 서비스를 알아보는 시간을 가졌다. 또한 각자의 회사가 만들고자 하는 기능(MVP)의 초안을 AWS Working Backwards 프로그램을 통해 기획하는 시간을 가졌다.  6주의 기간을 거치며 각 회사에서 생성형 AI를 사용한 프로젝트를 하게 된다.   작년과 달라진 GenAI의 동향을 보았을 때, 작년까지는 chatgpt의 열풍이 불며 이를 믿어도 될지, 사용에 다른 불이익이 없을 지에 대해 관심을 가졌다면, 올해부터는 어떻게 커스터마이즈하고 더 효율적으로 사용할지를 생각하는 방향으로 바뀌었다.  aws에서 기본 FM을 사용하여 커스터마이..