[AWS DNA 6기] GenAI 5,6주차 및 회고

 

 

 4주차 오후 2시간 정도를 포함해서 5주차는 팀 별로 개발 및 발표 준비 시간을 가졌다.

 

 처음엔 knowledge base를 활용하였는데, 별 다른 작업을 하지 않았음에도 좋은 성능이 나왔다. 

 이번엔 직접 RAG을 사용하고, 처음 사용해보는 langchain을 활용하여 전체적인 프로세스를 만들기로 하였다.

 

 

 

 우리 회사의 현업 쪽은 법 관련 개정사항을 자주 봐야 하는 어려움이 있다. 특히나 신입 사원이나, 관련 법을 공부하거나 자격증이 없는 분들에게는 어려울 수 있다. 또한 관련 공부를 하였다 하더라고 모든 것을 기억하기는 아마 쉽지 않을 것이다.

 이를 토대로 현업에 사용하기 좋은 학습된 생성형 ai를 만드는 것이 우리의 목표이다.

 

 

 

 사용된 아키텍처는 거의 비슷한 형태이다. 

 학습에 필요한 자료 (우리는 pdf를 사용하였다)를 파싱 하여 titan embedding v2를 사용하여 embedding, 그리고 indexing 과정을 통해 opensearch에 데이터 저장 후, hybrid search를 사용하여 claude-3.5 sonnet에 활용하였다.

 

 이후 사용자가 쿼리를 chatbot에게 주면 generate 과정을 통해 답변을 생성해 내고, 그 답변을 db에 저장까지 하였다.

 

 대략 1-2주 동안 끝나야 했던 Pre-PoC 과정으로 이만큼만 만들었고, 추후 회사에서 배포 예정이 있다면 계속해서 최적화를 하여 좋은 성능의 모델을 만들어보고 싶다.

 

 

---

 

 

 같이 교육을 들은 회사는 ,

 Ground X , 우아한 형제들, MIDAS IT, 젠틀몬스터, 아임웹, 카카오, 위대한 상상, 인터파크트리플, Kurly, 현대카드가 있다.

 

여기서 기억에 남는 발표들만 대략적으로 정리해 보자면,

 

 

 

 우아한 형제들, 

 

배민으로 많이 알려진 우아한 형제들은, 배달의 민족이 메인인 만큼 배달 관련해서 구현하였다.

 A, B 두 팀으로 나뉘었는데, 한 팀은 추천 시스템, 다른 한 팀은 배달 조리시간 예측이었다. 

 

 추천 시스템은 "오늘 운동해서 가볍고 든든한 한 끼 추천해 줘"라고 넣어주면, 그에 맞는 음식 추천과 이미지를 보여주게 되어있다. 설명을 아주 깔끔하게 이해하기 쉽게 해 주셔서 귀에 잘 들어왔고, 구현 자체도 깔끔하게 완성도 높게 하여서 기억에 남았다.

 

 다른 팀인 배달 조리시간 예측은 식당 사장님들을 위한 것으로, 음식이 여러 개 주문이 들어왔을 때 해당 음식들의 재료 및 조리 시간을 계산하여 음식 조리 예상시간을 배달 기사들에게 알려줄 수 있게 하는 것이었다. 단순히 해당 음식 조리시간을 더한 거에서 넘어서서, 동시 조리 시간도 생각하여 계산을 해준다는 점에서 깊이 생각했다는 것을 알 수 있었다.

 

 

 젠틀몬스터,

 

 제니 선글라스로 유명해서 많은 인기를 얻은 젠몬, 이들은 자신들의 웹 사이트에서 단순히 "검은색 선글라스"라고 검색하면 관련 내용이 나오지 않는다. 그래서 이들은 쿼리로도 질문을 하면 해당하는 선글라스 모델을 찾아줄뿐더러, 이미지를 넣었을 때, "어울리는 선글라스 찾아줘"라고 하면, 알아서 찾아주기도 한다.

 

 

 

 인터파크트리플,

 

 티켓팅을 해본 사람들은 다들 아는 인터파크, 이들은 예측 모델을 구현하였다. 사실 예측 모델은 따로 잘 만들어져 있는 게 많아서 llm을 사용하는 게 더 비효율이라고 생각할 수도 있지만, 실제 사용할 때는 비용도 따져야 하고 전체적인 효율성을 봐야 하므로, 적절한 포인트를 찾은 것이라고 하였다. 

 티켓팅할 때는 많은 사람들이 한 번에 같은 사이트에 몰리기 때문에 트래픽을 잘 조절하여 확인해야 한다고 하였고, 특히나 예전의 경험을 비추었을 때 세븐틴 콘서트 같은 경우를 이야기해 주셨다. 사람들이 어느 정도의 인기에 대하여 얼마나 몰릴지를 과거의 데이터를 가지고 예측하는 모델을 활용하여, 트래픽이 얼마나 몰릴지 확인하여 예방하는 것이었다.

 

 

 

 현대카드,

 

 현대카드는 두 명만 오셨던 점과, 이 두 분이서 쿼리 생성 모델을 만들었던 것이 기억에 남았다. 남들과 다르게 추가적인 실험을 하셨던 걸로 기억하는데 세세한 건 기억이..

 쿼리 생성은 생성된 후에도 그 쿼리문이 정확한지가 중요하여서, 쿼리 정확도에 대한 부분도 구현하셨던 걸로 기억한다.

 

 

 

 

 다들 발표도 멋지게 잘하시고 다른 회사는 어떤 부분을 중점으로 일 하는지 알게 되어서 흥미로웠다. 또한 자연어를 공부하였었지만, 직접적으로 혼자 llm 모델을 다뤄볼 기회가 없어서 나에게는 더 크게 공부에 도움 되는 교육이었다. 매주 사람들의 의견을 반영하여 업데이트해주신 aws 측도 너무 감사했고, 또 이런 기회가 생긴다면 참여하고 싶다!

 다른 회사와의 교류가 적어서 아쉽긴 했지만 이걸 aws에서 보신다면,, 홈커밍데이 정말로 기대하겠습니다 😊

 

 

 

 

aws에서 주신 마지막 점심과 시원한 맥주 !! 진짜 너무 행복했다 ㅋㅋㅋㅋㅋ

술이 안 받아서 빨개질까봐 적당히 먹은 게 아쉬울 따름...

 

 

 

 마지막으로 단체 사진 ! 

 다들 너무 감사합니다 :)

 

 

사진은 절대 퍼가지 마세요