항해99/항해플러스AI 5

[항해 플러스 AI 후기] 5주차 WIL: RAG를 활용한 LLM 모델 만들기

이번 주에는 LLM을 좀 더 잘 활용하기 위해 instruction-tuning, MLLM, RAG에 대해 학습하였다.특히 RAG는 이전에도 들어본 적이 있지만 잘 알지 못하는 개념이었는데, 굉장히 흥미로웠다. 이외에도 멘토링을 진행하면서 LangChain을 좀 더 공부해보면 좋을 것 같아서 찾아보고 있다.LangChain은 LLM을 잘 활용하기 위한 다양한 기능이 모여있는 라이브러리로, 잘 활용하면 코드를 간결하게 작성할 수 있을 것 같다. 이번 주 심화과제에서는 프로젝트를 본격적으로 시작하기에 앞서 아주 간단한 프로토타입을 만들어보았다.심화과제를 진행하면서 프로젝트에 대해 고민한 내용들도 정리하였다.5주차 학습한 내용1. Instruction-tuningLLM의 텍스트 생성 능력만을 가지고 사용자의 ..

[항해 플러스 AI 후기] 4주차 WIL : Trainer와 GPT 프롬프팅

이번주에는 모델 학습을 쉽게 구현할 수 있게 해주는 HuggingFace library와 GPT를 기반으로 하는 LLM 활용 방법에 대해 학습하였다. 이번주 발제를 시작하기에 앞서, 발제 코치님께서 지난주 멘토링 발제 중 모두에게 공유하면 좋을만한 내용을 다시 한 번 정리해주셨다.(이 중 내 질문도 있어서 혼자 뿌듯했다😆)3주차 멘토링 질의응답 추가 공유epoch를 몇으로 설정해야 할까epoch가 짧으면 모델이 충분히 학습하지 못할 수 있기 때문에, 처음에는 길게 늘려놓는 것이 좋다.wandb나 mlflow와 같은 실험관리 도구를 통해 어느 지점에서 test 성능이 고점을 찍고 하락하는지 파악할 수 있다.지난주, 이번주 과제를 할 때는 early stopping을 추가하고 epoch를 넉넉하게 설정했다..

[항해 플러스 AI 후기] 3주차 WIL : BERT와 GPT

이번주에는 언어 모델인 BERT와 GPT에 대해 학습하였다.과제를 BERT 위주로 진행해서, 아직 GPT는 많이 낯설다. 먼저 이번주에 학습한 내용을 정리하고, 과제를 중심으로 이번 주에 어려웠던 점을 회고하였다.3주차 학습한 내용: LLM 원리와 작동 방식RNN이나 Transformer와 같은 모델들은 train data가 충분하다면 좋은 성능을 발휘하지만, train data는 항상 충분하지 않다.data가 충분하지 않은 상황에서도 test data에서 잘 동작하는 모델을 만들기 위해 Pre-trained Model을 사용한다.1. Transfer learning다른 자연어 처리 문제를 푸는 모델을 활용하여 데이터가 적은 자연어 처리 문제를 해결할 수 있을 거라는 아이디어에서 시작한다.목표로 하는 자..

[항해 플러스 AI 후기] 2주차 WIL : 자연어 처리와 Transformer

이번주에는 자연어를 처리하는 딥러닝 모델에 대해 다루었다.지난주 멘토링 시간에 코치님이 다음주에는 자연어라서 좀 더 재미있을거라고 하셨는데........... 🫠이번주에 새로 배운 개념과 이론은 정말 어려웠다.그렇지만 함께 AI 코스를 듣고있는 동료들과, 학습메이트와, 코치님과 함께 공부하면서 많은 부분을 새롭게 배울 수 있었고, 그런 면에서 정말 재미있는 한 주 였다. ⭐️2주차에 학습한 내용을 정리하고, 스스로 어떤 성장을 했는지 회고해보았다.2주차 학습한 내용: 자연어 처리와 Transformer 모델1. 자연어 처리와 자연어 처리에 필요한 기술인간의 언어로 이루어진 입력을 처리하는 문제이다.감정 분석(주어진 문장이 부정인지 긍정인지), 질의 응답, 기계 번역, 요약 등의 문제를 해결할 수 있다...

[항해 플러스 AI 후기] 1주차 WIL : 딥러닝과 머신러닝의 기본 개념 학습

항해 플러스 AI 3기를 시작하게 되었다.https://hanghae99.spartacodingclub.kr/plus/aiAI 커리큘럼을 보면서 따라갈 수 있을지 고민하다가 결국 마감 직전에 신청하게 되었다. 🤣나에게 AI는 굉장히 낯선 분야이다.매주 학습하면서 배우는 내용들을 정리하기 위해 이 글을 작성한다.항해 플러스 AI 사전과정항해 플러스에서는 온보딩을 위한 사전과정이 준비되어 있다.그런데 합류를 늦게 하는 바람에 사전과정에 참여할 수 있는 시간이 며칠밖에 되지 않았다.항해 플러스 AI 과정을 잘 따라갈 수 있도록 파이썬과 머신러닝, 딥러닝 등 관련 강의들이 사전 제공된다.파이썬은 그래도 조금 사용해봐서 크게 걱정되지는 않았는데 머신러닝과 딥러닝은 완전히 처음 접하는 분야라서 걱정이 많았다.개강..