개발일지

이번 주에는 GPT 외의 LLM을 학습하는 방법에 대해 학습하였다. 7주차 학습한 내용: 클라우드 환경 배포 및 파인튜닝(2)fine-tuning이 필요한 경우GPT나 Gemini와 같은 closed LLM은 일반적인 텍스트 질의응답에는 뛰어난 성능을 보이지만 특정 도메인 지식을 요구하는 task는 잘 하지 못할 수 있다.또한, closed LLM은 사용하는 만큼 비용이 발생하기 때문에 open LLM을 파인튜닝해서 사용하면 비용을 절약할 수 있다. 다음과 같은 과정을 거쳐 파인 튜닝이 필요한지 테스트할 수 있다.테스트를 위한 instruction data를 준비한다.GPT나 huggin face에 있는 모델들로 평가한다.평가 결과에 따라 평가 결과가 안좋거나 비용이 많이 든다면 테스트 데이터의 크기를 ..

이번 주에는 개인사정으로 토요일 오프라인 모임에 참여하지 못하였다.발제는 녹화 영상으로 제공되지만, 오프라인에서 진행하는 과제 리뷰나, Q&A에 참여하지 못해서 아쉬웠다. 특히 과제 리뷰를 할 때, 다른 분들은 어떤 고민을 했는지 들을 수 있고 내가 생각하지 못한 다양한 시도들도 알 수 있어서 좋았다.이번 주에는 참여하지 못해서 아쉬웠고, 남은 기간에는 꼭 빠지지 않고 참석해야겠다. 항해 플러스 참여를 고민하시는 분이 이 글을 읽으신다면 발제 영상이 제공되더라도 가능한 오프라인 모임에 꼭 참여하는 걸 ⭐️추천⭐️한다.6주차 학습한 내용: 클라우드 환경 배포 및 파인튜닝LLM 배포하기이번 주에는 본격적으로 프로젝트에 들어가면서, LLM 모델을 클라우드에 배포하는 방법에 대해 학습하였다.항해 플러스에서는 A..

이번 주에는 LLM을 좀 더 잘 활용하기 위해 instruction-tuning, MLLM, RAG에 대해 학습하였다.특히 RAG는 이전에도 들어본 적이 있지만 잘 알지 못하는 개념이었는데, 굉장히 흥미로웠다. 이외에도 멘토링을 진행하면서 LangChain을 좀 더 공부해보면 좋을 것 같아서 찾아보고 있다.LangChain은 LLM을 잘 활용하기 위한 다양한 기능이 모여있는 라이브러리로, 잘 활용하면 코드를 간결하게 작성할 수 있을 것 같다. 이번 주 심화과제에서는 프로젝트를 본격적으로 시작하기에 앞서 아주 간단한 프로토타입을 만들어보았다.심화과제를 진행하면서 프로젝트에 대해 고민한 내용들도 정리하였다.5주차 학습한 내용1. Instruction-tuningLLM의 텍스트 생성 능력만을 가지고 사용자의 ..

이번주에는 모델 학습을 쉽게 구현할 수 있게 해주는 HuggingFace library와 GPT를 기반으로 하는 LLM 활용 방법에 대해 학습하였다. 이번주 발제를 시작하기에 앞서, 발제 코치님께서 지난주 멘토링 발제 중 모두에게 공유하면 좋을만한 내용을 다시 한 번 정리해주셨다.(이 중 내 질문도 있어서 혼자 뿌듯했다😆)3주차 멘토링 질의응답 추가 공유epoch를 몇으로 설정해야 할까epoch가 짧으면 모델이 충분히 학습하지 못할 수 있기 때문에, 처음에는 길게 늘려놓는 것이 좋다.wandb나 mlflow와 같은 실험관리 도구를 통해 어느 지점에서 test 성능이 고점을 찍고 하락하는지 파악할 수 있다.지난주, 이번주 과제를 할 때는 early stopping을 추가하고 epoch를 넉넉하게 설정했다..

이번주에는 언어 모델인 BERT와 GPT에 대해 학습하였다.과제를 BERT 위주로 진행해서, 아직 GPT는 많이 낯설다. 먼저 이번주에 학습한 내용을 정리하고, 과제를 중심으로 이번 주에 어려웠던 점을 회고하였다.3주차 학습한 내용: LLM 원리와 작동 방식RNN이나 Transformer와 같은 모델들은 train data가 충분하다면 좋은 성능을 발휘하지만, train data는 항상 충분하지 않다.data가 충분하지 않은 상황에서도 test data에서 잘 동작하는 모델을 만들기 위해 Pre-trained Model을 사용한다.1. Transfer learning다른 자연어 처리 문제를 푸는 모델을 활용하여 데이터가 적은 자연어 처리 문제를 해결할 수 있을 거라는 아이디어에서 시작한다.목표로 하는 자..

이번주에는 자연어를 처리하는 딥러닝 모델에 대해 다루었다.지난주 멘토링 시간에 코치님이 다음주에는 자연어라서 좀 더 재미있을거라고 하셨는데........... 🫠이번주에 새로 배운 개념과 이론은 정말 어려웠다.그렇지만 함께 AI 코스를 듣고있는 동료들과, 학습메이트와, 코치님과 함께 공부하면서 많은 부분을 새롭게 배울 수 있었고, 그런 면에서 정말 재미있는 한 주 였다. ⭐️2주차에 학습한 내용을 정리하고, 스스로 어떤 성장을 했는지 회고해보았다.2주차 학습한 내용: 자연어 처리와 Transformer 모델1. 자연어 처리와 자연어 처리에 필요한 기술인간의 언어로 이루어진 입력을 처리하는 문제이다.감정 분석(주어진 문장이 부정인지 긍정인지), 질의 응답, 기계 번역, 요약 등의 문제를 해결할 수 있다...

항해 플러스 AI 3기를 시작하게 되었다.https://hanghae99.spartacodingclub.kr/plus/aiAI 커리큘럼을 보면서 따라갈 수 있을지 고민하다가 결국 마감 직전에 신청하게 되었다. 🤣나에게 AI는 굉장히 낯선 분야이다.매주 학습하면서 배우는 내용들을 정리하기 위해 이 글을 작성한다.항해 플러스 AI 사전과정항해 플러스에서는 온보딩을 위한 사전과정이 준비되어 있다.그런데 합류를 늦게 하는 바람에 사전과정에 참여할 수 있는 시간이 며칠밖에 되지 않았다.항해 플러스 AI 과정을 잘 따라갈 수 있도록 파이썬과 머신러닝, 딥러닝 등 관련 강의들이 사전 제공된다.파이썬은 그래도 조금 사용해봐서 크게 걱정되지는 않았는데 머신러닝과 딥러닝은 완전히 처음 접하는 분야라서 걱정이 많았다.개강..