개발일지

드디어 항해 플러스 AI 3기를 수료하였다.처음 시작할 때는 정말 길게 느껴졌는데, 8주라는 시간이 정말 금방 지나간 것 같다. 수료식에서 배운 점, 느낀 점을 정리하고 항해 플러스 AI 3기를 마치면서 느낀 소회도 정리해보았다.수료식수료식은 크게 코치님의 Wrap-up 세션과 발표로 구성되었다.Wrap-up 세션먼저 Wrap-up 세션에서는 우리가 그동안 학습한 내용에 대해서 코치님이 전체적으로 정리를 해주셨다.세션을 통해 이 코스의 목적이 무엇이었고, 우리가 어떤 것을 배웠고, 매주 배웠던 내용들이 어떻게 연결되는지 정리할 수 있었다. 머신러닝과 딥러닝으로 시작해서 Transformer 모델을 배우고, BERT와 GPT를 거쳐 프롬프트와 RAG, LLM 경량화까지 배웠다. 처음에는 엄청 낯설고 어려웠..

이번주에는 LLM을 경량화하는 여러 가지 방법을 학습하였다. 우리가 LLM을 개발하는 환경이 충분하다면 사이즈가 큰 모델도 사용할 수 있을 것이다.하지만, 일반적으로 제한된 환경에서 모델을 사용하게 되고, 특히 LLM을 개발하는데 필요한 GPU는 가격이 매우 비싸다. 따라서 모델을 경량화하는 여러 가지 방법을 통해 제한된 환경에서도 모델을 개발할 수 있다.8주차 학습한 내용: LLM 경량화Data ParallelismData Parallelism은 GPU가 여러 대 있고 각각의 GPU에 모델은 올라가지만 원하는 크기의 batch size로 학습할 수 없을 때 사용한다. 방법은 다음과 같다. 동일한 모델을 여러 GPU에 복사하여 배치하고, batch도 GPU 개수만큼 나누어 학습한다.그리고 각 GPU에서 ..

이번 주에는 GPT 외의 LLM을 학습하는 방법에 대해 학습하였다. 7주차 학습한 내용: 클라우드 환경 배포 및 파인튜닝(2)fine-tuning이 필요한 경우GPT나 Gemini와 같은 closed LLM은 일반적인 텍스트 질의응답에는 뛰어난 성능을 보이지만 특정 도메인 지식을 요구하는 task는 잘 하지 못할 수 있다.또한, closed LLM은 사용하는 만큼 비용이 발생하기 때문에 open LLM을 파인튜닝해서 사용하면 비용을 절약할 수 있다. 다음과 같은 과정을 거쳐 파인 튜닝이 필요한지 테스트할 수 있다.테스트를 위한 instruction data를 준비한다.GPT나 huggin face에 있는 모델들로 평가한다.평가 결과에 따라 평가 결과가 안좋거나 비용이 많이 든다면 테스트 데이터의 크기를 ..

이번 주에는 개인사정으로 토요일 오프라인 모임에 참여하지 못하였다.발제는 녹화 영상으로 제공되지만, 오프라인에서 진행하는 과제 리뷰나, Q&A에 참여하지 못해서 아쉬웠다. 특히 과제 리뷰를 할 때, 다른 분들은 어떤 고민을 했는지 들을 수 있고 내가 생각하지 못한 다양한 시도들도 알 수 있어서 좋았다.이번 주에는 참여하지 못해서 아쉬웠고, 남은 기간에는 꼭 빠지지 않고 참석해야겠다. 항해 플러스 참여를 고민하시는 분이 이 글을 읽으신다면 발제 영상이 제공되더라도 가능한 오프라인 모임에 꼭 참여하는 걸 ⭐️추천⭐️한다.6주차 학습한 내용: 클라우드 환경 배포 및 파인튜닝LLM 배포하기이번 주에는 본격적으로 프로젝트에 들어가면서, LLM 모델을 클라우드에 배포하는 방법에 대해 학습하였다.항해 플러스에서는 A..

이번 주에는 LLM을 좀 더 잘 활용하기 위해 instruction-tuning, MLLM, RAG에 대해 학습하였다.특히 RAG는 이전에도 들어본 적이 있지만 잘 알지 못하는 개념이었는데, 굉장히 흥미로웠다. 이외에도 멘토링을 진행하면서 LangChain을 좀 더 공부해보면 좋을 것 같아서 찾아보고 있다.LangChain은 LLM을 잘 활용하기 위한 다양한 기능이 모여있는 라이브러리로, 잘 활용하면 코드를 간결하게 작성할 수 있을 것 같다. 이번 주 심화과제에서는 프로젝트를 본격적으로 시작하기에 앞서 아주 간단한 프로토타입을 만들어보았다.심화과제를 진행하면서 프로젝트에 대해 고민한 내용들도 정리하였다.5주차 학습한 내용1. Instruction-tuningLLM의 텍스트 생성 능력만을 가지고 사용자의 ..

이번주에는 모델 학습을 쉽게 구현할 수 있게 해주는 HuggingFace library와 GPT를 기반으로 하는 LLM 활용 방법에 대해 학습하였다. 이번주 발제를 시작하기에 앞서, 발제 코치님께서 지난주 멘토링 발제 중 모두에게 공유하면 좋을만한 내용을 다시 한 번 정리해주셨다.(이 중 내 질문도 있어서 혼자 뿌듯했다😆)3주차 멘토링 질의응답 추가 공유epoch를 몇으로 설정해야 할까epoch가 짧으면 모델이 충분히 학습하지 못할 수 있기 때문에, 처음에는 길게 늘려놓는 것이 좋다.wandb나 mlflow와 같은 실험관리 도구를 통해 어느 지점에서 test 성능이 고점을 찍고 하락하는지 파악할 수 있다.지난주, 이번주 과제를 할 때는 early stopping을 추가하고 epoch를 넉넉하게 설정했다..

이번주에는 언어 모델인 BERT와 GPT에 대해 학습하였다.과제를 BERT 위주로 진행해서, 아직 GPT는 많이 낯설다. 먼저 이번주에 학습한 내용을 정리하고, 과제를 중심으로 이번 주에 어려웠던 점을 회고하였다.3주차 학습한 내용: LLM 원리와 작동 방식RNN이나 Transformer와 같은 모델들은 train data가 충분하다면 좋은 성능을 발휘하지만, train data는 항상 충분하지 않다.data가 충분하지 않은 상황에서도 test data에서 잘 동작하는 모델을 만들기 위해 Pre-trained Model을 사용한다.1. Transfer learning다른 자연어 처리 문제를 푸는 모델을 활용하여 데이터가 적은 자연어 처리 문제를 해결할 수 있을 거라는 아이디어에서 시작한다.목표로 하는 자..

이번주에는 자연어를 처리하는 딥러닝 모델에 대해 다루었다.지난주 멘토링 시간에 코치님이 다음주에는 자연어라서 좀 더 재미있을거라고 하셨는데........... 🫠이번주에 새로 배운 개념과 이론은 정말 어려웠다.그렇지만 함께 AI 코스를 듣고있는 동료들과, 학습메이트와, 코치님과 함께 공부하면서 많은 부분을 새롭게 배울 수 있었고, 그런 면에서 정말 재미있는 한 주 였다. ⭐️2주차에 학습한 내용을 정리하고, 스스로 어떤 성장을 했는지 회고해보았다.2주차 학습한 내용: 자연어 처리와 Transformer 모델1. 자연어 처리와 자연어 처리에 필요한 기술인간의 언어로 이루어진 입력을 처리하는 문제이다.감정 분석(주어진 문장이 부정인지 긍정인지), 질의 응답, 기계 번역, 요약 등의 문제를 해결할 수 있다...

항해 플러스 AI 3기를 시작하게 되었다.https://hanghae99.spartacodingclub.kr/plus/aiAI 커리큘럼을 보면서 따라갈 수 있을지 고민하다가 결국 마감 직전에 신청하게 되었다. 🤣나에게 AI는 굉장히 낯선 분야이다.매주 학습하면서 배우는 내용들을 정리하기 위해 이 글을 작성한다.항해 플러스 AI 사전과정항해 플러스에서는 온보딩을 위한 사전과정이 준비되어 있다.그런데 합류를 늦게 하는 바람에 사전과정에 참여할 수 있는 시간이 며칠밖에 되지 않았다.항해 플러스 AI 과정을 잘 따라갈 수 있도록 파이썬과 머신러닝, 딥러닝 등 관련 강의들이 사전 제공된다.파이썬은 그래도 조금 사용해봐서 크게 걱정되지는 않았는데 머신러닝과 딥러닝은 완전히 처음 접하는 분야라서 걱정이 많았다.개강..

React Native로 간단한 앱을 만들고 있다. 최근에는 개발할 때 주로 Cursor를 사용하고 있다.https://www.cursor.com/ CursorBuilt to make you extraordinarily productive, Cursor is the best way to code with AI.www.cursor.com  환경변수를 추가하기 위해 chat에 물어보니 react-native-dotenv 라이브러리를 권장했다.https://www.npmjs.com/package/react-native-dotenv react-native-dotenvLoad environment variables using import statements.. Latest version: 3.4.11, last ..