▲GPT같은 LLM을 커스텀 데이터셋으로 파인튜닝 하는 방법 (lightning.ai)20P by xguru 2023-05-30 | ★ favorite | 댓글과 토론 nanoGPT 기반의 오픈소스 구현체인 Lit-Parrot 으로 LoRA 와 Adapter 를 이용해서 파인 튜닝하기 StableLM, Pythia, RedPajama 같은 LLM을 지원 PyTorch의 FlashAttention 이용 예제에서는 Databricks의 Dolly 2.0 인스트럭션 데이터셋으로 RedPajama-INCITE 모델을 튜닝 함께 보면 좋은 글 β microgpt - 200줄 순수 파이썬으로 구현한 GPT 학습 및 추론 Gemma 3 270M을 순수 PyTorch로 로컬 실험을 위해 재구현 RustGPT: Rust로 처음부터 완전히 구현한 순수 트랜스포머 LLM 소형 모델(Gemma 3 270M/1B)의 도메인 지식 주입 한계와 파인튜닝 전략에 대한 조언부탁드립니다. 파인튜닝의 귀환 인증 이메일 클릭후 다시 체크박스를 눌러주세요