▲MiniLLM - 개인용 GPU에서 LLM 실행 하기 (github.com/kuleshov)22P by xguru 2023-03-30 | ★ favorite | 댓글과 토론 최신 LLM을 소비자용 Nvidia GPU에서 실행하기 위한 미니멀 시스템 여러개의 LLM(LLAMA, BLOOM, OPT)을 최대 170B 규모까지 지원 다양한 종류의 Nvidia GPU 지원 Python으로 된 작고 사용하기 쉬운 코드 내부적으로 3-bit 압축을 위해 GPTQ 알고리듬을 사용해서 GPU 메모리 사용량을 최소화 함께 보면 좋은 글 β Ask HN: 소비자용 하드웨어에서 사용할 수 있는 최고의 LLM은 뭔가요? Gemma 3 270M을 순수 PyTorch로 로컬 실험을 위해 재구현 로컬 LLM 성능을 적응형 추론으로 향상시키는 AutoThink 소개 iPhone 17 Pro에서 400B LLM 실행하기 Gemma 3 QAT 모델: 최첨단 AI를 소비자 GPU에 도입 인증 이메일 클릭후 다시 체크박스를 눌러주세요