▲Web LLM - WebGPU로 브라우저에서 LLM 가속하여 실행하기 (github.com/mlc-ai)14P by xguru 2023-04-18 | ★ favorite | 댓글과 토론 서버 없이 브라우저에서 LLaMA, Vicuna 같은 LLM을 WASM을 이용하여 구동 WebGPU로 가속 하지만, 별도로 Apache TVM이 지원하는 GPU 백엔드들(CUDA, OpenCL, Vulkan)도 지원 MLC(Machine Learning Compilation) 기술을 사용 함께 보면 좋은 글 β NativeMind - 브라우저에서 실행되는 프라이빗 온디바이스 AI 어시스턴트 Lemonade by AMD: GPU와 NPU를 활용한 빠른 오픈소스 로컬 LLM 서버 llmfit - 내 하드웨어에 맞는 LLM 모델을 찾아 자동 최적화하는 터미널 도구 iPhone 17 Pro에서 400B LLM 실행하기 300명 사용자를 위한 자체 호스팅 LLM 서버 구축이 가능할까요? 인증 이메일 클릭후 다시 체크박스를 눌러주세요