▲

llama-tokenizer-js - 브라우저에서 실행되는 LLaMA 토크나이저

(github.com/belladoreai)
8P by xguru 2023-06-27 | ★ favorite | 댓글과 토론
  • 클라이언트 사이드에서 토큰을 정확하게 계산하기 위해 사용 가능
  • 의존성 전혀없는 하나의 파일로 쉽게 사용 가능
  • 대부분의 LLaMA 기반 모델과 호환
  • 약 2천개의 토큰을 20ms 안에 토큰화 가능

함께 보면 좋은 글 β