[colibri] 이제는 개인PC에서 GLM 5.2가 돌아가네요..

colibri 라는게 나왔길래 해 보니까 너무 허무하게 잘 돼서

그냥 헛웃음이 나오네요...

물론 속도는 처참하게 느리긴 한데 그래도 "된다"라는 자체가 엄청난 감동입니다.

그것도 복잡한 설정 이딴거 필요 없고 NVIDIA CUDA 환경 맞춰주고 이런거도 없고 개 간단

백그라운드로 뭘 오랫동안 시켜놓고 이런 일 시키면 되겠다 싶기도 한데요.

opencode go 구독 취소해야 되나요 ㅋㅋㅋ

Ref

# colibri 저장소 다운 및 셋업

# 외부 의존성이 없어서 그냥 순식간에 끝남

cd ~/github

# 전용 GLM 5.2 모델 다운로드

# 약 350~370GB 정도라서 엄청 오래걸림

hf download mateogrgic/GLM-5.2-colibri-int4-with-int8-mtp --local-dir ~/glm52

# 테스트 실행

# GPU 없이 그냥 깡 CPU로 돌림

COLI_MODEL=~/glm52 ./coli chat

# 테스트 잘 되었으면 이제 서비스!

COLI_MODEL=~/glm52 ./coli serve --host 127.0.0.1 --port 8008 --model-id glm-5.2-colibri