셀프호스팅 / 30분 경로

모델 경계를 명확히 하며 OpenMake를 설치하세요.

추론 운영 없이 앱을 검증하려면 호스팅 OpenAI 호환 엔드포인트를 선택하세요. 모델 백엔드를 직접 통제하려면 로컬 vLLM 또는 LiteLLM 게이트웨이를 선택하세요.

0. 추론 경로 선택

두 경로 모두 동일한 OpenMake 애플리케이션을 실행합니다. 차이는 모델 추론이 일어나는 위치와 운영 주체입니다.

  • 호스팅 엔드포인트: 빠른 평가, GPU 운영 불필요
  • 셀프호스팅 엔드포인트: vLLM/LiteLLM, 네트워크, 자격 증명, 모델 카탈로그 직접 운영

1. 런타임 준비

Node 24, Docker, PostgreSQL, OpenAI 호환 엔드포인트를 준비하세요. 비밀 값은 저장소 밖에 두고 공개 접근 전 운영 URL을 설정하세요.

git clone https://github.com/openmake/openmake_llm.git
cd openmake_llm
node --version
docker --version

2. 게이트웨이 설정

기본 모델과 OpenMake가 호출할 엔드포인트를 설정하세요. 모델 ID와 환경 변수 이름은 언어와 관계없이 그대로 사용합니다.

LLM_DEFAULT_MODEL=qwen3.6-35b-a3b
LLM_POOL_DEFAULT_CTX=262144
DB_AUTO_MIGRATE=true

3. 시작과 검증

서버 시작은 기본적으로 보류 중인 마이그레이션을 적용합니다. 웹 UI에서 로그인한 뒤 설정한 모델로 첫 메시지를 보내 실제 응답 경로를 확인하세요.

  • API와 웹 프로세스 상태 확인
  • 모델 선택기에 설정한 모델 표시 확인
  • 첫 메시지 전송 후 감사 또는 사용량 화면 확인

4. 의도적인 운영

수동 마이그레이션 절차가 있을 때만 DB_AUTO_MIGRATE=false를 사용하세요. 외부 공급자 키는 선택 사항으로 두고 로컬 기본 경로와 분리하세요.