#601 vllm deploy 오류 수정 및 배포

[wlsgur11]

Changelog

vLLM 배포 설정 최적화 (base/vllm/deployment.yaml)

• VLLM_PORT 환경 변수가 URI 형태로 설정되어 API 호출 시 충돌을 일으키던 문제를 포트 번호 명시로 해결했습니다.
• RTX 5090 GPU 자원을 올바르게 활용할 수 있도록 runtimeClassName: nvidia 설정을 추가했습니다.

Postgres 설정 원복 (base/postgres/postgres.yaml)

• 작업 과정 중 실수로 변경되었던 Postgres 설정을 이전의 안정적인 상태로 되돌렸습니다.

AI 어시스턴트 모델 연동

• Qwen/Qwen2.5-Coder-7B-Instruct 모델을 통해 Code Place 전용 코딩 어시스턴트 기능을 활성화했습니다.

Testing

kubectl exec -it vllm-564cffd8bf-jlnzm -n code-place-dev \
  -- curl http://localhost:8000/v1/chat/completions -H "Content-Type: application/json" -d \
  '{"model": "Qwen/Qwen2.5-Coder-7B-Instruct", "messages": \
  [{"role": "system", "content": "You are a world-class coding assistant for Code Place."}, \
  {"role": "user", "content": "파이썬으로 빠른 정렬(Quick Sort) 알 고리즘을 구현해줘. 주석은 한글로 달아줘."}], \
  "temperature": 0.7}'

Ops Impact

N/A

Version Compatibility

N/A

[Neibce]

💯👍