Минулого тижня ми випустили c3-llamacpp, контейнеризований llama.cpp з швидким завантажувачем hf. Цього тижня - c3-vllm. Це контейнеризує vLLM, фінального босса серверів LLM API.

Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.