На прошлой неделе мы выпустили c3-llamacpp, контейнеризированный llama.cpp с быстрым загрузчиком hf. На этой неделе c3-vllm. Это контейнеризирует vLLM, последнего босса серверов LLM API.

На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .