Otwarty stos AI szybko dojrzał. Modele z otwartymi wagami, wydajne silniki inferencji i natywne dla Kubernetesa narzędzia ML zastępują dziś większość tego, co organizacje kupowały wcześniej jako usługę zarządzaną — pod warunkiem, że platforma pod spodem jest dobrze zbudowana.
Ta platforma to praca infrastrukturalna: GPU, kolejkowanie, storage, sieć i CI. To ta sama praca, którą wykonujemy przy chmurach, tylko zastosowana do AI.
Stos, z którym pracujemy
- vLLM — wydajna inferencja LLM z API zgodnym z OpenAI, do sprawnego serwowania modeli z otwartymi wagami na twoich GPU.
- Triton Inference Server — jedna warstwa serwowania dla wielu rodzajów modeli, z backendami vLLM, PyTorch i ONNX Runtime, a tam, gdzie chcesz, także z TensorRT od NVIDIA.
- LiteLLM — jedna bramka przed wszystkimi modelami, lokalnymi i zewnętrznymi, z kluczami, limitami i rozliczaniem użycia dla każdego zespołu.
- Kubeflow — pipeline’y, notebooki i trening na Kubernetesie, dzięki którym eksperymenty stają się powtarzalnymi procesami.
- PyTorch — framework, w którym trenuje się i dostraja większość otwartych modeli, działający na platformie, którą budujemy.
Nasze podejście
Platformy AI budujemy tak samo jak chmury: deklaratywnie, z testami w CI i blisko upstreamu. Węzły GPU dostarcza platforma — na OpenStacku, na Kubernetesie albo na bare metal z Metal3 — a serwowanie modeli wdraża się i aktualizuje jak każde inne obciążenie.
Gdy coś w stosie nie działa tak, jak potrzebujesz, naprawiamy to w projekcie, a nie w prywatnym forku.
W czym pomagamy
- Pierwsza platforma — od kilku serwerów z GPU do działającej, współdzielonej usługi inferencji dla twoich zespołów.
- Rosnące platformy — kolejkowanie i współdzielenie GPU, serwowanie wielu modeli, monitoring i koszty w podziale na zespoły.
- Trudne problemy — przepustowość odbiegająca od benchmarków, brak pamięci przy dużych modelach, sterowniki i jądra, które się nie dogadują.