Usługi / Stos AI

Open source AI

Platformy AI zbudowane w całości z open source. Serwowanie modeli, pipeline'y treningowe i bramki API na twoich własnych GPU, bez zamkniętej platformy pośrodku.

Otwarty stos AI szybko dojrzał. Modele z otwartymi wagami, wydajne silniki inferencji i natywne dla Kubernetesa narzędzia ML zastępują dziś większość tego, co organizacje kupowały wcześniej jako usługę zarządzaną — pod warunkiem, że platforma pod spodem jest dobrze zbudowana.

Ta platforma to praca infrastrukturalna: GPU, kolejkowanie, storage, sieć i CI. To ta sama praca, którą wykonujemy przy chmurach, tylko zastosowana do AI.

Stos, z którym pracujemy

  • vLLM — wydajna inferencja LLM z API zgodnym z OpenAI, do sprawnego serwowania modeli z otwartymi wagami na twoich GPU.
  • Triton Inference Server — jedna warstwa serwowania dla wielu rodzajów modeli, z backendami vLLM, PyTorch i ONNX Runtime, a tam, gdzie chcesz, także z TensorRT od NVIDIA.
  • LiteLLM — jedna bramka przed wszystkimi modelami, lokalnymi i zewnętrznymi, z kluczami, limitami i rozliczaniem użycia dla każdego zespołu.
  • Kubeflow — pipeline’y, notebooki i trening na Kubernetesie, dzięki którym eksperymenty stają się powtarzalnymi procesami.
  • PyTorch — framework, w którym trenuje się i dostraja większość otwartych modeli, działający na platformie, którą budujemy.

Nasze podejście

Platformy AI budujemy tak samo jak chmury: deklaratywnie, z testami w CI i blisko upstreamu. Węzły GPU dostarcza platforma — na OpenStacku, na Kubernetesie albo na bare metal z Metal3 — a serwowanie modeli wdraża się i aktualizuje jak każde inne obciążenie.

Gdy coś w stosie nie działa tak, jak potrzebujesz, naprawiamy to w projekcie, a nie w prywatnym forku.

W czym pomagamy

  • Pierwsza platforma — od kilku serwerów z GPU do działającej, współdzielonej usługi inferencji dla twoich zespołów.
  • Rosnące platformy — kolejkowanie i współdzielenie GPU, serwowanie wielu modeli, monitoring i koszty w podziale na zespoły.
  • Trudne problemy — przepustowość odbiegająca od benchmarków, brak pamięci przy dużych modelach, sterowniki i jądra, które się nie dogadują.

Masz problem z infrastrukturą, który warto rozwiązać porządnie?

Napisz, na czym pracujesz i co nie działa. Szczerze powiemy, czy możemy pomóc.

hello@infraloop.cloud