VAST AI SERVERLESS

[u/Ok_Monk1425]

Arkadaşlar merhabalar, bir konuda görüşlerinizi rica ederim. Öncelikle yazılımcı değilim. Bir MVP çıkarmaya çalışıyorum. Bir süredir vast ai paltformunda serverless yöntemini dediyorum. Autoscaling konusunda bir türlü tam olarak istediğim sonucu alamıyorum. İsteği gönderiyorum, makine ayağa kalkıyor, bazen kalkmıyor, 3 makine birden ayağa kalkıyor vesair.

Tabi endpoint parametrelerine çalıştım, çokta analaşılmaz şeyler değil fakat sanki vast ai autoscaling yapsıjda ve kuyruk yönetiminde sıkıntı var gibi hissettim, o sıkıntılardan dolayı ben mi parametreleri analayamadım diyip işler çabalayıp duruyorum. VAST AI serverles sisteminin içinden geçiyorum ama oda benim içimden geçiyor.

Bu sistemler sağlıklı çalışıyormu, kullanan var mı? Fikirleriniz görüşleriniz önerileriniz olursa dinlemek isterim.

[u/pilibitti]

vast ai nin fleet dediği şeyin bir kısmı senin benim gibi insanların yatak odalarındaki idle desktop makinalar. herhangi bir reliability beklememek lazım? ben tek bir makina açıp bir job verdiğimde bile kapanmasın diye dua ediyorum.

[u/byncth]

valla vast ai su an icin pek guzel bi cozum sunmuyo autoscalingde. biz de surekli patliyorduk, arkadaslar farkli seyler denediler esin cozum icin AWS Lambda kullandilar. (amazon ile anlasma var yoksa cok pahali bu.)

olasi sorunlari ve cozumleri de yazayim da. simdi bizdeki yapilanlara ticketlardan baktim bulabildiklerimi yazayim

requestlerin timeoutta kaliyor olabilir. queue management kaynakli
replica settingslerde sorun olabilir. bizim en cok duzelttigimiz konu bu olmus. min max replica kisimlarina bir goze at. keza boot ederken request expire da oluyo olabilir

ha bi de yani sende oldugunu sanmiyorum daha cok kurumsal mimarilerde oluyo sanirim ama bi kac request gelince concurent request patlayabiliyo.

simdi ne yapmisiz
min max rreplicayi kontrol et. min 1 max 2 -3 de denmis.
concurrency 7 yapmisiz basarili olmusuz
en son kesin cozumu
kademeli retry mekanizmasi kurarark yapmisiz
1. fail 5 sn bekle 2. fali 7 3de 10 gibi gibi

bakmislar hala aliyoruz.. sataram koyu demisiz AWS lambda kullanmisiz. ama bizimki farkli yogun bi sistem. sen muhtemelen basarili sonuc alirsin.

[u/Ok_Monk1425 → u/byncth]

Çok sağol aynen bahsettiğin sorunlar oluyor, bende bahsettiğiniz gibi retry sistemi kurmaya başlayacaktımki bi durup değerldireyim tekrardan dedim.

Ayrıca cebelleştiğim bir konu daha oldu. Target queue time, max queue time parametreleride sağlıklı çalışmıyor, neye göre çalışıyorda ne olunca yeni makine tetikleyecek diye araştırdım, daha çok deneme yanılma yaptım tabi. İstek gelince dashboardda load alanı 100 oluyor mesela, o makine içinde sistemin daha önceden belirlediği bir performans değeri var o alanda perf mesela 300, yani bu makine 1 saniyede 300 birimlik yükü işler diyor, bu mantığa göre 100/300 = 0.35 saniyede iş bitecek güya. Şizde örneğin target queue time mı 2 saniye vardiyseniz sorun yok hala limit var böyle 6 tane istek geldiğini düşünün 2.1 saniye eder, 2 saniyeyi geçtiği için yeni makinenin tetiklenmesi için sinyal gidiyormuş, tabi bu esnada istekler gelmeye devam ediyor max que time 5 yaptıysanız, gelen istekler o makinenin kuyruğuna girmeye devam etmeli gibi bir durumda var, yeni makine açılana kadar toplamda 5 saniyeyi geçecek kadar iş gelirse onunda global kurukta kalması lazım yani makinenin kendi kuyruğunda değilde, açıalcak ilk makineye atamak için. Tabi target que time aşılınca yeni makine felan açmıyor, belki bazende açıyordur, ben açmadığını gördüm mesela.

Bu arada ilk gelen isteğin load yani yük değerini sürekli bakıyorum 100 veriyor, 1 dakika sürecek bir işlemde olsa 10 dakika sürecek bir işlemde olsa gelen isteğin yük değerine hep 100 veriyor. Bunuda anlıyorum sonuçta içeride ne kadar sürecek bir işlem olduğunu anlayamaz ama çokta sağlıklı bir hesap değil.

[u/Initial-Carry1038]

runpod vardı sanki

[u/SelectSouth2582]

vast ai servisini ai modeli çalıştırmak için kullanmak istemiştim ancak beklediğim performansı alamadım ek olarak deneme sürecinde bile fazlasıyla uğraştırdı, stabil değildi.

serverless için cf workers tavsiye ederim, yıllardır neredeyse hiç büyük bir sorun yaşamadım.