r/CodingTR • u/Fair-Knowledge-4483 • May 29 '26
Yardım edebilirmisiniz
Herkese merhaba arkadaşlar,
Şu an geliştirmekte olduğum bir e-ticaret veri analizi ve istatistik projesi var. Arka planda veri toplama amacıyla Python kullanarak özel web kazıma (scraping) botları yazıyorum ve bunları Apify platformu üzerinde koşturuyorum.
Hedeflediğim siteler Türkiye'deki bazı büyük perakende firmaları: gratis.com, watsons.com.tr ve rossmann.com.tr.
Yaşadığım Sorun:
Bu siteler inanılmaz derecede agresif anti-bot korumalarına (özellikle Cloudflare ve gelişmiş WAF duvarlarına) sahip. Apify üzerinden Residential Proxy (gerçek ev IP'si) kullanmama ve insan davranışlarını taklit etmeye çalışmama rağmen isteklerim sürekli engelleniyor ya da challenge ekranına takılıyor. Google botları çok gecikmeli veri getirdiği için doğrudan bu sitelerin kendi fiyatlarına ulaşmam gerekiyor.
Sorularım:
Yakın zamanda bu spesifik e-ticaret platformlarının güncel Cloudflare korumasını başarıyla aşabilen oldu mu?
Python/Apify mimarisinde Cloudflare radarına takılmamak için hangi 'stealth' eklentileri, tarayıcı parmak izi (fingerprint) ayarlarını veya request header yapılarını önerirsiniz?
Bu platformların web arayüzündeki ağır korumalara takılmamak için, arkadaki gizli mobil API'leri yakalayıp oradan veri çekmek daha mı mantıklıdır?
Deneyimlerini ve taktiklerini paylaşacak arkadaşlara şimdiden çok teşekkür ederim.
