Rotasiya proksiləri avtomatik IP dəyişmə ilə

Rotasiya (dinamik) proksiləri — müxtəlif tapşırıqları yerinə yetirərkən maksimum anonimlik və effektivlik üçün yaradılmış xüsusi proksi-server növüdür. Onların əsas xüsusiyyəti sayta hər yeni sorğuda IP ünvanının avtomatik dəyişməsindədir, buna görə də istifadəçi hər səhifəyə daxil olanda unikal IP əldə edir.

Bu mexanizm veb-resurslar üçün konkret IP və ya altşəbəkənin izlənməsi və bloklanması imkanını əhəmiyyətli dərəcədə çətinləşdirir, çünki sorğular daim dəyişən ünvanlardan daxil olur.

Buna görə də rotasiya proksiləri anonimlik və məhdudiyyətlərin aşılması vacib olan tapşırıqlarda xüsusilə faydalıdır. Onlar veb-skrapinqdə, internetdə hərəkətlərin avtomatlaşdırılmasında, həmçinin şəbəkədə məxfiliyi qorumağa çalışanlar tərəfindən aktiv istifadə olunur. Onların istifadəsi yalnız məlumat toplanmasını sürətləndirmir, həm də avtomatik müdafiə sistemləri tərəfindən aşkarlanma və sonrakı saytlar tərəfindən bloklanma riskini azaldır.

Bizim dinamik IP proksilərimiz xarici API ilə qarşılıqlı əlaqə üçün nəzərdə tutulub. API-ya hər sorğu tarif üzrə 1 limitə bərabərdir. Sorğuların sayı paralel bağlantılar üzrə (concurrent connections) hesablanır. Adi saytlarla işləyərkən (məsələn, parsinq) bir axın həmişə bir bağlantıya bərabər deyil: brauzeriniz və ya proqramınız eyni vaxtda çoxlu sorğular göndərə bilər. Məsələn, internet-mağaza səhifəsinin yüklənməsi 10-40 sorğu, Google axtarışı isə bir dəfəyə 100 sorğu ola bilər. Tarif seçməzdən əvvəl mənbə saytının sorğu sayını yoxlamağı məsləhət görürük. Bunu RequestMap kimi onlayn alətlər vasitəsilə (URL daxil edin, sorğuların sayı və növləri ilə xəritəsini görün) və ya brauzerin "developer tools" vasitəsilə edə bilərsiniz. "Şəbəkə" (Network) sekmesində səhifə yüklənərkən şəbəkə fəaliyyəti göstərilir. Səhifəni aktiv sekmedə yeniləyərək bütün sorğuları qeyd edin. Yükləndikdən sonra sorğuların siyahısını, ümumi sayını və ötürülən məlumat həcmini görəcəksiniz.

Şəxsi kabinetdə tarif üzrə limitlərin (kreditlərin) istifadəsini izləyə bilərsiniz. Lazım olduqda sorğu limitini artırmaq olar. Statistika 2-5 dəqiqə gecikmə ilə yenilənir.

Bizdə sorğuda rotasiya ilə limitsiz trafikli server IPv4 proksiləri almaq olar, yalnız tarif üzrə limitlərin (kreditlərin) istifadəsini nəzarətdə saxlamaq lazımdır.

Bütün rotasiya proksi tariflərində yalnız qanuni server IP ünvanları istifadə olunur, 100k-dan çox IPv4 proksi hovuzuna tam giriş təmin edilir. Biz rezident IP (ev) və hər hansı botnet ünvan variantlarından istifadə etmirik.

4xx və 5xx xətaları tarif limitinə daxil edilir, çünki sorğu göndərilib və serverdən cavab alınıb. Faydasız limit itkisinin qarşısını almaq üçün proqram təminatınızda xətaları nəzarətdə saxlamağı məsləhət görürük.

Tarifin müddəti - 30 gün: bütün limiti bir günə xərcləyə və ya ay ərzində bölüşdürə bilərsiniz. İstifadə edilməmiş kreditlər müddət bitdikdən sonra yanır. Tarif uzadıldıqda tam limit mövcuddur, qalıqlar daşınmır. Pulun qaytarılması yalnız alışdan sonra ilk 24 saat ərzində mümkündür: istifadə edilməmiş kreditlər şəxsi kabinet balansına çevrilir və ticket sistemi vasitəsilə çıxarıla bilər. 24 saatdan sonra tarifin ləğvi mümkündür, lakin vəsaitlər sistem daxilində istifadə üçün balansda qalır.

Proqram təminatınız vasitəsilə saytlarla işləyərkən sorğuları azaltmaq üçün kritik olmayan məzmunun yüklənməsini söndürə bilərsiniz: 1) reklam materialları (bannerlər/skriptlər), 2) şəkillər/multimedia, 3) xarici vidjetlər (sosial şəbəkələr/çatlar), 4) xarici stillər/şriftlər, 5) JavaScript faylları. Bunu reallaşdırmaq olar: müştəri proqram təminatının parametrləri (brauzerdə resursların yüklənməsinin söndürülməsi), ixtisaslaşmış alətlər (HTTP sorğularını nəzarətdə saxlamaq üçün Puppeteer/PhantomJS) və ya serverə sorğuların modifikasiyası vasitəsilə. Bu, işi sürətləndirəcək və yükü azaldacaq, lakin səhifələrin funksionallığına təsir edə bilər - məhsuldarlıq və məlumatların tamliyi arasında balans saxlamaq vacibdir.

Bizim dinamik IP proksilərimiz API ilə işləmək üçün nəzərdə tutulub, burada 1 sorğu = 1 tarif limiti, paralel bağlantılar nəzərə alınmaqla (concurrent connections). Adi saytlarla işləyərkən (məsələn, parsinq) bir axın tez-tez çoxlu sorğular əhatə edir: brauzer və ya proqram eyni vaxtda onlarla sorğu göndərə bilər (məsələn, mağaza səhifəsi — 10-40 sorğu, Google axtarışı — 100-ə qədər). Bu, səhifənin çoxlu elementlərdən (mətn, şəkillər, skriptlər) ibarət olması ilə bağlıdır, hər biri ayrı sorğu ilə yüklənir. Paralel bağlantıların sayı saytdan və proqram təminatınızdan asılıdır, buna görə də tarif seçərkən bir axının onlarla bağlantı xərcləyə biləcəyini nəzərə alın.