Kontrola protoka na sajtu

Iako je protok u današnje vreme neograničen ili nije problem zbog raznih optimizacija sajta i zbog mogućeg većeg saobraćaja on i dalje može da predstavlja problem za sajt. Jedan od većih problema zašto je problem iako je to neograničeno razlog je vrlo jednostavan, to znači da nešto ne radi ili da neko zloupotrebljava vaš sajt na neki način.

Zloupotrebe koje su najčešće u tom slučaju su da recimo imate neku fotografiju ili video snimak na vašem sajtu a potom neki drugi sajt samo postavi link ka vašoj slici ili video snimku odnosno ne postavi na svom sajtu (uploduje) vać samo link. To znači da kada posetilac poseti njegov sajt on normalno vidi sliku/snimak iako se ne nalazi na njegovom hostingu već vašem. Takođe protok može da poveća i google photos. Ukoliko imate puno slika i bilo ko otvori google.com i klikne na slike i ukuca ključne reči i vaše slike se pojave tu on može da preuzme i da ih skine i time se troši vaš protok čak i običan pregled tih slika na google strani je trošenje vašeg protoka i opterećenje vašeg naloga.

To naravno nije toliko značajno kada je broj mali ali kada se radi o hiljadama pregleda onda se gigabajti lako gomilaju.

Upravo to je bio primer jednog klijenta koji ima sajt za ishranu i ciljna grupa mu je prilično mala. Imao je oko 200 poseta na dnevnom nivou konstantno par godina. Međutim odjednom svakog meseca broj poseta i broj gigabajta u protku je skakao za 500% nekad čak i više. I od 1GB protoka na mesečnom nivou koliko je ostvarivao kada je sajt radio regularno sada je došlo do 200 GB, nekad je i po 70GB na dnevnom nivou. Što je prozrokovalo da njegov sajt sporije radi jer se resursi troše za krađu slika iako nije imao poseta.

U nastavku sledi uputstvo kako da izvršite kontrolu i da sprečite krađu slika.

Hotlink zaštita

Hotlink zaštita je upravo primer opisan iznad kada neko postavi sliku na svom sajtu a da je zapravo nije uplodovao već koristi vaš nalog kako bi se slika učitala.

Ulogujete se u cPanel i potom nađete opciju Hotlink proteciton

Kada otvorimo tu opciju pojaviće nam se konfiguraciona strana.

U plavom kvadratu imamo mogućnost da omogućimo (enable) i da onemogućimo (disable) ovu opciju. Ovde vidimo da je ona omogućena.

U drugom delu podešavamo koji domeni imaju mogućnost da koriste naše slike direktno. Sam panel već je popunio naš domen sa varijacijama sa i bez www i sa http i https.
Ukoliko imate još neki sajt vaš koji koristi slike sa tog naloga onda je ptorebno da i taj domen unesete i njegove varijacije u prvi kvadrat.

U trećem kvadratu ovde vidimo „jpg,jpeg,gif,png,bmp“ tu unosimo šta blokiramo. Ukoiko imate joše neke slike ekstenzije kao što je recimo webp onda stavite zarez i webp. To su ekstenzije fajlova koje blokiramo.

Polje za štikliranje znači da ako neko klikne desni klik recimo i „Open image in new tab“ da vidi vašu direktnu sliku ako štiklirate tu opciju time omogućujete to a ako ostane neštiklirano onda znači da ste blokirali i tu. Ovo je moja preporuka da ne štiklirate.

Poslednje polje je redikrecija da ako neko „prekorši“ ova vaša pravila da bude poslat na tu stranicu. To možete da stavite vašu početnu stranu ako želite na taj način da generišete posete. Ovo je korisno ako imate reklame na vašem sajtu pa vam svaka poseta znači a ako ništa od toga možete da redirektujete i na google.com kako vam takve posete koje realno ne znače da vam ne troše resurse uopšte.

Nakon ovoga sačuvamo naše podešavanje klikom na Submit.

IP Blokada

Kada hotlink ne pomaže onda je tu jedino blokada IP adrese. Hotlink ne pomaže kada se umesto slike linkuje direktno link do stranice vaše slike. To je moguće u wordpressu jer svaki Media koji se uploduje ima svoju stranicu. Recimo u ovom primeru: domen.tld/2018/01/31/kikiriki-avokado-smutic/ gde se otvara vaš sajt ali se otvara samo slika bez stranice na kojj je ta slika postavljena. I time se ponovo generiše veliki broj poseta koji direktno sa te strane preuzimaju vašu sliku/video.

Prvo da bi smo saznali ko zloupotrebljava naš sadržaj idemo na opciju Awstat.

Nakon toga otvoriće nam dve mogućnosti sa i bez SSL-a. Potrebno je da kliknete na onu lupu na kojoj je vaš sajt obično je sada sve na SSL (https) tako da klikćemo na lupu gde je ssl označeno. Onda nam se otvara ogromna statistika kao na slici ispod.

Kao što vidite ovde je puno opcija i ogroman broj statistike. Ono što je nama potrebno jeste tabela Hosts (Top 25).

U ovoj tabeli vidimo sa leve strane IP adrese koje su posetile naš sajt a sa desne strane koliko je ta IP adresa otvorila strana i koliko je protoka na našem sajtu potrošila.
U tom slučaju su top25 a pored imate linkove Full List, Last Visit. Kada je tako veliki protok na samo jednoj IP adresi to je očigledna zloupotreba vašeg sajta i onda je potrebno da nju pregledate. Ukoliko umete/želite da istražite videćete da su te ip adrese koje najviše ostvaraju vaš protok zapravo sajtovi koji kradu vaš protok i slike.

Blokada IP adrese. u cPanelu nađemo opciju IP Blocker

Sada je potrebno da u onoj statistici nađemo IP adrese koje zloupotrebe naš protok i potom tu IP adresu iskopiramo u polje IP Address Or Domain i kliknemo na Add dugme. Time ćemo blokirati tu ip adresu da ne može da pristupi više našem sajtu.

Sa desne strane označeno kvadratima je protok koji je ostvaren kao što se vidi to su ogromni megabajti i gigabajti. Posetilac prilikom posete on ostvari maksimum par megabajta protoka. Kada gledate listu ono što je sve više od 50mb najverovatnije je da je reč o nekoj vrsti zloupotrebe. Stoga tu ip adresu sa leve strane označite pa desni klik copy pa u IP Blocker paste i dodate na blokadu.

Limitiranje brzine protoka

Ukoliko želite da sprečite zlouptrebe protoka pomoću limita, recimo odradili ste prva dva koraka i sada želite dodatno da zaštitie sajt kako ne bi trošio resurse i time bio konstatno dostupan to možete da uradite limitom brzine protoka.

U vaš .htaccess fajl koji se nalazi u folderu vašeg sajta unesite sledeće:

<IfModule Litespeed>
  BandwidthThrottleSoft 1024
  BandwidthThrottleHard 2048
</IfModule>

Ovo će limitirati brzinu protoka na 1mb i ako neka IP adresa počne da koristi više od toga, server će početi da usporava saobraćaj toj IP adresi dok će drugima raditi normalno i ova druga brojka 2048 tj 2MB znači da neće nikada dozvoliti da IP adresa koristi više protoka.

Imajte na umu da ova postavka može da se povećava i smanjuje i briše potpuno. Ukoliko smatrate da nemate nikakvih problema više možete da potpuno obrišete ovaj deo koda.

Ova postavka limitiranje brzine protoka će limitirati samo za sajt/podomen gde ste postavili .htaccess ne za sve na celom hosting nalogu.

Blokada bota

Ako imate mozda neki drugi problem tipa da neki bot previse koristi vas protok, kada koristi protok to znaci da imitira posete na vasem sajtu koje nisu realne a time usproava vas sajt i opterecuje kompletno vas nalog. Ako to nije googlebot ili facebook bot onda je pozeljno da se limitira ili blokira. Evo kako izgleda kada se primeti bot koji pravi problem u slici ispod

Kao sto vidimo ovde da bot „crawl“ je u mesecu napravio protok 213GB, dok googlebot koji bi trebao najvise od botova da uzima protoka on je napravio samo 5.8GB. Drugi problem koji moze da bude jeste ovaj facebookexternalhit koje drugi botove koriste da zamaskiraju sebe ali ovde nije toliko strasno kao sto je ovaj crawl.

Blokada njega kroz .htaccess

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} crawl [NC]
RewriteRule .* - [F,L]
</IfModule>