robots.txt
agar tidak bisa langsung di-crawlMaka:
wget -cvrkK -e robots=off sitenya.com/disini
Keterangannya: kontinyu, verbose, rekursif, bentuk struktur direktori yang sama, pakai cookies yang tetap, dan matikan crawler robot
Yeah!
padahal kitanya yang ndak paham batasan-batasan yang sebenarnaya
robots.txt
agar tidak bisa langsung di-crawlwget -cvrkK -e robots=off sitenya.com/disini
CSS by Chama Digital. Template by Deluxe Templates. Support Dante Araujo. Best viewed on 1280px width display.
0 rants:
Posting Komentar