// On :18 Oct 2014
Apa Sih Crawler itu ?? ?? Pada Post kali ini saya akan membahas tentang Crawler,,,
Soo Crawler bertugas untuk mengindeks, membuat rangking, menyusun, dan menata halaman dalam bentuk indeks terstruktur agar bisa di cari dlam waktu yang sangat cepat. Objek dari Crawler adalah isi dari halaman,file,folder, dan direktori web, sedangkan subyek dari robots.txt ( Saya akan jelaskan apa itu robot.txt pada post selanjutnya ) adalah mesin pencari direktori web, sedangkan subyek dari robots.txt yang akan memandu mesin pencari untuk mengindeks sebuah website. Sehingga crawler akan tahu mana yg halaman folder/file yang boleh di indeks atau tidak. Semakin lengkap sebuah panduan dalam robots.txt akan lebih baik, dengan demikian robot crawler akan dengan cepat mengindeks isi webseite kebanyakan halaman situs berisi link ke halaman lai, sebuah spider dapat memulai dari manapun.
Apabila ia melihatsebuah link kepada halaman lain maka ia akan segera menju kesana dan mengambilnya. Mesin pencari yang besar seperti altavista, mempunyai banyak spider yang bekerja secara pararel. Sangat merekomedasikan untuk menggunakan javasript pada menu utama, gunakan tag <noscript>. Hal ini dikarenakan javascript tidak bisa diambil oleh spider untuk mesin pencari. dan semua link yang mengandung javascript akan di tolak sebagai halaman text
