Arama Motorları Nasıl Çalışırlar
Arama motoru kelimesi crawlerları ve dizinleri tanımlamak için kullanılır ama bu ikisi tamamen farklı yöntemlerle çalışırlar.
Crawlerlar internetteki siteleri tarar ve indexlerler. Eğer sitenizi değiştirirseniz bu listedeki durumunuzu etkiler çünkü crawlerlar sayfanızın tümünü hafızalarına alır ve bir aramada sayfada geçen tüm kelimeler arasından arar. Sitenizde yaptığınız değişiklikleri de ilk güncellemesinde hemen günceller. Başlıklar, sayfanın içeriği ve diğer tüm etkenler sonuçta etkilidir.
Dizinler ise insanlar tarafından yönetilir. Sitenizi kaydederken bir başlık ve bir açıklama yazarsınız ya da editör sizin yerinize bir açıklama yazar ve sonuçlarda bu iki etken etkili olur. Sayfanızda yapacağınız değişiklikler sonuçları etkilemez.
Hybrid olarak adlandırılan arama motorları ise her iki türden de sonuç getirirler ve genellikle bir tarafı ki bu taraf genellikle dizinler olur, diğerinden daha üstün tutarlar. Mesela MSN, LookSmart’dan aldığı dizin sonuçlarını ve Inktomi’den gelen crawler sonuçlarını birlikte gösterir ama LookSmart’ın dizin sonuçlarına öncelik tanır.
Crawlerlar
Bu tip arama motorları sitenizi otomatik olarak ziyaret eder ve hemen hemen tüm sayfalarınızı hafızalarına alırlar. Bunun içinde bir çeşit robot kullanırlar. Bu robotlar sitenizden bir sayfayı ziyaret ettikten sonra o sayfada bulunan tüm linkleri de ziyaret ederler. Mesela anasayfanızı ziyaret ederlerse ve buradan bütün sayfalarınıza link vermişseniz oraları da dolaşacak demektir. Ayrıca siteniz dışından bir siteye link verdiyseniz orayı da ziyaret edecektir ve eğer bu site listelerinde yoksa onu da ekleyeceklerdir. Sizin siteniz sayesinde o link verdiğiniz site de arama motoruna kaydolmuş olur. Bu sizin için de geçerlidir. Çünkü birçok crawler manuel site ekleme özelliği bulundurmaz ve kendi robotlarının siteleri eklemesini tercih ederler. Bu yüzden de sitenizi görünür yerlere kaydederseniz crawlerların sitenizi bulmasını kolaylaştırırsınız. Yukarıda bahsedilen dizinlerden herhangi birine kayıt olursanız crawlerlar sitenizi kesinlikle bulur ve indexlerine eklerler.
Crawlerların Bölümleri
Spider: Crawler olarak da adlandırılır. Spider siteyi ziyaret eder, okur ve daha sonra linkleri takip ederek diğer sayfalara ulaşır. Spider siteyi bir ay ya da iki ay arayla düzenli olarak tekrar ziyaret eder.
Index: Spider’ın bulduğu herşey arama motorunun indexine gider. Indexte spiderın bulduğu tüm sayfaların bir kopyası depolanır ve spider sayfaları tekrar ziyaret edip güncel hallerini getirdiğinde index de yenilenir.
Yazılım: Son parça olan arama motoru yazılımı ise indexde depolanan milyonlarca sayfa arasından uygun sonuçları bulur ve en uygun olanlara göre sıralandırma yaparak sonuçları getirir.
Bütün crawlerlarda bu parçalar vardır ama bu parçaların her birinin işlevi her arama motorunda değişiktir. Bu yüzdendir ki aynı arama farklı arama motorlarında değişik sonuçlar ortaya çıkarır.
Crawlerların Özellikleri
Derin Araştırma: Ara motorlarının indexlerine kaydetme başvurusu yapmamasına rağmen siteleri bulması anlamına gelir. Hemen hemen tüm crawlerlarda bu özellik vardır ama bazıları bu konuda daha iyidir. Bu özelliği en iyi olanlar Fast, Google ve Inktomi, kötü olanlar ise Altavista ve Teoma’dır.
Stop Kelimeleri: How, and, What gibi genel kullanımı olan kelimeler birçok crawler tarafından yer kazanılması ve aramanın hızlandırılması için indekslenmez ya da arama içinde geçmesine izin verilmez. Bu özelliği kullanmayan ve stop kelimelerine yer veren tek crawler Fast’dir.
Description: Meta taglar arasında bulunan açıklama kısmının kullanılması anlamına gelir. Tüm arama motorları bir biçimde destekler ama Altavista, Fast ve Teoma bundan en çok yararlanan crawlerlardır.
Keywords: Meta tagler arasında bulunan keywords taginin desteklenip desteklenmediğidir. Destekleyenler Inktomi ve Teoma’dır.
Alt Text: Grafikler altına yazılan ve mouse ile üstüne gelindiğinde ortaya çıkan yazılardır. Destekleyenler Altavista, Google ve Teoma’dır. Desteklemeyenler ise Fast ve Inktomi’dir. |