Sitenizi google arama motoruna kaydedin bunu yapabilmeniz için bir gmail hesabına ihtiyacınız olacak, gmail hesabınız yoksa hemen alın varsa google webmaster tools tan sitenizin kaydını yapın.Google webmaster tools için google da "google webmaster tools" diye aratın ve ilk çıkan siteye girin. Burada sitenizin adresini sizden isteyecekler, sitenizin adresini girdikten sonra sitenizin size ait olduğunu kanıtlamanız gerekiyor, bunun için server ınıza istedikleri bir dosyayı yüklemeniz yeterli oluyor. Sonrasında bu tool içersinde sitenizin robots.txt ve sitemap.xml dosyalarını tanıtmalısınız. Robots.txt sitenize gelen arama motorlarına ait boatların hangi dosyalara erişmelerini hangilerine erişmemelerini istediğinizi belirtiyorsunuz (kendinizle ve sitenizin ziyaretçileriyle ilgili bilgileri barındırdığınız dosyaları gizlemeniz, arşiv niteliği taşıyan sayfalarınızı da tüm boatlara açık tutmanızı öneririm böylece sitenizin içeriğini arama motorları tam olarak bilebilsin ki siteniz arama sonuçlarında üst sıralarda yer alabilsinler ) böylece arama motorlarının web sayfalarınızı indekslemesi kolay olacaktır. Yazının altında örnek bir Robots.txt dosyasına erişebileceksiniz. Sitemap.xml dosyası sitenizin haritasını, sitenize gelen boatlara sunan bir dosyadır. Genelde arama motoru boatları bir siteye geldiklerinde varsa ilk önce bu dosyaya bakarlar. Sitenizde doğrudan erişilemeyen dosyaları burada belirtmeniz durumunda bu dosyaların içeriklerinin de indekslenmesi, arama motoruna kaydedilmesi sağlanmış olur. Böylece diyelim ki o dosyalarda "katı cisimler" konusundan bahsediyorsanız ve bir kişi google dan bu konuda arama yapacak olursa sizin sitenizin ilk sıralarda yer alması mümkün olabilir. Bu duruma başka bir açıdan bakacak olursak sitenizde ne kadar çok orijinal içerik bulunursa google da bu konularda arama yapıldıkça üst sıralarda yer almanız ihtimali artacaktır ve aramayı yapan kişiler sitenize girdikçe sitenizin google için değeri daha da artacaktır yani pagerankiniz yükselecektir.
-
ÖRNEK ROBOTS.TXT DOSYASI:
DOSYANIN içinde bulunanlar şöyle:
User-agent: *
Disallow: /login.aspx
Disallow: /search.aspx
Disallow: /error404.aspx
sitemap: http://www.gevisgetiren.com/sitemap.axd
dosyada yazanları kısaca anlatacağım:
User-agent: * "User-agent:" sonrasında "*" konulması tüm arama motorlarının boatları için bu dosyanın geçerli olduğu anlamına gelir, eğer yıldız yerine "Googlebot" yazarsanız bu dosyanın sadece google boatları için açık olduğu anlamına gelir ve bu dosyadan sadece googlebot ları faydalanabilir.
Disallow: /login.aspx boatların görmesini istemediğiniz gizli dosyalarınızı "Disallow :" sonrasında "dosyanın dizini ve adı" şeklinde belirtmeniz gerekir, botlar bu şekilde göstermediğiniz her dosyanın içersine bakarlar.
sitemap: http://www.gevisgetiren.com/sitemap.axd sitenizin sitemap ini "sitemap:" ten sonra "sitemapinizin adresi" şeklinde yazarak boatlara tanıtmış oluyorsunuz.
Sitemizin Robots.txt dosyasını örnek olması için aşağıdaki linkten indirebilirsiniz.
robots.txt (138,00 bytes)