Her arama motoru tarama botu ilk olarak bir web sitesinin robots.txt dosyası ve sürünme kuralları ile etkileşime girer. Bu, robots.txt dosyasının Blogger blogunun arama motoru optimizasyonunda (SEO) önemli bir rol oynadığı anlamına gelir. Bu makale, Blogger için iyi optimize edilmiş bir özel robots.txt dosyasının nasıl oluşturulacağı ve Google Arama Konsolu tarafından bildirilen engellenen sayfaların etkilerinin nasıl anlaşılacağı konusunda size rehberlik edecektir.
Robot.txt dosyasının işlevleri nelerdir?
Robot.txt dosyası arama motoruna hangi sayfaların sürünmesi gerektiğini ve taranmaması gerektiğini söyler. Bu, tüm web örümceklerinin sürünmesini kontrol etmemizi sağlar. Robot.txt dosyasında, her bir kullanıcı-ajesinin sürünme etkinliğini izin vererek veya izin vermeyerek kontrol edebiliriz. Ayrıca web sitemizin site haritalarını Google, Bing, Yandex vb. gibi arama motorları için de beyan edebiliriz. Böylece bu arama motorları içeriğimizi kolayca bulabilir ve indeksleyebilir.
Robotlar meta etiketlerinin işlevi, sayfa düzeyinde indekslemeyi kontrol etmektir, yani sayfa arama sonucunda görünür olmalıdır.
Genellikle, web boyunca blog yayınlarını, sayfaları ve diğer format web içeriğini indekslemek veya noindex yapmak için robot meta etiketlerini kullanırız. Ve robotlar.txt arama motoru botlarını kontrol etmek için. Web sitesinin tam web sitesinin sürünmesine izin verebilirsiniz, ancak web sitesinin sürünme bütçesini tüketecektir. Web sitesinin sürünme bütçesini kaydetmek için web sitesinin arama, arşiv ve etiket bölümlerini engellemeniz gerekir.
Robotlar meta etiketi sayfa düzeyindedir ve bir web sayfasının SERP'de görülüp görünmeyeceğine karar vermek için kullanılır. Ek olarak, robots.txt adı verilen bir dosya, arama motoru botlarının web sitesinde nasıl davranması gerektiğini kontrol etmeye yardımcı olur. Botların tüm web sitemizde serbestçe sürünmesine izin verirsek, çok fazla kaynak kullanabilir. Bunu yönetmek için robot.txt'i kullanabiliriz ve botlara arama, arşiv ve etiket bölümleri gibi belirli parçaları taramamalarını söyleyebiliriz. Bu şekilde, kaynaklardan tasarruf ediyoruz ve botların web sitemizdeki önemli şeylere odaklanmasını sağlıyoruz.
Blogger Blog'un Varsayılan Robotlar.txt dosyası.
Bir Blogger blogu için robots.txt dosyasını optimize etmek için öncelikle CMS yapısını anlamalı ve varsayılan robots.txt dosyasını analiz etmemiz gerekir. Blogger'ın varsayılan robotları.txt dosyası.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.example.com/sitemap.xml
-Bu dosyanın ilk satırı (Kullanıcı-Ajan) bot türünü beyan eder. Burada Google AdSense, hiçbiri için izin verilmeyen (ikinci satırda ilan edildi). Bu, AdSense reklamlarının web sitesi boyunca görünebileceği anlamına gelir.
-Aşağıdaki kullanıcı ajanı *, yani tüm arama motoru botlarının sayfalara izin verilmediği anlamına gelir. Bu, tüm arama ve etiket sayfalarına izin verilmemesi anlamına gelir (aynı URL yapısı).
-Ve etiketin izin verilmeyen bölüm dışındaki tüm sayfaların sürünebileceğini tanımlamasına izin verin.
-Aşağıdaki satır, Blogger blogu için bir posta sitesi haritası içerir.
Bu, arama motoru botlarını kontrol etmek ve sayfaların sürünmesi veya taranmaması için talimatlar sağlamak için neredeyse mükemmel bir dosyadır. Ancak bu dosya, yinelenen bir içerik sorununa neden olabilecek arşiv sayfalarını dizine eklemeye izin verir. Bu, Blogger’ın blogu için ıvır zıvır yaratacağı anlamına gelir.
Bir Blogger Blog için Robots.txt Dosyasını Optimize Etmek
Varsayılan robots.txt dosyasının Blogger blogu için işlevini nasıl gerçekleştirdiğini anladık. En iyi SEO için optimize edelim.
Varsayılan robotlar.txt arşivin dizine izin verir ve bu da yinelenen içerik sorununa neden olur. Botların arşiv bölümünü taramasını durdurarak bu sorunu önleyebiliriz. Bunun için, /search*Tüm arama ve etiket sayfalarının sürünmesini devre dışı bırakacaktır.
Düşük bir kural uygulamak /20*Robotlar.txt dosyasında arşiv bölümlerinin sürünmesini durduracaktır. The (İngilizce) /20*Kural, tüm yayınların sürünmesini engelleyecektir, bu nedenle bundan kaçınmak için, yeni bir İzin Ver kuralı uygulamalıyız. /*.htmlBotların yayınları ve sayfaları taramasına izin veren bölüm.
Varsayılan site haritası sayfaları değil, gönderileri içerir. Yani altında bulunan sayfalar için bir site haritası eklemeniz gerekir. https://example.blogspot.com/sitemap-pages.xmlya da https://www.example.com/sitemap-pages.xmlÖzel alan adı için. İyi sonuçlar için Blogger site haritalarını Google Arama Konsoluna gönderebilirsiniz.
Blogger blogu için yeni mükemmel özel robots.txt dosyası böyle görünecek.
User-agent: Mediapartners-Google
Disallow:
User-agent: * # to select all crawling bots and search engines
Disallow: /search* # to block all user generated query item within the website.
Disallow: /20* # this line will disallow archieve section of Blogger.
Disallow: /feeds* # this line will disallow feeds. Read instruction below
Allow: /*.html # allow all post and pages of the blog
#sitemap of the blog
Sitemap: https://www.example.com/sitemap.xml
Sitemap: https://www.example.com/sitemap-pages.xml
-/arak* tüm arama ve etiket sayfalarının sürünmesini devre dışı bırakacaktır.
-Arşiv bölümlerinin sürünmesini durdurmak için robots.txt dosyasına bir Dikkatsiz kuralı /20* uygulayın.
-İzin vermeyin: / beslenenler* Bu kural, sürüngencilerin yem bölümünü taramasına izin vermeyecektir. Ancak yeni Blogger XML site haritası oluşturulmadıysanız, bu satırı kullanmayın.
-/20* kuralı tüm yayınların sürünmesini engelleyecektir, Bu nedenle bundan kaçınmak için, botların yayınları ve sayfaları taramasına izin veren /*.html bölümü için yeni bir İzin kuralı uygulamalıyız.
www.example.com'u Blogger alan adınız veya özel alan adınızla değiştirmelisiniz. Örneğin, özel alan adınızın www.iashindu.com olduğunu varsayalım; daha sonra site haritası https://www.iashindu.com/sitemap.xml adresinde olacaktır. Ayrıca mevcut robots.txt'i https://www.example.com/robots.txt adresinden kontrol edebilirsiniz.
Yukarıdaki dosyada, ayar SEO için en iyi robots.txt uygulamasıdır. Bu, web sitesinin emekleme bütçesini kaydedecek ve Blogger blogunun arama sonuçlarında görünmesine yardımcı olacaktır. Arama sonuçlarında görünmek için SEO dostu içerik yazmanız gerekir.
Bu kuralları robot.txt'te uyguladıktan sonra Arama Motor Konsolundaki Etkiler
Google Arama Konsolunun bazı sayfaların robots.txt dosyanız tarafından engellendiğini bildirebileceğini belirtmek önemlidir. Ancak, hangi sayfaların engellendiğini kontrol etmek çok önemlidir. Bunlar içerik sayfaları mı, arama veya arşiv sayfaları mı? Arama ve arşiv sayfalarını görüntüleyemiyoruz, bu yüzden bu sayfalar tıkanıyor. Ancak, botların eksiksiz web sitesini taramasına izin vermek istiyorsanız, robotları meta etiket ve robots.txt dosyasını böyle bir şekilde yapılandırmanız gerekir.
-Robots.txt dosyası, tarayıcıların tüm web sitesini taramasına izin verir.
-Robotlar Meta etiketi, önemli olmayan sayfaların noindex'e izin vermemesine izin vermez.
Blogger robots.txt ve robotlar meta etiketlerinin birleştirilmesi, sürünme bütçesini tüketebilir, ancak daha iyi bir alternatif Blogger blogunun SEO’sunu artırmaktır.
Bu Robots.txt Dosyasını Blogger'a nasıl uyguluyorsunuz?
Robots.txt dosyası web sitesinin kök seviyesinde yer almaktadır. Blogger'da köke erişim yok, peki bu robots.txt dosyasını nasıl düzenlersiniz? Blogger'ın ayarlar bölümünde robots.txt gibi kök dosyalarına erişebilirsiniz.
-Blogger Gösterge Tablosu'na gidin ve ayarlar seçeneğine tıklayın,
-Sürüngenlere ve indeksleme bölümüne aşağı kaydırın,
-Anahtar düğmesi ile özel robotlar.txt etkinleştirin.
-Özel robotlar.txt'e tıklayın; bir pencere açılacaktır. robots.txt dosyasını yapıştırın ve güncelleme.
Blogger blogu için özel robots.txt dosyasını güncelledikten sonra, www.example.com adresi ile değiştirilmesi gereken https://www.example.com/robots.txt gibi etki alanınızı ziyaret ederek değişiklikleri kontrol edebilirsiniz.
Sonuç.
Robots.txt dosyasının işlevini araştırdık ve Blogger blogu için en uygun özel robots.txt dosyası oluşturduk. Varsayılan robots.txt dosyasında, arşiv bölümünün taramasına da izin verilir ve bu da arama motoru için yinelenen içerik sorunlarına neden olur. Bu karışıklık, Google’ın arama sonuçları için herhangi bir Sayfa düşünmemesine neden olabilir.
Unutmayın, Google Arama Konsolu engellenen sayfaları bildirebilir, ancak hangi sayfaların engellendiğini ve nedenini anlamak çok önemlidir. Bu anlayış, sitenizi daha iyi SEO sonuçları için optimize etmenize yardımcı olacaktır.
Umarım bu makaleyi yararlı bulmuşsunuzdur. Blogger veya WordPress SEO ile ilgili herhangi bir şüpheniz veya sorunuz varsa, aşağıda yorum yapmaktan çekinmeyin.
