Robots meta etiketi ve X-Robots Etiketi, tarayıcılara bir web sitesinin sayfalarının nasıl dizine ekleneceği konusunda talimat vermek için kullanılır. İlki, bir web sayfasının HTML kodunda belirtilir ve ikincisi, bir URL'nin HTTP başlığına dahil edilir.

Dizin oluşturma işlemi birkaç adımdan oluşur: 

1. içerik yükleniyor 
2. Arama motoru robotları ile analiz
3. Veritabanına dahil olma 

Dizine giren bilgi, SERP'lerde görünen şeydir. Hangi içeriğin SERP'de nasıl sonuçlanacağını kontrol etmek için robots meta etiketlerini ve X-Robots Etiketlerini kullanabilirsiniz. 

Şimdi ince ayrıntılara geçelim.

X-Robots-Tag ile meta robots etiketi arasındaki fark nedir?

Arama motorlarının web sayfalarını nasıl işlediğini kontrol etmek çok önemlidir. Web sitesi sahiplerinin içeriklerinin SERP'lerde nasıl keşfedildiğini, dizine eklendiğini ve sunulduğunu etkilemesine olanak tanır. Yaygın olarak kullanılan iki kontrol yöntemi, X-Robots-Tag ve meta robots etiketinin uygulanmasını içerir. Her iki seçenek de aynı amaca hizmet eder, ancak uygulama ve işlevsellik açısından farklılık gösterir. 

Her birinin özelliklerini inceleyelim ve yan yana karşılaştıralım.

Her yöntemi kullanmanın aşağıdaki artılarını ve eksilerini vurgulayalım: 

Robotlar meta etiket artıları: 

• Dizin oluşturma talimatlarını yönetmek için basit ve ayrıntılı, sayfa düzeyinde bir yaklaşım sunar. 
• Tek tek HTML sayfalarına kolayca eklenebilir.
• Yerel ve daha az popüler olanlar da dahil olmak üzere çeşitli arama motorları tarafından daha yaygın olarak desteklenir.

Robotlar meta etiket eksileri:

• Diğer kaynaklar hariç, yalnızca HTML sayfalarıyla sınırlıdır.
• Karmaşık toplu düzenleme süreci. Bunları her bir HTML sayfasına manuel olarak eklemeniz gerekebilir.

X-Robots-Tag profesyonelleri:

• HTTP yanıtı tarafından başvurulan çeşitli kaynaklara uygulanabilir.
• HTML olmayan kaynakların sunulması gibi HTML meta etiketlerinin geçerli olmadığı senaryolar için uygundur.
• Birden fazla sayfa veya tüm web sitesi bölümleri için indeksleme talimatlarının yönetimini sağlar. 

X-Robots-Tag eksileri:

• Sunucu düzeyinde erişim ve sunucu yapılandırması bilgisi gerektirir; bu, sunucu ayarları üzerinde doğrudan denetimi olmayan veya bunları nasıl yapılandıracağını bilmeyen web sitesi sahipleri için zorlayıcı olabilir.
• Tüm arama motorları ve web tarayıcıları tarafından desteklenmeyebilir.

Seçtiğiniz yöntemden bağımsız olarak, istenmeyen sonuçlardan kaçınmak için hem robots meta etiketlerini hem de X-Robots-Tag'ı doğru şekilde yapılandırmanız çok önemlidir. Yanlış yapılandırmalar, yönergelerin çakışmasına neden olabilir ve arama motorlarının sitenizin tamamını veya belirli sayfaları dizine eklemesini engelleyebilir.

robots.txt dosyası ile meta robots etiketi arasındaki fark nedir?

Robots.txt ve meta robots etiketleri, benzer göründükleri için genellikle birbirleriyle karıştırılır, ancak aslında farklı amaçlara hizmet ederler. 

The robots.txt dosyası bir web sitesinin kök dizininde bulunan bir metin dosyasıdır. Web robotları için, web sitesinin hangi bölümlerine erişmelerine ve taramalarına izin verildiği konusunda onları bilgilendiren bir dizi talimat görevi görür.

Meta robot etiketleri ve X-Robots-Tag, web tarayıcılarına hangi sayfaların ve nasıl dizine ekleneceğine ilişkin dizin oluşturma talimatları verir. Ayrıca sayfanın veya web sitesinin hangi bölümlerinin dizine ekleneceğini ve HTML olmayan dosyaların nasıl işleneceğini de belirleyebilirler.

Bu yöntemleri stratejik olarak kullanarak, web sitesinin erişilebilirliğini kontrol edebilir ve arama motoru davranışını etkileyebilirsiniz.

Neden meta robots etiketini ve X-Robots-Tag'ı kullanmalısınız?

Robots meta etiketinin ve X-Robots-Tag'in arama motoru optimizasyonuna nasıl yardımcı olduğunu ve bunları ne zaman kullanmanız gerektiğini inceleyelim.

1. Sayfa indeksleme üzerinde daha esnek kontrol

Robots meta etiketleri ve X-Robots-Tag, sayfa indekslemeyi kontrol etmede size daha fazla esneklik sağlar. Bu direktiflerle, yalnızca tüm HTML sayfaları için değil, aynı zamanda bunların içindeki belirli bölümler ve ayrıca resimler veya PDF'ler gibi HTML olmayan dosyalar için indekslemeyi yönetebilirsiniz. İster robots meta etiketlerini kullanarak sayfa düzeyinde, ister X-Robots-Tags kullanarak site düzeyinde olsun, uygulama düzeyini seçmekte de özgürsünüz.

2. Bağlantı suyunu korumak

kullanarak tarayıcılardan gelen bağlantıları engelleme nofollow yönerge, sayfanın bağlantı suyunun korunmasına yardımcı olabilir. Bu, harici veya dahili bağlantılar yoluyla başka kaynaklara geçmesini engeller.

3. Tarama bütçesini optimize etme

Bir site ne kadar büyükse, tarayıcıları en değerli sayfalara yönlendirmek o kadar önemlidir. Arama motorları bir web sitesini içten dışa tararsa, tarama bütçesi, botlar kullanıcılar ve SEO için yararlı içeriğe ulaşmadan önce sona erer. Bu, önemli sayfaların dizine ekleniyorveya en azından programa göre endekslenmekten.

4. Parçacıkları kontrol etme

Meta robot etiketleri, sayfa indekslemeyi kontrol etmenin yanı sıra, SERP'de görüntülenen snippet'leri kontrol etme yeteneği sağlar. Sayfalarınız için gösterilen önizleme içeriğine ince ayar yapmak, web sitenizin genel görünürlüğünü ve arama sonuçlarındaki çekiciliğini artırmak için bir dizi seçenek elde edersiniz. 

Parçacıkları kontrol eden etiketlere birkaç örnek:

• küçük parça arama motorlarına sayfa için meta açıklamaları göstermeme talimatı verir.
• max-snippet:[sayı] bir snippet'in karakterlerde ne kadar uzun olması gerektiğini belirtir.
• max-video-preview:[sayı] bir video önizlemesinin saniye cinsinden ne kadar sürmesi gerektiğini açıklar.
• maksimum görüntü önizlemesi:[ayar] görüntü ön izleme boyutunu tanımlar (yok/standart/büyük).

Birkaç direktifi tek bir direktifte birleştirebilirsiniz, örneğin:

Meta robot yönergeleri ne zaman kullanılır?

Meta robot yönergelerini kullanmanın ilk (ve en yaygın) durumu, sayfaların dizine eklenmesini engellemektir. Tüm sayfalar organik ziyaretçi çekemez. Hatta bazıları dizine eklenirse sitenin arama görünürlüğüne zarar verebilir. 

Arasında tüm web sitesi sayfaları, aşağıdakiler dizine eklenmemelidir:

• Yinelenen sayfalar
• Sıralama seçenekleri ve filtreler
• Arama ve sayfalandırma sayfaları
• teknik sayfalar
• Hizmet bildirimleri (kayıt işlemi, tamamlanan sipariş vb. hakkında)
• Fikirleri test etmek için tasarlanmış açılış sayfaları
• Geliştirilmekte olan sayfalar 
• Güncel olmayan bilgiler (gelecekteki fırsatlar, duyurular vb.)
• Herhangi bir trafik getirmeyen eski sayfalar
• Belirli arama tarayıcılarından engellemeniz gereken sayfalar

Aşağıdakileri kontrol etmek istediğinizde farklı robot direktiflerini de kullanabilirsiniz: 

• Takip edilen bağlantılar
• HTML dışı içerik indeksleme 
• Belirli bir sayfa öğesinin indekslenmesi
• Vb

Meta robot direktifleri ve arama motoru uyumluluğu

Robots meta etiketleri ve X-Robots-Tag, arama botlarına talimat vermek için aynı direktifleri kullanır. Bunları ayrıntılı olarak inceleyelim.

Yukarıda belirtilen yönergelerin tümü, Google botlarının talimatlarınızı anlamasına yardımcı olmak için hem robots meta etiketi hem de X-Robots-Tag ile birlikte kullanılabilir.

Arama motorlarının bir sitenin görünür içeriğini varsayılan olarak otomatik olarak dizine eklediğini ve bu nedenle belirtmeye gerek olmadığını unutmayın. indeks ve takip et bu amaçla direktifler.

Çakışan direktifler

Birleştirilirse Google, izin veren talimat yerine kısıtlayıcı talimatı seçecektir. Örneğin, meta name=”robots” content=”noindex, index”/> direktif, robotun seçeceği anlamına gelir dizin, ve sayfa metninin dizine eklenemeyeceğini.

Arama motoru, farklı kurallarla birlikte birden çok tarayıcı belirtilirse, kendisi için geçerli olan negatif kuralların kümülatif etkisini dikkate alacaktır. Örneğin:

Bu yönerge, sayfaların dizine eklenemeyeceği ve bağlantıların Googlebot tarafından tarandığında izlenemeyeceği anlamına gelir.

Birleştirilmiş dizin oluşturma ve sunum kuralları

Ayrı ayrı ihtiyaç duyduğunuz kadar çok meta etiketi kullanabilir veya bunları virgülle ayrılmış tek bir etikette birleştirebilirsiniz. Örneğin:

• robotun seçeceği anlamına gelir noindex ve sayfa metni dizine eklenmez, ancak bağlantıları izler ve tarar.
• tüm talimatların dikkate alınacağı anlamına gelir. Metin ve bağlantılar dizine eklenirken, bir sayfanın kopyasına yönlendiren bağlantılar dizine eklenmeyecektir.
• metin parçacığının en fazla 20 karakter içereceği ve büyük bir resim ön izlemesinin kullanılacağı anlamına gelir.

Belirli tarayıcılara yönergeler ayarlamanız gerekiyorsa, ayrı etiketler oluşturmak şarttır. Ancak bir sekmedeki talimatlar yine de birleştirilebilir. Örneğin:

Robots meta etiketi: sözdizimi ve kullanım

Daha önce de söylediğimiz gibi, robots meta etiketi sayfanın HTML koduna eklenir ve arama botları için bilgi içerir. Şuraya yerleştirildi: bölümüdür ve iki zorunlu özelliği vardır: isim ve içerik. Basitleştirildiğinde şöyle görünür:

ad özniteliği 

In meta adı = ”robotlar”name özniteliği, talimatların tasarlandığı botun adını belirtir. Şuna benzer şekilde çalışır: Kullanıcı aracısı arama motoru tarayıcısını tanımlayan robots.txt yönergesi.

Tüm arama motorlarına hitap etmek için “robots” değeri kullanılmaktadır. Ancak talimatları özellikle Google için ayarlamanız gerekiyorsa, yazmanız gerekir. meta adı = ”googlebot”. Başka bir Google tarayıcıları şunları içerir:

• googlebot-haberleri
• googlebot resmi
• googlebot-video

Bing tarayıcıları şunları içerir:

• bingobot
• adIdxbot
• bin önizleme
• microsoftpreview.

Diğer bazı arama tarayıcıları şunlardır:

• Yahoo!
• DuckDuckGo için DuckDuckBot 
• Baidu için Baiduspider

içerik özelliği

Bu öznitelik, hem sayfanın içeriğini hem de arama sonuçlarında görüntülenmesini dizine ekleme talimatlarını içerir. Yukarıdaki tabloda açıklanan direktifler kullanılmaktadır. içerik özniteliği.

Dikkat:

• Her iki öznitelik de büyük/küçük harfe duyarlı değildir.
• Öznitelik değerleri dahil edilmez veya doğru yazılmazsa, arama botu engelleme talimatını yok sayacaktır.

Robots meta etiketini kullanma

• Yöntem 1: bir HTML düzenleyicide

Sayfaları yönetmek, metin dosyalarını düzenlemeye benzer. HTML belgesini bir düzenleyicide açmanız, dosyaya robotlar eklemeniz gerekir. bölümüne gidin ve kaydedin.

Sayfalar, bir barındırma sağlayıcısındaki kişisel hesabınız veya FTP (Dosya Aktarım Protokolü) aracılığıyla erişilebilen sitenin kök kataloğunda saklanır. Değişiklik yapmadan önce kaynak belgeyi kaydedin.

• Yöntem 2: CMS kullanma

CMS'ler, bir sayfanın dizine eklenmesini engellemeyi kolaylaştırır. Bir sayfayı düzenlerken indekslemeyi engellemenize veya bağlantıların taranmasını engellemenize izin veren WordPress için Yoast SEO da dahil olmak üzere birçok eklenti bu işlevselliğe sahiptir.

X-Robots-Tag: sözdizimi ve kullanım

X-Robots-Tag, belirli bir URL için HTTP yanıtının bir parçasıdır ve genellikle yapılandırma dosyasına eklenir. Robots meta etiketine benzer şekilde hareket eder ve sayfaların dizine nasıl ekleneceğini etkiler. Ancak X-Robots Etiketinin özellikle indeksleme talimatları için kullanılması tavsiye edilen bazı durumlar vardır. 

İşte X-Robots-Tag'in basit bir örneği:

X-Robots-Etiketi: noindex, nofollow

Bir sayfa veya dosya türü için kurallar belirlemeniz gerektiğinde, X-Robots-Tag şöyle görünür:

Başlık seti X-Robots-Tag "noindex, nofollow"

The yönerge, normal ifadeleri kullanarak web sitesindeki dosyaları arar. Eğer kullanırsan nginx yerine Apache, bu direktif ile değiştirilir yer:

konum = dosya adı { add_header X-Robots-Tag "noindex, nofollow"; }

Bot adı belirtilmezse, yönergeler tüm tarayıcılar için otomatik olarak kullanılır. Farklı bir robot tanımlanırsa, etiket şöyle görünür:

Başlık seti X-Robots-Tag "googlebot: noindex, nofollow"

X-Robots-Tag'i ne zaman kullanmalısınız?

• HTML olmayan dosyaların dizini kaldırılıyor

Tüm sayfalar HTML biçimine sahip olmadığından ve bölümünde, bazı içeriklerin robots meta etiketi kullanılarak dizine eklenmesi engellenemez. Bu, x-robots'un işe yaradığı zamandır. 

Örneğin, .pdf belgelerini engellemeniz gerektiğinde:

 Başlık seti X-Robots-Tag "noindex"

• Tarama bütçesini kaydetme

Robots meta etiketi, sayfa yüklendikten sonra tarama yönergeleri sağlarken, x-robots etiketi, arama botu sayfaya gelmeden önce dizin oluşturma talimatlarını verir. x-robot kullanmak, arama motorlarının sayfaları taramak için daha az zaman harcamasına yardımcı olur. Bu, arama motorlarının önemli içeriği taramak için daha fazla zaman harcayabilmesi için tarama bütçesini optimize eder ve X-Robots Etiketini özellikle büyük ölçekli web siteleri için faydalı hale getirir.

• Tüm web sitesi için tarama yönergelerini ayarlama

X-Robots-Tag'ı HTTP yanıtlarında kullanarak, ayrı sayfalar yerine tüm web sitesi için geçerli olan yönergeler oluşturabilirsiniz.

• Yerel arama motorlarını adresleme

En büyük arama motorları kısıtlayıcı direktiflerin çoğunu anlarken, küçük yerel arama motorları HTTP başlığındaki indeksleme talimatlarını nasıl okuyacağını bilemeyebilir. Web siteniz belirli bir bölgeyi hedefliyorsa, yerel arama motorlarını ve özelliklerini tanımanız önemlidir.

Robots meta etiketinin birincil işlevi, sayfaları SERP'lerden gizlemektir. Öte yandan, X-Robots-Tag, arama botlarını web sayfalarını taramadan önce bilgilendirerek ve tarama bütçesinden tasarruf ederek tüm web sitesi için daha geniş yönergelerin ayarlanmasına olanak tanır.

X-Robots-Tag nasıl uygulanır?

X-Robots-Tag başlığını eklemek için web sitesinin kök dizinindeki yapılandırma dosyalarını kullanın. Ayarlar, web sunucusuna bağlı olarak farklılık gösterecektir.

Apache

Ayrıca aşağıdaki sunucu belgelerini düzenlemeniz önerilir: .htaccess ve httpd.conf. Tüm .png ve .gif dosyalarının Apache web sunucusunda dizine eklenmesini engellemeniz gerekirse, aşağıdakileri ekleyin:

 Başlık seti X-Robots-Tag "noindex"

nginx

Konfigürasyon dosyasının düzenlenmesi de gereklidir. Tüm .png ve .gif dosyalarının Nginx web sunucusunda dizine eklenmesini önlemek için aşağıdakileri ekleyin:

konum ~* .(png|gif)$ { add_header X-Robots-Tag "noindex"; }

Önemli: Yapılandırma dosyasını düzenlemeden önce, bazı hatalar olması durumunda web sitesi performans sorunlarını ortadan kaldırmak için kaynak dosyayı kaydedin.

Robots meta etiketi ve X-Robots-Tag örnekleri

noindex

Tüm tarayıcılara bir sayfadaki metni dizine eklememelerini ve bağlantıları izlememelerini söylemek:

X-Robots-Etiketi: noindex, nofollow

nofollow

Google'a bir sayfadaki bağlantıları takip etmemesini söylemek:

X-Robots-Etiket: googlebot: nofollow

arşiv yok

Arama motorlarına bir sayfayı önbelleğe almamasını söylemek:

X-Robots-Tag: noarchive

Bing'in sayfaları önbelleğe almasını istemiyorsanız, nocache yönergesini kullanın:

X-Robots-Etiketi: önbellek yok

Yok

Google'a bir HTML belgesindeki bağlantıları dizine eklememesini ve bağlantıları izlememesini söylemek:

X-Robots-Tag: googlebot: yok

küçük parça

Arama motorlarına bir sayfa için snippet'leri görüntülememelerini söylemek:

X-Robots-Etiket: nosnippet

maksimum snippet

Snippet'i maksimum 35 sembolle sınırlamak:

X-Robots-Etiket: max-snippet:35

maksimum resim önizlemesi

Arama motorlarına arama sonuçlarında büyük resim sürümlerini göstermelerini söyleme:

X-Robots-Tag: max-image-preview:büyük

maksimum video önizleme

Arama motorlarına videoları uzunluk sınırlaması olmadan göstermelerini söyleme: 

X-Robots-Tag: max-video-preview:-1

çeviri yok

Arama motorlarına bir sayfayı çevirmemelerini söylemek:

X-Robots-Etiket: notranslate

noimageindex

Tarayıcılara bir sayfadaki resimleri dizine eklememelerini söylemek:

X-Robots-Etiketi: noimageindex

kullanılamaz_sonra

Tarayıcılara belirli bir tarihten sonra (örneğin 1 Ocak 2021) bir sayfayı dizine eklememelerini söyleme:

X-Robots-Etiketi: kullanılamıyor_sonra: 2021-01-01

Google Arama Konsolunda robot yönergelerini kontrol etme

Google Search Console'un URL Denetleme aracını kullanarak sayfa indeksleme ayrıntılarını kontrol edebilirsiniz. Bu araç, bir sayfanın dizine eklenmesinin engellenip engellenmediğini gösterir ve belirli nedenlerle ilgili ayrıntılar sağlar.

URL denetleme aracına erişmek için sol taraftaki kenar çubuğuna gidin ve "URL Denetimi"ni tıklayın. Arama çubuğuna kontrol etmek istediğiniz URL'yi girin. Sayfa indeksleme detaylarındaki “Tara” bölümünde, sayfanın indekslenip indekslenmediğini ve neden indekslendiğini göreceksiniz. Sağlanan ekran görüntüsünde, robots meta etiketlerinde bir noindex yönergesinin bulunması nedeniyle sayfa dizine eklenmiyor.

Bir sayfa X-Robots-Tag tarafından engellenirse, aşağıdaki ekran görüntüsünde olduğu gibi raporda belirtilecektir.

Kontrol edilen sayfadan Googlebot tarafından alınan tam HTTP yanıtını görmek istiyorsanız iki seçeneğiniz vardır:

• Gerçek zamanlı veri almak için tıklayın Canlı URL'yi test edin aynısı altında URL İnceleme. Test tamamlandıktan sonra, üzerine tıklayın Taranan sayfayı görüntüle. HTTP yanıtıyla ilgili bilgileri Daha fazla bilgi Bölüm.
• Son tarama verilerini görmek için HTTPS -> Tara -> HTTP yanıtını görüntüle doğrudan URL İnceleme.

Bir sayfa kontrolü robots meta etiketinin çalışmadığını gösteriyorsa URL'nin robots.txt dosyasında engellenmediğini doğrulayın. Adres çubuğundan kontrol edebilir veya kullanabilirsiniz. Google'ın robots.txt test aracı.

SE Sıralaması ayrıca hangi web sitesi sayfalarının dizinde olduğunu kontrol etmenizi sağlar. Bunu yapmak için şuraya gidin: Dizin Durum Denetleyicisi araç.

Arama motorlarının bir sayfayı dizine eklemesi veya dizini kaldırması zaman alır. Sayfanızın dizine eklenmediğinden emin olmak için, meta etiketleri kontrol eden web yöneticisi hizmetlerini veya tarayıcı eklentilerini kullanın (örneğin, Chrome için 1 TIKLAMADA SEO META).

Robotlar ve X-Robots-Tag kullanımı ile ilgili yaygın hatalar

Robotları ve X-Robots-Tag'i kullanmak zor olabilir, bu nedenle web sitelerinin ilgili hatalardan muzdarip olması yaygın bir durumdur. yürütmek teknik SEO denetimi bu sorunları belirlemeye ve çözmeye yardımcı olabilir. Neyi ne zaman bekleyeceğiniz konusunda size daha iyi bir fikir vermek için web sitenizi analiz etmek, en yaygın sorunların bir listesini hazırladık.

robots.txt ile çakışma

Resmi X-Robots-Tag ve robots yönergeleri, bir arama botunun dizinden gizlenmesi amaçlanan içeriği yine de tarayabilmesi gerektiğini belirtir. Eğer sen Disallow robots.txt dosyasındaki belirli bir sayfada robot yönergelerine tarayıcılar erişemez. 

Bir sayfada varsa noindex öznitelik ama izin verilmeyen robots.txt dosyasında indekslenebilir ve arama sonuçlarında gösterilebilir. Bunun bir örneği, tarayıcının başka bir kaynaktan gelen bir geri bağlantıyı izleyerek bulması durumudur. 

Sayfalarınızın aramada nasıl görüntüleneceğini yönetmek için robots meta etiketini ve x-robots'u kullanın.

noindex kullanmak yerine robots.txt dosyasına sayfa ekleme

robots.txt dosyasını kullanma alıştırması alternatif olarak noindex yönergesi, bir sayfanın dizine eklenmesini engelleyeceği yanılgısından kaynaklanır. Robots.txt dosyasına bir sayfa eklemenin, genellikle dizine eklemeye değil, taramaya izin verilmemesine yol açtığına dikkat etmek önemlidir. Bu, tarayıcıların o sayfayı yine de dizine ekleyebileceği anlamına gelir (önceki bölümde bahsettiğimiz geri bağlantılarda olduğu gibi). 

Dolayısıyla, sayfanızın dizine eklenmesini istemiyorsanız, robots.txt dosyasında buna izin vermeniz ve bir noindex yönergesi kullanmanız önerilir. Öte yandan, amacınız web sitesi taraması sırasında arama botlarının sayfanızı ziyaret etmesini engellemekse robots.txt dosyasında buna izin vermeyin.

robots.txt dosyasında robots yönergelerini kullanma

Robots meta etiketlerini ve X-Robots-Tag'lerini kullanırken yapılan diğer bir yaygın hata, bunları robots.txt dosyasına eklemektir. Bu özellikle nofollow ve noindex direktifleri için geçerlidir.

Google, bu yöntemin gerçekten işe yaradığını hiçbir zaman resmi olarak onaylamadı. Dahası, arama motoru, araştırmaları sonucunda, bu direktifleri kullanmanın diğer kurallarla çelişebileceğini ve potansiyel olarak sitenin arama sonuçlarındaki varlığına ve konumuna zarar verebileceğini keşfetti. Yani Eylül 2019'dan beri, Google, bu uygulamanın etkisiz olduğunu kabul etti ve artık robots.txt dosyasındaki robot yönergelerini kabul etmez.

noindex'i zamanında kaldırmamak

Hazırlama sayfalarıyla çalışırken, arama motorlarının bu sayfaları arama sonuçlarında dizine eklemesini ve görüntülemesini önlemek için bir noindex robots yönergesi eklemek yaygın bir uygulamadır. Bu yaklaşım kabul edilebilir olmakla birlikte, sayfa yayına girdikten sonra bu yönergeyi kaldırmayı unutmamak çok önemlidir. 

Bunu yapmamak, arama motorları sayfayı dizinlerine dahil etmeyeceğinden trafikte düşüşe neden olabilir. Bu ayrıca, zamanında fark etmezseniz (örneğin, web sitesi taşıma). Sorun, ele alınmadığı takdirde daha da büyük bir soruna dönüşebilir.

Bir noindex sayfasına geri bağlantılar oluşturma 

Bir sayfaya bağlantı veren diğer web siteleri, arama motorları tarafından tipik olarak olumlu bir sinyal olarak görülür çünkü bu, onlara bağlantı verilen sayfanın değerli ve alakalı olduğunu gösterir. Bu geri bağlantılar, sayfanın genel otoritesine ve sıralama potansiyeline katkıda bulunur.

Ancak, bağlantılı sayfada bir noindex Yönergeye göre, arama motorları, ne kadar çok bağlantı oluşturursanız oluşturun, onu ne dizine dahil eder ne de arama sonuçlarında gösterir. Bu durumda, bu sayfanın aramada görünmesini ve noindex yönergesini kaldırmasını veya bunun yerine başka sayfalara bağlantılar oluşturmasını isteyip istemediğinize karar vermelisiniz.

Dizinden çıkarılmadan önce bir URL'yi site haritasından kaldırma

Eğer noindex yönergesi bir sayfaya eklenirse, bu sayfayı site haritası dosyasından anında kaldırmak kötü bir uygulamadır. Bunun nedeni, site haritanızın, tarayıcıların dizinden kaldırılması amaçlananlar da dahil olmak üzere tüm sayfaları hızlı bir şekilde bulmasına izin vermesidir. 

Daha iyi bir alternatif, şunu içeren tüm sayfaların bir listesini içeren ayrı bir sitemap.xml oluşturmaktır. noindex direktif. Ardından, dizinleri kaldırılırken URL'leri dosyadan kaldırın. Bu dosyayı Google Search Console'a yüklerseniz, robotlar muhtemelen daha hızlı tarar.

Değişiklik yaptıktan sonra indeks durumlarını kontrol etmemek

Değerli içeriğin ve hatta tüm web sitesinin indekslenmesi yanlışlıkla engellenebilir. Bunu önlemek için, sayfalarınızda herhangi bir değişiklik yaptıktan sonra indeksleme durumlarını kontrol edin.

Önemli sayfaların dizinden çıkarılması nasıl sağlanmaz? 

SE Sıralaması'nı kullanarak sitenizin kodundaki değişiklikleri izleyebilirsiniz. Sayfa Değişiklikleri İzleyicisi. Bu araç, büyük arama motorları için hem HTML kodunu hem de dizin durumlarını izlemenizi sağlar.

Bir sayfa aramadan kaybolduğunda ne yapmalısınız?

Önemli sayfalarınızdan biri SERPS'de görünmediğinde, onun dizine eklenmesini engelleyen yönergeler olup olmadığını veya bir sayfa olup olmadığını kontrol edin. Disallow robots.txt dosyasındaki yönerge. Ayrıca, URL'nin site haritası dosyasına dahil edilip edilmediğine bakın. Arama motorlarına sayfanızın dizine eklenmesi gerektiğini söylemek ve onları alanınızın güncellenmiş site haritası hakkında bilgilendirmek için Google Search Console'u da kullanabilirsiniz. 

Özet

Robots meta etiketi ve X-Robots-Tag, sayfaların nasıl dizine eklendiğini ve arama sonuçlarında nasıl görüntülendiğini kontrol etmek için kullanılır. Ancak nasıl uygulandıklarına göre farklılık gösterirler: robots meta etiketi sayfa koduna dahil edilirken, X-Robots-Tag yapılandırma dosyasında belirtilir. 

Her birinin hatırlanması gereken diğer bazı önemli özellikleri şunlardır:

• Robots.txt dosyası, arama botlarının sayfaları doğru bir şekilde taramasına yardımcı olurken, robots meta etiketi ve X-Robots-Tag içeriğin dizine nasıl dahil edileceğini etkiler. Her üç bileşen de teknik optimizasyon için hayati öneme sahiptir.
• Hem robots meta etiketi hem de X-Robots-Tag, sayfa indekslemeyi engellemek için kullanılır, ancak ikincisi, robotlara sayfaları taramadan önce talimatlar vererek tarama bütçesini korur. 
• robots.txt, botların bir sayfayı taramasını engelliyorsa, robots meta etiketi veya x-robots yönergeleri çalışmaz.
• Robots meta etiketinin ve X-Robots-Tag'in yapılandırılmasındaki hatalar, yanlış indeksleme sorunlarına ve web sitesi performans sorunlarına yol açabilir. Yönergeleri dikkatlice belirleyin veya görevi deneyimli bir web yöneticisine emanet edin.

Kelly Breland, SE Ranking'de SEO, dijital ve içerik pazarlaması deneyimine sahip bir Dijital Pazarlama Müdürüdür. Sağlam bir marka oluşturmak için içerik pazarlamasını kullanmanın ısrarlı bir savunucusudur. Boş zamanlarında bahçe işleri ile uğraşmaktadır.

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoAiStream. Web3 Veri Zekası. Bilgi Genişletildi. Buradan Erişin.
• Adryenn Ashley ile Geleceği Basmak. Buradan Erişin.
• PREIPO® ile PRE-IPO Şirketlerinde Hisse Al ve Sat. Buradan Erişin.
• Kaynak: https://seranking.com/blog/guide-meta-tag-robots-x-robots-tag/