robots 메타 태그와 X-Robots 태그는 크롤러에게 웹사이트 페이지의 색인을 생성하는 방법을 지시하는 데 사용됩니다. 전자는 웹 페이지의 HTML 코드에 표시되고 후자는 URL의 HTTP 헤더에 포함됩니다.

인덱싱 프로세스는 여러 단계로 구성됩니다. 

1. 콘텐츠 로드 중 
2. 검색 엔진 로봇에 의한 분석
3. 데이터베이스에 포함 

색인에 포함된 정보는 SERP에 표시됩니다. 로봇 메타 태그와 X-Robots 태그를 활용하여 SERP에서 어떤 콘텐츠가 어떻게 끝나는지 제어할 수 있습니다. 

이제 본론으로 들어가 봅시다.

X-Robots-Tag와 메타 로봇 ​​태그의 차이점은 무엇입니까?

검색 엔진이 웹 페이지를 처리하는 방법을 제어하는 ​​것이 중요합니다. 이를 통해 웹사이트 소유자는 자신의 콘텐츠가 SERP에서 검색, 색인화 및 표시되는 방식에 영향을 미칠 수 있습니다. 일반적으로 사용되는 두 가지 제어 방법에는 X-Robots-Tag 및 메타 로봇 ​​태그 구현이 포함됩니다. 두 옵션 모두 동일한 용도로 사용되지만 구현 및 기능 측면에서 다릅니다. 

각각의 특성을 살펴보고 나란히 비교해 봅시다.

각 방법을 사용할 때의 장단점은 다음과 같습니다. 

로봇 메타 태그 전문가: 

• 인덱싱 지침 관리에 대한 간단하고 세부적인 페이지 수준 접근 방식을 제공합니다. 
• 개별 HTML 페이지에 쉽게 추가할 수 있습니다.
• 다양한 검색 엔진, 심지어 로컬 및 덜 인기 있는 검색 엔진에서 더 광범위하게 지원됩니다.

로봇 메타 태그 단점:

• 다른 리소스를 제외하고 HTML 페이지로만 제한됩니다.
• 복잡한 대량 편집 프로세스. 모든 단일 HTML 페이지에 수동으로 포함해야 할 수도 있습니다.

X-Robots-Tag 전문가:

• HTTP 응답에서 참조하는 다양한 리소스에 적용할 수 있습니다.
• HTML이 아닌 리소스 제공과 같이 HTML 메타 태그를 적용할 수 없는 시나리오에 적합합니다.
• 여러 페이지 또는 전체 웹 사이트 섹션에 대한 인덱싱 지침을 관리할 수 있습니다. 

X-Robots-Tag 단점:

• 서버 수준 액세스 및 서버 구성에 대한 지식이 필요하므로 서버 설정을 직접 제어할 수 없거나 구성 방법을 모르는 웹사이트 소유자에게는 어려울 수 있습니다.
• 모든 검색 엔진 및 웹 크롤러에서 지원되지 않을 수 있습니다.

선택한 방법에 관계없이 로봇 메타 태그와 X-Robots-Tag를 모두 올바르게 구성하여 의도하지 않은 결과를 방지하는 것이 중요합니다. 구성이 잘못되면 지침이 충돌할 수 있으며 검색 엔진이 전체 사이트 또는 특정 페이지를 인덱싱하지 못하도록 차단할 수 있습니다.

robots.txt 파일과 메타 로봇 ​​태그의 차이점은 무엇인가요?

robots.txt와 메타 로봇 ​​태그는 비슷해 보이지만 실제로는 다른 용도로 사용되기 때문에 서로 혼동되는 경우가 많습니다. 

XNUMXD덴탈의 robots.txt 파일 웹 사이트의 루트 디렉토리에 있는 텍스트 파일입니다. 웹 로봇에 대한 일련의 지침 역할을 하여 웹 사이트의 어느 부분에 액세스하고 크롤링할 수 있는지 알려줍니다.

메타 로봇 ​​태그와 X-Robots-Tag는 웹 크롤러에게 어떤 페이지를 어떻게 인덱싱할지에 대한 인덱싱 지침을 제공합니다. 또한 색인을 생성할 페이지 또는 웹 사이트 부분과 HTML이 아닌 파일을 처리하는 방법을 지시할 수 있습니다.

이러한 방법을 전략적으로 사용하면 웹 사이트 접근성을 제어하고 검색 엔진 동작에 영향을 줄 수 있습니다.

메타 로봇 ​​태그와 X-Robots-Tag를 사용해야 하는 이유

robots 메타 태그와 X-Robots-Tag가 검색 엔진 최적화에 어떻게 도움이 되고 언제 사용해야 하는지 살펴보겠습니다.

1. 페이지 인덱싱에 대한 보다 유연한 제어

Robots 메타 태그와 X-Robots-Tag는 페이지 인덱싱을 제어하는 ​​데 더 큰 유연성을 제공합니다. 이러한 지시문을 사용하면 전체 HTML 페이지뿐만 아니라 페이지 내의 특정 섹션과 이미지 또는 PDF와 같은 HTML이 아닌 파일에 대한 인덱싱을 관리할 수 있습니다. 로봇 메타 태그를 사용하는 페이지 수준이나 X-Robots-Tags를 사용하는 사이트 수준에서 애플리케이션 수준을 자유롭게 선택할 수도 있습니다.

2. 링크 주스 유지

다음을 사용하여 크롤러의 링크 차단 따르지 지시문은 페이지의 링크 주스를 유지하는 데 도움이 될 수 있습니다. 이렇게 하면 외부 또는 내부 링크를 통해 다른 소스로 전달되지 않습니다.

3. 크롤링 예산 최적화

사이트가 클수록 크롤러를 가장 가치 있는 페이지로 안내하는 것이 더 중요합니다. 검색 엔진이 웹사이트를 안팎으로 크롤링하면 봇이 사용자와 SEO에 도움이 되는 콘텐츠에 도달하기 전에 크롤링 예산이 종료됩니다. 이렇게 하면 중요한 페이지가 색인 생성 중, 또는 최소한 일정에 따라 색인이 생성됩니다.

4. 스니펫 제어

페이지 인덱싱을 제어하는 ​​것 외에도 메타 로봇 ​​태그는 SERP에 표시되는 스니펫을 제어하는 ​​기능을 제공합니다. 페이지에 표시되는 미리 보기 콘텐츠를 미세 조정하여 검색 결과에서 웹 사이트의 전반적인 가시성과 매력을 향상시키는 다양한 옵션을 사용할 수 있습니다. 

스니펫을 제어하는 ​​태그의 몇 가지 예는 다음과 같습니다.

• 발췌문 페이지에 대한 메타 설명을 표시하지 않도록 검색 엔진에 지시합니다.
• max-snippet:[숫자] 스니펫의 문자 길이를 지정합니다.
• max-video-preview:[숫자] 비디오 미리보기의 길이를 초 단위로 설명합니다.
• 최대 이미지 미리보기:[설정] 이미지 미리보기 크기(없음/표준/대형)를 정의합니다.

예를 들어 여러 지시문을 하나로 결합할 수 있습니다.

메타 로봇 ​​지시문을 사용하는 경우

메타 로봇 ​​지시문을 사용하는 첫 번째(그리고 가장 일반적인) 경우는 페이지의 색인 생성을 차단하는 것입니다. 모든 페이지가 유기적 방문자를 유치할 수 있는 것은 아닙니다. 일부는 인덱싱된 경우 사이트의 검색 가시성을 해칠 수도 있습니다. 

중 모든 웹사이트 페이지, 다음 항목은 인덱싱하면 안 됩니다.

• 페이지 중복
• 정렬 옵션 및 필터
• 검색 및 페이지 매김 페이지
• 기술 페이지
• 서비스 알림(가입절차, 주문완료 등)
• 아이디어 테스트를 위해 설계된 랜딩 페이지
• 개발 중인 페이지 
• 최신 정보가 아닌 정보(향후 거래, 발표 등)
• 트래픽을 가져오지 않는 오래된 페이지
• 특정 검색 크롤러로부터 차단해야 하는 페이지

다음을 제어하려는 경우 다른 로봇 지시문을 사용할 수도 있습니다. 

• 팔로우한 링크
• HTML이 아닌 콘텐츠 인덱싱 
• 특정 페이지 요소의 인덱싱
• 등등

메타 로봇 ​​지침 및 검색 엔진 호환성

robots 메타 태그와 X-Robots-Tag는 동일한 지시어를 사용하여 검색 봇에게 지시합니다. 자세히 살펴보겠습니다.

위에서 언급한 모든 지시어는 robots 메타 태그 및 X-Robots-Tag와 함께 사용하여 Google 봇이 지시를 이해하는 데 도움을 줄 수 있습니다.

검색 엔진은 기본적으로 사이트의 보이는 콘텐츠를 자동으로 인덱싱하므로 표시할 필요가 없습니다. 색인 과 따라 그 목적을 위한 지시.

충돌 지시문

결합된 경우 Google은 허용되는 명령보다 제한적인 명령을 선택합니다. 예를 들어, 메타 이름=”로봇” 내용=”noindex, index”/> 지시문은 로봇이 선택한다는 것을 의미합니다. 노 인덱스, 페이지 텍스트는 인덱싱되지 않습니다.

여러 크롤러가 서로 다른 규칙과 함께 지정된 경우 검색 엔진은 적용 가능한 네거티브 규칙의 누적 효과를 고려합니다. 예를 들어:

이 명령은 페이지의 색인이 생성되지 않으며 Googlebot이 크롤링할 때 링크를 따라가지 않는다는 것을 의미합니다.

결합된 색인 생성 및 게재 규칙

별도로 필요한 만큼 메타 태그를 사용하거나 쉼표로 구분된 하나의 태그에 결합할 수 있습니다. 예를 들어:

• 로봇이 선택할 것임을 의미합니다. 색인 없음 페이지 텍스트는 인덱싱되지 않지만 링크를 따라 크롤링합니다.
• 모든 지침이 고려됨을 의미합니다. 텍스트와 링크는 인덱싱되지만 페이지 사본으로 연결되는 링크는 인덱싱되지 않습니다.
• 는 텍스트 스니펫이 20자 이하를 포함하고 큰 이미지 미리보기가 사용됨을 의미합니다.

특정 크롤러에 지시문을 설정해야 하는 경우 별도의 태그를 생성해야 합니다. 그러나 한 탭 내의 지침은 여전히 ​​결합될 수 있습니다. 예를 들어:

로봇 메타 태그: 구문 및 활용

이전에 말했듯이 robots 메타 태그는 페이지의 HTML 코드에 삽입되며 검색 봇에 대한 정보를 포함합니다. 그것은에 배치 HTML 문서의 섹션이며 두 가지 필수 속성이 있습니다. name 과 함유량. 단순화하면 다음과 같습니다.

이름 속성 

In 메타 이름 = "로봇", name 속성은 지침이 설계된 봇의 이름을 지정합니다. 다음과 유사하게 작동합니다. 사용자 에이전트 검색 엔진 크롤러를 식별하는 robots.txt의 지시어.

"로봇" 값은 모든 검색 엔진을 처리하는 데 사용됩니다. 하지만 특히 Google에 대한 지침을 설정해야 하는 경우 다음을 작성해야 합니다. 메타 이름 = "googlebot". 기타 Google 크롤러 과 같습니다 :

• Googlebot 뉴스
• Googlebot 이미지
• googlebot-동영상

빙 크롤러 과 같습니다 :

• 빙봇
• adIdxbot
• 빙프리뷰
• 합니다.

다른 검색 크롤러는 다음과 같습니다.

• 야후!
• DuckDuckGo용 DuckDuckBot 
• Baidu용 Baiduspider

콘텐츠 속성

이 속성에는 페이지 콘텐츠와 검색 결과 표시를 모두 인덱싱하는 방법에 대한 지침이 포함되어 있습니다. 위의 표에 설명된 지시어는 다음에서 사용됩니다. 함유량 속성을 사용하지 않는 것입니다.

참고 사항 :

• 두 속성 모두 대소문자를 구분하지 않습니다.
• 속성 값이 포함되지 않았거나 올바르게 작성되지 않은 경우 검색 봇은 차단 명령을 무시합니다.

로봇 메타 태그 사용

• 방법 1: HTML 편집기에서

페이지 관리는 텍스트 파일 편집과 유사합니다. 편집기에서 HTML 문서를 열고 로봇을 섹션을 선택하고 저장합니다.

페이지는 사이트의 루트 카탈로그에 저장되며 호스팅 공급자의 개인 계정이나 FTP(파일 전송 프로토콜)를 통해 액세스할 수 있습니다. 변경하기 전에 소스 문서를 저장하십시오.

• 방법 2: CMS 사용

CMS를 사용하면 페이지의 색인 생성을 쉽게 차단할 수 있습니다. 페이지를 편집할 때 인덱싱을 차단하거나 링크 크롤링을 방지할 수 있는 WordPress용 Yoast SEO를 포함하여 많은 플러그인에 이 기능이 있습니다.

X-Robots-Tag: 구문 및 활용

X-Robots-Tag는 지정된 URL에 대한 HTTP 응답의 일부이며 일반적으로 구성 파일에 추가됩니다. 로봇 메타 태그와 유사하게 작동하며 페이지 색인 생성 방식에 영향을 미칩니다. 그러나 인덱싱 지침에 특별히 X-Robots 태그를 사용하는 것이 권장되는 경우가 있습니다. 

다음은 X-Robots-Tag의 간단한 예입니다.

X-로봇-태그: noindex, nofollow

페이지 또는 파일 유형에 대한 규칙을 설정해야 하는 경우 X-Robots-Tag는 다음과 같습니다.

헤더 세트 X-Robots-Tag "noindex, nofollow"

XNUMXD덴탈의 directive는 정규 표현식을 사용하여 웹 사이트에서 파일을 검색합니다. 당신이 사용하는 경우 Nginx에 대신 아파치, 이 지시문은 다음으로 대체됩니다. 위치:

위치 = 파일명 { add_header X-Robots-Tag "noindex, nofollow"; }

봇 이름을 지정하지 않으면 지시문이 모든 크롤러에 자동으로 사용됩니다. 별개의 로봇이 식별되면 태그는 다음과 같이 표시됩니다.

헤더 세트 X-Robots-Tag "googlebot: noindex, nofollow"

X-Robots-Tag를 사용해야 하는 경우

• HTML이 아닌 파일 색인 해제

모든 페이지에 HTML 형식이 있는 것은 아니므로 섹션에서 로봇 메타 태그를 사용하여 일부 콘텐츠의 색인 생성을 차단할 수 없습니다. 이때 x-로봇이 유용합니다. 

예를 들어 .pdf 문서를 차단해야 하는 경우:

 헤더 세트 X-Robots-Tag "noindex"

• 크롤링 예산 저장

robots 메타 태그는 페이지가 로드된 후 크롤링 지시문을 제공하는 반면 x-robots 태그는 검색 봇이 페이지에 도달하기 전에 인덱싱 지침을 제공합니다. x-robot을 사용하면 검색 엔진이 페이지를 크롤링하는 데 소요되는 시간을 줄일 수 있습니다. 이렇게 하면 크롤링 예산이 최적화되어 검색 엔진이 중요한 콘텐츠를 크롤링하는 데 더 많은 시간을 할애할 수 있으므로 X-Robots 태그는 특히 대규모 웹사이트에 유용합니다.

• 전체 웹사이트에 대한 크롤링 지침 설정

HTTP 응답에서 X-Robots-Tag를 사용하면 별도의 페이지가 아닌 전체 웹사이트에 적용되는 지시문을 설정할 수 있습니다.

• 지역 검색 엔진 다루기

가장 큰 검색 엔진은 대부분의 제한적인 지시어를 이해하지만 소규모 로컬 검색 엔진은 HTTP 헤더에서 인덱싱 지침을 읽는 방법을 모를 수 있습니다. 귀하의 웹사이트가 특정 지역을 대상으로 하는 경우 지역 검색 엔진과 해당 특성에 익숙해지는 것이 중요합니다.

로봇 메타 태그의 주요 기능은 SERP에서 페이지를 숨기는 것입니다. 반면에 X-Robots-Tag를 사용하면 전체 웹사이트에 대해 더 광범위한 지침을 설정할 수 있으므로 웹 페이지를 크롤링하기 전에 검색 봇에게 알리고 크롤링 예산을 절약할 수 있습니다.

X-Robots-Tag 적용 방법

X-Robots-Tag 헤더를 추가하려면 웹 사이트의 루트 디렉토리에 있는 구성 파일을 사용하십시오. 설정은 웹 서버에 따라 다릅니다.

아파치

또한 다음 서버 문서를 편집하는 것이 좋습니다. htaccess로 과 httpd.conf를. 모든 .png 및 .gif 파일이 Apache 웹 서버에서 인덱싱되지 않도록 해야 하는 경우 다음을 추가합니다.

 헤더 세트 X-Robots-Tag "noindex"

Nginx에

구성 파일 conf 편집도 필요합니다. 모든 .png 및 .gif 파일이 Nginx 웹 서버에서 인덱싱되지 않도록 하려면 다음을 추가합니다.

위치 ~* .(png|gif)$ { add_header X-Robots-Tag "noindex"; }

중요 사항: 구성 파일을 편집하기 전에 소스 파일을 저장하여 일부 오류가 있을 경우 웹 사이트 성능 문제를 제거하십시오.

로봇 메타 태그 및 X-Robots-Tag의 예

색인 없음

모든 크롤러에게 페이지의 텍스트를 색인화하지 않고 링크를 따르지 않도록 지시합니다.

X-로봇-태그: noindex, nofollow

따르지

페이지의 링크를 따라가지 말라고 Google에 알리기:

X-로봇-태그: googlebot: nofollow

노아카이브

페이지를 캐시하지 않도록 검색 엔진에 알리기:

X-로봇-태그: noarchive

Bing이 페이지를 캐시하지 않도록 하려면 nocache 지시문을 사용하세요.

X-Robots-Tag: nocache

없음

Google에 HTML 문서의 링크를 색인화하고 따르지 말라고 지시합니다.

X-Robots-Tag: googlebot: 없음

발췌문

페이지에 대한 스니펫을 표시하지 않도록 검색 엔진에 지시:

X-로봇-태그: nosnippet

최대 조각

스니펫을 최대 35개 기호로 제한:

X-로봇-태그: max-snippet:35

최대 이미지 미리보기

검색 결과에 큰 이미지 버전을 표시하도록 검색 엔진에 지시:

X-로봇-태그: max-image-preview:large

최대 비디오 미리보기

길이 제한 없이 비디오를 표시하도록 검색 엔진에 지시: 

X-로봇-태그: max-video-preview:-1

번역 안함

페이지를 번역하지 않도록 검색 엔진에 알리기:

X-로봇-태그: notranslate

noimageindex

크롤러에게 페이지의 이미지를 인덱싱하지 않도록 지시:

X-로봇 태그: noimageindex

사용 불가_이후

특정 날짜(예: 1년 2021월 XNUMX일) 이후에 페이지를 인덱싱하지 않도록 크롤러에 지시:

X-Robots-Tag: available_after: 2021-01-01

Google Search Console에서 로봇 지시문 확인

Google Search Console의 URL 검사 도구를 사용하여 페이지 인덱싱 세부 정보를 확인할 수 있습니다. 이 도구는 페이지의 인덱싱이 차단되었는지 여부를 보여주고 구체적인 이유에 대한 세부 정보를 제공합니다.

URL 검사 도구에 액세스하려면 왼쪽 사이드바로 이동하여 "URL 검사"를 클릭하십시오. 검색창에 확인하고 싶은 URL을 입력하세요. 페이지 인덱싱 세부 정보의 "크롤링" 섹션에서 페이지의 인덱싱 여부와 그 이유를 확인할 수 있습니다. 제공된 스크린샷에서 페이지는 로봇 메타 태그에 noindex 지시문이 있기 때문에 색인이 생성되지 않았습니다.

페이지가 X-Robots-Tag에 의해 차단되면 아래 스크린샷과 같이 보고서에 표시됩니다.

확인된 페이지에서 Googlebot이 받은 전체 HTTP 응답을 보려면 두 가지 옵션이 있습니다.

• 실시간 데이터를 얻으려면 다음을 클릭하십시오. 라이브 URL 테스트 같은 아래 URL 검사. 테스트가 완료되면 다음을 클릭하십시오. 크롤링된 페이지 보기. HTTP 응답에 대한 정보는 더 많은 정보 안내
• 마지막 크롤링 데이터를 보려면 HTTPS -> 크롤링 -> HTTP 응답 보기 직접 URL 검사.

페이지 확인 결과 robots 메타 태그가 작동하지 않는 것으로 표시되면 robots.txt 파일에서 URL이 차단되지 않았는지 확인하세요. 주소창에서 확인하시거나 이용하시면 됩니다 Google의 robots.txt 테스터.

SE 순위를 통해 어떤 웹사이트 페이지가 색인에 있는지 확인할 수도 있습니다. 그렇게 하려면 다음으로 이동하십시오. 인덱스 상태 검사기 수단.

검색 엔진이 페이지를 색인화하거나 색인을 해제하는 데는 시간이 걸립니다. 페이지의 색인이 생성되지 않도록 하려면 웹마스터 서비스 또는 메타 태그를 확인하는 브라우저 플러그인(예: Chrome용 1 CLICK의 SEO META)을 사용하세요.

로봇 및 X-Robots-Tag 사용과 관련된 일반적인 실수

로봇과 X-Robots-Tag를 사용하는 것은 까다로울 수 있으므로 웹사이트에서 관련 오류가 발생하는 것이 일반적입니다. 수행 기술 SEO 감사 이러한 문제를 식별하고 해결하는 데 도움이 될 수 있습니다. 언제 무엇을 기대해야 하는지에 대한 더 나은 아이디어를 제공하기 위해 웹사이트 분석, 가장 일반적인 문제 목록을 정리했습니다.

robots.txt와 충돌

공식 X-Robots-Tag 및 로봇 가이드라인에 따르면 검색 봇은 색인에서 숨기려는 콘텐츠를 여전히 크롤링할 수 있어야 합니다. 만약 너라면 허용하지 않음 robots.txt 파일의 특정 페이지에서 크롤러가 로봇 지시문에 액세스할 수 없습니다. 

페이지에 색인 없음 속성이지만 허용되지 않음 robots.txt 파일에서 색인을 생성하고 검색 결과에 표시할 수 있습니다. 이에 대한 예는 크롤러가 다른 소스의 백링크를 따라 이를 찾는 경우입니다. 

페이지가 검색에 표시되는 방식을 관리하려면 robots 메타 태그와 x-robots를 사용하세요.

noindex를 사용하는 대신 robots.txt에 페이지 추가

robots.txt 파일 사용 실습 대안으로 noindex 지시문은 페이지의 색인이 생성되지 않는다는 오해에서 비롯됩니다. robots.txt 파일에 페이지를 추가하면 일반적으로 색인이 생성되지 않고 크롤링이 허용되지 않습니다. 이는 크롤러가 여전히 해당 페이지를 인덱싱할 수 있음을 의미합니다(예: 이전 섹션에서 언급한 백링크 사용). 

따라서 페이지 색인을 생성하지 않으려면 robots.txt 파일에서 허용하고 noindex 지시문을 사용하는 것이 좋습니다. 반면에 목표가 웹사이트 크롤링 중에 검색 봇이 페이지를 방문하는 것을 방지하는 것이라면 robots.txt 파일에서 이를 허용하지 마십시오.

robots.txt 파일에서 로봇 지시문 사용

robots 메타 태그와 X-Robots-Tags를 사용할 때 흔히 범하는 또 다른 실수는 robots.txt 파일에 포함하는 것입니다. 이는 특히 nofollow 및 noindex 지시문에 적용됩니다.

Google은 이 방법이 실제로 작동하는지 공식적으로 확인한 적이 없습니다. 또한 연구를 통해 검색 엔진은 이러한 지침을 사용하면 다른 규칙과 충돌하여 검색 결과에서 사이트의 존재와 위치에 잠재적으로 해를 끼칠 수 있음을 발견했습니다. 그래서 2019년 XNUMX월 이후로 Google은 이 관행이 비효율적이라고 판단했습니다. 더 이상 robots.txt 파일에서 로봇 지시문을 허용하지 않습니다.

제 시간에 NOINDEX를 제거하지 않음

스테이징 페이지로 작업할 때 검색 엔진이 검색 결과에 이러한 페이지를 인덱싱하고 표시하지 못하도록 noindex 로봇 지시문을 포함하는 것이 일반적입니다. 이 접근 방식은 허용되지만 페이지가 활성화되면 이 지시문을 제거해야 한다는 것을 기억하는 것이 중요합니다. 

이렇게 하지 않으면 검색 엔진이 해당 페이지를 색인에 포함하지 않으므로 트래픽이 감소할 수 있습니다. 제때 알아차리지 못하는 경우(예를 들어, 마이그레이션 웹사이트). 문제를 해결하지 않고 방치하면 더 큰 문제로 커질 수 있습니다.

NOINDEX 페이지에 대한 백링크 구축 

페이지에 링크된 다른 웹사이트는 링크된 페이지가 가치 있고 관련성이 있음을 나타내기 때문에 일반적으로 검색 엔진에서 긍정적인 신호로 간주됩니다. 이러한 백링크는 페이지의 전체 권한 및 순위 잠재력에 기여합니다.

그러나 링크된 페이지에 색인 없음 지시문에 따라 검색 엔진은 구축한 링크 수에 관계없이 색인에 포함하거나 검색 결과에 표시하지 않습니다. 이 경우 이 페이지를 검색에 표시하고 noindex 지시문을 제거할지 또는 대신 다른 페이지에 대한 링크를 작성할지 결정해야 합니다.

색인이 해제되기 전에 사이트맵에서 URL 제거

경우 색인 없음 지시문이 페이지에 추가되면 사이트맵 파일에서 이 페이지를 즉시 제거하는 것은 좋지 않습니다. 사이트맵을 사용하면 크롤러가 색인에서 제거할 페이지를 포함하여 모든 페이지를 빠르게 찾을 수 있기 때문입니다. 

더 나은 대안은 색인 없음 지령. 그런 다음 색인이 해제되면 파일에서 URL을 제거합니다. 이 파일을 Google Search Console에 업로드하면 로봇이 더 빨리 크롤링할 수 있습니다.

변경 후 색인 상태를 확인하지 않음

귀중한 콘텐츠 또는 전체 웹사이트가 실수로 인덱싱되지 않도록 차단될 수 있습니다. 이를 방지하려면 페이지를 변경한 후 페이지의 인덱싱 상태를 확인하십시오.

중요한 페이지를 색인 해제하지 않는 방법은 무엇입니까? 

SE Ranking을 사용하여 사이트 코드의 변경 사항을 모니터링할 수 있습니다. 페이지 변경 모니터. 이 도구를 사용하면 주요 검색 엔진에 대한 HTML 코드와 색인 상태를 모두 추적할 수 있습니다.

페이지가 검색에서 사라지면 어떻게 해야 합니까?

중요한 페이지 중 하나가 SERPS에 표시되지 않으면 색인 생성을 차단하는 지시문이 있는지 또는 허용하지 않음 robots.txt 파일의 지시문. 또한 URL이 사이트맵 파일에 포함되어 있는지 확인하십시오. 또한 Google Search Console을 사용하여 검색 엔진에 페이지 색인을 생성해야 한다고 알리고 도메인의 업데이트된 사이트맵에 대해 알릴 수 있습니다. 

요약

robots 메타 태그와 X-Robots-Tag는 모두 페이지 색인 생성 및 검색 결과 표시 방법을 제어하는 ​​데 사용됩니다. 그러나 구현 방식이 다릅니다. robots 메타 태그는 페이지 코드에 포함되어 있고 X-Robots-Tag는 구성 파일에 지정되어 있습니다. 

기억해야 할 각각의 다른 중요한 특성은 다음과 같습니다.

• robots.txt 파일은 검색 봇이 페이지를 올바르게 크롤링하는 데 도움이 되며 robots 메타 태그와 X-Robots-Tag는 콘텐츠가 색인에 포함되는 방식에 영향을 미칩니다. 세 가지 구성 요소는 모두 기술 최적화에 필수적입니다.
• robots 메타 태그와 X-Robots-Tag는 모두 페이지 색인 생성을 차단하는 데 사용되지만 후자는 페이지를 크롤링하기 전에 로봇에 지침을 제공하여 크롤링 예산을 절약합니다. 
• robots.txt가 봇이 페이지를 크롤링하지 못하게 하는 경우 robots 메타 태그 또는 x-robots 지시문이 작동하지 않습니다.
• 로봇 메타 태그 및 X-Robots-Tag 구성 오류는 잘못된 색인 생성 문제 및 웹 사이트 성능 문제로 이어질 수 있습니다. 지침을 신중하게 설정하거나 경험이 풍부한 웹마스터에게 작업을 맡기십시오.

Kelly Breland는 SEO, 디지털 및 콘텐츠 마케팅 경험이 있는 SE Ranking의 디지털 마케팅 관리자입니다. 그녀는 견고한 브랜드를 구축하기 위해 콘텐츠 마케팅을 사용하는 것을 지속적으로 옹호합니다. 여가 시간에는 정원 가꾸기에 종사하고 있습니다.

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• PlatoAiStream. Web3 데이터 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 미래 만들기 w Adryenn Ashley. 여기에서 액세스하십시오.
• PREIPO®로 PRE-IPO 회사의 주식을 사고 팔 수 있습니다. 여기에서 액세스하십시오.
• 출처: https://seranking.com/blog/guide-meta-tag-robots-x-robots-tag/