Thẻ meta rô bốt và Thẻ X-Robots được sử dụng để hướng dẫn trình thu thập thông tin cách lập chỉ mục các trang của trang web. Cái trước được chỉ định trong mã HTML của trang web và cái sau được bao gồm trong tiêu đề HTTP của URL.
Quá trình lập chỉ mục bao gồm một số bước:
- Đang tải nội dung
- Phân tích bằng robot công cụ tìm kiếm
- Đưa vào cơ sở dữ liệu
Thông tin được đưa vào chỉ mục là thông tin xuất hiện trong SERPs. Bạn có thể sử dụng thẻ meta robot và Thẻ X-Robots để kiểm soát nội dung nào sẽ xuất hiện trong SERP và cách thức.
Bây giờ, chúng ta hãy đi xuống thực chất.
Sự khác biệt giữa X-Robots-Tag và thẻ meta robot là gì?
Kiểm soát cách các công cụ tìm kiếm xử lý các trang web là rất quan trọng. Nó cho phép chủ sở hữu trang web tác động đến cách nội dung của họ được khám phá, lập chỉ mục và trình bày trong SERPs. Hai phương pháp kiểm soát thường được sử dụng bao gồm triển khai X-Robots-Tag và thẻ meta robot. Cả hai tùy chọn đều phục vụ cùng một mục đích, nhưng chúng khác nhau về cách triển khai và chức năng.
Hãy khám phá đặc điểm của từng người và so sánh chúng với nhau.
| Tham số | Thẻ meta robot | Thẻ X-rô-bốt |
|---|---|---|
| Kiểu | thẻ meta HTML | Tiêu đề HTTP |
| Phạm vi | Áp dụng cụ thể cho trang HTML được bao gồm trong | Áp dụng cho phản hồi HTTP cho các loại tệp khác nhau, bao gồm HTML, CSS, JavaScript, hình ảnh, v.v. |
| Đặt ở đâu | Trong phần của một trang | Về phía máy chủ |
| Kiểm soát lập chỉ mục trang | Có | Có |
| Cho phép chỉnh sửa hàng loạt | Có thể nhưng phức tạp | Có |
| Kiểm soát lập chỉ mục loại tệp | Không | Có |
| Khả năng tương thích | Được hỗ trợ rộng rãi | Hạn chế |
| Dễ thực hiện | Dễ dàng | Vừa phải, phù hợp hơn với những người am hiểu công nghệ |
| Ví dụ về cú pháp | X-Robots-Tag: noindex, nofollow |
Hãy làm nổi bật những ưu và nhược điểm sau của việc sử dụng từng phương pháp:
Thẻ meta rô bốt ưu điểm:
- Cung cấp cách tiếp cận đơn giản và chi tiết ở cấp độ trang để quản lý hướng dẫn lập chỉ mục.
- Có thể dễ dàng thêm vào các trang HTML riêng lẻ.
- Được hỗ trợ rộng rãi hơn bởi các công cụ tìm kiếm khác nhau, ngay cả những công cụ tìm kiếm địa phương và ít phổ biến hơn.
Nhược điểm của thẻ meta robot:
- Chỉ giới hạn ở các trang HTML, không bao gồm các tài nguyên khác.
- Quy trình chỉnh sửa hàng loạt phức tạp. Bạn có thể cần thêm chúng theo cách thủ công trên mỗi trang HTML.
Ưu điểm của X-Robots-Tag:
- Có thể được áp dụng cho các tài nguyên khác nhau được tham chiếu bởi phản hồi HTTP.
- Thích hợp cho các trường hợp không thể áp dụng thẻ meta HTML, chẳng hạn như cung cấp các tài nguyên không phải HTML.
- Cho phép quản lý hướng dẫn lập chỉ mục cho nhiều trang hoặc toàn bộ phần trang web.
Nhược điểm của X-Robots-Tag:
- Yêu cầu quyền truy cập cấp máy chủ và kiến thức về cấu hình máy chủ, điều này có thể gây khó khăn cho chủ sở hữu trang web không có quyền kiểm soát trực tiếp cài đặt máy chủ hoặc không biết cách định cấu hình chúng.
- Có thể không được hỗ trợ bởi tất cả các công cụ tìm kiếm và trình thu thập dữ liệu web.
Bất kể bạn chọn phương pháp nào, điều quan trọng là phải định cấu hình chính xác cả thẻ meta rô-bốt và X-Robots-Tag để tránh những hậu quả không mong muốn. Cấu hình sai có thể dẫn đến xung đột chỉ thị và có thể chặn các công cụ tìm kiếm lập chỉ mục toàn bộ trang web của bạn hoặc các trang cụ thể.
Sự khác biệt giữa tệp robots.txt và thẻ meta robot là gì?
Robots.txt và thẻ meta robot thường bị nhầm lẫn với nhau vì chúng có vẻ giống nhau, nhưng chúng thực sự phục vụ các mục đích khác nhau.
Sản phẩm tập tin robot.txt là một tệp văn bản nằm trong thư mục gốc của một trang web. Nó hoạt động như một bộ hướng dẫn dành cho rô-bốt web, thông báo cho chúng biết những phần nào của trang web mà chúng được phép truy cập và thu thập thông tin.
Thẻ meta rô-bốt và X-Robots-Tag cung cấp hướng dẫn lập chỉ mục cho trình thu thập dữ liệu web trên trang nào cần lập chỉ mục và cách lập chỉ mục. Họ cũng có thể ra lệnh lập chỉ mục phần nào của trang hoặc trang web và cách xử lý các tệp không phải HTML.
Vì vậy, tệp robots.txt đóng vai trò là một tệp riêng biệt và cung cấp hướng dẫn thu thập dữ liệu để tìm kiếm bot. Mặt khác, chỉ thị meta của robot cung cấp hướng dẫn lập chỉ mục đến các trang, tệp và phần trang web cụ thể.
Bằng cách sử dụng các phương pháp này một cách chiến lược, bạn có thể kiểm soát khả năng truy cập trang web và tác động đến hành vi của công cụ tìm kiếm.
Tại sao bạn nên sử dụng thẻ meta robot và X-Robots-Tag
Hãy xem xét cách thẻ meta rô-bốt và X-Robots-Tag trợ giúp trong việc tối ưu hóa công cụ tìm kiếm và khi nào bạn nên sử dụng chúng.
1. Kiểm soát linh hoạt hơn đối với việc lập chỉ mục trang
Thẻ meta Robots và X-Robots-Tag giúp bạn linh hoạt hơn trong việc kiểm soát việc lập chỉ mục trang. Với các lệnh này, bạn có thể quản lý việc lập chỉ mục không chỉ cho toàn bộ trang HTML mà còn cho các phần cụ thể bên trong chúng, cũng như cho các tệp không phải HTML như hình ảnh hoặc PDF. Bạn cũng có thể tự do chọn cấp độ ứng dụng, cho dù ở cấp độ trang bằng cách sử dụng thẻ meta rô-bốt hay ở cấp độ trang web bằng cách sử dụng X-Robots-Tags.
2. Giữ link juice
Chặn các liên kết từ trình thu thập thông tin bằng cách sử dụng nofollow chỉ thị có thể giúp duy trì liên kết của trang. Điều này ngăn nó chuyển sang các nguồn khác thông qua các liên kết bên ngoài hoặc bên trong.
3. Tối ưu hóa ngân sách thu thập dữ liệu
Trang web càng lớn thì việc hướng các trình thu thập thông tin đến các trang có giá trị nhất càng quan trọng. Nếu các công cụ tìm kiếm thu thập dữ liệu từ trong ra ngoài một trang web, ngân sách thu thập dữ liệu sẽ đơn giản kết thúc trước khi các bot tiếp cận nội dung hữu ích cho người dùng và cho SEO. Điều này ngăn các trang quan trọng khỏi được lập chỉ mụchoặc ít nhất là được lập chỉ mục đúng lịch trình.
4. Kiểm soát đoạn trích
Ngoài việc kiểm soát việc lập chỉ mục trang, thẻ meta robot cung cấp khả năng kiểm soát các đoạn trích được hiển thị trên SERP. Bạn có nhiều tùy chọn để tinh chỉnh nội dung xem trước được hiển thị cho các trang của mình, nâng cao khả năng hiển thị tổng thể và sức hấp dẫn của trang web trong kết quả tìm kiếm.
Dưới đây là một số ví dụ về thẻ kiểm soát đoạn mã:
- không có đoạn trích hướng dẫn các công cụ tìm kiếm không hiển thị mô tả meta cho trang.
- đoạn mã tối đa:[số] chỉ định độ dài của một đoạn mã bằng ký tự.
- xem trước video tối đa:[số] mô tả thời lượng xem trước video tính bằng giây.
- xem trước hình ảnh tối đa: [cài đặt] xác định kích thước xem trước hình ảnh (không có/tiêu chuẩn/lớn).
Ví dụ, bạn có thể kết hợp nhiều lệnh thành một lệnh:
Khi nào nên sử dụng chỉ thị rô bốt meta
Trường hợp đầu tiên (và phổ biến nhất) của việc sử dụng chỉ thị rô bốt meta là chặn các trang lập chỉ mục. Không phải tất cả các trang đều có thể thu hút khách truy cập tự nhiên. Một số thậm chí có thể gây hại cho khả năng hiển thị tìm kiếm của trang web nếu được lập chỉ mục.
Trong số tất cả các trang web, những cái sau không nên được lập chỉ mục:
- Các trang trùng lặp
- Tùy chọn sắp xếp và bộ lọc
- Trang tìm kiếm và phân trang
- trang kỹ thuật
- Thông báo dịch vụ (về quy trình đăng ký, đơn hàng đã hoàn thành, v.v.)
- Trang đích được thiết kế để thử nghiệm ý tưởng
- Các trang đang được phát triển
- Thông tin không cập nhật (giao dịch trong tương lai, thông báo, v.v.)
- Các trang lỗi thời không mang lại bất kỳ lưu lượng truy cập nào
- Các trang bạn cần chặn khỏi một số trình thu thập thông tin tìm kiếm nhất định
Bạn cũng có thể sử dụng các chỉ thị rô bốt khác nhau khi muốn kiểm soát:
- Liên kết theo dõi
- Lập chỉ mục nội dung không phải HTML
- Lập chỉ mục của một phần tử trang cụ thể
- Vv
Chỉ thị rô bốt meta và khả năng tương thích với công cụ tìm kiếm
Các thẻ meta rô bốt và X-Robots-Tag sử dụng cùng một lệnh để hướng dẫn các bot tìm kiếm. Hãy xem xét chúng một cách chi tiết.
| Chỉ thị | Chức năng của nó | BING | |
| chỉ mục/noindex | Yêu cầu lập chỉ mục/không lập chỉ mục một trang. Được sử dụng cho các trang không được hiển thị trong SERPs. | + | + |
| theo / nofollow | Yêu cầu theo dõi/không theo các liên kết trên một trang. | + | + |
| lưu trữ/không lưu trữ | Yêu cầu hiển thị/không hiển thị phiên bản đã lưu trong bộ nhớ cache của trang web trong tìm kiếm. | + | + |
| nocache | Yêu cầu không lưu trữ một trang được lưu trong bộ nhớ cache. | – | + |
| tất cả/không có |
Tất cả tương đương với chỉ số, theo được sử dụng để lập chỉ mục văn bản và liên kết. Không áp dụng tương đương với noindex, nofollow được sử dụng để chặn lập chỉ mục văn bản và liên kết. |
+ | – |
| hộp tìm kiếm liên kết nosite | Yêu cầu không hiển thị hộp tìm kiếm liên kết trang web trong SERP cho trang này. | + | – |
| không có đoạn trích | Yêu cầu không hiển thị đoạn trích hoặc video trong SERPs. | + | + |
| mì ống | Yêu cầu không sử dụng mô tả từ Dự án Thư mục Mở. | – | + |
| đoạn mã tối đa | Giới hạn kích thước đoạn trích tối đa. Được chỉ định là đoạn mã tối đa:[số] Ở đâu con số là một số ký tự trong một đoạn mã. |
+ | + |
| xem trước hình ảnh tối đa | Giới hạn kích thước tối đa cho hình ảnh hiển thị trong tìm kiếm. Được chỉ định là xem trước hình ảnh tối đa: [cài đặt] Ở đâu thiết lập có thể có không ai, Tiêu chuẩn, hoặc là lớn giá trị. | + | + |
| max-video-xem trước | Giới hạn độ dài tối đa của video được hiển thị trong tìm kiếm (tính bằng giây). Nó cũng cho phép thiết lập một hình ảnh tĩnh (0) hoặc dỡ bỏ bất kỳ hạn chế nào (-1). Được chỉ định là xem trước video tối đa:[value]. | + | + |
| không dịch | Ngăn các công cụ tìm kiếm dịch một trang trong kết quả tìm kiếm. | + | – |
| noimageindex | Ngăn không cho hình ảnh trên một trang được lập chỉ mục. | + | – |
| không khả dụng_after | Yêu cầu không hiển thị một trang trong tìm kiếm sau một ngày cụ thể. Được chỉ định là unavailable_after: [ngày/giờ]. | + | – |
| được lập chỉ mục | Cho phép lập chỉ mục nội dung trên trang có thẻ ngăn lập chỉ mục khi nội dung đó được nhúng vào một trang khác thông qua iframe hoặc thẻ HTML tương tự. Phải có cả hai thẻ để lệnh này hoạt động. | + | – |
Tất cả các lệnh nêu trên có thể được sử dụng với cả thẻ meta rô bốt và X-Robots-Tag để giúp các bot của Google hiểu hướng dẫn của bạn.
Lưu ý rằng các công cụ tìm kiếm tự động lập chỉ mục nội dung hiển thị của trang web theo mặc định, vì vậy không cần chỉ ra chỉ số và theo chỉ thị cho mục đích đó.
mâu thuẫn chỉ thị
Nếu được kết hợp, Google sẽ chọn hướng dẫn hạn chế thay vì hướng dẫn cho phép. Ví dụ, các meta name=”robot” content=”noindex, index”/> chỉ thị có nghĩa là robot sẽ chọn ngăn lập chỉ mục, và văn bản trang sẽ không được lập chỉ mục.
Công cụ tìm kiếm sẽ xem xét tác động tích lũy của các quy tắc phủ định áp dụng cho nó nếu nhiều trình thu thập thông tin được chỉ định cùng với các quy tắc khác nhau. Ví dụ:
Lệnh này có nghĩa là các trang sẽ không được lập chỉ mục và các liên kết sẽ không được theo dõi khi Googlebot thu thập dữ liệu.
Quy tắc phân phát và lập chỉ mục kết hợp
Bạn có thể sử dụng riêng bao nhiêu thẻ meta tùy thích hoặc kết hợp chúng trong một thẻ được phân tách bằng dấu phẩy. Ví dụ:
- có nghĩa là robot sẽ chọn noindex và văn bản của trang sẽ không được lập chỉ mục, nhưng nó sẽ đi theo và thu thập dữ liệu các liên kết.
- có nghĩa là tất cả các hướng dẫn sẽ được xem xét. Văn bản và các liên kết sẽ được lập chỉ mục trong khi các liên kết dẫn đến bản sao của trang sẽ không được lập chỉ mục.
- có nghĩa là đoạn văn bản sẽ chứa không quá 20 ký tự và bản xem trước hình ảnh lớn sẽ được sử dụng.
Nếu bạn cần đặt chỉ thị cho các trình thu thập thông tin cụ thể, thì việc tạo các thẻ riêng biệt là điều bắt buộc. Nhưng các hướng dẫn trong một tab vẫn có thể được kết hợp. Ví dụ:
Thẻ meta robot: cú pháp và cách sử dụng
Như chúng tôi đã nói trước đây, thẻ meta rô bốt được chèn vào mã HTML của trang và chứa thông tin cho các rô bốt tìm kiếm. Nó được đặt trong của tài liệu HTML và có hai thuộc tính bắt buộc: tên và nội dung. Khi đơn giản hóa, nó trông như thế này:
Thuộc tính tên
In tên meta=”rô-bốt”, thuộc tính tên chỉ định tên của bot mà hướng dẫn được thiết kế. Nó hoạt động tương tự như Đại lý người dùng chỉ thị trong robots.txt, xác định trình thu thập thông tin của công cụ tìm kiếm.
Giá trị "robot" được sử dụng để giải quyết tất cả các công cụ tìm kiếm. Nhưng nếu bạn phải đặt hướng dẫn riêng cho Google, bạn sẽ phải viết tên meta=”googlebot”. Vài người khác Trình thu thập thông tin của Google bao gồm:
- googlebot-tin tức
- hình ảnh googlebot
- video googlebot
Trình thu thập dữ liệu Bing bao gồm:
- bingbot
- adIdxbot
- bingpreview
- microsoftreview.
Một số trình thu thập thông tin tìm kiếm khác là:
- Slurp cho Yahoo!
- DuckDuckBot cho DuckDuckGo
- Baiduspider cho Baidu
thuộc tính nội dung
Thuộc tính này chứa các hướng dẫn về lập chỉ mục cả nội dung của trang và hiển thị của nó trong kết quả tìm kiếm. Các chỉ thị được giải thích trong bảng trên được sử dụng trong nội dung thuộc tính.
Lưu ý rằng:
- Cả hai thuộc tính đều không phân biệt chữ hoa chữ thường.
- Nếu các giá trị thuộc tính không được bao gồm hoặc không được viết chính xác, bot tìm kiếm sẽ bỏ qua hướng dẫn chặn.
Sử dụng thẻ meta robot
- Phương pháp 1: trong trình soạn thảo HTML
Quản lý trang tương tự như chỉnh sửa tệp văn bản. Bạn phải mở tài liệu HTML trong trình chỉnh sửa, thêm rô bốt vào và lưu lại.
Các trang được lưu trữ trong danh mục gốc của trang web, có thể được truy cập thông qua tài khoản cá nhân của bạn với nhà cung cấp dịch vụ lưu trữ hoặc qua FTP (Giao thức truyền tệp). Lưu tài liệu nguồn trước khi thay đổi nó.
- Cách 2: sử dụng CMS
CMS giúp việc chặn lập chỉ mục một trang trở nên dễ dàng hơn. Nhiều plugin có chức năng này, bao gồm Yoast SEO cho WordPress, cho phép bạn chặn lập chỉ mục hoặc ngăn thu thập dữ liệu liên kết khi chỉnh sửa trang.
X-Robots-Tag: cú pháp và cách sử dụng
X-Robots-Tag là một phần của phản hồi HTTP cho một URL nhất định và thường được thêm vào tệp cấu hình. Nó hoạt động tương tự như thẻ meta rô bốt và tác động đến cách các trang được lập chỉ mục. Tuy nhiên, có một số trường hợp nên sử dụng Thẻ X-Robots cụ thể cho hướng dẫn lập chỉ mục.
Đây là một ví dụ đơn giản về X-Robots-Tag:
X-Robots-Tag: noindex, nofollow
Khi bạn cần đặt quy tắc cho một trang hoặc loại tệp, X-Robots-Tag trông giống như sau:
Bộ tiêu đề X-Robots-Tag "noindex, nofollow"
Sản phẩm tìm kiếm chỉ thị cho các tệp trên trang web bằng cách sử dụng các biểu thức chính quy. Nếu bạn dùng Nginx thay vì Apache, chỉ thị này được thay thế bằng địa điểm thư viện nào:
vị trí = tên tệp { add_header X-Robots-Tag "noindex, nofollow"; }
Nếu tên bot không được chỉ định, các lệnh sẽ tự động được sử dụng cho tất cả các trình thu thập thông tin. Nếu một robot riêng biệt được xác định, thẻ sẽ trông như thế này:
Bộ tiêu đề X-Robots-Tag "googlebot: noindex, nofollow"
Khi nào bạn nên sử dụng X-Robots-Tag
- Hủy lập chỉ mục các tệp không phải HTML
Vì không phải tất cả các trang đều có định dạng HTML và phần, một số nội dung không thể bị chặn lập chỉ mục bằng cách sử dụng thẻ meta rô bốt. Đây là lúc x-robot phát huy tác dụng.
Ví dụ khi bạn cần chặn tài liệu .pdf:
Bộ tiêu đề X-Robots-Tag "noindex"
- Tiết kiệm ngân sách thu thập dữ liệu
Thẻ meta rô-bốt cung cấp các chỉ thị thu thập thông tin sau khi trang được tải, trong khi thẻ x-rô-bốt đưa ra các chỉ dẫn lập chỉ mục trước khi bot tìm kiếm truy cập trang. Sử dụng x-robot giúp các công cụ tìm kiếm tốn ít thời gian hơn để thu thập dữ liệu các trang. Điều này tối ưu hóa ngân sách thu thập dữ liệu để các công cụ tìm kiếm có thể dành nhiều thời gian hơn để thu thập dữ liệu nội dung quan trọng, làm cho Thẻ X-Robots đặc biệt có lợi cho các trang web quy mô lớn.
- Đặt chỉ thị thu thập thông tin cho toàn bộ trang web
Bằng cách sử dụng X-Robots-Tag trong phản hồi HTTP, bạn có thể thiết lập các lệnh áp dụng cho toàn bộ trang web, thay vì các trang riêng biệt.
- Giải quyết các công cụ tìm kiếm địa phương
Mặc dù các công cụ tìm kiếm lớn nhất hiểu được phần lớn các chỉ thị hạn chế, nhưng các công cụ tìm kiếm cục bộ nhỏ có thể không biết cách đọc các hướng dẫn lập chỉ mục trong tiêu đề HTTP. Nếu trang web của bạn nhắm mục tiêu đến một khu vực cụ thể, điều quan trọng là bạn phải tự làm quen với các công cụ tìm kiếm địa phương và các đặc điểm của chúng.
Chức năng chính của thẻ meta robot là ẩn các trang khỏi SERPs. Mặt khác, X-Robots-Tag cho phép đặt các hướng dẫn rộng hơn cho toàn bộ trang web, thông báo cho các bot tìm kiếm trước khi chúng thu thập dữ liệu các trang web và tiết kiệm ngân sách thu thập dữ liệu.
Cách áp dụng X-Robots-Tag
Để thêm tiêu đề X-Robots-Tag, hãy sử dụng các tệp cấu hình trong thư mục gốc của trang web. Các cài đặt sẽ khác nhau tùy thuộc vào máy chủ web.
Apache
Bạn cũng nên chỉnh sửa các tài liệu máy chủ sau: Htaccess. và httpd.conf. Nếu bạn cần ngăn tất cả các tệp .png và .gif được lập chỉ mục trong máy chủ web Apache, hãy thêm phần sau:
Bộ tiêu đề X-Robots-Tag "noindex"
Nginx
Chỉnh sửa tệp cấu hình conf cũng cần thiết. Để ngăn tất cả các tệp .png và .gif được lập chỉ mục trong máy chủ web Nginx, hãy thêm phần sau:
vị trí ~* .(png|gif)$ { add_header X-Robots-Tag "noindex"; }
Quan trọng: Trước khi chỉnh sửa tệp cấu hình, hãy lưu tệp nguồn để loại bỏ các vấn đề về hiệu suất trang web trong trường hợp có một số lỗi.
Ví dụ về thẻ meta robot và X-Robots-Tag
noindex
Yêu cầu tất cả các trình thu thập thông tin không lập chỉ mục văn bản trên một trang và không theo các liên kết:
X-Robots-Tag: noindex, nofollow
nofollow
Yêu cầu Google không theo các liên kết trên một trang:
X-Robots-Tag: googlebot: nofollow
không lưu trữ
Yêu cầu các công cụ tìm kiếm không lưu trữ một trang:
X-Robots-Tag: không lưu trữ
Nếu bạn không muốn Bing lưu vào bộ đệm các trang, hãy sử dụng chỉ thị nocache:
X-Robots-Tag: nocache
không ai
Yêu cầu Google không lập chỉ mục và theo các liên kết trong tài liệu HTML:
X-Robots-Tag: googlebot: không có
không có đoạn trích
Yêu cầu các công cụ tìm kiếm không hiển thị đoạn trích cho một trang:
X-Robots-Tag: nosnippet
đoạn mã tối đa
Giới hạn đoạn trích ở mức tối đa 35 ký hiệu:
X-Robots-Tag: đoạn mã tối đa: 35
xem trước hình ảnh tối đa
Yêu cầu các công cụ tìm kiếm hiển thị các phiên bản hình ảnh lớn trong kết quả tìm kiếm:
X-Robots-Tag: xem trước hình ảnh tối đa: lớn
max-video-xem trước
Yêu cầu các công cụ tìm kiếm hiển thị video không giới hạn độ dài:
X-Robots-Tag: xem trước video tối đa: -1
không dịch
Yêu cầu các công cụ tìm kiếm không dịch một trang:
X-Robots-Tag: notranslate
noimageindex
Yêu cầu trình thu thập thông tin không lập chỉ mục hình ảnh trên một trang:
X-Robots-Tag: noimageindex
không khả dụng_after
Yêu cầu trình thu thập thông tin không lập chỉ mục một trang sau một ngày nhất định (ví dụ: ngày 1 tháng 2021 năm XNUMX):
X-Robots-Tag: không có sẵn_after: 2021-01-01
Kiểm tra chỉ thị rô bốt trong Google Search Console
Bạn có thể kiểm tra chi tiết lập chỉ mục trang bằng công cụ Kiểm tra URL của Google Search Console. Công cụ này cho bạn biết liệu một trang có bị chặn lập chỉ mục hay không và cung cấp chi tiết về các lý do cụ thể.
Để truy cập công cụ kiểm tra URL, hãy điều hướng đến thanh bên trái và nhấp vào “Kiểm tra URL”. Nhập URL bạn muốn kiểm tra vào thanh tìm kiếm. Trong phần “Thu thập thông tin” trong chi tiết lập chỉ mục Trang, bạn sẽ biết liệu trang có được lập chỉ mục hay không và lý do. Trong ảnh chụp màn hình được cung cấp, trang không được lập chỉ mục do có lệnh ngăn lập chỉ mục trong thẻ meta rô bốt.
Nếu một trang bị X-Robots-Tag chặn, nó sẽ được chỉ ra trong báo cáo, như trong ảnh chụp màn hình bên dưới.
Nếu bạn muốn xem phản hồi HTTP đầy đủ mà Googlebot nhận được từ trang đã chọn, bạn có hai tùy chọn:
- Để có được dữ liệu thời gian thực, bấm vào Kiểm tra URL trực tiếp dưới cùng Kiểm tra URL. Sau khi kiểm tra xong, hãy nhấp vào Xem trang được thu thập thông tin. Bạn sẽ thấy thông tin về phản hồi HTTP trong Thêm thông tin phần.
- Để xem dữ liệu thu thập dữ liệu cuối cùng, hãy nhấp vào HTTPS -> Thu thập thông tin -> Xem phản hồi HTTP trực tiếp trong Kiểm tra URL.
Nếu kiểm tra trang cho thấy thẻ meta rô bốt không hoạt động, hãy xác minh rằng URL không bị chặn trong tệp rô bốt.txt. Bạn có thể kiểm tra nó trong thanh địa chỉ hoặc sử dụng Trình kiểm tra robots.txt của Google.
Xếp hạng SE cũng cho phép bạn kiểm tra trang web nào có trong chỉ mục. Để làm như vậy, đi đến Trình kiểm tra trạng thái chỉ mục công cụ.
Phải mất thời gian để các công cụ tìm kiếm lập chỉ mục hoặc hủy lập chỉ mục một trang. Để đảm bảo trang của bạn không được lập chỉ mục, hãy sử dụng các dịch vụ quản trị trang web hoặc plugin trình duyệt để kiểm tra thẻ meta (ví dụ: SEO META trong 1 CLICK dành cho Chrome).
Các lỗi thường gặp với rô bốt và cách sử dụng X-Robots-Tag
Việc sử dụng rô-bốt và X-Robots-Tag có thể phức tạp, đó là lý do tại sao các trang web thường gặp phải các lỗi liên quan. tiến hành một kiểm toán SEO kỹ thuật có thể giúp xác định và giải quyết những vấn đề này. Để cung cấp cho bạn một ý tưởng tốt hơn về những gì mong đợi khi phân tích trang web của bạn, chúng tôi đã tập hợp một danh sách các vấn đề phổ biến nhất.
Xung đột với robots.txt
Nguyên tắc chính thức của X-Robots-Tag và rô-bốt nêu rõ rằng bot tìm kiếm vẫn phải có khả năng thu thập dữ liệu nội dung dự định bị ẩn khỏi chỉ mục. nếu bạn không cho phép một trang nhất định trong tệp robots.txt, các lệnh của rô bốt sẽ không thể truy cập được đối với trình thu thập dữ liệu.
Nếu một trang có noindex thuộc tính nhưng là không được phép trong tệp robots.txt, nó có thể được lập chỉ mục và hiển thị trong kết quả tìm kiếm. Một ví dụ về điều này là khi trình thu thập thông tin tìm thấy nó bằng cách theo dõi một liên kết ngược từ một nguồn khác.
Để quản lý cách các trang của bạn được hiển thị trong tìm kiếm, hãy sử dụng thẻ meta rô-bốt và x-robots.
Thêm một trang vào robots.txt thay vì sử dụng noindex
Thực hành sử dụng tệp robots.txt thay thế cho chỉ thị ngăn lập chỉ mục bắt nguồn từ quan niệm sai lầm rằng nó sẽ ngăn không cho một trang được lập chỉ mục. Điều quan trọng cần lưu ý là việc thêm một trang vào tệp robots.txt thường dẫn đến việc không cho phép thu thập dữ liệu, không lập chỉ mục. Điều này có nghĩa là trình thu thập thông tin vẫn có thể lập chỉ mục trang đó (giống như với các liên kết ngược mà chúng tôi đã đề cập trong phần trước).
Vì vậy, nếu bạn không muốn trang của mình được lập chỉ mục, bạn nên cho phép trang đó xuất hiện trong tệp robots.txt và sử dụng lệnh ngăn lập chỉ mục. Mặt khác, nếu mục tiêu của bạn là ngăn các bot tìm kiếm truy cập trang của bạn trong quá trình thu thập dữ liệu trang web, thì hãy không cho phép điều đó trong tệp robots.txt.
Sử dụng chỉ thị rô bốt trong tệp rô bốt.txt
Một lỗi phổ biến khác khi sử dụng thẻ meta robot và X-Robots-Tags là đưa chúng vào tệp robots.txt. Điều này đặc biệt áp dụng cho các chỉ thị nofollow và noindex.
Google chưa bao giờ chính thức xác nhận rằng phương pháp này thực sự hoạt động. Hơn nữa, thông qua nghiên cứu của họ, công cụ tìm kiếm đã phát hiện ra rằng việc sử dụng các chỉ thị này có thể xung đột với các quy tắc khác, có khả năng gây hại cho sự hiện diện và vị trí của trang web trong kết quả tìm kiếm. Vì vậy, kể từ tháng 2019 năm XNUMX, Google đã cho rằng phương pháp này không hiệu quả và không còn chấp nhận chỉ thị rô bốt trong tệp robots.txt nữa.
Không loại bỏ noindex kịp thời
Khi làm việc với các trang dàn dựng, thông thường bạn nên bao gồm chỉ thị rô-bốt ngăn lập chỉ mục để ngăn các công cụ tìm kiếm lập chỉ mục và hiển thị các trang này trong kết quả tìm kiếm. Mặc dù phương pháp này có thể chấp nhận được, nhưng điều quan trọng cần nhớ là xóa chỉ thị này sau khi trang hoạt động.
Việc không thực hiện điều này có thể dẫn đến giảm lưu lượng truy cập vì các công cụ tìm kiếm sẽ không đưa trang này vào chỉ mục của họ. Điều này cũng trở thành một vấn đề lớn nếu bạn không nhận thấy nó kịp thời (ví dụ: trong di chuyển trang web). Vấn đề có thể phát triển thành một vấn đề thậm chí còn lớn hơn nếu không được giải quyết.
Xây dựng liên kết ngược đến trang noindex
Các trang web khác liên kết đến một trang thường được các công cụ tìm kiếm coi là tín hiệu tích cực vì nó cho họ biết rằng trang được liên kết có giá trị và phù hợp. Các liên kết ngược này đóng góp vào thẩm quyền tổng thể và tiềm năng xếp hạng của trang.
Tuy nhiên, nếu trang được liên kết có một noindex thì các công cụ tìm kiếm sẽ không bao gồm nó trong chỉ mục cũng như không hiển thị nó trong kết quả tìm kiếm, bất kể bạn xây dựng bao nhiêu liên kết. Trong trường hợp này, bạn nên quyết định xem bạn muốn trang này xuất hiện trong kết quả tìm kiếm và xóa chỉ thị ngăn lập chỉ mục hay thay vào đó là xây dựng liên kết đến các trang khác.
Xóa một URL khỏi sơ đồ trang web trước khi nó bị hủy lập chỉ mục
Nếu noindex được thêm vào một trang, thực tế không tốt nếu xóa ngay trang này khỏi tệp sơ đồ trang web. Điều này là do sơ đồ trang web của bạn cho phép trình thu thập thông tin nhanh chóng tìm thấy tất cả các trang, kể cả những trang được dự định xóa khỏi chỉ mục.
Một cách khác tốt hơn là tạo một sitemap.xml riêng với danh sách tất cả các trang có chứa noindex chỉ thị. Sau đó xóa các URL khỏi tệp khi chúng được hủy lập chỉ mục. Nếu bạn tải tệp này lên Google Search Console, rô bốt có thể sẽ thu thập dữ liệu tệp đó nhanh hơn.
Không kiểm tra trạng thái chỉ mục sau khi thực hiện thay đổi
Có thể xảy ra trường hợp nội dung có giá trị hoặc thậm chí toàn bộ trang web sẽ bị chặn lập chỉ mục do nhầm lẫn. Để tránh điều đó, hãy kiểm tra trạng thái lập chỉ mục của các trang của bạn sau khi thực hiện bất kỳ thay đổi nào đối với chúng.
Làm cách nào để không bị deindex các trang quan trọng?
Bạn có thể theo dõi các thay đổi trong mã trang web của mình bằng Xếp hạng SE Màn hình thay đổi trang. Công cụ này cho phép bạn theo dõi cả mã HTML và trạng thái chỉ mục cho các công cụ tìm kiếm chính.
Bạn nên làm gì khi một trang biến mất khỏi tìm kiếm?
Khi một trong những trang quan trọng của bạn không hiển thị trong SERPS, hãy kiểm tra xem có chỉ thị nào ngăn không cho nó được lập chỉ mục hay không. không cho phép lệnh trong tệp robots.txt. Ngoài ra, hãy xem liệu URL có được bao gồm trong tệp sơ đồ trang web hay không. Bạn cũng có thể sử dụng Google Search Console để thông báo cho các công cụ tìm kiếm rằng bạn cần lập chỉ mục trang của mình và thông báo cho họ về sơ đồ trang web được cập nhật cho tên miền của bạn.
Tổng kết
Cả thẻ meta robot và X-Robots-Tag đều được sử dụng để kiểm soát cách các trang được lập chỉ mục và hiển thị trong kết quả tìm kiếm. Nhưng chúng khác nhau về cách chúng được triển khai: thẻ meta robot được bao gồm trong mã trang, trong khi X-Robots-Tag được chỉ định trong tệp cấu hình.
Dưới đây là một số đặc điểm quan trọng khác của từng điều cần nhớ:
- Tệp robots.txt giúp các bot tìm kiếm thu thập dữ liệu các trang một cách chính xác, trong khi thẻ meta rô bốt và X-Robots-Tag ảnh hưởng đến cách đưa nội dung vào chỉ mục. Cả ba thành phần đều quan trọng để tối ưu hóa kỹ thuật.
- Cả thẻ meta rô bốt và X-Robots-Tag đều được sử dụng để chặn lập chỉ mục trang nhưng thẻ sau cung cấp hướng dẫn cho rô bốt trước khi chúng thu thập dữ liệu trang, tiết kiệm ngân sách thu thập dữ liệu.
- Nếu robots.txt ngăn bot thu thập dữ liệu trang, thì thẻ meta rô bốt hoặc chỉ thị x-rô-bốt sẽ không hoạt động.
- Lỗi khi định cấu hình thẻ meta rô-bốt và X-Robots-Tag có thể dẫn đến sự cố lập chỉ mục không chính xác và các sự cố về hiệu suất trang web. Đặt các chỉ thị một cách cẩn thận hoặc giao nhiệm vụ cho một quản trị viên web có kinh nghiệm.
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- PlatoAiStream. Thông minh dữ liệu Web3. Kiến thức khuếch đại. Truy cập Tại đây.
- Đúc kết tương lai với Adryenn Ashley. Truy cập Tại đây.
- Mua và bán cổ phần trong các công ty PRE-IPO với PREIPO®. Truy cập Tại đây.
- nguồn: https://seranking.com/blog/guide-meta-tag-robots-x-robots-tag/
