Cách ngăn công cụ tìm kiếm thu thập thông tin trang web WordPress

Có một số tình huống khi bạn muốn ngăn công cụ tìm kiếm thu thập dữ liệu trang web của bạn và liệt kê nó trong kết quả tìm kiếm.

Trong bài viết này, chúng tôi sẽ hướng dẫn bạn cách ngăn công cụ tìm kiếm thu thập dữ liệu trang web WordPress.

Tại sao ngăn công cụ tìm kiếm thu thập thông tin trang web WordPress ?

Đối với hầu hết các trang web WordPress, công cụ tìm kiếm là nguồn lưu lượng truy cập lớn nhất. Bạn có thể thắc mắc, tại sao có người lại muốn chặn các công cụ tìm kiếm?

Dưới đây là một số tình huống khi bạn không muốn các công cụ tìm kiếm lập chỉ mục trang web của mình:

• Khi mới bắt đầu, bạn có thể không biết cách tạo môi trường phát triển local mà thay vào đó phát triển trang web của bạn trong khi nó đang hoạt động. Bạn sẽ không muốn Google lập chỉ mục trang web của mình khi nó đang được xây dựng hoặc ở chế độ bảo trì.
• Cũng có nhiều người sử dụng WordPress để tạo blog riêng tư. Họ không muốn các công cụ tìm kiếm lập chỉ mục vì chúng ở chế độ riêng tư.
• Bạn có thể sử dụng WordPress để quản lý dự án hoặc mạng nội bộ. Trong những trường hợp này, bạn sẽ không muốn các tài liệu nội bộ của mình có thể truy cập công khai.

Một quan niệm sai lầm phổ biến là nếu bạn không có các liên kết trỏ đến tên miền của mình, thì các công cụ tìm kiếm có thể sẽ không bao giờ tìm thấy trang web của bạn. Điều này không hoàn toàn đúng.

Ví dụ: có thể có các liên kết trỏ đến trang web của bạn vì tên miền trước đây thuộc sở hữu của người khác. Ngoài ra, có hàng ngàn trang trên internet chỉ liệt kê các tên miền. Trang web của bạn có thể xuất hiện trên một trong số đó.

Các cách ngăn công cụ tìm kiếm thu thập dữ liệu trang web

Phương pháp 1:Ngăn công cụ tìm kiếm thu thập thông tin trang web WordPress của bạn

Đây là phương pháp đơn giản nhất nhưng không hoàn toàn bảo vệ trang web của bạn khỏi bị thu thập dữ liệu.

WordPress đi kèm với một tính năng tích hợp cho phép bạn hướng dẫn các công cụ tìm kiếm không lập chỉ mục trang web của bạn. Tất cả những gì bạn cần làm là truy cập Settings » Reading và chọn vào ô ‘Search Engine Visibility’.

Khi ô này được chọn, WordPress sẽ thêm dòng này vào tiêu đề trang web của bạn:
<meta name = 'robots' content = 'noindex, follow' />

WordPress cũng sửa đổi tệp robots.txt của trang web của bạn và thêm các dòng sau vào tệp:
User-agent: *
Disallow: /: *

Những dòng này yêu cầu robots (trình thu thập dữ liệu web) không lập chỉ mục các trang của bạn. Tuy nhiên, việc chấp nhận yêu cầu này hay bỏ qua nó là hoàn toàn phụ thuộc vào các công cụ tìm kiếm. Mặc dù hầu hết các công cụ tìm kiếm đều tôn trọng điều này, nhưng vẫn có khả năng một số trang hoặc hình ảnh từ trang web của bạn có thể được lập chỉ mục.

Nếu bạn muốn các công cụ tìm kiếm không thể lập chỉ mục hoặc thu thập dữ liệu trang web của mình, thì bạn sẽ cần đặt mật khẩu bảo vệ trang web WordPress của mình bằng Phương pháp 3.

Phương pháp 2: Ngăn công cụ tìm kiếm thu thập thông tin các trang riêng lẻ

Bạn có thể muốn các công cụ tìm kiếm thu thập thông tin và lập chỉ mục trang web của mình, nhưng không đưa các bài đăng hoặc trang nhất định vào các trang kết quả tìm kiếm.

Cách dễ nhất để làm điều đó là sử dụng plugin All in One SEO (AIOSEO) . Đây là công cụ SEO tốt nhất cho WordPress và được hơn 3 triệu doanh nghiệp tin dùng.

Đối với hướng dẫn này, chúng tôi sẽ sử dụng phiên bản miễn phí AIOSEO vì nó bao gồm công cụ Phân tích SEO. Ngoài ra còn có một phiên bản cao cấp của AIOSEO cung cấp nhiều tính năng hơn như công cụ sơ đồ trang web, trình quản lý chuyển hướng, đánh dấu lược đồ, trình chỉnh sửa robots.txt, v.v.

Điều đầu tiên bạn cần làm là cài đặt và kích hoạt plugin AIOSEO trên trang web của mình.

Khi plugin được thiết lập, bạn có thể sử dụng nó để yêu cầu các công cụ tìm kiếm không lập chỉ mục các bài đăng và trang nhất định. Một lần nữa, việc chấp nhận yêu cầu này hay bỏ qua nó là hoàn toàn phụ thuộc vào các công cụ tìm kiếm.

Chỉ cần chỉnh sửa bài đăng hoặc trang mà bạn không muốn được lập chỉ mục. Bạn cần cuộn xuống AIOSEO Settings ở cuối trình chỉnh sửa WordPress và sau đó nhấp vào tab ‘Advanced’.

Phương pháp 3: Bảo vệ bằng mật khẩu toàn bộ trang web bằng cPanel

Nếu nhà cung cấp dịch vụ hosting WordPress của bạn cung cấp quyền truy cập cPanel để quản lý tài khoản hosting, thì bạn có thể bảo vệ toàn bộ trang web của mình bằng cPanel. Tất cả những gì bạn phải làm là đăng nhập vào bảng điều khiển cPanel của bạn và sau đó nhấp vào biểu tượng ‘Directory Privacy’ trong phần ‘Files’.

Tiếp theo, bạn cần tìm thư mục mà bạn đã cài đặt WordPress. Thông thường, nó là thư mục public_html. Sau đó, bạn cần nhấp vào nút ‘Edit’ bên cạnh thư mục đó.

Lưu ý: Nếu bạn có nhiều trang web WordPress được cài đặt trong thư mục public_html, thì bạn cần nhấp vào liên kết public_html để duyệt các trang web đó, sau đó chỉnh sửa thư mục cho trang web mà bạn muốn bảo vệ bằng mật khẩu.

Thao tác này sẽ đưa bạn đến màn hình nơi bạn có thể bật bảo vệ bằng mật khẩu. Chỉ cần chọn “Password protect this directory” và nhấp vào nút “Save”. Nếu muốn, bạn cũng có thể tùy chỉnh tên cho thư mục được bảo vệ.

Bạn sẽ thấy một thông báo xác nhận cho biết rằng các quyền truy cập cho thư mục đã được thay đổi.

Tiếp theo, bạn nên nhấp vào nút ‘Go Back’.

Bạn sẽ được đưa đến màn hình nơi bạn có thể tạo tên người dùng và mật khẩu cần được sử dụng khi truy cập thư mục này.

Bạn cần nhập tên người dùng và mật khẩu, sau đó xác nhận mật khẩu. Đảm bảo ghi lại tên người dùng và mật khẩu của bạn ở một nơi an toàn, chẳng hạn như ứng dụng quản lý mật khẩu.

Khi bạn nhấp vào nút ‘Lưu’, bạn đã thêm thành công mật khẩu bảo vệ vào trang web WordPress của mình. Bây giờ, bất cứ khi nào người dùng hoặc công cụ tìm kiếm truy cập trang web của bạn, họ sẽ được nhắc nhập tên người dùng và mật khẩu bạn đã tạo trước đó để xem trang web.