Gần đây, một trong số những người sử dụng của chúng tôi hỏi chúng tôi làm thế nào họ có thể ngăn chặn công cụ tìm kiếm khỏi crawl và index trang web WordPress của họ? Có rất nhiều tình huống khi bạn muốn ngừng các công cụ tìm kiếm crawl trang web của bạn hoặc liệt kê nào vào trong các kết quả tìm kiếm. Trong bài viết này, chúng tôi sẽ cho bạn thấy làm thế nào để ngăn chặn công cụ tìm kiếm crawl một trang web WordPress.

Tại sao và ai muốn ngăn chặn công cụ tìm kiếm

Đối với hầu hết các trang web, công cụ tìm kiếm là nguồn chính của lưu lượng truy cập. Bạn có thể hỏi rằng tại sao ai đó lại muốn ngăn chặn công cụ tìm kiếm?

Tin hay không, có rất nhiều người làm việc trên các trang web của họ bằng cách đặt chúng trên một tên miền truy cập công khai trực tiếp thay vì tạo ra một môi trường phát triển cục bộ hoặc tạo ra một trang web phát triển.

Một sốngười tạo ra các trang web quản lý dự án bằng cách sử dụng WordPress. Có rất nhiều người sử dụng WordPress để tạo các blog các nhân. Trong tất cả những trường hợp này, có thể bạn không muốn được index bởi các công cụ tìm kiếm và được tìm thấy khi bạn chưa sẵn sàng cho điều đó.

Một quan niệm sai lầm phổ biến là nếu tôi không có link dẫn đến tên miền của tôi, thì công cụ tìm kiếm sẽ không bao giờ có thể tìm thấy trang web của tôi. Điều này không hoàn toàn đúng.

Có rất nhiều cách để công cụ tìm kiếm có thể tìm thấy một trang web được dẫn link ở nơi khác. Ví dụ:

1. Tên miền của bạn có thể đã được sở hữu bởi người khác trước đó và họ vẫn có một số link dẫn đến trang web của bạn bây giờ.
2. Kết quả một số kết quả của trang tìm kiếm tên miền có thẻ được index với link của bạn ở trong đó.
3. Có hàng ngàn các trang chỉ liệt kê các tên miền, trang web của bạn có thể xuất hiện trên một trong những nơi như thế.

Có rất nhiều điều xảy ra trên web và không gì trong số đó là dưới sự kiểm soát của bạn. Tuy nhiên, trang web của bạn vẫn còn trong tầm kiểm soát của bạn, và bạn có thể chỉ cho công cụ tìm kiếm không theo dõi hoặc index trang web của bạn.

Ngăn chặn công cụ tìm kiếm khỏi crawl và index trang web WordPress của bạn

WordPress đi kèm với một tính năng được tích hợp sẵn cho phép bạn để hướng dẫn các công cụ tìm kiếm không index trang web của bạn. Tất cả bạn cần làm là truy cập Settings»Reading và chọn ô bên cạnh tùy chọn Search Engine Visibility.

Khi hộp này đã được chọn, WordPress thêm dòng này vào tiêu đề của trang web của bạn:

meta name='robots' content='noindex,follow'

WordPress cũng thay đổi file robots.txt của trang web của bạn và thêm những dòng này vào nó:

User-agent: *
Disallow: /

Những dòng yêu cầu các robot (các web crawler) không index các trang của bạn. Tuy nhiên, nó hoàn toàn phụ thuộc vào việc các công cụ tìm kiếm chấp nhận yêu cầu này hay bỏ qua nó. Mặc dù hầu hết các công cụ tìm kiếm tôn trọng điều này, một số trang hoặc hình ảnh ngẫu nhiên từ trang web của bạn có thể bị index.

Làm thế nào để chắc chắn trang web của bạn không xuất hiện trong các kết quả tìm kiếm?

Cách hiệu quả nhất để ngăn chặn các công cụ tìm kiếm khỏi một trang web đang vận hành là sử dụng mật khẩu bảo vệ toàn bộ trang web WordPress của bạn trên cấp máy chủ. Điều này có nghĩa là khi bất cứ ai muốn truy cập vào trang web của bạn thì họ sẽ được yêu cầu cung cấp một tên đăng nhập và mật khẩu ngay cả trước khi họ tiếp cận với WordPress. Điều này bao gồm cả với công cụ tìm kiếm. Sau khi đăng nhập thất bại, họ được hiển thị lỗi 401 và các chương trình từ chối. Dưới đây là cách mật khẩu bảo vệ toàn bộ một trang web WordPress.

Bảo vệ bằng mật khẩu toàn bộ trang web sử dụng cPanel

Nếu nhà cung cấp hosting WordPress của bạn cung cấp cPanel access để quản lý tài khoản hosting của bạn thì bạn có thể bảo vệ toàn bộ trang web của bạn bằng cách sử dụng cPanel. Đơn giản chỉ cần đăng nhập vào bảng điều khiển cPanel và sau đó nhấn vào Password Protect Directories.

Điều này sẽ mang đến một cửa sổ nơi bạn cần phải chọn tài liệu gốc.

Trên màn hình tiếp theo, chọn thư mục mà trang web WordPress của bạn đã được cài đặt. Nó thường là ở public_html hoặc www directory. Sau đó, hãy chọn hộp bên cạnh ‘Password protect this directory’. Tiếp theo, đổi tên cho thư mục được bảo vệ và nhấn nút Save.

Sau đó, bạn sẽ thấy một thông báo thành công và một link để quay trở lại. Nhấp vào link quay trở lại sẽ bạn đến màn hình bảo vệ mật khẩu. Bây giờ, bạn cần phải thêm một tên đăng nhập và mật khẩu, thứ sẽ được yêu cầu để xem trang web của bạn.

Đó là tất cả, trang web của bạn bây giờ đã được bảo vệ bằng mật khẩu, và không có một ai bao gồm cả các công cụ tìm kiếm có thể truy cập vào trang web của bạn.

Dưới đây là một hướng dẫn khác về làm thế nào để bảo vệ trang web WordPress của bạn bằng mật khẩu. Tuy nhiên, trong hướng dẫn này, bạn sẽ được hướng dẫn cách cài đặt plugin wordpress và cách sử dụng chúng. Nếu vì một số lý do nào đó mà bạn tắt plugin thì trang web của bạn sẽ có thể truy cập bởi công cụ tìm kiếm trở lại.

Chúng tôi hy vọng bài viết này giúp bạn ngăn chặn công cụ tìm kiếm crawl và index trang web WordPress của bạn. Bạn có thể tham khảo thêm bài viết những cách tiện dụng để bảo vệ trang wordpress của bạn.