Cách Tạo File Robots.txt Cho Wordpress

      19

Để chắc chắn rằng trang web của người tiêu dùng mở ra bên trên Trang kết quả tìm kiếm kiếm – Search Engine Result Pages (SERPs), bạn phải nhằm “bots” truy cập vào rất nhiều trang quan trọng đặc biệt trên trang web. File robots.txt được viết tốt hoàn toàn có thể dùng để làm quản lý truy vấn của những bots này cho tới trang bạn muốn (nhằm tránh nó quét đầy đủ khu vực ko yêu cầu thiết). Trong bài xích này, Shop chúng tôi đã hướng dẫn tạo nên tệp tin robots.txt cho WordPress nhỏng sau:

File robots.txt là gì cùng bởi vì sao nó quan lại trọngFile robots.txt WordPress được đặt chỗ nào.Làm gắng làm sao để tạo ra file robots.txt.Luật làm sao nên được dùng vào tệp tin robots.txt WordPress.

Bạn đang xem: Cách tạo file robots.txt cho wordpress

Sau Khi hiểu hoàn thành bài xích này, bạn sẽ biết tất cả phần đa thứ nhằm cấu hình một file robots.txt tuyệt vời và hoàn hảo nhất đến WordPress website của chúng ta. Hãy ban đầu thôi!

WordPress robots.txt là gì (và nguyên do bạn cần áp dụng nó)

*

lúc các bạn chế tác new một website, tìm kiếm engine sẽ gửi số đông con bọ máy vi tính (bots) tới để ‘quét’ qua nó và tạo ra một bạn dạng đồ vật cất các trang web vào nó. Bằng giải pháp này, bọn chúng hiểu rằng trang làm sao buộc phải biểu hiện kết quả khi ai đó kiếm tìm trường đoản cú khóa tương quan. Cơ phiên bản như thế là sẽ đủ.

Nhưng vụ việc nảy sinh Khi các trang web hiện đựng nhiều yếu tố hơn là trang web. WordPress có thể chấp nhận được các bạn tạo plugins, thường thì nó gồm thỏng mục riêng biệt của bọn chúng. quý khách hàng sẽ không còn ước ao hầu hết trang này hiện lên công dụng kiếm tìm tìm, vị thực tế nó không có nội dung quý giá.

File robots.txt tạo nên một cỗ hướng dẫn cho tìm kiếm engine bots. Nó nói cùng với chúng: “Hey, mày rất có thể xem tại đây, nhưng mà ko bước vào đa số chống khác làm việc kia!”. File này hoàn toàn có thể rất chi tiết tùy theo cường độ bạn có nhu cầu. Nó cũng dễ dàng tạo ra và ko yên cầu kỹ năng và kiến thức kỹ thuật gì những.

Trên thực tiễn, trình search kiếm vẫn quét site của doanh nghiệp tất cả khi bạn không tồn tại cài đặt tệp tin robots.txt. Nhưng sẽ không còn đạt phát âm quả cao, vì bot sẽ index toàn thể nội dung của công ty, với quét sâu mang đến độ rất có thể nó vẫn hiển thị đa số nơi chúng ta không muốn fan khác truy cập vào.

bên cạnh đó, nếu không tồn tại tệp tin robots.txt, bạn sẽ có không ít các nhiều loại bots quét tới quét lui cục bộ site của người tiêu dùng. Vì vậy sẽ gây tác động tiêu cực mang đến hiệu năng buổi giao lưu của site. Tốc độ trang là nhân tố đặc biệt quan trọng nhằm được xem xếp hạng. Và nhỏng chúng ta biết, không có bất kì ai đam mê vào một site truy cập lờ đờ khả (của cả công ty website nhỏng bọn chúng ta!). Vì vậy, chế tạo ra một tệp tin robots.txt chuẩn chỉnh mang lại WordPress là bí quyết đơn giản nhưng đạt hiệu quả cao đến trang web của bạn.

File robots.txt WordPress nằm chỗ nào

Lúc bạn tạo ra website WordPress, nó sẽ tự động hóa tạo thành một tệp tin robots.txt đặt tức thì dưới tlỗi mục cội của server. lấy ví dụ như, nếu như site của công ty đặt vào thư mục gốc của can dự yourfakewebsite.com, bạn sẽ rất có thể truy cập tệp tin robots.txt sống đường dẫn yourfakewebsite.com/robots.txt, kết quả ban sơ vẫn tương tự nlỗi sau:

User-agent: *Disallow: /wp-admin/Disallow: /wp-includes/Đây là ví dụ tệp tin robots.txt cơ bạn dạng. Phần sau User-agent: Dấu * Tức là luật lệ được áp dụng cho số đông một số loại bots bên trên khắp chỗ bên trên trang web. Trong ngôi trường thích hợp này, tệp tin này đã nói mang lại bots biết là chúng ko được phép vào trong tệp tin thư mục wp-admin wp-includes. Rất phải chăng đề nghị không, vị 2 tlỗi mục này đựng rất nhiều tệp tin biết tin nhạy cảm.

Hãy ghi nhớ, đây là một file ảo, vày WordPress tự tùy chỉnh thiết lập khoác định khi thiết đặt và không chỉnh sửa được (mặc dù nó vẫn hoạt động). Thông thường, địa chỉ file robots.txt WordPress chuẩn được đặt vào thư mục cội, hay được hotline là public_html với www (hoặc tên website). Và nhằm tạo tệp tin robots.txt mang lại riêng rẽ bạn thì bạn cần tạo một tệp tin mới nhằm sửa chữa thay thế file cũ đặt trong thỏng mục gốc đó.

*

Tại trả lời tiếp theo sau, Cửa Hàng chúng tôi vẫn chỉ bạn nhiều phương pháp để tạo thành bắt đầu file robots.txt cho WordPress chỉ trong 1 phút. Giờ thì, hãy phân tích về các phép tắc (rules) nhưng chúng ta nên sử dụng trong file này.

Quy tắc làm sao cần phải cung cấp vào file robots.txt WordPress

Tại phần trước, bạn đang thấy ví dụ một file WordPress robots.txt. Nó chỉ bao gồm 2 rules ngắn, nhưng phần đông các trang web đều có thiết lập cấu hình nhiều hơn hẳn như vậy. Hãy chú ý vào 2 tệp tin robots.txt sau nhằm công ty chúng tôi chỉ cho bạn sự biệt lập của chúng nhé.

ví dụ như file WordPress robots.txt đầu tiên:

User-agent: *Allow: /# Disallowed Sub-DirectoriesDisallow: /checkout/Disallow: /images/Disallow: /forum/Đây là tệp tin robots.txt chuẩn đến website với cùng một diễn đàn. Search engine sẽ thường xuyên index phần đa chủ thể trong forums. Tùy vào nhiều loại forums là gì, mặc dù, thường thì bạn nên disallow it (không cho phép quét). Bằng bí quyết này, Googles đã không hẳn index hằng trăm threads (công ty đề) nhưng mà người tiêu dùng tạo ra từng ngày mang lại đa số mẩu truyện bên lề. quý khách có thể setup rules nhằm xác minh các loại sub-forum làm sao nên tránh, và nhằm search engines quét phần còn sót lại.

Bạn đang thấy có dòng Allow: / bên trên cùng của file. Dòng này cho bots (bọ lắp thêm tính) biết là chúng hoàn toàn có thể quét toàn bộ rất nhiều trang trên trang web, xung quanh các trang dưới đặt trong phần Disallow:. Như các bạn phân biệt, công ty chúng tôi cũng thực hiện dấu * nhằm áp điều khoản lên universal (toàn trang), kiểu như cùng với file mang định ảo của robots.txt.

Giờ, hãy nhìn qua ví dụ thứ 2 về kiểu cách tạo nên file robots.txt mang lại WordPres:

User-agent: *Disallow: /wp-admin/Disallow: /wp-includes/User-agent: BingbotDisallow: /Trong file này, Cửa Hàng chúng tôi thực hiện rules giống như file khoác định của WordPress. Tuy nhiên, Shop chúng tôi còn đặt thêm một trong những rules để ngăn Bing’s tìm kiếm bot quét trang web của công ty. Bingbot là tên gọi của Bot của Bing search engine.

Quý Khách có thể tùy chỉnh đúng các loại bot của trình search kiếm như thế nào rất có thể truy vấn trang web của người sử dụng, với một số loại như thế nào ko được. Trên thực tiễn, Bingbot cũng giỏi (tuy vậy ko xuất sắc bởi Googlebot). Nhưng tất cả nhiều rất nhiều bots độc hại ko kể cơ.

Xem thêm: Cách Hack Like Instagram Trên Máy Tính, Chia Sẻ Phần Mềm Tăng Follower Instagram Miễn Phí

Một tin xấu không chỉ có vậy là bọn chúng cũng ko quyên tâm đến chỉ dẫn vào tệp tin robots.txt của bạn (chúng ô nhiễm nhưng mà đề xuất gì tuân theo luật). Vấn đề này có nghĩa là bots chỉ làm theo giải đáp vào file robots.txt, dẫu vậy không Tức là file robots.txt bắt buộc các bots đề xuất tuân theo.

Nếu bạn tìm hiễu bên trên mạng, có nhiều đề xuất rằng bạn nên ngăn bots như thế nào cùng được cho phép bots làm sao trên WordPress website của khách hàng. Tuy nhiên, cùng với kinh nghiệm của công ty chúng tôi, càng ít rules chừng nào càng tốt chừng kia. Đây là ví dụ bạn nên áp dụng để sinh sản file robots.txt chuẩn chỉnh mang đến WordPress:

User-Agent: *Allow: /wp-content/uploads/Disallow: /wp-content/plugins/Mặc định, WordPress đang chặn thỏng mục wp-admin với wp-includes. Tuy nhiên, vấn đề đó không thể được coi là tốt nữa. Ngoài ra, nếu như bạn thêm metadomain authority vào ảnh của người sử dụng nhằm tăng tối ưu hóa search tìm (SEO), vậy thì không nên ngăn bot truy vấn vào các đọc tin kia đề nghị không. Tgiỏi vào đó, 2 rules trên là tất cả những gì cơ phiên bản tốt nhất nhưng một site thông thường bắt buộc.

Quý Khách còn nên thêm gì trong tệp tin robots.txt đang tùy trực thuộc vào một số loại ngôn từ với nhu yếu của bạn. Giờ thì, hãy nhìn qua cách để chế tạo tệp tin robots.txt cho WordPress trang web nhé!

Làm cụ như thế nào để tạo file robots.txt đến WordPress (3 cách)

Sau khi bạn vẫn quyết định rule nào sẽ tiến hành đặt trong file robots.txt, phần còn lại là tạo nó thôi. Quý Khách hoàn toàn có thể sửa đổi tệp tin robots.txt vào WordPress bởi plugin hoặc bằng tay. Trong phần này, công ty chúng tôi đã chỉ bạn dùng 2 plugin phổ biến để chế tạo ra file robots.txt mang lại WordPress và phương pháp thủ công để sản xuất file robots.txt rồi upload lên host. Hãy bước đầu thôi nào!

1. Sử dụng Yoast SEO

*

Yoast SEO thì chắc hẳn không cần thiết phải trình làng nữa. Bất kỳ ai đề nghị SEO mang lại WordPress trang web kiên cố sẽ bao gồm thiết lập plugin này. Nó trả lời bạn buổi tối ưu bài viết với từng website bằng cách tận dụng tối đa tự khóa tốt hơn. Hình như, nó cũng giúp đỡ bạn tăng năng lực đọc dễ của nội dung bài viết, hỗ trợ cho bài viết giữ lại chân tín đồ gọi lâu bền hơn.

Đối với chúng tôi, chúng tôi là fan mến mộ của Yoast SEO vày tính tiện nghi của chính nó. Cách chế tạo ra tệp tin robots.txt cũng đơn giản ví như bạn đã có pluign này. Sau khi bạn cài đặt plugin này hoàn thành đưa cho tới tab SEO -> Tools vào dashboard của khách hàng, tìm về mục gọi là File editor:

*

Cliông chồng vào link đó sẽ gửi bạn cho tới trang new, nơi bạn cũng có thể sửa đổi tệp tin .htaccess mà lại không yêu cầu bay dashboard (trang admin WordPress). Có một nút ít Điện thoại tư vấn là Create robots.txt file, để giúp đỡ các bạn tạo nên file robots.txt:

*

lúc chúng ta cliông chồng vào nút ít này, tab đang hiển thị editor bắt đầu địa điểm bạn cũng có thể sửa đổi tệp tin robots.txt trực tiếp. Lưu ý là Yoast SEO đã đặt quý hiếm mang định của chính nó, nhằm ghi đè lên trên file ảo robots.txt.

Mỗi khi chúng ta thêm rules bắt đầu hoặc xóa rules cũ, ghi nhớ cliông chồng nút Save sầu changes to lớn robots.txt để giữ lại:

*

Vậy là xong, bạn đã chế tác ngừng file robots.txt chuẩn chỉnh mang lại WordPress. Giờ hãy xem phương pháp chế tác bởi plugin khác, cũng lừng danh không hề thua kém.

2. Qua cỗ plugin All in One SEO Pack

*

All in One SEO Pack là một plugin khôn cùng lừng danh trong giới WordPress SEO. Nó bao hàm tất cả phần lớn tài năng của Yoast SEO, cơ mà nhiều người thích nó hơn do nó nhẹ hơn. Cũng những điều đó cùng với vấn đề tạo ra tệp tin robots.txt đến WordPress, trường hợp tất cả plugin này thì những cthị xã vô cùng thuận lợi.

Sau khi bạn vẫn hoàn tất set up plugin này, đưa cho tới mục All in One SEO > Feature Manager vào dashboard. Tại trong các số đó, hãy tìm kiếm tùy chọn mang tên Robots.txt, với nút Activate tức thì dưới. Cliông xã vào nó:

*

Giờ, tab bắt đầu Robots.txt vẫn hiện nay dưới menu All in One SEO. quý khách hàng clichồng vào đó sẽ thấy những lựa chọn để thêm rules new mang lại tệp tin, lưu lại đổi khác hoặc xóa nó đi:

*

Lưu ý là chúng ta không thể biến đổi tệp tin robots.txt thẳng từ plugin này. Phần nội dung có khả năng sẽ bị mờ đi, khác cùng với Yoast SEO là cho chính mình gõ tùy đam mê vào file:

*

Việc này còn có vẻ tương đối bất tiện cơ mà nó đang tránh giúp đỡ bạn Việc ghi lỗi mang lại tệp tin robots khiến cho site bị thiệt nhị. Thêm rules bắt đầu cực kỳ đơn giản, All in One SEO Pachồng tất cả đi cùng các công dụng sẽ giúp đỡ các bạn ngăn ‘bad’ bots (bots độc hại), chỉ việc vào tab All in One SEO là thấy:

*

Vậy là hoàn thành. Giờ, hãy nói sau đó việc chế tạo file robots.txt chuẩn mang lại WordPress bằng tay thủ công nếu bạn không thích tải thêm plugin.

3. Tạo rồi upload tệp tin robots.txt WordPress qua FTP

Không tất cả gì dễ dàng hơn tạo ra một file txt. quý khách hàng chỉ vấn đề msinh sống text editor bạn thích (NotePad hoặc TextEdit), gõ vào vài ba cái vào trong số ấy, giữ lại bên dưới bất kỳ tên như thế nào, chọn nhiều loại file là txt. Chỉ mất vài phút để làm bài toán này phải chúng ta cũng có thể tiện lợi sinh sản tệp tin robots.txt vào WordPress nhưng ko đề xuất tới plugin.

Đây là một ví dụ của tệp tin robots.txt:

*

Sau khi bạn tạo ra ngừng, bạn phải kết nối tới trang web qua FTP.. Nếu vẫn chưa chắc chắn có tác dụng, không sao, Shop chúng tôi gồm bài gợi ý chỉ kết nối cho tới trang web qua FileZilla trên phía trên.

Sau Lúc vẫn kết nối thành công xuất sắc, gửi vào tlỗi mục public_html. Tại trên đây, bạn chỉ việc upload (kéo thả) tệp tin robots.txt từ máy tính lịch sự cho tới VPS là được. quý khách hàng cũng hoàn toàn có thể làm cho vậy bằng phương pháp click chuột nên vào file và chọn upload:

*

Vậy là dứt, hay chỉ mất 1 giây nhằm upload hoàn toàn vì chưng file này vô cùng vơi. Phương pháp có thể giúp bạn upload robots.txt wordpress cơ mà ko bắt buộc trải qua plugin.

Kiểm tra coi tệp tin WordPress robots.txt gồm vận động ko và gửi nó lên Google Search Console

lúc tệp tin chuẩn chỉnh WordPress robots.txt đã được chế tạo với upload thành công, bạn có thể sử dụng Google Search Console để kiểm test nó xem gồm lỗi ko. The Search Console là bộ tools mà Google hỗ trợ để soát sổ câu chữ site của chúng ta hiển thị thế nào với trình tra cứu kiếm. Một trong số các tools này là nhằm chất vấn robots.txt. Để áp dụng, chúng ta đăng nhtràn lên console, với gửi tới tab robots.txt Tester:

*

Bên trong, các bạn sẽ thấy trường editor mà lại chúng ta cũng có thể nhập code của file robots.txt vào, cliông chồng vào nút Submit. Google Search Console đang hỏi chúng ta vẫn muốn cần sử dụng code mới ko, hoặc kéo file bắt đầu về trường đoản cú site của chúng ta. Nhấn vào nút Ask Google khổng lồ Update để gửi lên Google:

*

Giờ, Google vẫn soát sổ file gồm lỗi không. Nếu có, nó vẫn cho mình biết. Tuy nhiên, tiếng vững chắc các bạn đã biết cách chế tác file robots.txt chuẩn chỉnh mang lại WordPress, năng lực mập là tệp tin của bạn sẽ hoàn hảo!

Lời kết

Để tăng khả năng tiếp cận của site lên trình kiếm tìm tìm, bạn cần chắc hẳn rằng bot của tìm kiếm engine không bị ngăn, và hoàn toàn có thể crawl (quét) đúng đa số khu vực nó nên, đúng những thông báo đặc biệt. Như chúng ta thấy, một file robots.txt chuẩn chỉnh để giúp đỡ bots can dự tốt cùng với site của người sử dụng cố gắng làm sao. Từ đó, báo cáo của bạn sẽ được hiển thị đúng đắn rộng, bổ ích hơn cho người search kiếm.

Nếu các bạn tất cả ngẫu nhiên câu hỏi nào về Việc sản xuất tệp tin robots.txt mang đến WordPress, hãy giữ lại phản hồi bên dưới nhé!