فایل robots.txt را بهتر بشناسید

سئو فایل robots.txt

فایل robots.txt یا REP یک فایل متنی برای مدیران وب سایت ها می باشد که با استفاده از آن میتوانند نحوه خزیدن موتورهای جستجو را کنترل کنند از این رو  فایل ربات یکی از ابزار های مهم برای سئو سایت نیز می باشد در این آموزش قصد داریم در باره این فایل توضیح دهیم 

 

فایل robots.txt  روکه ساختین باید با آدرس   www.yourwebsite.com/robots.txt قابل دسترسی باشه در غیر این صورت فایل ممکن خطا داشته باشه

 

توجه داشته باشین User-agent: به یک موتور جستجوگر اشاره میکنه و * : User-agent به تمامی ربات ها مثلا User-agent: Googlebot تنها به رابت گوگل اشاره میکنه Allow به معنی اجازه دادن عمل خاص به خزنده هاست و Disallow به معنی اجازه ندادن می باشد .

در کد زیر اجازه خزیدن تمامی محتوای وب سایت رو از موتورهای جستجوگر سلب میکنم:

در صورتی که کد ها به درستی نمایش داده نمی شود آنها را در داخل یک فایل text قرار دهید


User-agent: * 
Disallow: /

 

با استفاده از کد زیر هم میتونم بگم Googlebot  یا خزنده موتور جستجوگر گوگل یک پوشه خاص مثلا no-google رو مورد خزیدن قرار نده 


User-agent: Googlebot 
Disallow: /no-google/

 

در بعضی از مواقع هم نیازه جلوی خزنده ها رو برای خزیدن یک صفحه بگیرم  در زیر این کارو انجام میده


User-agent: Googlebot 
Disallow: /no-google/blocked-page.html


البته توجه داشته باشین اشتباه در این کد ممکن خزیدن وب سایت شما رو برای موتورهای جستجوگر غیر ممکن کنه 

خزیدن به یک پوشه رو نیز میتوانید برای موتورهای جستجوگر با استفاده از کد زیر غیر ممکن کنید

 

User-agent: *
Disallow: /folder/

 

برای کمک به سئو و خزیدن بهتر وب سایت نیز می توانید نقشه سایتتونو در داخل فایل ربات تعریف کنید :

 

User-agent: *

Sitemap: http://www.yoursite.com/sitemap.xml

 

 

مطالعه بیشتر

طراحی سایت خبری

طراحی سایت خبری با قیمت مناسب همراه با سئو حرفه ای توسط تیم سئو ناب برای اطلاعات بیشتر در مورد سئو وب سایت خبری

رفع خطای 404

رفع خطای 404 ، حذف ارور 404 . در این پست آموزشی برای راه حل هایی در حورد رفع خطای 404 بیان شده است برای اطلاعات

انتخاب کلمه کلیدی

انتخاب کلمات کلیدی در سئو سایت و همچنین در سئو سایت بسیار مهم می باشند چرا که در صورتی که به درستی انتخاب شوند

سئو سایت