۴ دی ۹۷
اول از همه سوالی که شاید برای شما پیش میاد اینه که فایل robots.txt چیه و چه کاربردی داره؟
نقش اصلی فایل Robots.txt در محدود کردن دسترسی ربات های موتور جستجوی گوگل به محتوای سایت شما است. تمامی این ربات ها به صورت خودکار عمل می‌کنند به طوری که قبل از ورود به هر سایت یا صفحه‌ای از وجود فایل Robots.txt بر روی آن و محدود نبودن دسترسی محتویات اطمینان حاصل می‌کنند.
هنگامی که شما قصد دارید ربات های گوگل را محدود کنید از فایل Robots.txt استفاده می‌کنید ولی اگر تمام صفحات سایت قابلیت ایندکس توسط گوگل را داشته باشند نیازی به این فایل نخواهید داشت .
خب سوال بعدی : چطوری فایل Robots.txt را ایجا کنیم ؟
ابتدا باید به هاستتان دسترسی داشته باشین. وارد فایل منیجر هاست بشین و یک فایل به نام robots.txt ایجاد کنین .
User-agent: * Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /recommended/
Disallow: /comments/feed/
Disallow: /trackback/
Disallow: /xmlrpc.php
Disallow: /wp-content/plugins/
User-agent: NinjaBot
Allow: / User-agent: Mediapartners-Google*
Allow: / User-agent: Googlebot-Image
Allow: /wp-content/uploads/ User-agent: Adsbot-Google
Allow: / User-agent: Googlebot-Mobile
Allow: /*
Sitemap: https://mostafa-khabbazian.ir/sitemap.xml
کدهای بالا را در فایلی که ساختین کپی پیست کنید و تمااام 😎 😆
دیدگاهت رو با من در میان بگذار !