سئو و تنظیمات فایل robots.txt
بهینه کردن فایل Robots.txt برای افزایش سئو
آموزش بهنیه سازی فایل robots.txt و تاثیر آن بر سئو وردپرس
فایل robots.txt راهی است برای اتصال موتورهای جستجو به سایت .
شما با تنظیمات و بهینه سازی درست این فایل مجوز ورود و سطح دسترسی موتورهای جستجو برای ایندکس کردن صفحات مدنظر از سایتتان را اعلام میکنید.
و اساسا به موتور های جستجو می فهماند که چه مطالبی از وبسایت را ایندکس کنند.
البته این را هم در نظر داشته باشید که حتی اگر این فایل را نداشته باشید دلیل نمیشود که موتورهای جستجو وب سایت تان را بررسی و صفخات آن را ایندکس نکنن.
اما این فایل همچون راهنمایی برای ثبت مطالب از سوی موتورهای جستجو عمل میکند .
فایل robots.txt را در روت هاست یا همان ریشه قرار میدهمد.
نحوه استفاده از فایل robots.txt
ساخت این فایل کاملا ساده است. یک فایل متنی با فرمت txt با Notpad یا هر نرم افزار مشابهی میسازیم
در سطر اول با نامبردن User agent های مدنظرتان همچون Googlebot , Bingbot و … اجازه ورود و بررسی سایت خود را به موتورهای جستجوی که نوشته اید، میدهید. شما میتوانید جای نام بردن تک تک موتورهای جستجو با وارد کردن مقدار* به تمام این user agent ها به یکباره اجازه ورود و بررسی دهید.
مشخص کردن قسمت های مجاز و غیر مجاز برای بررسی و ایندکس را با استفاده از Allow و Disallow امکان پذیر است
کد فایل robots.txt برای مثال:
User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /readme.html
سئو و بهینه سازی فایل robots.txt
حال روش بهینه سازی فایل robots.txt رو میگم.
عاقلانه ترین و راحت ترین راه برای ممانعت از ایندکس شدن دسته بندی ها یا صفحات آرشیو و… نصب افزونه ای به نام WordPress SEO by Yoast است.
با استفاده از فایل robots.txt و با افزونه هایی چون WordPress SEO by Yoast بخش هایی همچون پوشه های مثل افزونه ها، تم ها، فایل readme.html یا ….. سایت و قسمت هایی که نباید در موتور های جستجو ایندکس شودند را مدیریت میکنیم.
گذاشتن نقشه سایت یا سایت مپ در فایل robots.txt
اول آموزش سئو وردپرس Yoast’s WordPress SEO رو اینجا یاد بگیرید ! این افزونه به صورت پیشفرض آدرس فایل نقشه سایت را در فایل robots.txt قرار می دهند.
و اگر این فایل را بصورت دستی ساخته اید یا به هر دلیل ساخت آن با این روند پیش نرفت، دستی و مانند مثال زیر عمل میکنیم. البته این یک ابزار قدرتمند است که کار سئو وردپرس را هم انجام می دهد.
Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/page-sitemap.xml
افزونه مخصوص سایت مپ (معرفی نقشه) به گوگل
ما اینجا افزونه ساخت سایت مپ را نیز معرفی کردیم که کسانی که تمایل به افزونه ای مخصوص این کار دارند و حاضر نیستند از یاست سئو استفاده کنند که میتوانید توضیحات و آموزش های لازم را اینجا مطالعه کنید.
استاندارد فایل robots.txt
در حقیقت سایت های پربازدید فایل robots.txt پیچیده ای ندارند.به این مثال توجه کنید:
در اینجا به ربات تمامی موتورهای جستجو اجازه داده شده تا بتوانند تمامی محتوای صفحه اول و لینک های نقشه سایت را بررسی و ایندکس نمایند
User-agent: * Disallow: Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/page-sitemap.xml
راستش خیلی از وب سایت های محبوب فایل robots.txt ساده ای دارند. به این کد پایین دقت کنید : کد بالا میگه تمامی ربات ها به محتوای صفحه اول و لینک های نقشه سایت دسترسی داشته باشند
نمونه دیگری از فایل robots.txt :
User-Agent: * Allow: /?display=wide Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /readme.html Disallow: /refer/ Sitemap: http://www.sample.com/post-sitemap.xml Sitemap: http://www.sample.com/page-sitemap.xml Sitemap: http://www.sample.com/deals-sitemap.xml Sitemap: http://www.sample.com/hosting-sitemap.xml
راستی یکی دیگر از فایل های مهم در روت هاست، فایل htaccess هست که آموزش های این فایل را حتما دنبال ببینید!
