در این مطلب می خواهیم در مورد بهینه‌سازی robots.txt وردپرس برای موتورهای جستجو مطالبی را به شما دوستان بیان کنیم. همه افرادی که صاحب وبسایت هستند به SEO اهمیت می دهند. همه ما میدانیم که در نظر گرفتن فاکتورهای اساسی در سئو برای سایتمان مفید می باشد و به ارتقای وبسایتمان کمک زیادی می کند. در وردپرس هم موضوع به همین صورت می باشد و ما برای اینکه بتوانیم سئوی وردپرس را بهبود بخشیم، از گزینه‌هایی اساسی در این راستا استفاده می کنیم. یکی از فاکتورهای اساسی بهینه‌سازی robots.txt در وردپرس می باشد. فایل robots.txt یک ابزار قدرتمند برای شما محسوب می شود . در صورتی که شما به سئوی وبسایتتان اهمیت می‌دهید، حتما باید آن را در نظر بگیرید و البته تعدادی از اشتباهات رایج در این حوزه را دور بریزید. در ادامه با ما همراه باشید.

بهینه‌سازی robots.txt در وردپرس

با گذشت زمان گوگل عملکرد خود را تغییر داد و این باعث شد مواردی که چند سال پیش در موردش می‌دانستید دیگر کار نمی‌کند. پس جهت اینکه بتوانید بروز باشید باید اطلاعات جدید بهینه‌سازی robots.txt در وردپرس را داشته باشید. و ما به همین دلیل این موضوع را انتخاب کردیم.

بررسی کامل وبسایت توسط گوگل

تفاوت گوگل با سال‌های اولیه برای همه آشکار می باشد و با پیشرفت‌هایی که داشته در حال حاضر می‌تواند همه بخش‌های یک وبسایت را تحت نظارت خود گرفته و بررسی نماید.
از جمله مواردی که باید در بهینه‌سازی robots.txt در وردپرس در نظر داشته باشید، این است که هرگز فایل‌های CSS و جاوا اسکریپت را مسدود نکنید. در گذشته، مسدود کردن دسترسی به wp-includes و پوشه افزونه‌ها به کمک فایل robots.txt در وردپرس کار رایجی بود که در حال حاضر قابل قبول نیست.

اغلب بهترین قالب‌های وردپرس، درخواست‌های ناسازگاری با جاوا اسکریپت ارسال می‌کنند که به آن‌ها ایجکس گفته می‌شود و به محتوا یا هر امکان دیگری در صفحات وب افزوده می‌شوند. ولی این مشکلات در وردپرس ۴٫۴ برطرف شد و هسته وردپرس هم بروزرسانی شده است.

robots.txt برخی لینک‌ها را نادیده می‌گیرد

نکته ای که در این جا وجود دارد این است که در صورتی که robots.txt  را برای مسدود کردن آدرس یا urlها بکار می برید، مانع از بررسی موتورهای جستجو در وبسایتتان خواهید شد. این بدان معناست که مانع از توزیع لینک‌های با ارزش در urlها خواهید شد.
در صورتی که در قسمتی از وبسایت لینک‌های زیادی وجود دارد و نمی‌خواهید در موتور جستجو نمایش داده شود، آن را به وسیله robots.txt بلاک نکنید بلکه به جای آن از no-index و nofollow استفاده کنید. این‌گونه به موتورهای جستجو این امکان را می‌دهید تا به طور مناسب لینک‌ها را در وبسایت توزیع نمایند.

نمونه‌‌ای از عملکرد robots.txt

پس می خواهیم نتیجه بگیریم با توجه به مطالب بالا با robots.txt چه باید کرد و چگونه بهینه‌سازی robots.txt در وردپرس را انجام دهیم؟ می توان گفت قرار نیست چیزی را بلاک یا مسدود کنیم. این بدان معناست که نباید مسیر wp-content/plugins را مسدود کنیم، همچنین نیازی به مسدودسازی wp-include نداریم. زیرا کدهای جاوا اسکریپت در صورت لزوم باید بتوانند وارد سایت شوند، چون بعضی قالب‌ها آن ها را بکار می برند.

جهت بهینه‌سازی robots.txt در وردپرس نیازی به بلاک کردن wp-admin نمی باشد. و دلیل آن این است که گر شما آن را مسدود نمایید ولی شخصی به صورت شانسی آن را پیدا کند، خیلی راحت با کد[inurl:wp-admin]می‌تواند سایت شما را پیدا کرده و به آن نفوذ کند. و برای حل این مشکل می توان از روش های مثل استفاده از افزونه‌های امنیتی استفاده کرد.

با robots.txt چه باید کرد؟

بعد از وارد شدن به کنسول گوگل، در زیر گزینه Crawl گزینه Fetch and google  را مشاهده خواهید کرد، از گزینه Fetch and render options استفاده کنید.

در صورتی که با وارد کردن وبسایتتان در این بخش و کلیک روی گزینه مورد نظر خطاهایی برای شما ایجاد شد و سایت را دقیقا همانند آنچه در مرورگر باز می‌گردید، مشاهده نکردید باید در صدد رفع آن خطاها باشید و برای بهینه‌سازی robots.txt در وردپرس، آن خطاها را در این فایل یافته و حذف کنید.

امیدوارم این مطلب برایتان مفید بوده باشد. منتظر پیشنهادات و انتقاداتتون هستیم 🙂