ورود / ثبت نام

وارد حساب کاربری خود شوید

نام کاربری
رمز عبور



سئو و بهینه سازی

Robots.txt در جوملا

Robots.txt در جوملا

فایل Robots.txt در جوملا معجزه میکند قطعاً این شروع بهترین انتخاب برای معرفی این فایل ارزشمند است، تمام افرادی که با جوملا یا هر سیستم محتوای دیگر کار میکنند این دغدغه رو پیش رو دارند که چگونه میشود سایت جوملایی بهینه داشته باشند و نتایج مطلوبی در نتایج جستجو گوگل کسب کنند.

از این رو سایت جومیار تصمیم به گردآوری و انتشار مقاله ای کاربردی در مورد فایل ارزشمند Robots.txt و نحوه تنظیمات کدها و استفاده بهینه از فایل Robots در دریافت نتایج مطلوب از موتورهای جستجو کرده است.

فایل Robots.txt در پوشه اصلی بسته نصبی جوملا به صورت پیش فرض وجود دارد فقط کافی است شما نحوه کار کردن با این فایل ارشمند را فرا بگیرید تا بتوانید نتایج مطلوبی برای سایت جوملایی خود به ارمغان آورید.

متا تگ robots و فایل robots.txt دو فایل با مکانیزم متفاوت و مستقل برای معرفی اطلاعات به ربات های موتورهای جستجو هستند.در این مقاله سعی شده به معرفی و نحوه عملکرد این دو فایل ارزشند بپردازیم Robots ها به طور خاص به شما اجازه می دهند مشخص کنید کدام قسمت وب سایت شما باید توسط موتورهای جستجو بررسی شود و کدامیک از قسمت ها نباید توسط موتورهای جستجو ایندکس شود. هر دو آنها بسیار قدرتمند هستند، اما همچنین باید با دقت مورد استفاده قرار بگیرند، زیرا اشتباهات کوچک می توانند عواقب جدی برای سایت شما در پی داشته باشد!

Robots.txt به شما کمک میکنند بعضی از پوشهای مهم سایت خود را از دید موتورهای جستجو مخفی کنید مانند پوشه plugins و یا پوشه Administrator که به طور پیش فرض در جوملا وجود دارند،اما متا تگ robots معمولا به طور خاص در مورد برخی لینک ها مورد استفاده قرار میگیرد مثلا برای مسدود کردن برخی صفحات خاص. به عنوان مثال، شما مایل نیستید برخی از صفحهات شما توسط گوگل ایندکس شود  و در نتایج جستجو گوگل نشان داه نشود در این موارد شما باید از metatag robots برای جلوگیری از ایندکس نشدن استفاده کنید. بنابراین، به طور خلاصه: robots.txt به گوگل می گوید: به اینجا بروید، در حالی که Metatag روبات به گوگل می گوید: این صفحه را توسط روبات های خود  ایندکس نکن. این 2 قابلیت واقعا متفاوت است!

سعی میکنیم در این مقاله نحوه کارکرد با هر دو را به طور کامل بیان کنیم

Robots.txt

پیکربندی فایل robots.txt خارج از بخش مدیر جوملا انجام می شود و شما برای دسترسی داشتن به فایل robots.txt باید وارد هاست خود شوید و در پوشه روت هاست فایل را ویرایش کنید، فایل robots.txt یک فایل متنی است که اساسا حاوی اطلاعاتی است که به صورت پیش فرض در ان یک سری کد وجود دارد که به موتورهای جستجو اعلام میکند که بخشی از سایت باید در دسترس عموم قرار گیرد.مانند پوشه مدیریت سایت و پوشه پلاگین ها، این دستورات به ویژه برای ربات های موتور جستجو ارشمند است که وب سایت را ردیابی می کند و شما میتوانید تعیین کنند که کدام صفحه باید بخشی از بازید روبات ها باشد و کدام بخش خیر. به طور پیش فرض، موتورها مجاز به بازدید از همه صفحات هستند، بنابراین اگر قرار است بخشهایی از سایت از دید موتورهای جستجو پنهان بماند شما باید این بخش ها را به طور خاص شخص کنید.

توجه داشته باشید که URL های که توسط فایل robots.txt مسدود شده اند به معنی این نسیت که توسط گوگل ثبت نمی شود. این کار در کل بررسی کردن صفحه را توسط موتورهای جستجو متوقف میکند. بنابراین اگر واقعاً می خواهید کاملا مطمئن شوید که آدرس در توسط خزنده های گوگل بررسی نمیشود باید از متا تگ robots استفاده کنید، که در ادامه مقاله به نحوه عملکرد این تگ اشاره میکنیم.

فایل robots.txt: در جوملا یک فایل robots.txt استانداردموجود است که برای اکثر سایت ها جوملای به یک شکل کار میکند، به جز سایت های قدیمی تر جوملا که نسخه های 2.5 به پایین جوملا را پشتیبانی میکنند که پوشه / images نیز مسدود شده است. این دستور مانع از نمایش تصاویر در نتایج جستجوگوگل ایمیج میشود،که البته شما نباید محدودیت برای بررسی تصاویر توسط جستجوگر گوگل ایجاد کنید،

 

آموزش robots.txt

 به وسیله # میتوانید هر خط را کامنت و غیر فعال کنید

Allow به معنی دسترسی دادن به پوشه است

Disallow به معنی دسترسی دادن به پوشه است

 

 توجه: در جوملا 3.3 این مسئله که پوشه تصاویر و مدیا از دیدجستجو گر مخفی شود حل شده است و این خطوط دیگر مسدود نیستند. اما اگر سایت شما هنوز با نسخه قدیمی تر جوملا اجرا میشود در نسخه قدیمی robots.txt هنوز هم این مشکل وجود دارد!

 همانطور که در کد بالا می بینید، مسدود سازی عمدتا برای جلوگیری از بررسی پوشه های سیستمی استفاده شوده است. در کنار این کار شما همچنین می توانید برای برسی نشدن بعضی صفحات ازDisallow استفاده کنید،اما این کار برای صفحات خاص با استفاده از متا تگ robots بهتر انجام می شود و شما همچنین می توانید از ابزار Google Webmaster  با استفاده از بخش Blocked URL's برای مسدود سازی لینک ها استفاده کنید 

 

 تنظیمات پیشرفته Robots.txt

کاربران حرفه ای تر جوملا می توانند از فایل robots.txt برای جلوگیری از فهرست بندی با استفاده از الگوی تطبیق استفاده کنند. برای مثال می توانید هر صفحه ای حاوی '؟' را مسدود کنید. برای جلوگیری از محتوای تکراری از URL های غیر SEF:

 

robots.txt آموزش

 

دسترسی به فایلهای CSS  و Javascript در فایل Robots.txt

 در گفتگوی که در سال 2017 با Matt Cutts یکی از مدیران گوگل انجام شد او اعلام کرد فایلهای سی اس اس و جاوا اسکریپت بسیار ارزشمند هستند

فایلهای CSS، جاوا اسکریپت و سایر فایل های منبع یک سایت را مسدود نکنید. این امر مانع از دسترسی و درک بهتر ربات Google به سایت ارائه و درک بهتر آن میشود و این امر کمک بسیاری برای  بهینه شده سایت ها برای تلفن همراه میشود.

به همین دلیل پوشه / templates و / media  پوشه فایلهای سی اس اس و جاوا اسکریپت دیگر از سال 2014 در جوملا محدود نشده اند. و حتماً مطمئن شوید که تمام فایلهای منبع شما مسدود نیستند. مثلا اگر از افزونه مانند JCH-Optimize استفاده می کنید که چندین فایل CSS و Javascript را به فایل های تکی تبدیل می کند، ممکن است لازم باشد یک دسترسی برای آن را مشخص کنید، مانند زیر:

 

فایل Robots.txt

 

 معرفی و بررسی فایل robots.txt توسط ابزار گوگل وب مستر

 گوگل نسبت به فایل robots.txt از سال 2014 به بعد سختگیری بیشتری دارد و در مورد منابع مسدود شده (CSS و JS) بیشتر حساس است، گوگل وب مستر همچنین در بخش مدیریت وب سایت چندین ابزار ارائه داده است تا به شما در حل مشکلات فایل robots.txt کمک کند. اول از همه در بخش Crawl options وب مستر بخشی برای تست robots.txt وجود داردکه شما به وسیله آن می توانید فایل خود را به گوگل معرفی و تست کنید:

 

 معرفی و بررسی فایل robots.txt به گوگل توسط ابزار گوگل وب مستر

 

در این فایل که مورد بررسی قرار گرفته ، هیچ خطایی و هشدار وجود ندارد، اما اگر وجود داشته باشد، به شما اطلاع داده خواهد شد. به خاطر داشته باشید که این فقط یک بررسی اولیه در مورد اعتبار خطوط تایپ شده در فایل robots.txt شماست، در صورتی که منابع مسدود شده توسط شما برای نمایش سایت بسیار مهم باشد، بررسی توسط گوگل انجام نمیشود و به شما این اخطار را میدهد که منابع مهمی توسط فایل  robots.txt مسدود شده است و شما ملزم به پاک کردن دستور محدود سازی فایل میکند.

ابزار Fetch as Google جزو ابزار های مفید وب مستر است. من واقعا به شما توصیه می کنم سایت خود را با این ابزار چک کنید، ممکن است نتایج شگفت آور پیدا کنید! این ابزار تلاش می کند سایت شما را از طریق چشم انداز ربات های گوگل، خزنده سایت شما را بررسی کند. اکنون اجازه دهید ببینیم که چگونه سایت ما از طریق این ابزار نمایش داده می شود.

 ابزار Fetch as Google

 

 ممکن است با چک باکسی با تیک سبز باشد، اما اگر نتیجه  (جزئی) partial باشد، هنوز سایت به طور کامل بررسی نشده است! روی کادر تأیید کلیک کنید و یک صفحه جدید برای شما باز خواهد شد. بعد از Fetch موفق سایت شما به صورت زیر نمایش داده میشود

 

این نمایش می تواند صفحه نمایش سایت شما باشد این میتواند بررسی گوگل در مورد یک صفحه سایت شما باشد که منابع سی اس اس آن مسدود شده است و به شما اعلام میکند کدام منابع سایت مسدود شده اند و این کار را برای شما آسان میکند، دسترسی به منابع سی اس اس و جاوا اسکریپ و حتی قالب را محدود نکنید زیرا این امر می تواند بر روی رتبه بندی جستجو سایت شما تاثیر بگذارد، زیرا گوگل قادر به درستی منابع سایت شما نیست. وحتی نمیتواند حدس بزند سایت شما واکنشگرا است و با گوشی های هوشمند سازگار است یا خیر

 

دسترسی به فایلهای سی اس اس و جاوا اسکریپت در جوملا

 

 مشخص کردن مسیر و معرفی sitemap سایت در فایل robots.txt

 

robots.txt می تواند برای مشخص کردن فایل های  نقشه سایت xml-sitemap شما، مخصوصا اگر نقشه سایت شما در ریشه وب سایت شما قرار نداشته باشد کمک کند، که اغلب مواقع در مورد آن دسته از سایت های جوملای است که توسط افزونه های جوملا مانند PWT Sitemap، OSmap، Jsitemap، و غیره ایجاد شده اند. آنچه شما باید انجام دهید این است که محل نقشه سایت را در پیکربندی کامپوننت خود جستجو کنید و سپس به انتهای فایل robots.txt آن را اضافه کنید، مانند مثال:

 

  مشخص کردن مسیر و معرفی sitemap سایت در فایل robots.txt

 به روز رسانی جوملا و تغییر فایل robots.txt

 هر وقت شما وب سایت جوملایی خود را به روزرسانی فایل robots.txt نیز همراه آن به روز میشود،این بخاط این است که شما دیگر پوشه های خاصی را مسدود نکنید. اگر شما مسیر های خاصی را محدود کرده اید و یا دسترسی به بعضی قسمت ها را انجام داده اید بعد از به روز رسانی جوملا اطلاعات در یک فایل با نام robots.txt.dist ذخیره میشود. می توانید فایل robots.txt موجود خود را حذف کنید و robots.txt.dist را به robots.txt تغییر نام دهید.
اگر شما فایل robots.txt را سفارشی کرده اید به سادگی میتوانید بررسی کنید که فایل قدیمی چه تغییری کرده است و این تغییرات در فایل جدید را در فایل سفارشی قدیمی خود کپی کنید.

 

Robots متا تگ

  متا تگ robots یک روش بهتر برای جلوگیری از دسترسی به محتوا است، اما شما فقط می توانید آن را برای URL های سایت، نه برای پوشه های سیستم استفاده کنید. این یک روش بسیار موثر برای دور نگه داشتن صفحات از فهرست گوگل است. در جوملا، شما می توانید برچسب متا تگ را در مکان های مختلف سایت مشخص کنید مثلا در منو های سایت، اساسا به موازات سایر تنظیمات SEO مانند توضیحات متا و کلمات کلیدی میتوانید از فهرست ربات های سایت جوملای استفاده کنید در زیر به ورت پیشفرض در جوملا 4 فیلد گنجانده شده است که به ترتیب ایندکس کردن و دنبال کردن صفحه، ایندکس نکردن در گوگل و دنبال کردن صفحه،ایندکس کردن و دنبال نکردنو جلوگیری از ایندکس کردن و دنبال نکردن صفحه مد نظر میباشد که شما بر اساس نیاز و سناریو سایت میتوانید صفحات خود را مدیریت کنید

Robots متا تگ در جوملا

هنگامی که از متا تگ استفاده می کنید، به طور موثر کد زیر را در HTML خود ایجاد می کنید، بنابراین شما به راحتی می توانید چک کنید که آیا پیکربندی شما به درستی انجام شده است یا خیر:

 

 Robots متا تگ تنظیمات

 

هشدار: اگر از Noindex و Nofollow برای مخفی کردن صفحات خود استفاده میکنید، مطمئن شوید که این تغییر یکبار برای همیشه قرار است در سایت اعمال شود در غیر این صورت نمرات SEO سایت شما بسیار بد خواهد شد

برای کسب اطلاعات بیشتر میتوانید به سایت MOz.com مراجعه کنید

نویسنده: جومیار

آکادمی آموزشی جومیار با هدف بالا بردن سطح دانش فنی طرفداران جوملا و انتشار ویدیو های آموزشی جوملا باعث افزایش محبوبیت این مدیریت محتوای محبوب در ایران شود، امید است با یاری شما در ادامه مسیر این خواستگاه روز به روز پررنگ تر و جوملا به جایگاه واقعی خود برسد

وبگاه: https://www.joomyar.ir/
قسمت نظرات سایت صرفا جهت دریافت نظرات شما عزیزان در راستای بهبود عملکرد محصول در نظر گرفته شده است
برای ارسال نظر ابتدا باید وارد شوید
برای این مطلب هنوز نظری ارسال نشده است