راهنمای کامل robots.txt در وردپرس

راهنمای کامل robots.txt در وردپرس

راهنمای کامل robots.txt در وردپرس

برای اطمینان از اینکه سایت شما به  خوبی در صفحات موتورهای جستجو (SERPs) رتبه بندی می شود، شما باید از موتورهای جستجوگر «رباتها» برای کشف مهمترین صفحات خود استفاده کنید.

داشتن یک فایل robots.txt  اصولی و ساختار یافته  می تواند به سرعت و کیفیت ایندکس شدن صفحات سایت شما کمک کند.

در این مقاله ما قصد داریم  موارد زیر را بررسی کنیم.

  1. چه  فایل robots.txt  و چرا مهم است ؟
  2. محل قرار گیری فایل robots.txt  در وردپرس کجاست ؟
  3. چگونه یک فایل robots.txt  ایجاد کنیم ؟
  4. کدام قوانین در فایل وردپرس  robots.txt شما  وجود دارد.
  5. نحوه تست  فایل robots.txt  و ارسال آن به کنسول جستجوی گوگل .

در پایان شما باید تمام مواردی که برای پیکربندی فایل  robots.txt  در سایت وردپرسی خود نیاز دارید مسلط باشید و بدانید.

چه فایل وردپرس  robots.txt  و چرا ؟

راهنمای کامل robots.txt در وردپرس

راهنمای کامل robots.txt در وردپرس

به طور پیش فرض فایل robots.txt وردپرس  خیلی ساده است، و شما به راحتی می توانید آن را جایگزین کنید.####@@

هنگامی که شما یک وب سایت جدید ایجاد می کنید، موتورهای جستجوگر میهمانان (یا ربات ها) خود را برای ردیابی از طریق آن ارسال می کنند و نقشه ای از تمام صفحاتی که در آن وجود دارد را ایجاد می کند. به این ترتیب، آنها می دانند کدام صفحات به عنوان نتایج نمایش داده می شوند وقتی کسی برای کلمات کلیدی مرتبط جستجو می کند. در سطح پایه، این به اندازه کافی ساده است.

مشکل این است که وب سایت های مدرن شامل عناصر بسیار بیشتری نسبت به صفحات است. برای مثال WordPress شما را قادر می سازد پلاگین ها را نصب کنید که اغلب با دایرکتوری های خاص خود می آیند. شما نمیخواهید این نتایج را در موتور جستجوی خود نشان دهید، با این حال، از آنجا که آنها محتوای مرتبط نیستند.

چه  فایل robots.txt  انجام می دهد مجموعه ای از دستورالعمل ها برای موتورهای جستجو موتور است. این به آنها می گوید: “هی، شما می توانید به اینجا نگاه کنید، اما به آن اتاق ها بیرون نروید!” این فایل می تواند به همان اندازه دقیق باشد که شما می خواهید، و آسان ساختن آن، حتی اگر شما یک جادوگر فنی .

در عمل، موتورهای جستجو همچنان وب سایت شما را خالی می کنند حتی اگر فایل robots.txt  را راه اندازی نکنید  . با این حال، ایجاد یک ناکارآمد نیست. بدون این فایل، شما آن را به ربات ها می اندازید تا تمام مطالب خود را فهرست کنید و آنها خیلی کامل هستند که ممکن است بخش هایی از وب سایت شما را نشان دهند که دیگر نمی خواهید دیگران به آن دسترسی داشته باشند.

مهمتر از همه، بدون یک  فایل robots.txt  ، شما باید تعداد زیادی از رباتها را در سراسر وب سایت خود خزنده کنید. این می تواند عملکرد آن را منفی کند. حتی اگر ضربه ناچیز باشد، سرعت صفحه چیزی است که همیشه باید در بالای لیست اولویت های شما باشد.پس از همه، چیزهایی هستند که مردم از وب سایت های آهسته متنفرم (و این شامل ماست!).

فایل WordPress robots.txt در آن قرار دارد

وقتی یک وبسایت وردپرس ایجاد میکنید، به طور خودکار یک فایل robots.txt  مجازی  در پوشه اصلی سرور شما ایجاد میکند.به عنوان مثال، اگر سایت شما در  yourfakewebsite.com شما قرار داشته باشد، باید بتوانید از آدرس  yourfakewebsite.com/robots.txt خود  دیدن کنید و یک فایل مثل این را ببینید:

  1. عامل کاربر: *
  2. نادیده گرفتن: / wp-admin /
  3. disallow: / wp-includes /

این یک نمونه از یک فایل robots.txt  بسیار اساسی است  . برای قرار دادن آن به لحاظ بشری، قسمت درست بعد از  User-agent:  اعلام می کند که کدام ربات ها قوانین زیر اعمال می شوند. ستاره به این معناست که قوانین جهانی هستند و برای همه ربات ها اعمال می شود. در این مورد، فایل به آن دسته از ربات ها می گوید که آنها نمی توانند به  wp-admin  و  wp- directories وارد شوند. این باعث می شود مقدار مشخصی از این دو پوشه حاوی بسیاری از فایل های حساس است.

با این حال، ممکن است بخواهید قوانین بیشتری در فایل خود اضافه کنید. قبل از این که بتوانید این کار را انجام دهید باید بدانید که این یک فایل مجازی است. معمولا وظیفه robots.txt  وردپرس  در داخل دایرکتوری ریشه  شماست  که معمولا public_html یا  www نامیده می شود  (یا بعد از وب سایت شما نامیده می شود):

پوشه ریشه وردپرس شما

با این حال،  فایل robots.txt  وردپرس برای شما به طور پیش فرض در هیچکدام قابل دسترسی نیست، از هر دایرکتوری. این کار می کند، اما اگر می خواهید تغییر دهید، باید  فایل خودتان را ایجاد کنید و آن را به عنوان جایگزینی به پوشه ریشه  خود آپلود کنید  .

ما چندین روش برای ایجاد یک robots.txt  جدید  برای وردپرس را در یک دقیقه پوشش خواهیم داد. در حال حاضر، با این حال، بیایید درباره نحوه تعریف قوانینی که باید در اختیار شما قرار بگیریم صحبت کنیم.

قوانین مربوط به فایل robots.txt  وردپرس شما چیست؟

در بخش آخر، نمونه ای از فایل robots.txt  ایجاد شده توسط وردپرس را مشاهده کردید  . این فقط شامل دو قانون کوتاه بود، اما بیشتر وبسایتها بیشتر از آن تنظیم شده بود. بیایید به دو فایل robots.txt  مختلف نگاهی بیندازیم  و در مورد آنچه که هر دو انجام می دهند متفاوت صحبت کنیم.

در اینجا اولین مثال ما از وردپرس robots.txt است .

  1. عامل کاربر: *
  2. اجازه دادن: /
  3. # زیر شاخه های ممنوعه
  4. غیرفعال کردن: / پرداخت /
  5. نادیده گرفتن: / تصاویر /
  6. غیرفعال کردن: / forum /

این یک فایل عمومی  robots.txt  برای یک وب سایت با یک انجمن است. موتورهای جستجو اغلب هر موضوع را در یک فروم فهرست می کنند. با این وجود، بسته به آنچه در فروم شما است، ممکن است بخواهید آن را غیرفعال کنید. به این ترتیب، گوگل صدها موضوعات را در مورد کاربرانی که بحث کوچک را فهرست می کنند، فهرست نمی کند. شما همچنین می توانید قوانین را مشخص کنید که برای جلوگیری از موارد خاص زیر انجمن ها را تعیین می کنند و اجازه دهید موتورهای جستجو بقیه آنها را خالی کنند.

شما همچنین یک خط را می بینید که اجازه می  دهد: /  در بالای فایل مشاهده شود. این خط به ربات ها می گوید که آنها می توانند از طریق تمام صفحات وب سایت شما خزیدن، به جز موارد استثنایی که در زیر تنظیم کرده اید. به همین ترتیب، متوجه خواهید شد که این قوانین را جهانی می کنیم (با ستاره)، درست مانند فایل robots.txt مجانی  وردپرس  .

اکنون اجازه دهید یک مثال دیگر از وردپرس robots.txt را بررسی کنیم:

  1. عامل کاربر: *
  2. نادیده گرفتن: / wp-admin /
  3. disallow: / wp-includes /
  4. کاربر-عامل: Bingbot
  5. نادیده گرفتن: /

در این پرونده، ما قوانین مشابه را تنظیم می کنیم که وردپرس به طور پیش فرض انجام می شود. با این حال، ما همچنین مجموعه ای از قوانین جدیدی را اضافه کردیم که بتای جستجوی بینگ را از طریق وب سایت ما خالی می کند. Bingbot، همانطور که ممکن است تصور کنید، نام آن ربات است.

شما می توانید کاملا مشخص کنید که کدام موتورهای جستجوگر دسترسی به وب سایت شما را دارند، و کدامیک از آنها نمی باشد. در عمل، البته، Bingbot بسیار خوش خیم است (حتی اگر آن را به عنوان سرد به عنوان Googlebot نیست). با این حال، می برخی رباتها مخرب خارج وجود دارد.

خبر بد این است که آنها همیشه دستورالعمل فایل robots.txt  خود را دنبال نمی کنند  (بعد از همه آنها شورشیان هستند). لازم به ذکر است که در حالی که اکثر رباتها دستورالعملهایی را که در این فایل ارائه می کنید دنبال می کنند، شما آنها را مجبور به انجام این کار نمی کنید. شما فقط به سادگی می پرسید

اگر شما در مورد موضوع خواندید، پیشنهادات زیادی برای آنچه که می توانید اجازه دهید و آنچه در وب سایت وردپرس خود دارید، پیدا کنید. با این حال، در تجربه ما، قوانین کمتری اغلب بهتر است. در اینجا یک مثال از آنچه ما پیشنهاد می کنیم، اولین  فایلrobots.txt شما  باید شبیه باشد:

  1. عامل کاربر: *
  2. اجازه دهید: / wp-content / uploads /
  3. نادیده گرفتن: / wp-content / plugins /

به طور سنتی، وردپرس دوست دارد برای دسترسی به wp-admin  و  wp-includes  directories را مسدود کند  . با این حال، این دیگر بهترین عمل نیست . علاوه بر این، اگر ابردادهای به تصاویر خود را برای اهداف بهینه سازی موتور جستجو (جستجوگرها) اضافه کنید، لازم نیست که رباتها را از خالی کردن این اطلاعات منع نکنید. در عوض، دو قانون فوق شامل مواردی است که بیشتر سایتهای اساسی نیاز به آن دارند.

با این وجود، آنچه که در فایل robots.txt  خود وارد  می کنید به سایت خاص و نیازهای شما بستگی دارد. بنابراین برای انجام تحقیقات بیشتر در مورد خودتان آزاد باشید!

نحوه ایجاد یک فایل وردپرس  robots.txt  (3 روش)

هنگامی که تصمیم گرفتید چه چیزی در فایل robots.txt شما وارد شود، همه چیزهایی که در آن قرار دارد، ایجاد یک است.میتوانید با استفاده از یک افزونه یا دستی، robots.txt را در WordPress ویرایش کنید. در این بخش به شما آموزش خواهیم داد که چگونه از دو پلاگین محبوب استفاده کنید تا کار را انجام دهید و در مورد چگونگی ایجاد و آپلود فایل به صورت خود بحث کنید. بیایید به آن برسیم

1. از SEO Yoast استفاده کنید

افزونه Yoast SEO.

SEO Yoast به مقدمه ای نیاز دارد. این محبوب ترین پلاگین SEO برای وردپرس است و شما را قادر می سازد پست ها و صفحات خود را بهینه سازی کنید تا از کلمات کلیدی شما بهتر استفاده کنید. گذشته از آن، هنگامی که به افزایش قابلیت خواندن محتوا کمک می کند، به شما کمک می کند، به این معنی است که مردم بیشتر از آن لذت خواهند برد.

به طور شخصی، ما به دلیل سهولت استفاده از طرفداران Yoast SEO هستیم. این به همان اندازه برای ایجاد یک  فایلrobots.txt مناسب  است. پس از نصب و فعال سازی پلاگین ، به  زبانه SEO> Tools  در داشبورد خود بروید و برای گزینه ای که می گوید  ویرایشگر فایل:

سردبیر فایل Yoast SEO.

با کلیک بر روی آن لینک شما را به یک صفحه جدید ارسال می کند، جایی که میتوانید فایل .htaccess  خود را بدون ترک داشبورد خود ویرایش کنید  . همچنین یک دکمه مفید است که  فایل Robots.txt را ایجاد می کند که دقیقا همان چیزی است که شما انتظار دارید:

ایجاد یک robots.txt برای وردپرس.

هنگامی که روی این دکمه کلیک میکنید، برگه یک ویرایشگر جدید را نشان می دهد که در آن شما می توانید فایل robots.txt  خود را مستقیما تغییر دهید  . به یاد داشته باشید که Yoast SEO قوانین پیش فرض خود را تنظیم می کند که فایل robots.txt  مجازی شما را لغو می کند  .

هر زمان که قوانین را اضافه یا حذف کنید، به یاد داشته باشید دکمه  Save changes به robots.txt را  کلیک کنید، به طوری که آنها همچنان ادامه دارند:

ویرایش robots.txt در وردپرس.

این به اندازه کافی آسان است! حالا ببینید که چگونه یک پلاگین محبوب دیگر هم همین کار را می کند.

2. از طریق همه در یک پلاگین SEO پک

پلاگین All In One SEO Pack.

همه در یک SEO Pack یکی دیگر از نام های بزرگ است که به وردپرس SEO می آید. این شامل بسیاری از ویژگی های Yoast SEO انجام می دهد، اما برخی از مردم آن را ترجیح می دهند، زیرا این پلاگین سبک تر است. تا آنجا که به  robots.txt  می رود، ایجاد فایل با این افزونه نیز به همان اندازه ساده است.

هنگامی که پلاگین را راه اندازی کرده اید ، به «  همه در یک جستجوگرها»> صفحه مدیریت ویژگی  در داشبورد خود بروید. در داخل، شما یک گزینه به نام Robots.txt را پیدا خواهید کرد  ، با یک دکمه فعال  آشکار در  زیر آن. برو جلو و روی آن کلیک کنید:

فعال کردن ویژگی robot.txt افزونه.

در حال حاضر، یک برگه جدید  Robots.txt  در زیر  منوی All in One SEO ظاهر  خواهد شد. اگر بر روی آن کلیک کنید، گزینه هایی برای افزودن قوانین جدید به فایل خود خواهید دید، تغییراتی را که ایجاد می کنید را ذخیره کنید یا آن را حذف کنید:

اضافه کردن قوانین جدید به فایل robots.txt شما.

توجه داشته باشید که شما نمیتوانید به طور مستقیم با استفاده از این پلاگین فایلهای robots.txt  خود را تغییر دهید  . برخلاف Yoast SEO، این فایل به طور خاکستری خالی است، که به شما اجازه می دهد تا هر چه میخواهید تایپ کنید:

robots.txt برای وردپرس ساخته شده است.

در هر صورت، اضافه کردن قوانین جدید ساده است، بنابراین اجازه ندهید که نزولی کوچک شما را از بین ببرد. مهمتر از همه، All-in-One SEO Pack همچنین شامل یک ویژگی است که می تواند به شما در رفع “بد” ها بپردازد، که می توانید از All in One Seo  tab دسترسی داشته باشید  :

با استفاده از ویژگی غلط املایی بد افزار افزونه.

این همه چیزی است که شما باید انجام دهید اگر شما از این روش استفاده می کنید. با این حال، بیایید درباره نحوه ایجاد یک  فایلrobots.txt  به صورت دستی صحبت کنیم، اگر نمی خواهید پلاگین اضافی را برای مراقبت از این کار اختصاص دهید.

3. فایل WordPress robots.txt خود را  از طریق FTP ایجاد و بارگذاری کنید

ایجاد  فایل TXT  ساده تر نیست. همه چیزهایی که باید انجام دهید این است که ویرایشگر متن مورد علاقه خود را (مانند دفترچه یادداشت یا TextEdit) باز کنید و چند خط را تایپ کنید. سپس شما می توانید فایل را با استفاده از هر نامی که می خواهید و  نوع فایلTXT را  ذخیره کنید. این به معنای واقعی کلمه چند ثانیه طول می کشد تا این کار را انجام دهد، بنابراین حس می شود که شما ممکن است بخواهید robots.txt را در WordPress بدون استفاده از افزونه ویرایش کنید.

در اینجا یک مثال سریع از یک فایل چنین است:

ایجاد یک فایل robots.txt به صورت دستی.

برای اهداف این آموزش، این فایل را مستقیما به رایانه ما ذخیره کردیم. هنگامی که فایل خود را ایجاد و ذخیره کنید، باید از طریق FTPبه وب سایت خود متصل شوید . اگر مطمئن نیستید که چگونه این کار را انجام دهید، ما یک راهنمای برای انجام این کار با استفاده از مشتری مبتنی بر FileZilla دوستانه داشته ایم .

پس از اتصال به سایت خود، به  پوشه public_html بروید  . سپس همه چیزهایی که باید انجام دهید این است که  فایلrobots.txt  را از رایانه خود به سرور خود آپلود کنید. شما می توانید با کلیک راست بر روی فایل با استفاده از ناوبر محلی FTP مشتری خود و یا به سادگی کشیدن و رها کردن آن را به محل کار:

آپلود فایل به پوشه ریشه

فقط چند ثانیه طول می کشد تا پرونده برای بارگیری. همانطور که می بینید، این روش تقریبا به همان اندازه ساده است که از یک پلاگین استفاده می کند.

نحوه تست فایل وردپرس robots.txt شما و ارسال آن به کنسول جستجوی گوگل

هنگامی که فایل WordPress robots.txt شما ایجاد و آپلود می شود، می توانید از Google Search Console برای آزمایش آن برای خطا استفاده کنید. کنسول جستجو مجموعه ای از ابزارهایی است که Google ارائه می دهد تا به شما کمک کند نظارت کنید که محتوای شما در نتایج جستجوی آن ظاهر می شود. یکی از این ابزار، یک  چک کننده robots.txt است  که شما می توانید با ورود به کنسول خود و مرور به  برگه تستر robots.txt  :

قابلیت تست کنسول جستجو.

در داخل، یک فیلد ویرایشگر پیدا کنید که در آن شما می توانید کد فایل robots.txt  وردپرس خود را اضافه کنید  و در پایین  دکمهارسال را  کلیک کنید. گوگل کنسول جستجو خواهد خواست که آیا شما می خواهید از کد جدید استفاده کنید یا فایل را از وب سایت خود بکشید. بر روی گزینه ای که می گوید  از Google به روزرسانی  برای ارسال آن به صورت دستی کلیک کنید:

ارسال فایل خود را به کنسول جستجو

در حال حاضر، این پلت فرم فایل شما را برای خطاها بررسی می کند. اگر آنها وجود داشته باشد، آنها را برای شما مشخص می کند. با این حال، اکنون بیش از یک مثال روبوتزر وردپرس را دیده اید ، بنابراین شانس بالا است که شما کامل است!

نتیجه

به منظور افزایش قرار گرفتن در معرض سایت شما، باید اطمینان حاصل کنید که ربات های موتور جستجو اطلاعات مرتبط را خزنده می کنند. همانطور که مشاهده کردیم، یک فایل robots.txt  وردپرس به خوبی پیکربندی  شده است که شما را قادر می سازد دقیقا نحوه کار با آن ها را با سایت خود تعامل کنید. به این ترتیب، آنها قادر به ارائه محتواهای مرتبط و مفیدتر جستجوگران خواهند بود.

آیا در مورد نحوه ویرایش robots.txt در WordPress سؤالی دارید؟ به ما اطلاع دهید در بخش نظرات در زیر!

مطالب زیر را حتما بخوانید

پاسخی بگذارید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *