راهنمای کامل robots.txt در وردپرس
راهنمای کامل robots.txt در وردپرس
برای اطمینان از اینکه سایت شما به خوبی در صفحات موتورهای جستجو (SERPs) رتبه بندی می شود، شما باید از موتورهای جستجوگر «رباتها» برای کشف مهمترین صفحات خود استفاده کنید.
داشتن یک فایل robots.txt اصولی و ساختار یافته می تواند به سرعت و کیفیت ایندکس شدن صفحات سایت شما کمک کند.
در این مقاله ما قصد داریم موارد زیر را بررسی کنیم.
- چه فایل robots.txt و چرا مهم است ؟
- محل قرار گیری فایل robots.txt در وردپرس کجاست ؟
- چگونه یک فایل robots.txt ایجاد کنیم ؟
- کدام قوانین در فایل وردپرس robots.txt شما وجود دارد.
- نحوه تست فایل robots.txt و ارسال آن به کنسول جستجوی گوگل .
در پایان شما باید تمام مواردی که برای پیکربندی فایل robots.txt در سایت وردپرسی خود نیاز دارید مسلط باشید و بدانید.
چه فایل وردپرس robots.txt و چرا ؟
راهنمای کامل robots.txt در وردپرس
هنگامی که شما یک وب سایت جدید ایجاد می کنید، موتورهای جستجوگر میهمانان (یا ربات ها) خود را برای ردیابی از طریق آن ارسال می کنند و نقشه ای از تمام صفحاتی که در آن وجود دارد را ایجاد می کند. به این ترتیب، آنها می دانند کدام صفحات به عنوان نتایج نمایش داده می شوند وقتی کسی برای کلمات کلیدی مرتبط جستجو می کند. در سطح پایه، این به اندازه کافی ساده است.
مشکل این است که وب سایت های مدرن شامل عناصر بسیار بیشتری نسبت به صفحات است. برای مثال WordPress شما را قادر می سازد پلاگین ها را نصب کنید که اغلب با دایرکتوری های خاص خود می آیند. شما نمیخواهید این نتایج را در موتور جستجوی خود نشان دهید، با این حال، از آنجا که آنها محتوای مرتبط نیستند.
چه فایل robots.txt انجام می دهد مجموعه ای از دستورالعمل ها برای موتورهای جستجو موتور است. این به آنها می گوید: “هی، شما می توانید به اینجا نگاه کنید، اما به آن اتاق ها بیرون نروید!” این فایل می تواند به همان اندازه دقیق باشد که شما می خواهید، و آسان ساختن آن، حتی اگر شما یک جادوگر فنی .
در عمل، موتورهای جستجو همچنان وب سایت شما را خالی می کنند حتی اگر فایل robots.txt را راه اندازی نکنید . با این حال، ایجاد یک ناکارآمد نیست. بدون این فایل، شما آن را به ربات ها می اندازید تا تمام مطالب خود را فهرست کنید و آنها خیلی کامل هستند که ممکن است بخش هایی از وب سایت شما را نشان دهند که دیگر نمی خواهید دیگران به آن دسترسی داشته باشند.
مهمتر از همه، بدون یک فایل robots.txt ، شما باید تعداد زیادی از رباتها را در سراسر وب سایت خود خزنده کنید. این می تواند عملکرد آن را منفی کند. حتی اگر ضربه ناچیز باشد، سرعت صفحه چیزی است که همیشه باید در بالای لیست اولویت های شما باشد.پس از همه، چیزهایی هستند که مردم از وب سایت های آهسته متنفرم (و این شامل ماست!).
فایل WordPress robots.txt در آن قرار دارد
وقتی یک وبسایت وردپرس ایجاد میکنید، به طور خودکار یک فایل robots.txt مجازی در پوشه اصلی سرور شما ایجاد میکند.به عنوان مثال، اگر سایت شما در yourfakewebsite.com شما قرار داشته باشد، باید بتوانید از آدرس yourfakewebsite.com/robots.txt خود دیدن کنید و یک فایل مثل این را ببینید:
- عامل کاربر: *
- نادیده گرفتن: / wp-admin /
- disallow: / wp-includes /
این یک نمونه از یک فایل robots.txt بسیار اساسی است . برای قرار دادن آن به لحاظ بشری، قسمت درست بعد از User-agent: اعلام می کند که کدام ربات ها قوانین زیر اعمال می شوند. ستاره به این معناست که قوانین جهانی هستند و برای همه ربات ها اعمال می شود. در این مورد، فایل به آن دسته از ربات ها می گوید که آنها نمی توانند به wp-admin و wp- directories وارد شوند. این باعث می شود مقدار مشخصی از این دو پوشه حاوی بسیاری از فایل های حساس است.
با این حال، ممکن است بخواهید قوانین بیشتری در فایل خود اضافه کنید. قبل از این که بتوانید این کار را انجام دهید باید بدانید که این یک فایل مجازی است. معمولا وظیفه robots.txt وردپرس در داخل دایرکتوری ریشه شماست که معمولا public_html یا www نامیده می شود (یا بعد از وب سایت شما نامیده می شود):
با این حال، فایل robots.txt وردپرس برای شما به طور پیش فرض در هیچکدام قابل دسترسی نیست، از هر دایرکتوری. این کار می کند، اما اگر می خواهید تغییر دهید، باید فایل خودتان را ایجاد کنید و آن را به عنوان جایگزینی به پوشه ریشه خود آپلود کنید .
ما چندین روش برای ایجاد یک robots.txt جدید برای وردپرس را در یک دقیقه پوشش خواهیم داد. در حال حاضر، با این حال، بیایید درباره نحوه تعریف قوانینی که باید در اختیار شما قرار بگیریم صحبت کنیم.
قوانین مربوط به فایل robots.txt وردپرس شما چیست؟
در بخش آخر، نمونه ای از فایل robots.txt ایجاد شده توسط وردپرس را مشاهده کردید . این فقط شامل دو قانون کوتاه بود، اما بیشتر وبسایتها بیشتر از آن تنظیم شده بود. بیایید به دو فایل robots.txt مختلف نگاهی بیندازیم و در مورد آنچه که هر دو انجام می دهند متفاوت صحبت کنیم.
در اینجا اولین مثال ما از وردپرس robots.txt است .
- عامل کاربر: *
- اجازه دادن: /
- # زیر شاخه های ممنوعه
- غیرفعال کردن: / پرداخت /
- نادیده گرفتن: / تصاویر /
- غیرفعال کردن: / forum /
این یک فایل عمومی robots.txt برای یک وب سایت با یک انجمن است. موتورهای جستجو اغلب هر موضوع را در یک فروم فهرست می کنند. با این وجود، بسته به آنچه در فروم شما است، ممکن است بخواهید آن را غیرفعال کنید. به این ترتیب، گوگل صدها موضوعات را در مورد کاربرانی که بحث کوچک را فهرست می کنند، فهرست نمی کند. شما همچنین می توانید قوانین را مشخص کنید که برای جلوگیری از موارد خاص زیر انجمن ها را تعیین می کنند و اجازه دهید موتورهای جستجو بقیه آنها را خالی کنند.
شما همچنین یک خط را می بینید که اجازه می دهد: / در بالای فایل مشاهده شود. این خط به ربات ها می گوید که آنها می توانند از طریق تمام صفحات وب سایت شما خزیدن، به جز موارد استثنایی که در زیر تنظیم کرده اید. به همین ترتیب، متوجه خواهید شد که این قوانین را جهانی می کنیم (با ستاره)، درست مانند فایل robots.txt مجانی وردپرس .
اکنون اجازه دهید یک مثال دیگر از وردپرس robots.txt را بررسی کنیم:
- عامل کاربر: *
- نادیده گرفتن: / wp-admin /
- disallow: / wp-includes /
- کاربر-عامل: Bingbot
- نادیده گرفتن: /
در این پرونده، ما قوانین مشابه را تنظیم می کنیم که وردپرس به طور پیش فرض انجام می شود. با این حال، ما همچنین مجموعه ای از قوانین جدیدی را اضافه کردیم که بتای جستجوی بینگ را از طریق وب سایت ما خالی می کند. Bingbot، همانطور که ممکن است تصور کنید، نام آن ربات است.
شما می توانید کاملا مشخص کنید که کدام موتورهای جستجوگر دسترسی به وب سایت شما را دارند، و کدامیک از آنها نمی باشد. در عمل، البته، Bingbot بسیار خوش خیم است (حتی اگر آن را به عنوان سرد به عنوان Googlebot نیست). با این حال، می برخی رباتها مخرب خارج وجود دارد.
خبر بد این است که آنها همیشه دستورالعمل فایل robots.txt خود را دنبال نمی کنند (بعد از همه آنها شورشیان هستند). لازم به ذکر است که در حالی که اکثر رباتها دستورالعملهایی را که در این فایل ارائه می کنید دنبال می کنند، شما آنها را مجبور به انجام این کار نمی کنید. شما فقط به سادگی می پرسید
اگر شما در مورد موضوع خواندید، پیشنهادات زیادی برای آنچه که می توانید اجازه دهید و آنچه در وب سایت وردپرس خود دارید، پیدا کنید. با این حال، در تجربه ما، قوانین کمتری اغلب بهتر است. در اینجا یک مثال از آنچه ما پیشنهاد می کنیم، اولین فایلrobots.txt شما باید شبیه باشد:
- عامل کاربر: *
- اجازه دهید: / wp-content / uploads /
- نادیده گرفتن: / wp-content / plugins /
به طور سنتی، وردپرس دوست دارد برای دسترسی به wp-admin و wp-includes directories را مسدود کند . با این حال، این دیگر بهترین عمل نیست . علاوه بر این، اگر ابردادهای به تصاویر خود را برای اهداف بهینه سازی موتور جستجو (جستجوگرها) اضافه کنید، لازم نیست که رباتها را از خالی کردن این اطلاعات منع نکنید. در عوض، دو قانون فوق شامل مواردی است که بیشتر سایتهای اساسی نیاز به آن دارند.
با این وجود، آنچه که در فایل robots.txt خود وارد می کنید به سایت خاص و نیازهای شما بستگی دارد. بنابراین برای انجام تحقیقات بیشتر در مورد خودتان آزاد باشید!
نحوه ایجاد یک فایل وردپرس robots.txt (3 روش)
هنگامی که تصمیم گرفتید چه چیزی در فایل robots.txt شما وارد شود، همه چیزهایی که در آن قرار دارد، ایجاد یک است.میتوانید با استفاده از یک افزونه یا دستی، robots.txt را در WordPress ویرایش کنید. در این بخش به شما آموزش خواهیم داد که چگونه از دو پلاگین محبوب استفاده کنید تا کار را انجام دهید و در مورد چگونگی ایجاد و آپلود فایل به صورت خود بحث کنید. بیایید به آن برسیم
1. از SEO Yoast استفاده کنید
SEO Yoast به مقدمه ای نیاز دارد. این محبوب ترین پلاگین SEO برای وردپرس است و شما را قادر می سازد پست ها و صفحات خود را بهینه سازی کنید تا از کلمات کلیدی شما بهتر استفاده کنید. گذشته از آن، هنگامی که به افزایش قابلیت خواندن محتوا کمک می کند، به شما کمک می کند، به این معنی است که مردم بیشتر از آن لذت خواهند برد.
به طور شخصی، ما به دلیل سهولت استفاده از طرفداران Yoast SEO هستیم. این به همان اندازه برای ایجاد یک فایلrobots.txt مناسب است. پس از نصب و فعال سازی پلاگین ، به زبانه SEO> Tools در داشبورد خود بروید و برای گزینه ای که می گوید ویرایشگر فایل:
با کلیک بر روی آن لینک شما را به یک صفحه جدید ارسال می کند، جایی که میتوانید فایل .htaccess خود را بدون ترک داشبورد خود ویرایش کنید . همچنین یک دکمه مفید است که فایل Robots.txt را ایجاد می کند که دقیقا همان چیزی است که شما انتظار دارید:
هنگامی که روی این دکمه کلیک میکنید، برگه یک ویرایشگر جدید را نشان می دهد که در آن شما می توانید فایل robots.txt خود را مستقیما تغییر دهید . به یاد داشته باشید که Yoast SEO قوانین پیش فرض خود را تنظیم می کند که فایل robots.txt مجازی شما را لغو می کند .
هر زمان که قوانین را اضافه یا حذف کنید، به یاد داشته باشید دکمه Save changes به robots.txt را کلیک کنید، به طوری که آنها همچنان ادامه دارند:
این به اندازه کافی آسان است! حالا ببینید که چگونه یک پلاگین محبوب دیگر هم همین کار را می کند.
2. از طریق همه در یک پلاگین SEO پک
همه در یک SEO Pack یکی دیگر از نام های بزرگ است که به وردپرس SEO می آید. این شامل بسیاری از ویژگی های Yoast SEO انجام می دهد، اما برخی از مردم آن را ترجیح می دهند، زیرا این پلاگین سبک تر است. تا آنجا که به robots.txt می رود، ایجاد فایل با این افزونه نیز به همان اندازه ساده است.
هنگامی که پلاگین را راه اندازی کرده اید ، به « همه در یک جستجوگرها»> صفحه مدیریت ویژگی در داشبورد خود بروید. در داخل، شما یک گزینه به نام Robots.txt را پیدا خواهید کرد ، با یک دکمه فعال آشکار در زیر آن. برو جلو و روی آن کلیک کنید:
در حال حاضر، یک برگه جدید Robots.txt در زیر منوی All in One SEO ظاهر خواهد شد. اگر بر روی آن کلیک کنید، گزینه هایی برای افزودن قوانین جدید به فایل خود خواهید دید، تغییراتی را که ایجاد می کنید را ذخیره کنید یا آن را حذف کنید:
توجه داشته باشید که شما نمیتوانید به طور مستقیم با استفاده از این پلاگین فایلهای robots.txt خود را تغییر دهید . برخلاف Yoast SEO، این فایل به طور خاکستری خالی است، که به شما اجازه می دهد تا هر چه میخواهید تایپ کنید:
در هر صورت، اضافه کردن قوانین جدید ساده است، بنابراین اجازه ندهید که نزولی کوچک شما را از بین ببرد. مهمتر از همه، All-in-One SEO Pack همچنین شامل یک ویژگی است که می تواند به شما در رفع “بد” ها بپردازد، که می توانید از All in One Seo tab دسترسی داشته باشید :
این همه چیزی است که شما باید انجام دهید اگر شما از این روش استفاده می کنید. با این حال، بیایید درباره نحوه ایجاد یک فایلrobots.txt به صورت دستی صحبت کنیم، اگر نمی خواهید پلاگین اضافی را برای مراقبت از این کار اختصاص دهید.
3. فایل WordPress robots.txt خود را از طریق FTP ایجاد و بارگذاری کنید
ایجاد فایل TXT ساده تر نیست. همه چیزهایی که باید انجام دهید این است که ویرایشگر متن مورد علاقه خود را (مانند دفترچه یادداشت یا TextEdit) باز کنید و چند خط را تایپ کنید. سپس شما می توانید فایل را با استفاده از هر نامی که می خواهید و نوع فایلTXT را ذخیره کنید. این به معنای واقعی کلمه چند ثانیه طول می کشد تا این کار را انجام دهد، بنابراین حس می شود که شما ممکن است بخواهید robots.txt را در WordPress بدون استفاده از افزونه ویرایش کنید.
در اینجا یک مثال سریع از یک فایل چنین است:
برای اهداف این آموزش، این فایل را مستقیما به رایانه ما ذخیره کردیم. هنگامی که فایل خود را ایجاد و ذخیره کنید، باید از طریق FTPبه وب سایت خود متصل شوید . اگر مطمئن نیستید که چگونه این کار را انجام دهید، ما یک راهنمای برای انجام این کار با استفاده از مشتری مبتنی بر FileZilla دوستانه داشته ایم .
پس از اتصال به سایت خود، به پوشه public_html بروید . سپس همه چیزهایی که باید انجام دهید این است که فایلrobots.txt را از رایانه خود به سرور خود آپلود کنید. شما می توانید با کلیک راست بر روی فایل با استفاده از ناوبر محلی FTP مشتری خود و یا به سادگی کشیدن و رها کردن آن را به محل کار:
فقط چند ثانیه طول می کشد تا پرونده برای بارگیری. همانطور که می بینید، این روش تقریبا به همان اندازه ساده است که از یک پلاگین استفاده می کند.
نحوه تست فایل وردپرس robots.txt شما و ارسال آن به کنسول جستجوی گوگل
هنگامی که فایل WordPress robots.txt شما ایجاد و آپلود می شود، می توانید از Google Search Console برای آزمایش آن برای خطا استفاده کنید. کنسول جستجو مجموعه ای از ابزارهایی است که Google ارائه می دهد تا به شما کمک کند نظارت کنید که محتوای شما در نتایج جستجوی آن ظاهر می شود. یکی از این ابزار، یک چک کننده robots.txt است که شما می توانید با ورود به کنسول خود و مرور به برگه تستر robots.txt :
در داخل، یک فیلد ویرایشگر پیدا کنید که در آن شما می توانید کد فایل robots.txt وردپرس خود را اضافه کنید و در پایین دکمهارسال را کلیک کنید. گوگل کنسول جستجو خواهد خواست که آیا شما می خواهید از کد جدید استفاده کنید یا فایل را از وب سایت خود بکشید. بر روی گزینه ای که می گوید از Google به روزرسانی برای ارسال آن به صورت دستی کلیک کنید:
در حال حاضر، این پلت فرم فایل شما را برای خطاها بررسی می کند. اگر آنها وجود داشته باشد، آنها را برای شما مشخص می کند. با این حال، اکنون بیش از یک مثال روبوتزر وردپرس را دیده اید ، بنابراین شانس بالا است که شما کامل است!
نتیجه
به منظور افزایش قرار گرفتن در معرض سایت شما، باید اطمینان حاصل کنید که ربات های موتور جستجو اطلاعات مرتبط را خزنده می کنند. همانطور که مشاهده کردیم، یک فایل robots.txt وردپرس به خوبی پیکربندی شده است که شما را قادر می سازد دقیقا نحوه کار با آن ها را با سایت خود تعامل کنید. به این ترتیب، آنها قادر به ارائه محتواهای مرتبط و مفیدتر جستجوگران خواهند بود.
آیا در مورد نحوه ویرایش robots.txt در WordPress سؤالی دارید؟ به ما اطلاع دهید در بخش نظرات در زیر!
