بهینه سازی بودجه خزش (crawl budget)

نرخ خزش یا کرال باجت چیست ؟

قبل از هر چیز اجازه دهید به صورت مختصر کرال باجت یا همان نرخ خزش را تعریف کنم .

در یک تعریف ساده می‌توان گفت : کرال باجت به تعداد صفحاتی از سایت گفته می‌شود که در روز توسط ربات های گوگل خزش می‌شوند .

میزان کرال باجت برای هر سایت عددی ثابت است و طی زمان با افزایش روند انتشار مطالب یا بروزرسانی مطالب قدیمی افزایش می‌یابد.

جهت بهینه سازی نرخ خزش در سایت باید این موارد را انجام دهید :

1. از خزش ربات های گوگل در URL های غیرضروری جلوگیری کنید

خیلی از صفحات سایت ما قرار نیست هیچگاه توسط افرادی در گوگل مورد جستجو قرار بگیرند ، صفحات درباره ما ، تماس با ما ، صفحات قوانین سایت ، صفحات privacy policy ، صفحات حساب کاربری و … این دست از صفحات بهتر است noindex شوند .

وقتی صفحه ای توسط ما noindex می‌شود یعنی داریم به گوگل و سایر موتور های جستجو اعلام می‌کنیم که بیخیال این صفحات شوند زیرا برای ما اهمیتی ندارند .

استفاده مناسب از تگ نوایندکس به موتور های جستجو کمک می‌کند تا صفحات اصلی را در اولویت خزش قرار دهند.

جهت نوایندکس کردن برگه یا نوشته در وردپرس با افزونه رنک مث (Rank Math) کافیست به قسمت ویرایش برگه یا ویرایش نوشته بروید در تب رنک مث پنجره advanced را انتخاب کنید سپس در قسمت robots Meta گزینه no index را بزنید .

به همین ترتیب برای نوایندکس کرد نوشته ها و برگه ها با افزونه یوست سئو (yoast seo) به قسمت ویرایش نوشته یا برگه بروید تب افزونه یوست سئو را که مشاهده کردید در قسمت پیشرفته ، گزینه به موتور های جستجو اجازه نمایش این نوشته را می‌دهید را خیر می‌گذارید .

2. انواع خطاهای سایت را به حداقل برسانید

یکی از مواردی که تاثیر ناگهانی و زیادی روی نرخ خزش سایت ما دارد ایجاد انواع ریدایرکت ها و خطاهای 400 و یا خطاهای 500 است . هر کدام از این موارد باعث می‌شود که صفحات سایت ما به درستی Status code 200 را ندهد و کاهش درصد وضعیت موفقیت آمیز بودن لود صفحات سایت باعث کاهش نرخ خزش خواهد شد.

این مورد کاملا طبیعی است زیرا که گوگل برای چه وقت ربات های خود را صرف سایتی کند که صفحاتش خطای زیادی دارد.

برای مشخص شدن میزان هر یک از خطاها مرسوم کافیست به سرچ کنسول سایت خود مراجعه کنید سپس به قسمت settings بروید و در قسمت Crawling گزینه Open Report را بزنید . در صفحه جدیدی که باز می‌شود نمودار اول نرخ خزش سایت شما را نمایش می‌دهد و در زیر این نمودار قسمت By response اطلاعات مربوط به خطاها را به شما نمایش می‌دهد.

اگر استاتوس کد 200 مربوط به سایت شما کمتر از 90 درصد باشد باید به فکر چاره باشید زیرا به احتمال زیاد نرخ خزش سایتتان کاهش خواهد یافت .

در بالا نمودار کرال ریکوئست سایتی را مشاهده می‌کنید که رو به کاهش است ، این میزان کاهش به دلیل این موضوع است که ریدایرکت های 301 و ارور های 404 در صفحات سایت به حدی زیاد شده است که تنها 40 درصد صفحات سایت به درستی و بدون ارور باز می‌شوند.

3. در استفاده از تگ ها زیاده‌روی نکنید

تگ ها در سئو بیشتر از آنکه باعث بهبود فرایند های سئو شوند باعث هدر روی نرخ کرال سایت ما می‌شوند . بسیاری از پروژه هایی که برای مشاوره به من مراجعه کردند مشکل استفاده بی رویه از تگ ها را داشتند به این صورت که زیر هر محصول یا نوشته در وردپرس از حداقل 10 تگ استفاده کرده‌بودند.

همین مسئله باعث شده بود که صفحات اصلی سایتشان مابین صفحات بی فایده تگ ها گم بشود و گوگل خیلی دیرتر صفحات اصلی را کرال کند. بنابرین بدون هدف و استراتژی از تگ ها استفاده نکنید و زمانی اینکار را انجام دهید که مطمئن باشید تگ تولید شده به ده ها مقاله و یا محصول شما مرتبط است و قرار است زیر آن مقالات و محصولات هم قرار بگیرد.

4. آدرس های پارامتری را کنونیکال به دسته بندی کنید

پارامتر های مختلفی در سایت ما تولید می‌شود مخصوصا اگر سایت فروشگاهی داشته باشید تعداد این پارامتر ها زیاد هستند و ترکیب این موارد می‌تواند تعداد بسیار زیادی صفحات بی‌هدف برای ما ایجاد کنند . در زیر مثال هایی از صفحات پارامتری زده شده‌است :

• صفحات سرچ سایت مانند : https://x.com/?s=test
• صفحات فیلتر در فروشگاه سایت مانند : https://x.com/cars?=black
• انواع صفحات مرتب سازی در فروشگاه های اینترنتی مانند : https://x.com/product/?orderby=price

این مواردی که مثال زده‌ام همگی صفحات بی ارزش برای ما هستند به نحوی که باید نوایندکس یا کنونیکال شوند و بهتر است که صفحات سرچ نوایندکس شوند ولی صفحات فیلتر و مرتب سازی بر روی دسته بندی همان محصولات کنونیکال شوند .

5. سرعت سایت خود را بهبود ببخشید

یکی از مواردی که به طور تجربی به آن رسیده‌ام و دلیل خاصی برای آن ندارم جز اینکه تجربه ای در این حوزه داشتم این بوده است که وقتی سرعت سایت خوبی داشته باشید احتمال اینکه میزان کرال باجت سایتتان افزایش پیدا کند بیشتر می‌شود. 

این مسئله شاید از نظر برخی تایید شده نباشد ولی افزایش سرعت سایت به صورت غیرقابل انکاری در کرال باجت سایتتان موثر خواهد بود.

جمع بندی

در این مقاله سعی‌شده است از تکرار موضوعاتی که در وب بیان شده است جلوگیری شود بجز موضوعی که اهمیت بالایی دارد . بنابرین برای بهینه سازی بودجه خزش سایت باید به موارد بالا توجه کنید ، هر کدام از این موارد در بهبود کیفیت خزش موتور های جستجو تاثیر بسیار زیادی می‌گذارد .