بودجه خزش (Crawl Budget) چیست؟ + ۴ راهکار مدیریت آن

تصور کنید گوگل یک بازرس به شدت پرمشغله است که هر روز وارد کتابخانه بزرگ (سایت) شما می‌شود. این بازرس فقط انرژی و زمان کافی برای خواندن ۱۰۰ صفحه را دارد. حالا اگر کتابخانه شما یک میلیون صفحه داشته باشد، او چطور انتخاب می‌کند کدام صفحات را بخواند؟ اگر وقتش را روی صفحات تکراری، خراب یا بی‌اهمیت تلف کند، صفحات اصلی و پول‌ساز شما هرگز خوانده نمی‌شوند و در نتایج گوگل جایی نخواهند داشت.

به این محدودیت زمانی و انرژی، بودجه خزش (Crawl Budget) می‌گویند. در واقع، بودجه خزش نشان‌دهنده میزان توجهی است که ربات‌های گوگل در یک بازه زمانی مشخص به سایت شما اختصاص می‌دهند.

اگر سایت شما زیر ۱۰ هزار صفحه دارد، نیازی نیست خیلی نگران این موضوع باشید. اما اگر یک فروشگاه اینترنتی بزرگ دارید، روزانه محتوای زیادی منتشر می‌کنید، یا متوجه شده‌اید گوگل تغییرات جدید سایتتان را خیلی دیر ایندکس می‌کند، دریافت مشاوره سئو و مدیریت این بودجه برای شما کاملاً حیاتی است.

گوگل بودجه خزش را چگونه محاسبه می‌کند؟

این بودجه بر اساس دو فاکتور اصلی به سایت شما اختصاص داده می‌شود:

۱. محدودیت ظرفیت خزش (Crawl Capacity Limit)
این فاکتور مستقیماً به سلامت و سرعت سرور شما بستگی دارد. گوگل به هیچ وجه دوست ندارد با ارسال درخواست‌های پی‌درپی، سایت شما را از کار بیندازد یا کُند کند.

یک مثال ملموس: فرض کنید از مادربزرگ مهربان اما مسن خود درخواستی دارید؛ او به دلیل کهولت سن به آرامی واکنش نشان می‌دهد و شما هم ناخودآگاه با احتیاط و آهسته‌تر با او رفتار می‌کنید تا اذیت نشود. اما اگر همان درخواست را از یک فرد جوان و پرانرژی داشته باشید، او سریعاً واکنش نشان می‌دهد. سرور سایت شما دقیقاً همین شرایط را دارد! اگر سرورتان کند باشد (مثل مادربزرگ قصه ما)، گوگل با احتیاط درخواست‌های کمتری می‌فرستد و بودجه خزش شما افت می‌کند. (زمان پاسخگویی ایده‌آل سرور باید زیر ۲۰۰ میلی‌ثانیه باشد).

۲. تقاضای خزش (Crawl Demand)
گوگل باید بداند کدام صفحات ارزش بررسی مجدد را دارند. این موضوع به محبوبیت (بک‌لینک‌های باکیفیت) و تازگی محتوا بستگی دارد. سایت‌های خبری که روزانه ده‌ها مقاله منتشر می‌کنند، به گوگل‌بات یاد می‌دهند که مدام به آن‌ها سر بزند و به همین دلیل، بودجه خزش بسیار بالاتری دریافت می‌کنند.

قاتلان بودجه خزش (چگونه بودجه خود را هدر ندهیم؟)

در پروژه‌های سئو سایت بارها دیده‌ایم که کسب‌وکارها معمولاً به چهار دلیل اصلی، بودجه ارزشمند خود را در جوی آب می‌ریزند:

• پارامترهای URL و محتوای تکراری: فرض کنید یک صفحه عالی برای فروش «کیک تولد» دارید. تیم مارکتینگ شما برای تبلیغات در شبکه‌های اجتماعی، ده‌ها لینک با پارامترهای UTM می‌سازد. اگر جلوی گوگل را نگیرید، ربات‌ها هزاران نسخه تکراری از همین صفحه را می‌خزند! این یعنی بودجه‌ای که باید صرف مقالات جدید می‌شد، روی لینک‌های تکراری سوخت شده است.
• خطاهای سرور (ارورهای 5xx): صفحاتی که ارور سمت سرور می‌دهند، به گوگل این سیگنال را می‌فرستند که «سایت بیمار است». واکنش گوگل بلافاصله کاهش نرخ خزش است.
• لینک‌های شکسته و ریدایرکت‌های زنجیره‌ای: گیر افتادن ربات گوگل در صفحات ۴۰۴ (پیدا نشد) یا لوپ‌های بی‌پایان ریدایرکت، یکی از بدترین روش‌های هدر دادن بودجه خزش است.
• نقشه سایت (Sitemap) کثیف: نقشه سایت مهم‌ترین کروکی راهنمای گوگل است. قرار دادن لینک‌های شکسته، ریدایرکت شده یا صفحاتی که با تگ Noindex بسته شده‌اند در نقشه سایت، ربات‌های گوگل را به شدت گمراه می‌کند.

۴ راهکار حرفه‌ای برای مدیریت و نجات بودجه خزش

برای اینکه سایتتان را مثل یک متخصص حرفه‌ای بهینه کنید، این اقدامات را در اولویت قرار دهید:

۱. استفاده هوشمندانه از فایل robots.txt: مسیر صفحاتی که برای کاربر کاربردی‌اند اما برای گوگل هیچ ارزشی ندارند (مثل فیلتر محصولات بر اساس رنگ یا پارامترهای جستجو) را با دستور Disallow در این فایل مسدود کنید تا بازرس گوگل اصلاً وارد انباریِ سایت نشود.

۲. استفاده از کد ۴۱۰ به جای ۴۰۴: ارور ۴۰۴ فقط به گوگل می‌گوید «صفحه پیدا نشد» و ممکن است باز هم برای چک کردن آن برگردد. اما اگر صفحه‌ای را برای همیشه حذف کرده‌اید، از کد وضعیت 410 (Gone) استفاده کنید. این کد به صورت قاطع به گوگل می‌فهماند که این صفحه دیگر هرگز برنمی‌گردد.

۳. مهندسی لینک‌سازی داخلی: اگر به یک صفحه بی‌ارزش ۱۰ لینک داخلی بدهید اما صفحه اصلی محصولتان فقط ۵ لینک داشته باشد، گوگل به اشتباه فکر می‌کند صفحه بی‌ارزش مهم‌تر است و بودجه را آنجا خرج می‌کند! لینک‌سازی داخلی شما باید کاملاً هدفمند و به سمت صفحات پول‌ساز باشد.

۴. وسواس روی سرعت سایت: با فشرده‌سازی کدها، نصب بهترین افزونه‌های وردپرس برای کشینگ و استفاده از یک سرور قدرتمند، سرعت سایت خود را بهینه‌سازی کنید. سرور سریع‌تر به این معنی است که گوگل می‌تواند در زمان کمتر، صفحات بیشتری را کراول کند.

---

سوالات متداول شما در مورد بودجه خزش

طرحواره پیدا نشد.