گوگل در سری Crawling December بر مدیریت بودجه خزش و بهینه‌سازی فرآیند خزش و رندرینگ صفحات تأکید کرده و توصیه می‌کند که منابع وبسایت مانند CSS و JavaScript در هاست‌های جداگانه مانند CDN یا زیر دامنه‌ها میزبانی شوند.
چرا بودجه خزش اهمیت دارد؟
وب‌سایت‌های امروزی به دلیل استفاده از جاوااسکریپت و CSS پیچیده، فرآیند خزش را برای گوگل دشوارتر می‌کنند. بودجه خزش (Crawl Budget) محدودیت منابعی است که گوگل‌بات برای خزش و پردازش صفحات یک وبسایت در نظر می‌گیرد.
اگر منابع اضافی زیادی در سایت خزش شوند:
- بودجه خزش هدر می‌رود.
- صفحات مهم دیرتر ایندکس می‌شوند یا ممکن است نادیده گرفته شوند.
توصیه‌های کلیدی گوگل برای بهینه‌سازی بودجه خزش
۱. کاهش استفاده از منابع
- استفاده از جاوااسکریپت و CSS بهینه: تنها منابعی را بارگذاری کنید که برای تجربه کاربری ضروری هستند.
- فشرده‌سازی و ترکیب فایل‌ها: فایل‌های CSS و JS را کوچک و ادغام کنید تا درخواست‌ها کاهش یابد.
۲. میزبانی منابع در هاست جداگانه (CDN یا زیر دامنه)
- CDN (شبکه تحویل محتوا): منابع سنگین مانند فایل‌های CSS و JS را در CDN قرار دهید. این کار باعث کاهش فشار روی هاست اصلی میشود و گوگل‌بات می‌تواند تمرکز خود را بر محتوای اصلی سایت بگذارد.
-
زیر دامنه‌ها: منابع را در زیر دامنه‌ها مانند
resources.example.comمیزبانی کنید. این کار می‌تواند خزش منابع را از سایت اصلی تفکیک کند.
۳. استفاده بهینه از Cache-Busting
- پارامترهای کش: از تغییر غیرضروری URL منابع خودداری کنید. تغییر آدرس‌ها می‌تواند باعث شود گوگل‌بات منابع را دوباره خزش کند و بودجه خزش هدر برود.
- مثال: به‌جای تغییر
style.cssبهstyle_v2.css، از روش‌های بهینه‌تری مانند تنظیم هدرهای کش HTTP استفاده کنید.
هشدار گوگل: مسدود کردن منابع در robots.txt
ادامه مطلب