فهرسة Google: الزحف والميزانية وإلغاء الحظر
7 min
تفهرس Google صفحاتك في ثلاث خطوات: الاكتشاف، الزحف، والفهرسة. قد تترك ميزانية الزحف سيئة الإدارة صفحاتك الرئيسية خارج الفهرس. تحقق أولاً من التغطية في Search Console، ثم تخلص من عناوين URL الطفيلية التي تبدد حصتك.
الصفحة غير المفهرسة هي صفحة غير مرئية. ومع ذلك، تعاني كثير من المواقع من مشاكل فهرسة صامتة لا يكتشفها أصحابها أبداً. إليك المنهج التشخيصي وحل هذه الإشكاليات.
كيف تكتشف Google صفحاتك وتفهرسها
ينطلق Googlebot من الصفحات المعروفة ويتبع الروابط لاكتشاف جديدة. ثم يقرأ المحتوى ويعرض JavaScript إن لزم الأمر، ويحيل الصفحة إلى الفهرس — وهي عملية قد تستغرق من ساعات إلى أسابيع.
الفهرسة ليست مضمونة: تقرر Google بصيادة أيها الصفحات تستحق الفهرسة بناءً على جودتها وفرادتها وسلطة الموقع.
ميزانية الزحف: ما هي ومتى تصبح حرجة
تمثل ميزانية الزحف عدد الصفحات التي يقبل Googlebot زحفها على موقعك في فترة زمنية محددة. وهي محدودة لتجنب إرهاق خادمك.
بالنسبة لغالبية المواقع التي تضم أقل من 1000 صفحة، لا تشكل ميزانية الزحف إشكالية. تصبح حرجة لمتاجر إلكترونية كبيرة أو مواقع بأوجه متعددة أو منصات تنشئ آلاف عناوين URL الديناميكية.
الصفحات ذات القيمة المضافة المنخفضة — نتائج المرشحات وعناوين URL للجلسات والنسخ المكررة — تبدد هذه الميزانية وتؤخر فهرسة صفحاتك ذات الأولوية.
في مواقع التجارة الإلكترونية الكبيرة، قد تكون ما بين 20 و60% من عناوين URL المزحوفة مجرد متغيرات ذات قيمة منخفضة تستهلك ميزانية الزحف دون داعٍ.
دراسات قطاعية 2025-2026 حول هياكل SEO للتجارة الإلكترونية
تشخيص مشاكل الفهرسة
تقرير «التغطية» (الآن «فهرسة الصفحات») في Search Console هو أداتك الأولى. يميز بين الصفحات المفهرسة والمستبعدة والمخطئة، مع السبب الدقيق لكل فئة.
استخدم أداة فحص عنوان URL لاختبار صفحة محددة: تخبرك Google إذا كانت مفهرسة، وتاريخ آخر زحف، والمشاكل المحتملة.
- خطأ 404 أو 5xx: الصفحة غير متاحة وقت الزحف.
- محظورة بواسطة robots.txt: Googlebot ممنوع من الوصول.
- وسم noindex موجود: طلبت الاستبعاد صراحةً.
- صفحة مكررة، اختارت Google عنوان URL canonique مختلفاً.
- اكتشاف مستحيل: لا رابط داخلي يشير إلى الصفحة.
تسريع فهرسة صفحاتك الجديدة
أرسل عناوين URL الجديدة عبر أداة فحص عنوان URL في Search Console أو عبر Indexing API (المخصصة نظرياً للوظائف والبودكاست، لكنها تُستخدم كثيراً لمحتويات أخرى).
الطريقة الأكثر موثوقية تبقى بناء روابط داخلية من صفحاتك المفهرسة جيداً إلى عناوين URL الجديدة: سيكتشفها Googlebot بصورة طبيعية في الزحف التالي.
FAQ
لماذا لا تظهر صفحتي في Google رغم إرسال Sitemap؟
يخبر Sitemap بوجود الصفحة لكنه لا يُلزم بالفهرسة. تقيّم Google الجودة والفرادة والصلة قبل الفهرسة. تحقق من عدم وجود وسم noindex وأن الصفحة تقدم محتوى جوهرياً.
هل يمكن أن تظهر صفحة محظورة في robots.txt ضمن النتائج؟
نعم، إذا أشارت إليها مواقع أخرى. قد تعرض Google عنوان URL دون أن تتمكن من زحفه، مما يعني عدم عرض أي مقتطف. لاستبعاد صفحة كلياً، اجمع robots.txt مع وسم noindex أو استخدم noindex فقط.
ما المهلة الطبيعية بين النشر والفهرسة؟
لموقع راسخ، من ساعات قليلة إلى 48 ساعة للصفحات المرتبطة من الصفحة الرئيسية. لموقع حديث أو صفحة يتيمة، قد يستغرق ذلك أسابيع عدة.