كفاءة الزحف: لماذا تبقى صفحاتك خارج الفهرس؟

كل جلب لصفحة يكلف المحرك موارد، ولذلك تتحدث Google عن ميزانية الزحف (Crawl Budget). وتشرح وثائقها الرسمية أنها تتكون من جانبين: قدرة الزحف، أي كم يستطيع الزاحف أن يطلب دون أن يثقل الخادم، والطلب على الزحف، أي كم يريد المحرك أن يزحف بحسب شعبية الصفحات وتكرار تغيرها.

وهذا يجعل الزحف حلقة تغذية راجعة. متجر الإلكترونيات في الكويت الذي يستجيب خادمه بسرعة، وصفحاته متسقة بين الجوال والحاسوب، يُزار أكثر. والمتجر الذي يضيع طلبات الزاحف في صفحات بطيئة أو أخطاء يعلّم المحرك أن يقلل زياراته. وتقرير «إحصاءات الزحف» في Search Console يعرض هذه الصورة.

يعرض Search Console حالتي «تم الزحف إليها، غير مفهرسة حالياً» (Crawled – currently not indexed) و«تم اكتشافها، غير مفهرسة حالياً» (Discovered – currently not indexed). الأولى تعني أن المحرك جلب الصفحة ولم يفهرسها، والثانية أنه عرف بوجودها ولم يجلبها بعد. وأكثر الأسباب شيوعاً: محتوى ضعيف أو مكرر، وصفحات غير ضرورية، ونسخ جوال ينقصها ما في نسخة الحاسوب.

«إذا كان ترتيبك أغلى من عدم ترتيبك، بدأت الصفحات تخرج من الفهرس.»

— قاعدة متداولة لدى ممارسي السيو الدلالي عن تكلفة الاسترجاع

ولهذا أثران. الأول: الحالة ليست عقوبة يُعترض عليها، بل إشارة تُعالج، إما بجعل الصفحة تستحق الفهرسة أو بحذفها ودمجها. والثاني: الحكم يشمل الموقع لا الصفحة وحدها. متجر الكويت الذي لديه آلاف صفحات المنتجات المنتهية والمكررة بلا قيمة يضعف الانطباع عن الموقع كله، وتقليمها يغير طريقة تقييم الصفحة التالية.

هذه أهداف يستخدمها كثير من الممارسين، ويمكن فحصها في سجلات الخادم:

وعادة قياس واحدة تتفوق على غيرها: ملفات السجلات الخام (Log Files). تقرير إحصاءات الزحف في Search Console مفيد، لكنه ملخص وعينات. أما السجل فيسجل كل طلب: ماذا طلب الزاحف، وماذا تسلم، وأين ذهبت الميزانية.

قائمة الهدر قصيرة ومعروفة، وتذكر وثائق Google معظمها:

• روابط الفلاتر: متجر الكويت الذي يولد رابطاً لكل تركيبة من الماركة والسعر واللون، مثل ?brand=apple&color=black&sort=price، يصنع آلاف الصيغ لصفحة واحدة. اجعل الفلاتر غير قابلة للزحف أو وحّدها.
• الصفحات المؤقتة: عروض الجمعة البيضاء التي تُحذف بعد أسبوع تهدر الزحف إن تُركت بلا تنظيم. ويمكن للصفحات المؤقتة أن تعلن تاريخ انتهائها بوسم robots من نوع unavailable_after.
• النطاقات الفرعية الضعيفة: يواصل المحرك زحفها، وقد يؤثر ضعفها في الانطباع عن الموقع كله.
• الصفحات شبه المكررة: صفحة لكل لون من الهاتف نفسه بالنص نفسه تجعل المحرك يختار واحدة ويهدر الزحف على البقية.
• صفحات بلا طلب: صفحات لا يبحث عن موضوعها أحد تُعالج ثم تُركن، كلفة بلا عائد.

هذه العادات تُبقي موقعك في الجانب الرابح:

1. 1قلّم الصفحات المرفوضة: راجع حالتي «تم الزحف إليها» و«تم اكتشافها» غير المفهرسة، ثم احذف أو ادمج ما لا يستحق رابطاً مستقلاً. كثير من المواقع تحسنت بعد تقليم الصفحات الضعيفة.
2. 2وحّد المكررات: صفحة واحدة قوية للهاتف بكل ألوانه أفضل من خمس صفحات ضعيفة.
3. 3أغلق ثغرات الفلاتر: اجعل صيغ الفلترة غير قابلة للزحف، وأبقِ الروابط قصيرة واضحة.
4. 4اختصر المسارات: روابط داخلية من الصفحات القوية توصل الزاحف إلى كل صفحة مهمة في خطوات قليلة.
5. 5راقب السجلات الحقيقية: الأخطاء وسلاسل التحويل والروابط الميتة تظهر في السجلات قبل أي لوحة متابعة.
6. 6انشر ما يستحق الجلب: الصفحات الأصيلة الدقيقة هي ما يبرر الزحف، والمحتوى الكثيف بلا قيمة أسرع طريق لخسارة الميزانية.