زحف موقع

أعطِ Minaya رابطاً بدائياً وستتبع الروابط من تلك الصفحة، مع البقاء على النطاق نفسه.

القيم الافتراضية

العمق 1 يصل فقط إلى الصفحات المرتبطة مباشرة بالرابط البدائي. صفحات المحاور مثل /portfolio تسرد عناصرها الفرعية في مستوى أعمق بدرجة واحدة، ولهذا فإن القيمة الافتراضية هي 2.

ما يتم تخطيه

• النطاقات الأخرى. تُتبع فقط الروابط ضمن النطاق نفسه.
• الأصول. الصور، وCSS، وJS، والخطوط، والأرشيفات، والوسائط، وJSON.
• البُنى الداخلية للأطر. مسارات مثل /_next/، و/cdn-cgi/، و/api/.
• صفحات المصادقة والتجارة. تسجيل الدخول، والتسجيل، وعربة التسوق، والدفع، والبحث.
• المخططات غير المرتبطة بـHTTP. mailto:، وtel:، وjavascript:.

تُزال أجزاء الرابط (fragments) قبل إضافتها إلى قائمة الانتظار، لذا تُعامل /about#team و/about كصفحة واحدة وتُجلب مرة واحدة.

ما يتم استخراجه

من كل صفحة، تحتفظ Minaya بالعنوان، والعناوين الفرعية، والوصف التعريفي، ونص المحتوى. وتزيل التنقل، والتذييلات، والسكربتات، والتنسيقات.

تفصيلان جديران بالمعرفة:

• تُلتقط بيانات التواصل قبل إزالة التذييلات، لذا يبقى بريدك الإلكتروني ورقم هاتفك حتى بعد استبعاد التذييل نفسه.
• تُفكّ عناوين البريد المشفَّرة عبر Cloudflare. غالباً ما تستبدل المواقع الخاضعة لـCloudflare العناوين بعنصر نائب لا يمكن فك تشفيره إلا عبر JavaScript؛ تستعيد Minaya العنوان الحقيقي.

المواقع المُصيَّرة عبر JavaScript

يقرأ الزاحف HTML المُصيَّر من جانب الخادم ولا يشغّل JavaScript. تصيّر معظم الأطر — Next.js، وNuxt، وAstro — محتواها من جانب الخادم، لذا يكون هذا مناسباً في العادة. أما تطبيق الصفحة الواحدة المُصيَّر بالكامل من جانب العميل والذي يقدّم هيكلاً فارغاً فسينتج القليل أو لا شيء.

للتحقق، اعرض مصدر الصفحة وابحث عن جملة تراها في المتصفح. إذا كانت غائبة عن HTML، الصق ذلك المحتوى كمصدر نصي بدلاً من ذلك.

التحقق من عملية الزحف

بعد اكتمال الزحف، يُظهر المصدر عدد الأجزاء التي أُنتجت. نتيجة صفحة واحدة لموقع كبير تعني عادة أن المحتوى مُصيَّر من جانب العميل، أو أن الصفحات التي توقعتها لم تكن مرتبطة بالرابط البدائي.