ماهي ملفات الروبوتس وماهي فائدتها؟ وكيف يمكن انشائها بشكل صحيح؟
ماهي ملفات الروبوتس وماهي فائدتها؟ وكيف يمكن انشائها بشكل صحيح؟ ماهو ملف robots.txt وماهي فائدته ؟ هو ملف يقوم بإعطاء تعليمات لتنظيم أرشفة المواقع في محركات البحث ووظيفته الرئيسية هي أبعاد عناكب محركات البحث مثل جوجل عن الملفات الحساسة في الموقع والتي لا يجب أن تقوم محركات البحث بأرشفتها, مثل صفحات الدخول الخاصة بإداراة المواقع و الأرشيف, وتوجيه العناكب بدلا من ذلك إلى الصفحات المهمة لأرشفتها مثل المقالات والمواضيع والصفحات. كيف أقوم بإنشاء ملف robots.txt بشكل صحيح؟ يكون الشكل العام لملفات الروبوتس كالتالي: User-agent: * Disallow: /search Allow: / Sitemap: https://www.desgano.com/sitemap.xml بحيث تعني الكلمة التي باللون الاحمر ماهو اسم العناكب التي تود منعها او السماح لها بحيث يوجد هناك عدد كبير من العناكب يمكن الإطلاع عليها من هنا ويعبر رمز ال * عن الجميع. وتعني الكلمة باللون الازرق عدم السماح للعناكب الوارد اسمها في السطر الاول بالدخول إلى العنوان او المجلد الموجود بعدها باللون البنفسجي. وتعني الكلمة باللون الاخضر اي السماح...