شرح ملف ROBOTS TXT من المواضيع الهامة والخطيرة

شرح ملف ROBOTS.TXT بالتفصيل وكيفيه انشائه

ROBOTS.TXT هو من اخطر واهم الملفات التي يجب التعامل معها بحذر شديد لذلك تعتبر هذه المقالة من اهم المقالات التي يجب ان تفهمها جيدا وتنبة اصدقائك لها

ماهو ملف ROBOTS.TXT ؟

هو ملف علي هيئه تكست لاعطاء اوامر وتعليمات لعناكب محركات البحث ( المرشد )

بمعني ادق واكثر تفصيلا وتسهيلا هو المسئول عن عملية تنظيم الارشفة عن طريق شيئين وهما :

• السماح لمحركات البحث بارشفة الصفحات المهمة
• منع محركات البحث من ارشفة صفحات محددة

هل يستطيع اي شخص رؤية هذا الملف ؟

نعم بالتاكيد يمكن لاي شخص رؤيتة لانة يتوفر دائما علي هذا الرابط : http://www.yoursite.com/robots.txt

هل تفهمه محركات البحث جيدا ؟

نعم بالتاكيد فانة ملف هام لمحركات البحث وتبحث عنه محركات البحث كملف اساسي وهآم

كيف اقوم بانشاء ملف ROBOTS.TXT ؟

بكل سهولة تستطيع فتح ملف TXT  جديد ثم تقوم بتسميتة ROBOTS

   

User-agent:Googlebot-Image
Allow:/

User-agent:Googlebot-mobile
allow:/

User-agent:mediapartners-Goole*
allow:/

بعد الانشاء بداية نقوم بافتتاح الملف بكتابة هذا الامر

User-agent: *

بعدها نقوم بكتابة بعض الاوامر لاستدعاء عناكب محركات البحث

-