מהו robots.txt
קובץ זה שנקרא על ידי ה Crawlers של מנועי החיפוש.
קובץ זה משמש מעין הוראות כניסה לאותם Crawlers עבור האתר שלנו.
לפני שהם נכנסים לאתר, הם סורקים את קובץ ה- robots.txt וממנו מסיקים לאלו דפים מותר להם להכנס ולאילו לא.
הגדרת הקובץ
בממשק הניהול עוברים לדף ה"הגדרות"
לאחר מכן לאיזור ה "קידום אתרים" וגללים מטה
ממלאים את התוכן של ה robots.txt באיזור היעודי ושומרים
להלן דוגמא של איך אמור להראות הקובץ
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml
Host: https://example.com
שימו לב, אם אינכם יודעים כיצד לערוך קובץ זה יש להשאיר את השדה הזה ריק על מנת לוודא שלא יגרם נזק לאינדקסציה של מנועי החיפוש