מהו robots.txt
קובץ זה שנקרא על ידי ה Crawlers של מנועי החיפוש.
קובץ זה משמש מעין הוראות כניסה לאותם Crawlers עבור האתר שלנו.
לפני שהם נכנסים לאתר, הם סורקים את קובץ ה- robots.txt וממנו מסיקים לאלו דפים מותר להם להכנס ולאילו לא.
הגדרת הקובץ
מתוך המסך הראשי של המערכת נעבור אל ״שיווק ומכירות>קידום אתרים SEO>קידום האתר במנועי החיפוש״ בתפריט -
ממלאים את התוכן של ה robots.txt באיזור היעודי ושומרים-
להלן דוגמא של איך אמור להראות הקובץ
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml
Host: https://example.comבמידה וטרם חיברתם את התוסף Google Search Console,בחלון הקופץ יש ללחוץ על ״שדרגו״,ולאחר מכן בחלון הנפתח ניתן לקרוא את תנאי השירות,ובסיום לאשר את רכישת השירות-
שימו לב, אם אינכם יודעים כיצד לערוך קובץ זה יש להשאיר את השדה הזה ריק על מנת לוודא שלא יגרם נזק לאינדקסציה של מנועי החיפוש