הטקסט הנכון של Robots לאתר ה-html יוצר דגמי פעולה עבור בוטים של מנועי חיפוש, ואומר להם מה הם יכולים לבדוק. קובץ זה מכונה לעתים קרובות פרוטוקול אי הכללת רובוט. הדבר הראשון שבוטים מחפשים לפני סריקת אתר אינטרנט הוא robots.txt. זה יכול להצביע על או לומר ל-Sitemap לא לבדוק תת-דומיינים מסוימים. כאשר אתה רוצה שמנועי חיפוש יחפשו את מה שנמצא בתדירות הגבוהה ביותר, אז robots.txt אינו נדרש. חשוב מאוד בתהליך זה שהקובץ יהיה מעוצב נכון ולא יוסיף לאינדקס את דף המשתמש עם הנתונים האישיים של המשתמש.
עקרון הסריקה של הרובוט
כאשר מנוע חיפוש נתקל בקובץ ורואה כתובת URL אסורה, הוא לא סורק אותו, אבל הוא יכול להוסיף אותו לאינדקס. הסיבה לכך היא שגם אם הרובוטים אינם מורשים לצפות בתוכן, הם יכולים לזכור קישורים נכנסים המצביעים על כתובת האתר האסורה. עקב חסימת גישה לקישור, כתובת האתר תופיע במנועי החיפוש, אך ללא שברים. אםעבור אסטרטגיית השיווק הנכנס, נדרש טקסט Robots הנכון עבור bitrix (Bitrix), הם מספקים אימות אתר לבקשת המשתמש על ידי סורקים.
מצד שני, אם הקובץ אינו מעוצב כהלכה, הדבר עלול לגרום לכך שהאתר לא יופיע בתוצאות החיפוש ולא יימצא. מנועי חיפוש אינם יכולים לעקוף את הקובץ הזה. מתכנת יכול להציג את ה-robots.txt של כל אתר על ידי מעבר לדומיין שלו ומעקב אחריו עם robots.txt, למשל, www.domain.com/robots.txt. שימוש בכלי כמו קטע אופטימיזציית SEO של Unamo, בו ניתן להזין כל דומיין, והשירות יציג מידע על קיומו של הקובץ.
הגבלות על סריקה:
- למשתמש יש תוכן מיושן או רגיש.
- תמונות באתר לא יכללו בתוצאות חיפוש תמונות.
- האתר עדיין לא מוכן להדגמה להוספה לאינדקס על ידי הרובוט.
זכור שהמידע שמשתמש רוצה לקבל ממנוע חיפוש זמין לכל מי שמזין את כתובת האתר. אל תשתמש בקובץ טקסט זה כדי להסתיר נתונים רגישים. אם לדומיין יש שגיאה 404 (לא נמצא) או 410 (עבר), מנוע החיפוש בודק את האתר למרות נוכחותו של robots.txt, ובמקרה זה הוא סבור שהקובץ חסר. שגיאות אחרות כגון 500 (שגיאת שרת פנימית), 403 (אסורה), קצוב זמן קצוב או "לא זמין" מכבדות את הוראות robots.txt, אולם ניתן לדחות את העקיפה עד שהקובץ יהיה זמין.
יצירת קובץ חיפוש
רביםלתוכניות CMS כמו WordPress כבר יש קובץ robots.txt. לפני הגדרה נכונה של Robots txt WordPress, המשתמש צריך להכיר את היכולות שלו כדי להבין איך לגשת אליו. אם המתכנת יוצר את הקובץ בעצמו, עליו לעמוד בתנאים הבאים:
- חייב להיות באותיות קטנות.
- השתמש בקידוד UTF-8.
- שמור בעורך טקסט כקובץ (.txt).
כאשר משתמש אינו יודע היכן למקם אותו, הוא יוצר קשר עם ספק התוכנה של שרת האינטרנט כדי לברר כיצד לגשת לשורש של דומיין או לעבור למסוף של Google ולהוריד אותו. בעזרת פונקציה זו, גוגל יכולה גם לבדוק אם הבוט פועל כהלכה ואת רשימת האתרים שנחסמו באמצעות הקובץ.
הפורמט הראשי של טקסט רובוטים הנכון עבור ביטריקס (Bitrix):
- Legend robots.txt.
- , מוסיף הערות המשמשות כהערות בלבד.
- ההערות האלה יתעלמו על ידי סורקים יחד עם שגיאות הקלדה של המשתמש.
- User-agent - מציין באיזה מנוע חיפוש רשומות ההוראות עבור הקובץ.
- הוספת כוכבית () אומרת לסורקים שההוראות מיועדות לכולם.
ציון בוט ספציפי, לדוגמה, Googlebot, Baiduspider, Applebot. Disallow אומר לסורקים אילו חלקים באתר לא צריכים להיסרק. זה נראה כך: User-agent:. הכוכבית פירושה "כל הבוטים". עם זאת, אתה יכול לציין דפים ספציפייםבוטים. כדי לעשות זאת, עליך לדעת את שם הבוט שעבורו מוגדרות המלצות.
ה-robots txt הנכון עבור Yandex עשוי להיראות כך:
אם הבוט לא צריך לסרוק את האתר, אתה יכול לציין זאת, וכדי למצוא את שמות סוכני המשתמש, מומלץ להכיר את היכולות המקוונות של useragentstring.com.
אופטימיזציית דף
שתי השורות הבאות נחשבות לקובץ robots.txt שלם, וקובץ רובוטים בודד יכול להכיל מספר שורות של סוכני משתמש והנחיות המשביתות או מאפשרות סריקה. הפורמט הראשי של טקסט רובוטים הנכון:
- סוכן משתמש: [שם משתמש של סוכן].
- Disallow: [מחרוזת כתובת אתר שאינה נסרקת].
בקובץ, כל בלוק של הנחיות מוצג כבדיד, מופרד בשורה. בקובץ שליד ספריית המשתמש של הסוכן, כל כלל מוחל על קבוצה מסוימת של שורות מופרדות מקטעים. אם לקובץ יש כלל ריבוי סוכנים, הרובוט ישקול רק את קבוצת ההוראות הספציפית ביותר.
תחביר טכני
ניתן לחשוב עליה כעל ה"שפה" של קבצי robots.txt. ישנם חמישה מונחים שיכולים להתקיים בפורמט הזה, העיקריים שבהם כוללים:
- User-agent - סורק אינטרנט עם הוראות סריקה, בדרך כלל מנוע חיפוש.
- Disallow היא פקודה המשמשת כדי לומר לסוכן המשתמש לעקוף(השמטה) של כתובת URL ספציפית. יש רק תנאי אסור אחד לכל אחד.
- אפשר. עבור Googlebot שמקבל גישה, אפילו דף המשתמש נדחה.
- -Crawl-delay - מציין כמה שניות יזדקק לסורק לפני הסריקה. כאשר הבוט אינו מאשר זאת, המהירות מוגדרת בקונסולת גוגל.
- Sitemap - משמש לאיתור כל מפות XML המשויכות לכתובת אתר.
Pattern Matches
כשזה מגיע למעשה לחסימת כתובות אתרים או לאפשר טקסט תקף של Robots, הפעולות יכולות להיות די מסובכות מכיוון שהן מאפשרות לך להשתמש בהתאמת דפוסים כדי לכסות מספר פרמטרים אפשריים של כתובות אתרים. גוגל ובינג משתמשות שתיהן בשני תווים המזהים דפים או תיקיות משנה ש-SEO רוצה להוציא. שני התווים הם הכוכבית () וסימן הדולר ($), כאשר:הוא תו כללי המייצג כל רצף של תווים. $ - תואם לסוף כתובת האתר.
Google מציעה רשימה גדולה של תחבירי תבניות אפשריים המסבירים למשתמש כיצד להגדיר נכון קובץ txt של Robots. כמה מקרי שימוש נפוצים כוללים:
- מנע תוכן משוכפל להופיע בתוצאות החיפוש.
- שמור על פרטיות כל חלקי האתר.
- שמור דפים פנימיים של תוצאות חיפוש על סמך משפט פתוח.
- ציין מיקום.
- מנעו ממנועי חיפוש לאינדקס מסוימיםקבצים.
- ציון עיכוב סריקה להפסקת הטעינה מחדש בעת סריקת אזורי תוכן מרובים בו-זמנית.
בודק נוכחות של קובץ רובוט
אם אין אזורים באתר שצריך לסרוק, אז אין צורך ב-robots.txt כלל. אם המשתמש לא בטוח שהקובץ הזה קיים, הוא צריך להזין את תחום השורש ולהקליד אותו בסוף כתובת האתר, משהו כזה: moz.com/robots.txt. מספר בוטים של חיפוש מתעלמים מקבצים אלה. עם זאת, ככלל, הסורקים הללו אינם שייכים למנועי חיפוש בעלי מוניטין. הם סוג של שולחי דואר זבל, צוברי דואר וסוגים אחרים של בוטים אוטומטיים שנמצאים בשפע באינטרנט.
חשוב מאוד לזכור ששימוש בתקן אי הכללת רובוטים אינו אמצעי אבטחה יעיל. למעשה, חלק מהבוטים עשויים להתחיל עם דפים שבהם המשתמש מגדיר אותם למצב סריקה. ישנם מספר חלקים שנכנסים לקובץ החריגים הסטנדרטי. לפני שאתה אומר לרובוט באילו דפים הוא לא אמור לעבוד, עליך לציין עם איזה רובוט לדבר. ברוב המקרים, המשתמש ישתמש בהצהרה פשוטה שמשמעותה "כל הבוטים".
אופטימיזציה SEO
לפני ביצוע אופטימיזציה על המשתמש לוודא שאינו חוסם כל תוכן או קטעים באתר שיש לעקוף. קישורים לדפים שנחסמו על ידי ה-txt הנכון של Robots לא יכבדו. זה אומר:
- אם הם אינם מקושרים לדפים אחרים הזמינים למנועי חיפוש, כלומר. דפים,לא נחסם על ידי robots.txt או מטא רובוט, ומשאבים קשורים לא ייסרקו ולכן לא ניתן להוסיף אותם לאינדקס.
- לא ניתן להעביר קישור מדף חסום ליעד הקישור. אם יש עמוד כזה, עדיף להשתמש במנגנון חסימה אחר מאשר robots.txt.
מכיוון שדפים אחרים עשויים לקשר ישירות לדף המכיל מידע אישי ואתה רוצה לחסום דף זה מתוצאות חיפוש, השתמש בשיטה אחרת, כגון הגנה באמצעות סיסמה או מטא נתונים מסוג noindex. מנועי חיפוש מסוימים כוללים סוכני משתמש מרובים. לדוגמה, Google משתמשת ב-Googlebot לחיפושים אורגניים וב-Googlebot-Image לחיפושי תמונות.
רוב סוכני המשתמשים מאותו מנוע חיפוש פועלים על פי אותם כללים, כך שאין צורך לציין הנחיות עבור כל אחד ממספר סורקים, אך היכולת לעשות זאת יכולה לכוונן את הסריקה של תוכן האתר. מנוע החיפוש מאחסן את תוכן הקובץ, ובדרך כלל מעדכן את התוכן השמור לפחות פעם ביום. אם המשתמש משנה את הקובץ ורוצה לעדכן אותו מהר מהרגיל, הוא יכול לשלוח את כתובת האתר robots.txt ל-Google.
מנועי חיפוש
כדי להבין כיצד רובוטים txt עובד בצורה נכונה, אתה צריך לדעת על היכולות של מנועי החיפוש. בקיצור, היכולת שלהם טמונה בכך שהם שולחים "סורקים", שהם תוכנות שגלישה באינטרנט למידע. לאחר מכן הם מאחסנים חלק מהמידע הזה כדי להעביר אותו מאוחר יותר למשתמש.
עבור אנשים רבים, Google היא כבר האינטרנט. למעשה, הם צודקים, שכן זו אולי ההמצאה החשובה ביותר שלו. ולמרות שמנועי החיפוש השתנו רבות מאז הקמתם, העקרונות הבסיסיים עדיין זהים. סורקים, המכונים גם "בוטים" או "עכבישים", מוצאים דפים ממיליארדי אתרים. מנועי חיפוש נותנים להם הנחיות לאן ללכת, בעוד שאתרים בודדים יכולים גם לתקשר עם בוטים ולומר להם באילו דפים ספציפיים עליהם להסתכל.
באופן כללי, בעלי אתרים לא רוצים להופיע במנועי חיפוש: דפי ניהול, פורטלים עורפיים, קטגוריות ותגים ודפי מידע אחרים. ניתן להשתמש בקובץ robots.txt גם כדי למנוע ממנועי חיפוש לבדוק דפים. בקיצור, robots.txt אומר לסורקי אינטרנט מה לעשות.
חסום דפים
זהו החלק העיקרי של קובץ אי הכללת הרובוטים. בהצהרה פשוטה, המשתמש אומר לבוט או לקבוצת בוטים לא לסרוק דפים מסוימים. התחביר פשוט, למשל, למנוע גישה לכל דבר בספריית "admin" של האתר, כתוב: Disallow: /admin. שורה זו תמנע מבוטים לסרוק את yoursite.com/admin, yoursite.com/admin/login, yoursite.com/admin/files/secret.html וכל דבר אחר תחת ספריית הניהול.
כדי לאסור עמוד אחד, פשוט ציין אותו בשורת ה-disallow: Disallow: /public/exception.html. עכשיו הדף "חריג".לא יעברו, אבל כל השאר בתיקייה "ציבורית" יעברו.
כדי לכלול דפים מרובים, פשוט רשום אותם:
ארבע השורות האלה של ה-txt הנכון של Robots עבור סימפוניה יחולו על כל סוכן משתמש הרשום בחלק העליון של קטעrobots.txt עבור
Sitemap:
פקודות אחרות:חי - אין לאפשר לסורקי אינטרנט לאינדקס cpresources/ או ספק/.
סוכן משתמש:Disallow: /cpresources/.
Deny: / ספק / Disallow: /.env.
הגדרת סטנדרטים
המשתמש יכול לציין דפים ספציפיים עבור בוטים שונים על ידי שילוב של שני האלמנטים הקודמים, כך זה נראה. דוגמה לטקסט ה-Robots הנכון עבור כל מנועי החיפוש מוצגת להלן.
הקטעים "אדמין" ו"פרטיים" יהיו בלתי נראים לגוגל ול-Bing, אך גוגל עדיין תראה את הספרייה "הסודית", בעוד שבינג לא. אתה יכול לציין כללים כלליים עבור כל הבוטים באמצעות סוכן המשתמש הכוכבית, ולאחר מכן לתת הוראות ספציפיות לבוטים בסעיפים הבאים. עם הידע שלמעלה, המשתמש יכול לכתוב דוגמה של ה-robots txt הנכון עבור כל מנועי החיפוש. פשוט הפעל את עורך הטקסט המועדף עליך ותגיד לבוטים שהם לא רצויים בחלקים מסוימים של האתר.
טיפים לשיפור ביצועי השרת
SublimeText הואעורך טקסט רב תכליתי ותקן הזהב עבור מתכנתים רבים. יתר על כן, עצות התכנות שלו מבוססות על קידוד יעיל. משתמשים מעריכים את נוכחותם של קיצורי דרך בתוכנית. אם המשתמש רוצה לראות דוגמה של קובץ robots.txt, עליו ללכת לכל אתר ולהוסיף "/robots.txt" לסוף. הנה חלק מקובץ robots.txt GiantBicycles.
התוכנית מספקת יצירה של דפים שמשתמשים לא רוצים להציג במנועי חיפוש. ויש לו גם כמה דברים בלעדיים שמעטים יודעים עליהם. לדוגמה, בעוד קובץ robots.txt אומר לבוטים לאן לא ללכת, קובץ ה-Sitemap עושה את ההיפך ועוזר להם למצוא את מה שהם מחפשים, ולמרות שמנועי החיפוש כנראה כבר יודעים היכן מפת האתר ממוקמת, הוא לא מקבל בדרך.
ישנם שני סוגים של קבצים: דף HTML או קובץ XML. דף HTML הוא דף שמציג למבקרים את כל הדפים הזמינים באתר. ב-robots.txt שלו, זה נראה כך: Sitemap://www.makeuseof.com/sitemap_index.xml. אם האתר לא נוסך לאינדקס על ידי מנועי החיפוש, למרות שהוא נסרק מספר פעמים על ידי רובוטי אינטרנט, עליך לוודא שהקובץ קיים ושההרשאות שלו מוגדרות כהלכה.
כברירת מחדל, זה יקרה לכל התקנות SeoToaster, אבל במידת הצורך, אתה יכול לאפס את זה כך: קובץ robots.txt - 644. בהתאם לשרת PHP, אם זה לא עובד עבור המשתמש, זה מומלץ לנסות את האפשרויות הבאות: קובץ robots.txt - 666.
הגדרת עיכוב הסריקה
הנחיית עיכוב מעקף מודיעה לוודאימנועי החיפוש באיזו תדירות הם יכולים לאינדקס דף באתר. זה נמדד בשניות, אם כי חלק ממנועי החיפוש מפרשים את זה קצת אחרת. חלק מהאנשים רואים עיכוב סריקה 5 כשאומרים להם להמתין חמש שניות לאחר כל סריקה כדי להתחיל את הסריקה הבאה.
אחרים מפרשים זאת כהוראה לסרוק רק עמוד אחד כל חמש שניות. הרובוט לא יכול לסרוק מהר יותר כדי לחסוך ברוחב הפס של השרת. אם השרת צריך להתאים לתעבורה, הוא יכול להגדיר עיכוב מעקף. באופן כללי, ברוב המקרים, המשתמשים לא צריכים לדאוג לגבי זה. כך נקבע עיכוב הסריקה של שמונה שניות - עיכוב סחילה: 8.
אך לא כל מנועי החיפוש יצייתו להנחיה זו, כך שכאשר אוסרים דפים, אתה יכול להגדיר עיכובי סריקה שונים עבור מנועי חיפוש מסוימים. לאחר הגדרת כל ההוראות בקובץ, ניתן להעלות אותו לאתר, תחילה יש לוודא כי מדובר בקובץ טקסט פשוט ובעל השם robots.txt וניתן למצוא אותו בכתובת yoursite.com/robots.txt.
בוט הוורדפרס הטוב ביותר
יש כמה קבצים וספריות באתר וורדפרס שצריך לנעול בכל פעם. הספריות שמשתמשים צריכים לא לאפשר הן ספריית cgi-bin וספריות WP הסטנדרטיות. שרתים מסוימים אינם מאפשרים גישה לספריית cgi-bin, אך המשתמשים חייבים לכלול אותה בהנחיית disallow לפני הגדרה נכונה של Robots txt WordPress
ספריות וורדפרס סטנדרטיות,שאמורים לחסום הם wp-admin, wp-content, wp-includes. ספריות אלו אינן מכילות נתונים המועילים בהתחלה למנועי חיפוש, אך יש יוצא מן הכלל, כלומר יש תת-ספרייה בשם העלאות בספריית wp-content. יש לאפשר את ספריית המשנה הזו בקובץ robot.txt מכיוון שהיא כוללת את כל מה שנטען באמצעות תכונת העלאת המדיה של WP. וורדפרס משתמשת בתגים או בקטגוריות כדי לבנות תוכן.
אם נעשה שימוש בקטגוריות, אז כדי ליצור את ה-Robots txt הנכון עבור וורדפרס, כפי שצוין על ידי יצרן התוכנית, יש צורך לחסום את ארכיוני התגים מהחיפוש. ראשית, הם בודקים את מסד הנתונים על ידי מעבר לחלונית "Administration"> "Settings"> "Permalink".
כברירת מחדל, הבסיס הוא התג, אם השדה ריק: Disallow: / tag /. אם נעשה שימוש בקטגוריה, עליך להשבית את הקטגוריה בקובץ robot.txt: Disallow: /category/. כברירת מחדל, הבסיס הוא התג, אם השדה ריק: Disallow: / tag /. אם נעשה שימוש בקטגוריה, עליך להשבית את הקטגוריה בקובץ robot.txt: Disallow: / קטגוריה /.
קבצים המשמשים בעיקר להצגת תוכן, הם ייחסמו על ידי קובץ ה-txt הנכון של Robots עבור Wordpress:
הגדרה בסיסית של ג'ומלה
לאחר שהמשתמש התקין את ג'ומלה, עליך להציג את הגדרת ה-txt הנכונה של Joomla Robots בתצורה הגלובלית, הממוקמת בלוח הבקרה. כמה הגדרות כאן חשובות מאוד עבור SEO. ראשית מצא את שם האתר וודא כינעשה שימוש בשם הקצר של האתר. ואז הם מוצאים קבוצת הגדרות מימין לאותו מסך, מה שנקרא הגדרות SEO. זה שבהחלט יצטרך לשנות הוא השני: השתמש בכתובת URL לשכתוב.
זה נשמע מסובך, אבל זה בעצם עוזר לג'ומלה ליצור כתובות URL נקיות יותר. הכי בולט אם תסיר את השורה index.php מכתובות האתרים. אם תשנה את זה מאוחר יותר, כתובות האתרים ישתנו וגוגל לא תאהב את זה. עם זאת, בעת שינוי הגדרה זו, יש לבצע מספר צעדים בו-זמנית כדי ליצור את ה-robots txt הנכון עבור Joomla:
- מצא קובץ htaccess.txt בתיקיית השורש של ג'ומלה.
- סמן אותו כ-.htaccess (ללא סיומת).
- כלול שם אתר בכותרות הדפים.
- מצא הגדרות מטא נתונים בתחתית מסך התצורה הגלובלי.
רובוט בענן MODX
בעבר, MODX Cloud סיפקה למשתמשים את היכולת לשלוט בהתנהגות של מתן אפשרות להגשת קובץ robots.txt בהתבסס על החלפת מצב בלוח המחוונים. אמנם זה היה שימושי, אך ניתן היה לאפשר בטעות אינדקס באתרי שלב/פיתוח על ידי החלפת אפשרות בלוח המחוונים. באופן דומה, קל היה להשבית את יצירת האינדקס באתר הייצור.
היום השירות מניח נוכחות של קבצי robots.txt במערכת הקבצים עם החריג הבא: כל דומיין שמסתיים ב-modxcloud.com ישמש כ-Disallow: /directive עבור כל סוכני המשתמש, ללא קשר לנוכחות או היעדר הקובץ.אתרי הפקה שמקבלים תעבורת מבקרים אמיתית יצטרכו להשתמש בדומיין משלהם אם המשתמש רוצה להוסיף לאינדקס את האתר שלו.
חלק מהארגונים משתמשים ב-Robots txt הנכון עבור modx כדי להפעיל אתרי אינטרנט מרובים מהתקנה אחת באמצעות Contexts. מקרה שבו ניתן ליישם זאת יהיה אתר שיווק ציבורי בשילוב עם אתרי מיקרו של דפי נחיתה ואולי אינטראנט לא ציבורי.
באופן מסורתי היה קשה לעשות זאת עבור התקנות מרובות משתמשים מכיוון שהן חולקות את אותו שורש רשת. עם MODX Cloud, זה קל. כל שעליך לעשות הוא להעלות קובץ נוסף לאתר בשם robots-intranet.example.com.txt עם התוכן הבא והוא יחסום אינדקס עם רובוטים שעובדים היטב וכל שאר שמות המארחים יחזרו לקבצים סטנדרטיים אלא אם יש צמתי שמות ספציפיים אחרים.
Robots.txt הוא קובץ חשוב שעוזר למשתמש לקשר לאתר בגוגל, במנועי חיפוש גדולים ובאתרים אחרים. ממוקם בשורש של שרת אינטרנט, הקובץ מורה לרובוטים אינטרנט לסרוק אתר, להגדיר אילו תיקיות הוא צריך או לא צריך לאינדקס, באמצעות מערכת הוראות שנקראת Bot Exclusion Protocol. דוגמה ל-Robots txt הנכון עבור כל מנועי החיפוש obots.txt קל במיוחד לביצוע עם SeoToaster. תפריט מיוחד נוצר עבורו בלוח הבקרה, כך שהבוט לעולם לא יצטרך לעבוד יותר מדי כדי לקבל גישה.
