מהו אינדקס אתרים? איך זה קרה? תשובות לשאלות אלו ואחרות תוכלו למצוא במאמר. אינדקס אינטרנט (אינדקס במנועי חיפוש) הוא תהליך של הוספת מידע על אתר למסד הנתונים על ידי רובוט מנוע חיפוש, המשמש לאחר מכן לחיפוש מידע על פרויקטים אינטרנטיים שעברו הליך כזה.
נתונים על משאבי אינטרנט מורכבים לרוב ממילות מפתח, מאמרים, קישורים, מסמכים. ניתן להוסיף גם אודיו, תמונות וכדומה. ידוע שאלגוריתם זיהוי מילות המפתח תלוי במנוע החיפוש.
ישנה הגבלה מסוימת על סוגי המידע שנוספו לאינדקס (קבצי פלאש, javascript).
ניהול ייזום
אינדקס של אתר הוא תהליך מורכב. כדי לנהל אותו (לדוגמה, כדי לאסור צירוף של דף מסוים), עליך להשתמש בקובץ robots.txt ובהוראות כגון Allow, Disallow, Crawl-delay, User-agent ואחרים.
כמו כן, תגים ואביזרים משמשים לאינדקס, להסתרת תוכן המשאב מרובוטים של גוגל ו-Yandex (Yahoo משתמשת בתג).
במנוע החיפוש של Goglle, אתרים חדשים מתווספים לאינדקס מיומיים עד שבוע, וב-Yandex - משבוע עד ארבעה שבועות.
האם אתה רוצה שהאתר שלך יופיע בשאילתות של תוצאות של מנוע החיפוש? אז זה חייב להיות מעובד על ידי Rambler, Yandex, Google, Yahoo, וכן הלאה. עליך ליידע את מנועי החיפוש (עכבישים, מערכות) על קיומו של האתר שלך, ולאחר מכן הם יסרקו אותו במלואו או בחלקו.
אתרים רבים לא נוספו לאינדקס במשך שנים. המידע שעליהם אינו נראה לאף אחד מלבד בעליהם.
שיטות עיבוד
אינדקס של אתר יכול להיעשות בכמה דרכים:
- האפשרות הראשונה היא הוספה ידנית. עליך להזין את נתוני האתר שלך באמצעות טפסים מיוחדים המוצעים על ידי מנועי החיפוש.
- במקרה השני, הרובוט של מנוע החיפוש עצמו מוצא את אתר האינטרנט שלך על ידי קישורים ומוסיף אותו לאינדקס. הוא יכול למצוא את האתר שלך על ידי קישורים ממשאבים אחרים המובילים לפרויקט שלך. שיטה זו היא היעילה ביותר. אם מנוע חיפוש מוצא אתר בצורה זו, הוא מחשיב אותו כמשמעותי.
תזמון
אינדקס האתר אינו מהיר מדי. התנאים משתנים, בין 1-2 שבועות. קישורים ממשאבים סמכותיים (עם יחסי ציבור מעולים וטיץ) מאיצים משמעותית את מיקום האתר במאגר הנתונים של מנועי החיפוש. כיום, גוגל נחשבת לאטית ביותר, אם כי עד 2012 היא יכלה לעשות את העבודה הזו תוך שבוע. ללמרבה הצער, דברים משתנים מהר מאוד. ידוע ש-Mail.ru עובד עם אתרים באזור זה כחצי שנה.
אינדקס של אתר במנועי חיפוש אינו אפשרי עבור כל מומחה. העיתוי של הוספת עמודים חדשים למסד הנתונים של אתר שכבר מעובד על ידי מנועי החיפוש מושפע מתדירות עדכון התוכן שלו. אם מידע טרי מופיע כל הזמן במשאב, המערכת רואה בו מעודכן לעתים קרובות ומועיל לאנשים. במקרה זה, עבודתה מואצת.
תוכל לעקוב אחר התקדמות האינדקס של אתר אינטרנט במדורים מיוחדים למנהלי אתרים או במנועי חיפוש.
Changes
אז, כבר הבנו איך האתר מתווסף לאינדקס. יש לציין כי מאגרי מידע של מנועי החיפוש מתעדכנים לעתים קרובות. לכן, מספר העמודים של הפרויקט שלך שנוסף אליהם עשוי להשתנות (גם להקטין וגם להגדיל) מהסיבות הבאות:
- סנקציות על מנועי חיפוש נגד האתר;
- הנוכחות של שגיאות באתר;
- שינוי אלגוריתמים של מנוע החיפוש;
- אירוח מגעיל (חוסר נגישות לשרת שבו נמצא הפרויקט) וכן הלאה.
Yandex תשובות לשאלות נפוצות
"Yandex" הוא מנוע חיפוש המשמש משתמשים רבים. היא מדורגת במקום החמישי מבין מערכות החיפוש בעולם מבחינת מספר בקשות המחקר המעובדות. אם הוספת לו אתר, ייתכן שיידרש זמן רב מדי להוסיף למסד הנתונים.
הוספת כתובת אתר אינה מבטיחה את הוספה לאינדקס. זו רק אחת השיטות שבהן מסופר לרובוט המערכתלגבי משאב חדש. אם יש מעט או אין קישורים לאתר מאתרים אחרים, הוספה שלו תעזור לך למצוא אותו מהר יותר.
אם אינדקס לא התרחש, עליך לבדוק אם היו תקלות כלשהן בשרת בזמן יצירת אפליקציה עבורו מהרובוט של Yandex. אם השרת ידווח על שגיאה, הרובוט יפסיק את עבודתו וינסה להשלים אותה בהזמנה הלוך ושוב. עובדי Yandex אינם יכולים להגביר את מהירות הוספת הדפים למסד הנתונים של מנועי החיפוש.
אינדקס של אתר ב-Yandex הוא משימה קשה למדי. אתה לא יודע איך להוסיף משאב למנוע חיפוש? אם יש קישורים אליו מאתרים אחרים, אז אין צורך להוסיף אתר מיוחד - הרובוט ימצא אותו אוטומטית ויוסיף אותו לאינדקס. אם אין לך קישורים כאלה, תוכל להשתמש בטופס "הוסף כתובת אתר" כדי לומר למנוע החיפוש שהאתר קיים.
זכור שהוספת כתובת אתר אינה מבטיחה שהיצירה שלך תצורף לאינדקס (או באינדקס).
אנשים רבים תוהים כמה זמן לוקח לאינדקס אתר ב-Yandex. עובדי חברה זו אינם נותנים ערבויות ואינם צופים תנאים. ככלל, מאז שהרובוט גילה על האתר, הדפים שלו בחיפוש מופיעים תוך יומיים, לפעמים תוך שבועיים.
תהליך
"Yandex" הוא מנוע חיפוש שדורש דיוק ותשומת לב. אינדקס אתרים מורכב משלושה חלקים:
- רובוט החיפוש סורק דפי משאבים.
- תוכן(תוכן) האתר נרשם במסד הנתונים (אינדקס) של מערכת החיפוש.
- בעוד 2-4 שבועות, לאחר עדכון מסד הנתונים, תוכלו לראות את התוצאות. האתר שלך יופיע (או לא) בתוצאות החיפוש.
המחאה באינדקס
איך בודקים הוספת אתרים לאינדקס? יש שלוש דרכים לעשות זאת:
- הזן את שם העסק שלך בסרגל החיפוש (לדוגמה, "Yandex") ובדוק כל קישור בעמוד הראשון והשני. אם תמצא שם את כתובת ה-URL של יוזמתך, הרובוט השלים את המשימה שלו.
- תוכל להזין את כתובת האתר שלך בשורת החיפוש. תוכל לראות כמה גליונות אינטרנט מוצגים, כלומר באינדקס.
- הירשם בדפים של מנהלי אתרים ב-Mail.ru, Google, Yandex. לאחר שתעבור את אימות האתר, תוכל לראות את תוצאות ההוספה לאינדקס ושירותי מנועי חיפוש אחרים שנוצרו כדי לשפר את הביצועים של המשאב שלך.
למה Yandex נכשל?
אינדקס אתר בגוגל מתבצע באופן הבא: הרובוט מכניס למאגר את כל דפי האתר, באיכות נמוכה ואיכותית, מבלי לבחור. אבל רק מסמכים שימושיים כלולים בדירוג. ו-"Yandex" מוציא מיד את כל אשפה באינטרנט. זה יכול להוסיף כל דף לאינדקס, אבל מנוע החיפוש בסופו של דבר יחסל את כל האשפה.
לשתי המערכות יש אינקרמנטלי. שני הדפים באיכות נמוכה משפיעים על דירוג האתר בכללותו. יש כאן פילוסופיה פשוטה הפועלת. משאבים מועדפים של אדם מסויםהמשתמש יתפוס עמדות גבוהות יותר בהנפקתו. אבל אותו אדם יתקשה למצוא אתר שהוא לא אהב בפעם הקודמת.
לכן, ראשית, יש צורך לכסות עותקים של מסמכי אינטרנט מהוספה לאינדקס, לבדוק אם יש דפים ריקים ולמנוע הוספת תוכן באיכות נמוכה לאינדקס.
האיץ את Yandex
איך אני יכול להאיץ את הוספת האתרים לאינדקס ב-Yandex? בצע את השלבים הבאים:
- התקן את דפדפן Yandex במחשב שלך והשתמש בו כדי לגלוש בדפי האתר.
- אשר את הזכויות לניהול המשאב ב-Yandex. Webmaster.
- פרסם קישור למאמר בטוויטר. ידוע שיאנדקס משתפת פעולה עם חברה זו מאז 2012.
- הוסף חיפוש מ-Yandex עבור האתר. בקטע "אינדקס", אתה יכול להזין כתובות אתרים משלך.
- הזן את הקוד "Yandex. Metrica" בלי לסמן "הגשת דפים לאינדקס אסורה".
- הפק מפת אתר שקיימת רק עבור הרובוט ואינה גלויה לקהל. האימות יתחיל איתו. כתובת ה-Sitemap מוזנת ב-robots.txt או בצורה המתאימה ב-"Webmaster" - "Indexing Settings" - "Sitemap Files".
פעולות ביניים
מה צריך לעשות עד שדף האינטרנט יוכנס לאינדקס על ידי Yandex? מנוע החיפוש המקומי צריך להתייחס לאתר כמקור העיקרי. לכן עוד לפני פרסום המאמר, חובה להוסיף את תוכנו לצורת "טקסטים ספציפיים". אחרתפלגיאטרים יעתיקו את הרשומה למשאב שלהם ויהיו הראשונים במסד הנתונים. כתוצאה מכך, הם יוכרו כמחברים.
Google Database
עבור Google, אותן המלצות שתיארנו למעלה מתאימות, רק השירותים יהיו שונים:
- Google+ (מחליף את טוויטר);
- Google Chrome;
- כלי גוגל למתכנתים - "סריקה" - "נראה כמו Googlebot" - אפשרות "סריקה" - אפשרות "אינדקס";
- חיפוש בתוך משאב מ-Google;
- Google Analytics (במקום Yandex. Metrics).
איסור
מהו איסור על הוספת אתרים לאינדקס? אתה יכול לכסות אותו גם על כל העמוד וגם על חלק נפרד שלו (קישור או קטע טקסט). למעשה, יש גם איסור אינדקס עולמי וגם איסור מקומי. איך זה מיושם?
בואו נשקול את האיסור להוסיף אתר אינטרנט למסד הנתונים של מנועי החיפוש ב-Robots.txt. באמצעות קובץ robots.txt, אתה יכול לא לכלול הוספה לאינדקס של דף אחד או כותרת משאב שלמה, כך:
- User-agent:
- Disallow: /kolobok.html
- Disallow: /foto/
הנקודה הראשונה אומרת שההוראות מוגדרות עבור כל ה-PSs, השנייה מציינת שהאינדקס של הקובץ kolobok.html אסור, והנקודה השלישית אינה מאפשרת להוסיף את כל המלית של תיקיית התמונות לקובץ מאגר מידע. אם אתה צריך לא לכלול מספר דפים או תיקיות, אנא ציין את כולם ב-Robots.
כדי למנוע הוספה לאינדקס של גיליון אינטרנט מסוים, אתה יכול להשתמש במטא תג רובוטים. זה שונה מ-robots.txtהעובדה שהוא נותן הוראות לכל ה-PS בבת אחת. מטא תג זה עוקב אחר העקרונות הכלליים של פורמט ה-html. יש למקם אותו בכותרת העמוד בין התגים. ערך איסור, למשל, עשוי להיכתב כך:.
Ajax
איך Yandex מאנדקס את אתרי Ajax? כיום, טכנולוגיית Ajax משמשת מפתחי אתרי אינטרנט רבים. כמובן, יש לה פוטנציאל גדול. בעזרתו תוכל ליצור דפי אינטרנט אינטראקטיביים מהירים ופרודוקטיביים.
עם זאת, רובוט מנוע החיפוש "רואה" את רשימת האינטרנט בצורה שונה מהמשתמש והדפדפן. לדוגמה, אדם מסתכל על ממשק נוח עם גליונות אינטרנט הטעונים בתנועה. עבור סורק, התוכן של אותו דף יכול להיות ריק או מוצג כשאר תוכן ה-HTML הסטטי, שעבורו הסקריפטים אינם פועלים.
אתה יכול להשתמש בכתובת אתר עםכדי ליצור אתרי Ajax, אבל מנוע החיפוש לא משתמש בה. בדרך כלל החלק של כתובת האתר שאחרי ה- מופרד. יש לקחת זאת בחשבון. לכן, במקום כתובת URL כמו https://site.ru/example, הוא עורך יישום לעמוד הראשי של המשאב שנמצא בכתובת https://site.ru. המשמעות היא שהתוכן של גיליון האינטרנט עלול שלא להיכנס למסד הנתונים. כתוצאה מכך, הוא לא יופיע בתוצאות החיפוש.
כדי לשפר את האינדקס של אתרי Ajax, Yandex תמכה בשינויים ברובוט החיפוש ובכללים לעיבוד כתובות האתרים של אתרי אינטרנט כאלה. כיום, מנהלי אתרים יכולים לציין בפני מנוע החיפוש Yandex את הצורך באינדקס על ידי יצירת סכימה מתאימה במבנה המשאבים. בשביל זה אתה צריך:
- החלף את הסמלבכתובת האתר של הדפיםעל ה-!. כעת הרובוט יבין שהוא יכול להגיש בקשה לגרסת HTML של התוכן של גיליון אינטרנט זה.
- גרסת HTML של התוכן של דף כזה צריכה להיות ממוקמת בכתובת URL שבה ! הוחלף ב-?_escaped_fragment_=.
