אתרים רבים לא מקבלים את המיקומים הראויים להם בתוצאות החיפוש רק בשל העובדה שלרובוט של מנוע החיפוש הסורק את האתרים ברשת יש קושי לסרוק את האתר. פעמים רבות פונים אלינו בעלי אתרים המעוניינים בקידום אתרים כיוון שהרובוט של גוגל לא יכול לאנדקס את אתרם.
הרובוטים של מנועי החיפוש (המכונים לעתים עכבישים של מנועי החיפוש) הם בעצם תוכנות פשוטות. מעין דפדפן אינטרנט פרימיטיבי. אם רובוט אינו יכול למצוא תוכן באתר באופן מיידי, הוא ידלג על האתר וימשיך לאתר הבא ברשימה. מסיבה זו, חשוב מאד להבטיח שמנועי החיפוש יאנדקסו את אתרכם במהירות וללא בעיות.
להלן 5 סיבות שימנעו מהרובוטים של מנועי החיפוש לסרוק את אתרכם
סיבה 1: קובץ robots.txt פגום או מכיל שגיאת כתיב.
קובץ robots.txt הוא קובץ הנמצא בשרת האתר ומכוון את הרובוט הסורק את האתר לספריות שיש לסרוק ולספריות שבעל האתר אינו חפץ שהרובוט יסרוק. ברירת המחדל של אתר (אתר ללא קובץ כזה) היא שהרובוט רשאי לסרוק את כל ספריות האתר.
כאשר רובוט של מנוע חיפוש קורא את קובץ ה-robots.txt באופן שגוי, ייתכן שהוא יתעלם לגמרי מאתרכם.
בדקו את קובץ robots.txt הקיים באתרכם, וודאו שהקובץ מונע כניסה (באמצעות הפקודה disallow) של הרובוט אך רק לספריות שאין ברצונכם לאנדקס. זכרו, ספריות שאין ברצונכם לאנדקס לא יופיעו במנועי החיפוש.
סיבה 2: כתובת הURL של אתרכם מורכבת מיותר מידי משתנים.
כתובות URL עם יותר מידי משתנים יכולות ליצור בעיות מול הרובוטים של מנועי החיפוש. כאשר כתובות האתר שלכם מכילות יותר מידי משתנים, רובוט מנועי החיפוש עלול להתעלם מעמודים אלו.
לשם הבהרה: URL עם משתנים נראה ככה: http://www.url.co.il/index.php?mishtane1=1&mishtane2=2&mishtane3=3...
ניתן לזהות אותם על פי סימן השאלה וסימני ה-&.
ההנחיות הרשמיות של גוגל לגבי כתובות URL מרובי משתנים:
"גוגל מאנדקס עמודים עם כתובות URL דינמיות, כולל עמודי .php, .asp, ועמודים עם סימן שאלה בכתובת הURL של האתר. אולם כתובות אלה עלולות ליצור בעיות לסורק שלנו ובמקרה כזה הוא עשוי להתעלם מעמודים אלו."
סיבה 3: אתם משתמשים במזהי גלישה משתנים (Session ID).
מזהי גלישה הנקראים session ID מעניקים בכל פעם כתובת אחרת עבור כל גולש. במקרה של מנועי החיפוש הדבר יכול להוביל לבעיה נפוצה של תוכן כפול ובכך לפגוע במיקומי האתר באופן משמעותי.
הימנעו במידת האפשר ממזהי גלישה משתנים בתוך כתובת הURL שלכם. על מנת לשמור משתני גלישה השתמשו בקבצי קוקי.
סיבה 4: יש יותר מידי קוד בעמודי האתר שלכם.
כמובן שעמודי האתר שלכם יכולים להכיל קודים של ג'אווה סקריפט, CSS וקודים נוספים שאינם קשורים באופן ישיר לתוכן עצמו. אבל ברגע שהיחס של התוכן המקורי המשתנה בין העמודים הוא קטן מאד יחסית לשאר הקוד בעמודי האתר שלכם, לרובוט של מנועי החיפוש עשויה להיות בעיה לסרוק את אתרכם, מומלץ לשקול לדלל את כמות הקוד בעמודים. את הקוד ניתן לראות באמצעות גלישה באתר ואז יש לבחור בתפריט העליון בדפדפן – תצוגה - > מקור.
סיבה 5: מנגנון הקישורים הפנימי מקשה על מנועי החיפוש לסרוק את האתר.
תפריטי ג'אווהסקריפט, פלאש, אג'אקס או DHTML יכולים להיות מרשימים מאד באופן ויזואלי, אולם רוב הסורקים של מנועי החיפוש אינם יכולים לקרוא אותם. הסורקים של מנועי החיפוש יכולים לסרוק בעיקר קישורי HTML פשוטים. כל קישור אחר יכול ליצור בעיות.
תוכן מקורי ואיכותי וקישורים נכנסים טובים – הכרחיים בתהליך קידום אתרים במנועי חיפוש, אולם כל אלה לא יעזרו אם מנועי החיפוש לא יוכלו לאנדקס את אתרכם כראוי.
וודאו שהסורקים של מנועי החיפוש יכולים לאנדקס את עמודי האתר שלכם ללא בעיות כדי שאתרכם ימוקם במיקומים הראויים לו.