איך מוצאים מידע באינטרנט?
אם תשאלו אדם מהרחוב איך למצוא מידע באינטרנט הוא מייד יענה "גוגל". לפעמים אנשים מתבלבלים וחושבים שגוגל זה האינטרנט וכן להיפך.
איך מנועי חיפוש וגוגל בכללם מוצאים בשבילך את המידע?
גוגל הוא בעצם אתר אינטרנט כמו כל אתר אחר באינטרנט (רק ענק עם המון שרתים שגוזלים המון חשמל) ומטרתו היא לאנדקס את כל (או את רוב) האתרים והתכנים באינטרנט. ולאפשר לכל אדם לחפש באמצעות מנוע החיפוש החכם שלו תכנים שגוגל אינדקס.
מנוע החיפוש של גוגל או יותר נכון הרובוט של גוגל סורק את התכנים השונים באינטרנט ומאנדקס אותם. בתהליך האינדוקס הרובוט של גוגל מחליט מספר דברים כאשר הוא פוגש תוכן כלשהו.
1. איזה סוג מדיה מדובר (דף תוכן, וידאו, מוסיקה, תמונה, קובץ כלשהו).
2. איזה סוג של תוכן מדובר ולמה הוא קשור (חדשות, פורומים, בלוג, אתר אישי…)
3. מה הנושא של התוכן המדובר ומה תת הנושאים שלו.
4. מה הקשר בין התוכן המסוים הזה והרלוונטיות שלו לשאר התכנים באותו דומיין. לפי זה הוא נותן ציון לדומיין כולו ולקשרים שבו.
5. בדיקת קשרים והקשרים – מה הרלוונטיות של הדומיין בנושא מסויים לדומיין אחר באותו נושא. ומה רלוונטיות של כל אחד מהם לנושא. פעולה זאת מתבצעת אין סוף פעמים בין כל מיליוני הדומיינים באינטרנט על כל מרכיביהם.
6. חדשנות – מהי מידת החדשנות של תוכן מסוים. ובדיקה אם יש תוכן דומה במקום אחר באינטרנט.
ועוד ועוד
יש גם כמובן "חורים שחורים", אלה הם דומיינים ואתרי אינטרנט שהרובוט של גוגל בגלל סיבות שונות מחליט לא לאנדקס אותם באינדקס שלו.
ברגע שגוגל מחליט החלטה שכזאת פירושה הוא שהגולשים בעולם כולו לא ימצאו את האתר בגוגל. כלומר במידה רבה לא ימצאו את האתר אלא אם כן יש להם את הכתובת המדויקת של האתר. זה מה שקרא לא פחות ולא יותר לחברת BMW בגרמניה כפי שתוכלו לקרא כאן אבל בינתיים גוגל החזירה את האתר לאינדקס אחרי שאלה תיקנו את הבעיה.
סיבות שבגללם הרובוט של גוגל מעיף אתרים מהאינקס שלה יכולות להיות למשל:
1. חוות קישורים – חוות קישורים הוא אתר שאין לו ערך מוסף מבחינת האינטרנט. הוא אינו מציע שירות או תוכן אמיתי לגולשים. כל מטרתו היא לספק קישורים לאתרים אחרים בדרך כלל לאתרים שכבר מקושרים ביניהם.
2. תוכן מוסתר – על-מנת להופיע עבור מילים בתוצאות החיפוש, על המילים להופיע באתר. אולם לא תמיד יש מספיק מקום או המילים משתלבות בעיצוב. שימוש בטקסט הכתוב באותו צבע כרקע האתר, או טקסט בכתב זעיר עד כדי שלא ניתן לקרוא אותו נחשב כספאם.
3. התחפשות אתר – הפניית הגולש לאתר אחר מזה שהרובוט של גוגל סרק. כן, מבחינה טכנית אפשר לעבוד על הרובוט של גוגל.
4. זיבול של פורומים – על-מנת להשיג קישורים, ספאמרים מפציצים פורומים בשטויות מבלי לתרום באופן אמיתי לתוכן.
5. אתרים שמקשרים לאתרי ספאם –אתרי ספאם הם בדרך כלל אתרי הימורים וסקס. אתר שמקשר לאתרי ספאם עשוי גם להענש. חשוב להדגיש כי אתר שמופנים אליו קישורים מאתרי ספאם לא ייענש כיוון שאין לו שליטה על הקישורים הנכנסים.
6. בלתי ראוי – אתרים שהתוכן שלהם נמצא בלתי ראוי מבחינה חוקית או מוסרית. למשל בסין גוגל מפעיל צנזורה בהתאם לבקשת הממשל הסיני. יש גם מקורות לכך שגוגל מפעיל צנזורה לתכנים מסוימים כך שהוא לא ממש אובייקטיבי. אבל זה כבר חבית נפץ שאין לה ממש תועלת לנושא שלנו.
בסוף כל התהליך הארוך הזה גוגל מחליט לגבי כל תוכן באינטרנט מספר דברים:
1. מהו הנושא של תוכן או דף מסוים.
2. מהם תחומי המשנה של אותו תוכן מסוים.
3. מה הרלווונטיות שלו.
4. כן, הוא מעתיק את כל התוכן שלו לאינקס ולגבי כל צירוף מילים או ביטויים הוא נותן ציון רלוונטיות
כל זה מביא אותו בסוף להחליט מהו "המקום של האתר" בתוצאות החיפוש לגבי כל ביטוי שהגולש מחפש.