תגידו שלום לרובוט החדשות של גוגל Googlebot News

מאת רוני קלבו

למי שבמקרה נקשר לרובוט החדשות הייעודי של גוגל, זה הזמן לאזור כוחות, לקחת נשימה עמוקה ולהיפרד ממנו לשלום. גוגל הודיעה כי מהיום רובוט החדשות שלהם יותא לגמלאות ולא יסרוק יותר אתרי חדשות ברשת.
רובט החיפוש המהולל של גוגל הוא שיחליף את מקומו.

חסימת תכנים חדשותיים מרובוט הסריקה של גוגל
בכל הנוגע לחסימת תכני חדשות מהרובוט הכללי של גוגל, הפתרון הלגיטימי הוא עודנו שימוש בקובץ robots.txt. כל שעליכם לעשות הוא להגדיר חסימת תוכן כזה או אחר תחת User-agent: Googlebot-News.
גוגל אישרה כי על אף השינויים והחלפת הרובוטים, היא עדיין תתייחס לשורה זו.

אפשרות נוספת היא שימוש בתגית המטא רובוט (meta robots tag) פר דף תוכן אותו רוצים לחסום.
לחסימה מלאה של התוכן, כולל הלינקים המופיעים באותו דף, יש להשתמש בשורה הבאה:

<META NAME="GOOGLEBOT" CONTENT="NOINDEX, NOFOLLOW">

ומה לגבי ניטור חסימת תכנים חדשותיים?
הבעיה בחיסול הפרדת הכוחות בין סריקת תוכן ברשת באופן כללי וסריקת חדשות באופן ספציפי נוגעת ליכולת הניטור של סריקה זו. על אף היכולת להמשיך ולמנוע חסימת סריקה של תכנים חדשותיים, גוגל לא תספק על כך מידע ב"כלי הניהול של גוגל למנהלי אתרים" (Google Webmaster Tools) באופן שיאפשר לבעלי אתרים לוודא כי הם לא חוסמים בטעות סריקה של תכנים חדשותיים שהם כן מעוניינים בסריקתם.

הצעד הזה של גוגל לא ממש ברור. מה שכן, עובדה זו מטה את המאזניים לטובת האפשרות של שימוש בתגיות מטא רובוטס לשם חסימת תכנים ספציפיים. הדבר כרוך ביותר מאמץ, בעיקר עבור אתרים מרובי תכנים, אך, נכון לעכשיו, עושה רושם כי זו האופציה הבטוחה ביותר.

כתיבת תגובה

האימייל לא יוצג באתר. שדות החובה מסומנים *