מה אפשר לעשות עם Screaming Frog

Screaming Frog?

Screaming Frog היא תוכנת סריקת אתרים מתקדמת, לרוב היא משמשת מקדמי אתרים (SEO) כדי לקבל תמונה מלאה יותר על האתר אותו מקדמים. בעזרת התמונה המתקבלת מ-Screaming Frog אפשר לבנות תוכנית אסטרטגית יסודית ומדוייקת שתעזור לאתר להשיג מיקומים אורגניים גבוהים בגוגל.

בגלל היכולות המדהימות של הכלי הזה, אפשר להיות יצירתיים ולהשתמש בה בשביל ביצוע איסוף נתונים מאתרים מתחרים, ביצוע ניתוחים טקטיים של אסטרטגיית תוכן, ניהול QA לאחר העלאות של עדכוני גירסת אתר, איתור בעיות של איסוף מידע באתר ועוד הרבה! הרבה!! מעבר.

העידן של Old School SEO מתחיל להיעלם מהעולם ומה שתופס את מקומו הוא SEO המבוסס על איסוף וניתוח נתונים יעיל בכמות גדולה. סקרימינג פרוג מספקת כלים לסריקת אתרים גדולים וקטנים ודו"חות יסודיים של בעיות SEO שכל בעל אתר צריך לדעת עליהן.

אז מה אפשר לעשות עם סקרימינג פרוג?

שגיאות – שגיאות לקוח כגון קישורים שבורים ושגיאות שרת (דפים ואובייקטים שמחזירים שגיאות מסוג 400 ו-500).

הפניות – הפניות קבועות (301), זמניות (302), JavaScript ו-Meta Refresh.

כתובות אתרים חסומות – הצגה וביקורת של כתובות אתרים שאינן מורשות על ידי קובץ robots.txt. למדריך המלא לכתיבת קובץ רובוטס ושליטה על תקציבי שליטה מוזמנים לדף הבא.

משאבים חסומים – הצגה וביקורת של משאבים חסומים בעת טעינת הדף במצב רינדור.

קישורים יוצאים – צפו בכל הקישורים היוצאים, קודי הסטטוס שלהם ודפי המקור בהם הם נמצאים.

אבטחה (HTTPS) – גלה דפים לא מאובטחים (HTTP), תוכן מעורב (Mixed Content), טפסים לא בטוחים, כותרות אבטחה חסרות ועוד.

בעיות URI – תווים שאינם ASCII, קו תחתון, תווים גדולים, פרמטרים או כתובות URL ארוכות.

שכפול דפים – גלה דפים כפולים מדויקים וקרובים באמצעות בדיקות אלגוריתמיות מתקדמות.

כותרות עמודים – כותרות עמוד (Title) חסרות, כפילויות, רכיבי כותרת ארוכים, קצרים או מרובים.

תיאור מטא – תיאורי מטא (Meta Description) חסרים, כפולים, ארוכים, קצרים או מרובים.

מילות מפתח מטא – בעיקר למנועי חיפוש אזורים או אזורים, מכיוון שהם אינם בשימוש על ידי גוגל, בינג או יאהו.

גודל קבצים – גודל כתובות האתרים, קבצי תמונה, וידאו, קבצי PDF ועוד סוגי קבצים אחרים.

זמן תגובה – צפה כמה זמן לוקח לדפים להגיב לבקשות.

שינוים בכותרות HTTP – צפה בתאריך האחרון ששונה בכותרת HTTP.
עומק סריקה – צפה עד כמה כתובת אתר עמוקה בארכיטקטורת האתר, באתרים גדולים זהו נושא קריטי ודרך הנתונים אפשר למקם דפים חשובים כך שיהיה קל יותר להגיע אליהם.

ספירת מילים – נתחו את מספר המילים בכל עמוד.

H1 – כותרות חסרות, כפולות, ארוכות, קצרות או מרובות.

H2 – כותרות חסרות, כפולות, ארוכות, קצרות או מרובות

תגית Meta Robots – אינדקס, noindex, follow, nofollow, noarchive, nosnippet וכו '.

הפניות מטא (Meta Refresh) – כולל דף יעד ועיכוב זמן.

תגיות Canonicals – רכיבי קישור וכותרות HTTP קנוניות.

X-Robots-Tag – ראה הנחיות שהונפקו באמצעות כותרת HTTP.

עימוד – הצג תכונות rel = "הבא" ו- rel = "prev".

קישורי Follow & Nofollow – צפה במאפייני הקישור meta nofollow ו- nofollow.

לולאת הפנית (הפניות 3xx עוקבות) – גלה לולאות הפניה שיכולות לגרום לאיבוד משאבים חוויית משתמש גרועה ופגיעה בתקציבי הסריקה של גוגל.

תכונות hreflang – בקרת קישורי אישור חסרים, קודי שפות לא עקביים ולא נכונים, hreflang לא קנוני ועוד, נושא חשוב וקריטי בקידום אורגני בשוק העולמי.

קישורים נכנסים – הצג את כל הדפים המקשרים לכתובת אתר, את טקסט העוגן והאם הקישור Follow או NoFollow.

קישורים חיצוניים – צפה בכל בקישורים באתר שמובילים אל דומיין אחר, כמו גם משאבים.

טקסט עוגן – כל טקסט קישור כולל טקסט אלט מתמונות עם קישורים.

סריקות JS – סרוק מסגרות JavaScript כמו AngularJS ו- React, על ידי סריקת ה- HTML המוצג לאחר ביצוע JavaScript.

AJAX – תוכלו לבחור בסריקה של AJAX, גירסת הסריקה הישנה של גוגל.

תמונות – כל כתובות ה- URL עם קישור התמונה וכל התמונות מדף נתון. תמונות מעל 100kb, חסרות טקסט Alt, טקסט alt מעל 100 תווים.

החלפת User-Agent – סרוק כ- Googlebot, Bingbot, Yahoo! Slurp, סוכני משתמשים ניידים או UA מותאם אישית משלך.

כותרות HTTP מותאמות אישית – ספקו כל ערך כותרת HTTP, החל מקבלת שפה ועד קובץ cookie.

חיפוש קוד מקור מותאם אישית – מצא את כל מה שאתה רוצה בקוד המקור של אתר! בין אם זה קוד של Google Analytics, טקסט ספציפי או קוד וכו '.
חילוץ מותאם אישית – משיכת נתונים מכל ה- HTML של כתובת אתר באמצעות XPath, CSS Path selectors או regex.

שילוב של גוגל אנליטיקס – התחבר ל- API של גוגל אנליטיקס ושלף נתוני משתמשים והמרות ישירות במהלך סריקה.

שילוב מסוף החיפוש של גוגל – התחבר לממשק ה- API של Google Search Console ומשוך נתוני מיקום, קליקים וממוצע מול כתובות אתרים.

שילוב תובנות של PageSpeed – התחבר ל- API של PSI עבור מדדי LightHouse, הזדמנויות לשיפורי מהירות, אבחון ונתוני דוח חוויית משתמש ב- Chrome (CrUX).

מדדי קישורים נכנסים – משוך מדדי קישורים נכנסים מממשקי ה- API של Majestic, Ahrefs ו- Moz לסריקה כדי לבצע ביקורת תוכן או פרופיל קישורים.

יצירת XML Sitemap – יצירת מפת XML ומפת אתר של תמונות באמצעות סקרימינג פרוג, יש באפשרותכם להסיר או לכלול כתובות אתרים לפי קטגוריות וסטטוסים.

Robots.txt מותאם אישית – הורד, ערוך ובדק את ה- robots.txt של האתר באמצעות ה- robots.txt המותאם אישית החדש.

תמונות מסך – סורק ושומר תמונה עדכנית של הדפים, משם אפשר לנתח את הדפים ששהתקבלו.

אחסן והצג HTML – חיוני לניתוח ה- DOM.

סריקה ואימות של AMP – סרוק כתובות אתרים של AMP ובדוק אם הן תקינות.

ניתוח מפת XML – סרוק מפות XML באופן עצמאי או חלק מסריקה, כדי למצוא דפים חסרים, שאינם ניתנים לאינדקס או דפים יתומים.

ויזואליזציות לניתוח מבנה האתר – באמצעות כלי זה ניתן לנתח את ארכיטקטורת הקישורים הפנימיים ואת מבנה ה- URL של דפי האתר, באמצעות דיאגרמות עץ וגרפים נוספים.

נתונים מובנים ואימות – חלץ ואמת נתונים מובנים כנגד מפרטי Schema.org ופיצ'רים נוספים של חיפוש בגוגל.

איות ודקדוק – בדקו את אתרכם בלמעלה מ- 25 שפות שונות.

השוואת סריקה – השווה נתוני סריקה כדי לראות שינויים, לזהות בעיות והזדמנויות בנוסף למעקב אחר שיפורי SEO מבחינה טכנית. מאפשר השוואת מבנה האתר, זיהוי שינויים באלמנטים, במדדים מרכזיים ומיפוי כתובות מאתרים בסביבת פיתוח אל אתרים חיים.

מה מאפשרת הגירסה החינמית?

הגרסה החינמית מוגבלת לסריקה של עד 500 כתובות אתרים בסריקה אחת ואינה מעניקה לכם גישה מלאה לתצורה, שמירת סריקות או תכונות מתקדמות כגון עיבוד JavaScript, חילוץ מותאם אישית, שילוב Google Analytics ועוד. תוכלו לסרוק 500 כתובות אתרים מאותו אתר, או כמה אתרים שתרצה, כמה פעמים שתרצה.

מה מאפשרת הגרסה בתשלום?

תמורת 149 פאונד לשנה תוכלו לרכוש רישיון, שמסיר את מגבלת 500 סריקת כתובות אתרים, מאפשר לכם לשמור סריקות, ופותח את אפשרויות התצורה של העכביש ותכונותיו המתקדמות.
* המספר המרבי של כתובות אתרים שאתה יכול לסרוק תלוי בזיכרון ובאחסון שהוקצו. אנא עיין בשאלות הנפוצות שלנו.

דרכים נוספות בהן השתמשתי ב-Screaming Frog

• סריקה של אתר דרך Wayback Maching. מסיבות כלשהן לא יכולנו לקבל תמונת מצב של כל הכתובות של האתר שנסרקו דרך גוגל והיינו צריכים להיות יצירתיים, הכלי עשה עבודה טובה אך היה צורך בקצת התערבות באקסל או בשימוש בכלים פנימיים של הכלי כדי להציג את הכתובות הנקיות.
• סריקת אתר של מתחרים כדי להבין טוב יותר את מבנה האתר שלהם ולתכנן את אתרי הלקוחות שלי טוב יותר, תוך כדי הסריקה שמתי לב גם לבעיות שיש אצלם באתר שאני יכול לוודא שאין אצלי עוד לפני העליה של האתר החדש.
• הכלי לא נועד לביצוע של Scraping (איסוף נתונים) אבל הוא כלי חזק מאוד ובתצורות מסויימות באתרים מסויימים אפשר להשתמש בסקרימינג פרוג גם כדי לאסוף מידע מתוך דפים ולהוציא מידע זה בצורה מסודרת באקסל, אם מדובר בפרטי לקוחות שאפשר להעביר לאנשי המכירות, מחקר שוק על מחירים של אנשי מקצוע או אפילו סתם כדי להבין טוב יותר כל כמה זמן המתחרה שלנו מעלה כתבות חדשות לבלוג.

סקרימינג פרוג הוא כלי מתקדם ועם יצירתיות אפשר גם להשתמש בו למטרות אחרות מקידום אתרים, כמו למשל QA למתכנתים לפני שהם הולכים להעלות אתר חדש.

דבר אחרון לפני הסיום, לכלי סריקה כאלה יש סיכוי להיחסם אם מבצעים סריקות בצורה אגרסיבית, לכן אם אתם סורקים אתרים שלא בבעלותכם עדיף שתעשו את הסריקה עם הגדרות אלגנטיות יותר, זה אמנם יאט את מהירות הסריקה אך ימנע חסימה של ה-IP, ותוכלו להמשיך להנות מהכלי בסריקות הבאות.