SEO

Crawlowanie dużych serwisów za pomocą Screaming Froga

Jak wiadomo tworzenie witryn wiąże się z koniecznością ich późniejszego analizowania pod kątem zawartości treści ciągłego dostosowywania wszystkich wymogów z tym związanych. Jednym z narzędzi, dzięki któremu można właśnie dokonać dogłębnej analizy tego zagadnienia jest narzędzie Screaming Frog. Jeśli nie miałeś jeszcze do czynienia z tym narzędziem, a chciałbyś wykorzystać w pełni jego potencjał, zapraszamy do lektury artykułu, w którym postaramy Ci się przybliżyć nieco jego możliwości.

 

 

Optymalizacja pod kątem poszukiwanych danych

Jak wiadomo audyt SEO jest formą dogłębnej analizy witryny, dzięki której można będzie uzyskać pełne informacje o zasobach serwisu i tym jakie są konieczności działania wtórnego jeśli chodzi o działania związane z optymalizacją treści. Narzędzie, o którym dziś mamy zamiar nieco więcej napisać jest na tyle zaawansowane, że pozwala na dokonywanie dogłębnych analiz serwisów, nawet tych bardzo obszernych. Jakie możliwości daje ów program? Oto lista kilku możliwości:

 

  1. Znalezienie adresów URL zwracających kod 301;

  2. Otrzymanie adresów wszystkich adresów URL;

  3. Znalezienie kodu Google Analytics;

  4. Znalezienie błędnych podstron;

  5. Znalezienie podstron z konkretnymi parametrami w URL;

  6. Znalezienie duplikacji title, meta itp.;

  7. Znalezienie detali odnośnie obrazków (np. wielkości w bajtach itp);

  8. Znalezienie informacji na temat hreflang;

  9. Znalezienie najwolniej ładujących się podstron;

  10. Analiza i/lub utworzenie pliku sitemap.xml.

 

Jeśli chodzi o crawlowanie to z początku warto jest wykonać standardowe przeszukiwanie serwisu, potem można spróbować przejrzeć witrynę pod innym kątem i zmienić ustawienia na mniej standardowe, możliwości jest naprawdę mnóstwo i wszystkie znajdują się w zakładce „Spider configuration”, w którym można zaznaczyć mnóstwo rzeczy, jak wiadomo można wykluczać pliki SWF, JS, CSS, jeśli chodzi o możliwości to warto pamiętać o takich opcjach jak:

 

  1. Check Links Outside – ta opcja pozwala na wykluczenie opcji przeszukiwania konkretnego folderu;

  2. Follow Internat NOFOLLOW – opcja nakazująca robotowi podążanie za linkami nofollow;

  3. Crawl canonicals – wykluczenie podążania adresów kanonicznych.

 

Warte zauważenia z podstawowych ustawień są jeszcze kwestie związane z możliwością ustawienia takich parametrów jak:

  • łączna liczba podstron,

  • głębokość analizowania podstron w zakresie struktury,

  • analizowanie kodu JavaScript – zarówno całości jak i „gołego” tekstu;

  • renderowanie obrazków z analizy („Bulk export” → Screenshots).

 

Jak przyspieszyć crawlowanie i analizować skomplikowane/rozbudowane serwisy?

 

Jak wiadomo proces samego crawlowania jest bardzo czasochłonny i zżera dużo pamięci roboczej, dlatego warto jest mieć możliwość zoptymalizowania, podobnież jak i w przypadku serwisów bardziej problematycznych można dokonać dokładniejszej konfiguracji oprogramowania, jak tego dokonać? Oto kilka możliwości ustawień w zakładce „Advanced”:

  • Always follow redirects – ta opcja pozwala na dyrektywy przekierowania 301;

  • Response timeout – ta opcja pozwala na zwolnienie crawlowania przez zwiększenie standardowego 20 sekundowego czasu w przypadku wolniejszych serwisów;

  • 5XX response retries – ta opcja zwiększa szansę na przeanalizowanie strony pod kątem ponownego analizowania zasobów, które zwracają błąd 5XX;

  • Max redirects to follow – w tej opcji można ustalić jak długą ścieżkę przekierowań ma uwzględnić Screaming Frog.

 

Warto jeszcze pamiętać o możliwości ustawienia w zakładce „Exclude” podstron, których nie chcemy otrzymać w końcowym raporcie.

 

A jak przyspieszyć pracę Froga? Podstawowe opcje są dwie:

 

  • Zmniejszenie liczby wątków – jak wiadomo im więcej wątków, tym więcej zapytań do serwera;

  • Zmiana limitu crawlowanych adresów URL na sekundę – można dzięki tej funkcji ograniczyć liczbę adresów crawlowanych i dzięki temu osiągnie się efekt większej dokładności w przeglądaniu serwisów.

 

Ponadto można jeszcze zmienić opcję zapisywania danych z pamięci RAM na dysk twardy i to powinno znacząco wpłynąć na jakość crawlowania przez Froga.

 

Podsumowanie

 

Jak wiadomo narzędzia do dogłębnej analizy stron www są różne. Screaming Frog jako narzędzie pozwala na bardzo dokładne analizy i jednocześnie umożliwia mnóstwo opcji wykluczających poszczególne pliki z naszego zakresu przeszukiwania, w zależności od tego do jakich danych chcemy dotrzeć. W gruncie rzeczy możemy zatem ograniczyć czas własny oraz crawlu potrzebny nam do zgromadzenia niezbędnych danych.

Niewątpliwie korzystanie ze Screaming Frog jako narzędzia analizy stron jest mocno zalecane szczególnie dla tych, którzy pragną dokonać analizy dokładnie i mieć pewność, że pozyskane dane będą kompletne. Mamy nadzieję, że nasz artykuł pozwoli Wam nieco przybliżyć kwestie związane z optymalizacją i konfiguracją tegoż oprogramowania.

 

Skontaktuj się z nami

Infolinia 0801 011 742
tel 74 831 64 67
tel. kom. 608 054 626




Wyrażam zgodę na przetwarzanie moich danych osobowych w celu przedstawienia oferty handlowej oraz usług firmy.

Ciekawostki z bloga

 

ZAUFAJ DOŚWIADCZENIU

SitePromotor : strony, sklepy, seo - 14 lat doświadczenia
Rzetelna Firma

Miło nam poinformować, że przeszliśmy pozytywnie weryfikację i uzyskaliśmy certyfikat "Rzetelna Firma" KRD.

Google Advertising Professional

Doświadczenie naszego konsultanta SEM zostało potwierdzone poprzez przyznanie Certyfikatu Google Advertising Professional.

ZAUFALI NAM

Uniwersytet Wrocławski Politechnika Wrocławska WP money Dospel Magellan Dolnośląska Szkoła Wyższa Castrol eGospodarka OEX

Referencje


Średnia ocena jakości usług SitePromotor     Głosów: 5/5 (17 Głosujących)

Sitepromotor