Web scraping i data crawling

Oba pojęcia bywają używane zamiennie, ale opisują dwa różne etapy pracy z danymi.

Data crawling to poruszanie się po strukturze serwisu. Robot przechodzi po odnośnikach, mapuje adresy, sprawdza, co gdzie się znajduje, i buduje listę zasobów do odwiedzenia. Sam w sobie nie wyciąga treści, tylko odkrywa, gdzie ta treść jest. Crawling przydaje się także niezależnie od ekstrakcji: przy wykrywaniu błędnych odnośników, śledzeniu zmian w czasie, monitorowaniu aktualizacji czy sprawdzaniu, czy serwis nie rozrósł się o adresy, o których nikt nie wie.

Web scraping to wyciąganie konkretnych danych z odwiedzonej strony. Skrypt rozpoznaje w kodzie miejsca, w których znajduje się cena, opis, parametr czy opinia, pobiera je i zapisuje w uporządkowanej formie.

W praktyce te dwa procesy zwykle działają razem. Najpierw crawler ustala, że sklep ma czterdzieści tysięcy kart produktowych i pod jakimi adresami się znajdują. Potem scraper przechodzi po tej liście i z każdej karty pobiera zdefiniowany zestaw pól. Przy jednorazowym pobraniu z kilkunastu znanych adresów crawling nie jest potrzebny. Przy dużych serwisach, które regularnie zmieniają strukturę, to on decyduje o kompletności danych.

Dane są podstawą wielu decyzji w firmach. Gdy producent, partner albo portal nie daje pliku eksportowego ani API, a ręczne kopiowanie jest zbyt wolne, web scraping staje się najprostszym sposobem na zdobycie pełnych i aktualnych informacji. Tworzymy dedykowane narzędzia, które pobierają dane bez udziału człowieka, porządkują je i oddają w czytelnej formie gotowej do wykorzystania – nie tylko dla człowieka. Możesz od razu analizować dane, importować je do swoich narzędzi albo łączyć z innymi zestawami danych.

Sam scraping wystarczy, gdy masz zamkniętą listę adresów, dane pobierasz jednorazowo albo źródło ma stabilną, przewidywalną strukturę. Typowy przykład to pobranie katalogu produktów z panelu B2B, do którego masz dostęp i znasz jego układ.

Crawling staje się konieczny, gdy nie wiesz z góry, ile zasobów zawiera serwis, struktura zmienia się w czasie, dane rozłożone są na wielu poziomach zagnieżdżenia albo potrzebujesz monitorować pojawianie się nowych pozycji. Przy portalach ogłoszeniowych, marketplace’ach i dużych sklepach to zawsze pierwszy etap pracy.

Crawling bez scrapingu też ma zastosowanie. Wykorzystujemy go przy audytach technicznych serwisów, monitorowaniu zmian w strukturze konkurencji, wykrywaniu zerwanych odnośników i śledzeniu tego, jakie nowe podstrony pojawiają się w monitorowanych domenach.

E-commerce i handel. Monitoring cen i dostępności u konkurencji, budowa katalogu produktów z danych producenta, którego nie da się pobrać w żaden inny sposób, śledzenie promocji i zmian w asortymencie, wzbogacanie własnych kart produktowych o parametry i zdjęcia.

Nieruchomości. Zbieranie ofert sprzedaży i wynajmu z portali ogłoszeniowych, zestawienia według lokalizacji, metrażu i ceny za metr, śledzenie zmian cen w czasie, analiza aktywności konkurencyjnych biur.

Motoryzacja. Ogłoszenia z serwisów sprzedażowych, ceny modeli i wersji wyposażenia, dostępność części, dane do wyceny i do budowy porównywarek.

Turystyka. Ceny i dostępność noclegów, promocje, oferty przewoźników, dane do własnej porównywarki albo do dynamicznego ustalania cen.

Sprzedaż B2B. Budowa list potencjalnych klientów z katalogów i serwisów branżowych, wzbogacanie istniejącej bazy o brakujące informacje, monitorowanie zmian w firmach, które Cię interesują.

Marketing i SEO. Analiza treści konkurencji, zestawienia widoczności, monitoring opinii i wzmianek o marce, dane do planowania architektury serwisu.

Badania i modele AI. Zbiory tekstów i danych specjalistycznych do trenowania oraz testowania modeli, dane do analiz naukowych i rynkowych, materiał do budowy własnych baz wiedzy.

Każdy projekt realizujemy w kilku etapach. Proces jest prosty i pozwala nam uzyskać dokładnie takie dane, jakie są potrzebne do dalszej pracy.

Każdy etap kończy się zestawem danych, które możesz od razu wykorzystać – bez dodatkowej obróbki.

Część serwisów sprawdza, czy odwiedza je człowiek, czy skrypt. Robią to na kilka sposobów: przez zagadki weryfikacyjne, analizę zachowania w przeglądarce, ograniczenia liczby zapytań albo różnicowanie treści w zależności od regionu.

Nasze narzędzia działają w środowisku przeglądarkowym i odwzorowują sposób, w jaki serwis przegląda zwykły użytkownik: renderują JavaScript, zachowują naturalne odstępy między żądaniami i nie generują ruchu obciążającego serwer źródłowy. Dzięki temu realizujemy projekty także na serwisach, które prostym skryptem są nieosiągalne.

Trzymamy się przy tym jednej zasady: pobieramy wyłącznie dane publicznie dostępne, czyli takie, które zobaczy każdy odwiedzający bez logowania i bez specjalnych uprawnień. Nie łamiemy zabezpieczeń chroniących treści zamknięte i nie obchodzimy kontroli dostępu. Jeśli dane wymagają konta, potrzebujemy Twojego dostępu i zgody właściciela serwisu.

Każdy scraper opiera się na strukturze serwisu, z którego pobiera dane. Kiedy właściciel tego serwisu przebuduje szablon, zmieni układ kodu albo przeniesie dane w inne miejsce, narzędzie przestaje działać poprawnie. To nie jest awaria, tylko naturalna cecha tej technologii.

Dlatego przy projektach cyklicznych monitorujemy nie tylko dane, ale też samo pobieranie. Jeśli liczba rekordów nagle spada, pola zaczynają wracać puste albo format przestaje się zgadzać, dostajemy alert, zanim niepoprawne dane trafią do Twojego systemu.

Naprawa polega na dostosowaniu scrapera do nowej struktury, a nie na budowaniu projektu od zera. Przy abonamencie utrzymaniowym reakcja na takie zmiany jest wliczona w cenę.

Osobno pilnujemy jakości samych danych. Sprawdzamy kompletność, powtarzalność i spójność, bo scraper, który działa, ale pobiera dane wybiórczo, jest groźniejszy niż taki, który przestał działać całkowicie. Ten pierwszy nie rzuca się w oczy.