Spis treści
- Funkcja: "Szukaj w Google"
- Funkcja: "Szukaj w pkt.pl" i "Szukaj w panoramafirm.pl"
- Funkcja: "Szukaj na stronie"
- Ograniczanie wyników do danej lokalizacji
- Eksportowanie pliku CSV do MS Excel
- Wykorzystanie serwerów proxy
- Alternatywne uruchomienie za pomocą XAMPPa
- Rozwiązywanie problemów
- Zgłaszanie awarii
- Słownik
Funkcja: "Szukaj w Google"
Opis
Funkcja pobiera wyniki z Googla, a następnie przeszukuje strony oraz podstrony w celu pozyskania adresów.Opis
W polu słowa kluczowe należy wpisać szukaną frazę np. mechanik samochodowy. Następnie należy określić ilość stron, domyślnie jest 5. Zalecam maksymalnie 7.Dlaczego akurat 7? Bo Goole nie udostępnia więcej stron. Program jest tak skonfigurowany, że nie pobiera 10 wyników na stronę, tylko 100. Tak więc 7 daje 700 wyników do przeszukania. Co prawda Google pokazuje że znalazł kilka tyś. lub więcej wyników ale ich nie prezentuje. Można to sprawdzić na własną rękę.
Po naciśnięciu uruchom program zacznie pobierać dane. Warto jest poczekać do końca, ponieważ przeszukiwanie dzielone jest na dwie fazy. Pierwsza to pozyskiwanie i wstępne pobieranie adresów ze stron, druga natomiast pobiera podstrony w których są zawarte dane kontaktowe.
Ban oraz serwery proxy
Jeżeli przeszukujemy rozsądnie tj. 5 stron (500 wyników) co jakiś czas, Google nie powinien nam zablokować adresu IP. Jednak jeżeli spróbujemy przeszukać większą ilość, prawie na pewno skończy się to banem.W przypadku banu należy odczekać kilka godzin lub dobę - powinien zostać zdjęty.
Odradzam stosowanie proxy w przypadku pozyskiwania e-maili tą drogą ponieważ nie są niezbędne oraz ciężko znaleźć takie które działają z Googlem.
Funkcja: "Szukaj w pkt.pl" i "Szukaj w panoramafirm.pl"
Opis
Funkcja pobiera wyniki z pkt lub odpowiednio z panoramyfirm, a następnie przeszukuje podstrony w celu pozyskania adresów i innych danych.Wykorzystanie proxy
Zalecam wykorzystanie serwerów proxy, ponieważ często można się spotkać z banem podczas przeszukiwania tych serwisów. Więcej informacji w rozdziale wykorzystanie serwerów proxyFunkcja: szukaj na stronie
Opis
Funkcja ma za zadanie, przeszukać podaną przez użytkownika stronę i jej podstron w celu znalezienia adresów e-mail.Użycie
- W polu słowa kluczowe należy wpisać adres, bądź adresy stron, które mają zostać przeszukane.
- W miejscu ilość wyników, należy wpisać głębokość jaką program ma przeszukać. np. 1 - tylko strona główna, 2 - strona główna i podstrony, 3 - strona główna i podstrony podstron itd.
- Jeżeli opcja Trzymaj się głównej domeny, przy przeszukiwaniu strony, zostanie zaznaczona, program będzie przeszukiwał, tylko tą stronę i nie przejdzie na inne strony, będące podlinkowane. Np. jeżeli program będzie miał przeszukać stronę webinsert.pl, a na tej stronie wystąpi link do google.pl to w przypadku zaznaczonej opcji, program nie przejdzie na google.pl, tylko odrzuci ten link.
- Przy korzystaniu z tej opcji, sugeruje się zmniejszenie ilości wątków do jednego lub dwóch. Przy większej ilości program może pokazywać timeouty
Ograniczanie wyników do danej lokalizacji
Opis
Wyniki dla danego słowa kluczowego można ograniczyć do danej lokalizacji (miasto, powiat lub województwo). Działa, tylko dla serwerów pkt i panorama firm.Użycie
W celu skorzystania z tej funkcji należy wpisać słowa kluczowe, a na końcu nich dopisać %miejscowość.Eksportowanie pliku CSV do MS Excel
1. Należy kliknąć w programie Eksport -> Plik CSV i zapisać plik dane.csv na dysku.2. W programie MS Excel pod zakładką Dane należy wybrać Z tekstu.
3. Pojawi się okienko dialogowe za pomocą którego trzeba importować plik dane.csv. Po wykonaniu tej czynności otworzy się kreator importu. W kreatorze należy wybrać Pochodzenie pliku (kodowanie)
65001 : Unicode(UTF-8), zaznaczyć opcję Rozdzielany i kliknąć przycisk Dalej.
4. W kolejnym kroku należy zaznaczyć Średnik i kwalifikator tekstu jako ". Można teraz kliknąć przycisk zakończ. Pojawi się okienko wyboru miejsca dodania danych. Można kliknąć OK.
5. Dane powinny się poprawnie zaimportować.
Wykorzystanie serwerów proxy
Pierwsze kroki
Pierwszym etapem jest dodanie listy proxy do programu, można to zrobić poprzez kliknięcie w programie przycisku Lista Proxy. Otworzy się nowa strona, poprzez którą można zarządzać w łatwy sposób serwerami. Na stronie zawarte są szczegółowe informacje jak to robić.Problemy z serwerami proxy
Nawet jeśli programy sprawdzające proxy pokazują, że serwer działa i można go wykorzystać to nie zawsze jest to zgodne z prawdą. Oto dlaczego:- Programy nie zawsze sprawdzają połączenie poprzez pobranie konkretnej strony, tylko innymi metodami, które nie przekładają się zawsze na 100% weryfikację działania.
- Serwer proxy zamiast zwracać żądaną stronę, zwraca jakąś inną lub pokazuje nietypową informacje o błędzie, przez co serwer kwalifikowany jest jako działający.
- Często zdarza się, że proxy jest transparentne przez co działa, tylko gdy sprawdza się jego poprawność na niezbanowanym IP, jednak jak próbujemy użyć w programie, gdzie IP mamy zablokowane proxy jest bezużyteczne.
- Warto pamiętać, że serwery proxy mogą przestać działać w każdej chwili, nawet tuż po sprawdzeniu przez oprogramowanie.
Jak znaleźć dobre proxy?
Serwery proxy można znaleźć w internecie wpisując w Google np. proxy list lub kupić. Płatne nie oznacza zawsze lepsze, ponieważ niekoniecznie są one poprawnie weryfikowane.Po znalezieniu serwerów proxy należy je zweryfikować odpowiednim programem np. Google Proxy Checker. Należy pamiętać, żeby testować proxy na zbanowanym IP.
Alternatywne uruchomienie za pomocą XAMPPa
Wykorzystanie XAMPPa do uruchomienia programu przydaje się wtedy, kiedy chcemy uruchomić program w systemie OS X lub gdy standardowa metoda nie działa ze względu na specyficzną konifgurację systemu.1. Pobieranie i instalacja XAMPPa
Program można pobrać ze strony producenta poprzez kliknięcie przycisku XAMPP dlaWindows. Gdy program zostanie pobrany należy uruchomić plik instalacyjny.Podczas instalacji zostaniemy zapytani o wybór komponentów, z racji tego że program do działania wymaga tylko Apache i PHP, można odznaczyć resztę tak jak na zdjęciu poniżej
W kolejnym oknie można zdefiniować miejsce instalacji. Domyślnie XAMPP instaluje się w katalogu C:\xampp i dla takiego katalogu będą pokazane kolejne kroki.
Jeżeli skonfigurowaliśmy instalację według naszych preferencji można przechodzić dalej, aż do momentu rozpoczęcia i zakończenia instalacji.
2. Uruchamianie XAMPPa
Po instalacji powinien uruchomić się Panel Kontrolny XAMPPa, jeśli jednak tak się nie stanie musimy uruchomić go ręcznie (Start > wszystkie programy -> XAMPP -> XAMPP Control Panel)Jeżeli widzimy że Apache podświetlony na zielono to znaczy że wszystko jest poprawnie skonfigurowane, jeśli XAMPP nie jest uruchomiony należy kliknąć przycisk Start. Gdy po wcisnięciu przycisku start w okienku logu pojawiają się czerwone napisy i apache nie startuje powinniśmy wyłączyć wszystkie programy szczególnie skype i te korzystające z internetu, a następnie spróbować ponownie.
3. Integrowanie programu WebEmailHunter z środowiskiem XAMPP
W tym celu przechodzimy do katalogu w którym znajduje się WebEmailHunter i kopiujemy zawartość katalogu rootwklejając ją do katalogu htdocs (C:\xampp\htdocs). W tym katalogu znajdują się przykładowe pliki XAMPPa należy je usunąć. Docelowo katalog htdocs powinien wyglądać tak jak na zrzucie poniżej.
po takiej opracji program powinien znajdować się pod adresem: http://localhost:80/
Rozwiązywanie problemów
Błąd: Brak odpowiedzi przy pobieraniu danych | kod 200 (timeout)
Taki błąd oznacza, że program nie zdążył przetworzyć danych i musiał przerwać działanie.Sposoby rozwiązania:
- Ograniczyć liczbę wątków do minimum 1-5 optymalnie jest 5 ale w krytycznych sytuacjach można korzystać tylko z 1 wątku
- Przyczyną może być zbyt słaby lub obciążony procesor komputera/serwera
- Należy zwiększyć czas przetwarzania. W tym celu trzeba wejśc w Ustawienia -> Więcej ustawień odnaleźć pole czas przetwarzania i wpisać większą wartość np. 30. W polu Dostępny czas jest podany maksymalny czas jaki obsługuje serwer.
Program po jakimś czasie używania przestaje działać tak jak należy
Tutaj, może pomóc restart programu, należy odświeżyć stronę z programem lub wyłączyć i ponownie uruchomić program usbwebservweProgram po zalogowaniu automatycznie się wylogowuje
- Należy sprawdzić, czy włączona jest obsługa ciasteczek
- Należy wyłączyć wszystkie filtry reklam oraz wtyczki, bądź aplikacje mogące modyfikować skrypty stron
Zgłaszanie awarii
Awarie, problemy i sugestie należy zgłaszać na adres kontakt@webinsert.pl w emailu należy:- Dokładnie opisać problem,
- Załączyć zrzuty ekranu,
- Załączyć log z programu,
- Podać słowa kluczowe oraz inne opcje jakie były użyte podczas wystąpienia błędu,
- Dołączyć wynik testu dostępny po użyciu opcji Przeprowadź test działania dostępnej przed logowaniem
Słownik
- Timeout - Błąd związany z zbyt długim czasem oczekiwania na odpowiedź serwera. W programie oznacza to, że program przerwał pobieranie danych z wybranego adresu, ponieważ trwało to zbyt długo.