Поиск

Заметки ученого кота

Парсер google-выдачи, бесплатный

, 16 лет назад Свободные 2 мин чтения 68 комментариев

Заметка 2010 года. Версии программ и описанные приёмы могли устареть.

Решил поделиться десктопным парсером google, написанным из-за того, что существующие аналоги, которые удалось найти, меня не устраивали или мутно как-то работали. То за ночь работы набирается 100 ссылок, а траффика уходит гиг, то еще что-то.

Этот парсер прост, как трусы по рубль двадцать. И это не только про его возможности (они кстати скромные, ни поддержки прокси, ни антикапчи), а и про интерфейс тоже.

Но на всякий случай расскажу что и куда клацать, чтобы было хорошо :)

 

  • 1 — Запросы к ПС, построчно. Русские символы вводите как есть, программа сама сделает urlencode. Клик правой кнопкой мыши откроет меню с парой плюшек.

  • 2 — Кликните, чтобы к каждому запросу добавить site:TLD, где список этих самых TLD находится в файле zones.txt.

    Нафиг это нужно? Все очень просто, сравним запрос "google parser" с запросом "google parser site:ru"
    В первом случае поисковая выдача будет содержать все найденные сайты, а во втором только сайты в зоне ru.
    Это полезно, если требуется получить более 1000 результатов. В идеале, для каждой доменной зоны можно получить по 1000 ссылок.
    Например, по запросы "парсер google" мы получили только 1000 ссылок.
    А если кликнуть "site:TLD", то сможем получить до 11000 ссылок:

  • 3 — Файл, в который будут сохранены найденные ссылки. Если указанный файл существует, то он будет просто дополнен, а не перезаписан.

  • 4 — Файл, в который будут сохранены найденные домены. Если указанный файл существует, то он будет просто дополнен, а не перезаписан.

  • 5 — Интервал задержек между запросами. Лучше не торопить события и выставив что-то между 20-30, пойти сделать себе чай, бутерброд с колбасой и почитать новости, пока программа будет работать :)

  • 6 — Выпадающий список для управления парсингом - старт, стоп, пауза и продолжить. Содержание списка меняется в зависимости от выполняемой задачи, чтобы отображать только доступные задачи.

    • UPD: Вирустотал ругается на программу из-за упаковки. Поэтому добавил незапакованный вариант:
    google_parser.zip | depositfiles.com | ~2.44 Mb

    Вложения
    google_parser.rar

    68 комментариев

    Гость

    Может вопрос звучит тупо и всё же...
    Как программе указать в какой файл сохранять результаты?
    Заранее благодарю!

    minskysoft

    Отличный бесплатный парсер. Я себе форумов за час напарсил офигенную тучу. Большое спасибо :)

    Денис

    Автор, можешь дать исходник ?

    Гость

    Все работает, но смотришь файлы сохранения ссылок и доменов - а они пустые. Как исправить?

    Гость

    А где можно скачать новую версию программы ?? И появится в программе прокси ?

    Administratorавтор

    Скачать можно будет здесь, когда она появится (пока не планирую этим заниматься).
    Поддержки прокси не будет.

    Иван

    Здравствуйте, если не планируете поддерживать проект. Может выложите исходники ? А то задача актуальна, могу подправить и выслать Вам, Вы уже на сайт выложите.

    Гость

    Каспреский не пускает (((

    Гость

    Отказано в доступе, почему?

    Гость

    Прошу прощения за глупость, но у меня проблема!
    проблема заключается в том, что всю работу он должен сохранять в txt файле, а он не сохраняет. что мне делать?

    Гость

    Какие могут быть ошибки?
    или, что нужно изменить?

    bareff

    podskazhite chem mozhno udalit` dubli i kakoi progoi mozhno viderut` tol`ko saiti, a ne ves` ogromnij link?

    Гость

    Автор, оживи пожалуйста парсер google.

    Win7 (64-bit)
    Запускается без проблем
    Создает видимость работы
    Пишет - готово!
    НО:
    3 - файл пуст
    4 - файл пуст

    P.S.
    Хороший помощник, жаль поломался (ровно год назад работал исправно) - печалька.

    Гейтс

    Gen:Trojan.Heur.PT.PmqabmZqivpi (B) в файле gp.exe

    Новые комментарии закрыты: заметка из архива.