Поиск

Заметки ученого кота

Парсер google-выдачи, бесплатный

, 16 лет назад Свободные 2 мин чтения 68 комментариев

Заметка 2010 года. Версии программ и описанные приёмы могли устареть.

Решил поделиться десктопным парсером google, написанным из-за того, что существующие аналоги, которые удалось найти, меня не устраивали или мутно как-то работали. То за ночь работы набирается 100 ссылок, а траффика уходит гиг, то еще что-то.

Этот парсер прост, как трусы по рубль двадцать. И это не только про его возможности (они кстати скромные, ни поддержки прокси, ни антикапчи), а и про интерфейс тоже.

Но на всякий случай расскажу что и куда клацать, чтобы было хорошо :)

 

  • 1 — Запросы к ПС, построчно. Русские символы вводите как есть, программа сама сделает urlencode. Клик правой кнопкой мыши откроет меню с парой плюшек.

  • 2 — Кликните, чтобы к каждому запросу добавить site:TLD, где список этих самых TLD находится в файле zones.txt.

    Нафиг это нужно? Все очень просто, сравним запрос "google parser" с запросом "google parser site:ru"
    В первом случае поисковая выдача будет содержать все найденные сайты, а во втором только сайты в зоне ru.
    Это полезно, если требуется получить более 1000 результатов. В идеале, для каждой доменной зоны можно получить по 1000 ссылок.
    Например, по запросы "парсер google" мы получили только 1000 ссылок.
    А если кликнуть "site:TLD", то сможем получить до 11000 ссылок:

  • 3 — Файл, в который будут сохранены найденные ссылки. Если указанный файл существует, то он будет просто дополнен, а не перезаписан.

  • 4 — Файл, в который будут сохранены найденные домены. Если указанный файл существует, то он будет просто дополнен, а не перезаписан.

  • 5 — Интервал задержек между запросами. Лучше не торопить события и выставив что-то между 20-30, пойти сделать себе чай, бутерброд с колбасой и почитать новости, пока программа будет работать :)

  • 6 — Выпадающий список для управления парсингом - старт, стоп, пауза и продолжить. Содержание списка меняется в зависимости от выполняемой задачи, чтобы отображать только доступные задачи.

    • UPD: Вирустотал ругается на программу из-за упаковки. Поэтому добавил незапакованный вариант:
    google_parser.zip | depositfiles.com | ~2.44 Mb

    Вложения
    google_parser.rar

    68 комментариев

    root

    ОЧЕНЬ полезная программа, спасибо

    Гость

    virustotal.com/file-scan/report.html?id=0bb42dd8c345b2cf1a9f939738420bc7e032b5194edaabdaad3cfadd0d68d9e3-1283489597#
    Result:
    29 /43 (67.4%)

    Administratorавтор

    Ага, хочу стырить все ваши пароли xD

    Вот тоже самое, но без сжатия nspack'ом
    virustotal.com/file-scan/report.html?id=e9b8afaf02f76008fc41ef7035c5c9eb2aa53ec2b12de7994d0ccb69ce5a16e7-1283528045
    Result:
    0 /43 (0.0%)

    Ссылку на незапакованный файл добавил в пост.
    Спасибо, что указали на проблему.

    Гость

    Привет, спасибо за парсер, но он, впринципе, как все которые я нашел, парсит только до третьей страницы, потом гугл выдает такую надпись -

    "Чтобы показать наиболее значимые результаты, мы опустили некоторые, очень похожие на 214 уже показанных.
    Если вы хотите, можно повторить поиск, включив опущенные результаты."

    если нажать на "включив опущенные результаты", то тя кидает опять на первую страницу и парсинг начинается опять с первой по третью страницу, замкнутый круг блин (( ...........как думаешь, можно это как то вылечить?

    Гость

    Всё время вылетает такая ошибка:
    Google: HTTP 503, sorry. Чистим cookies, ожидание x4 - 5.09 сек.
    В чём может быть проблема?

    Administratorавтор

    Это не ошибка, это google банит за слишком частые запросы.
    У вас сейчас видимо стоит задержка от 1 до 2 сек., установите больший интервал между запросами, например 15-25 сек.

    DMS

    А как останавливать парсинг? Программу удается закрыть только через диспетчер задач.

    Administratorавтор

    Тоже вариант ;)
    А если серьезно, я не предусмотрел возможность остановки задачи.
    Постараюсь найти время и сделать.

    UPD: сделал

    Гость

    Самый лучший и пока рабочий парсер. Токо без прокси часто банят...

    Гость

    Пока нет прокси в самой проге, можно класть ее во FreeCap и будет вам прокси!

    Вадим

    огромное спасибо. Если бы прокси сокс + многопоточность - можно нести продавать

    Вадим

    Блин немного разочаровался. Плохо, что он не листает страницы, а парсит только первую на каждый запрос

    Administratorавтор

    Листает, может оформление выдачи поменяли.
    Приведите пример запроса, заодно проверю и это, когда дело до парсера дойдет.

    UPD: Да, поменяли оформление выдачи гугл, исправил.

    Fly

    Сделайте прокси и антигейт плиз

    Гость

    зделай плиз возможность настраивать шаблони поскових систем парсинга как в агрессе ицени ему не будет. А аресс реально заепал как лежит сервер разрабов он нихрена не работает.

    Гость

    Самое интересное для меня это командная строка. Автор мне приходится делать по не скольку тысяч запросов. Но где-то на 400 запросе парсер пишет "out of memory". Добавь поддержку командной сроки и цены ему не будет. Например после каждых 150 запросов он выгружался из оперативки и запускался с новыми запросами и настройками.

    Алексей Батькович

    Будет реализована поддержка командной строки? Эта возможность очень интересует... При больших объемах для парсинга она крайне необходима.

    Administratorавтор

    Возможно, когда будет свободное время добавлю опцию полного сброса данных из памяти в файлы. Т.о. в файле с доменами и ссылками скорее всего будут дубликаты, но расход памяти станет приемлемым.

    Алексей Батькович

    Бог с ними с дубликатами. Очень нужна подобная функция. Товарищ администратор если не сложно сделайте поскорее ее.
    И еще заметил один глюк парсера. Например я отпарсил 200 запросов. Программа создала файлы с доменами и со ссылками, но при повторном запуске программы и указании этих же файлов происходит беда. Файл содержащий ссылки теряется, точнее затирается, а домены остаются в полном порядке (в сам файл продолжает записываться информация)

    Гость

    Автор добавь сброс данных из памяти в файлы. Позарез эта функция нужна.

    Administratorавтор

    Перекачай архив, теперь нет проверки на дубликаты.
    Не тестил, но по идее должно работать.

    Алексей Батькович

    Протестил. Понравилось. Большое спасибо!
    Возник вопрос. Как строится ссылка к google? Присутствует параметр языка ru в парсере, а мне нужно не только ru запросы прогнать, но и de, en, uk, fr. Можно ли как нибудь прикрутить их? Пытался в hex редакторе ссылку поправить, но почему-то не получилось...

    P.S. По личному наблюдению если зайти на google.de, то вырастет ревалентность немецких запросов...
    P.S.S. Еще раз спасибо большое за парсер. Теперь он у меня работает на постоянке =)

    Алексей Батькович

    Приветствую. Долго не писал, т.к. не мог парсером нарадоваться. Всем хорош.
    Но возник ряд вопросов. Автор ответь пожалуйста.
    1. Это построение ссылки к google. Я писал постом выше что мне нужно в запрос добавить fr, de, en. Можно это реализовать? Т.к. такой изврат нужен наверное только мне скинь пожалуйста мне на почту. (Я думаю мой мыльник отобразился)
    2. Соксификация. Для ускорения работы парсера его действительно нужно соксифицировать. У меня где-то около 500 000 запросов к google, а интервал запросов я сейчас не могу поставить менее чем 25сек. То есть у меня в сутки он пробегает около 500 запросов, а это конечно же мало. Просьба заключается в том что бы либо прикрутить к нему прокси, либо как писал товарищ выше прикрутить его к freecap, но у меня это никак не выходит. Может инструкцию какую выложишь...
    Что-то вроде "парсер и freecap - как их подружить"(для чайников)

    С Уважением,
    Алексей Батькович

    Гость

    Парсю гугл с локала через динамический айпи своим скриптом. Качественно, любые объёмы. Беру заказы на парсинг. ася 243221960.

    Алексей Батькович

    Автор, приветствую!
    Очень прошу добавить еще возможность вводить запросы в юникоде. В utf-8 очень нужно.
    С Уважением,
    Алексей Батькович

    msn.com

    а у всех парсер листает страницы выдачи?

    Алексей Батькович

    Вроде как листает...

    Гость

    Хороший софт! вот мой парсер google юзайте наздоровье! private-seo-soft.blogspot.com/2011/04/google.html

    Александр

    Ребят вот смотрите парсер гугла, яши, яху, метабот
    Да еще и может анализировать найденные ссылки, например искать только phpBB

    http://cybermake.ru/view/view_web_parser.php

    Алексей Батькович

    Парсер интересный, но он не может обрабатывать 100 000запросов, т.к. он что-то там анализирует... Свой выбор оставляю все равно на этом парсере. После того как автор убрал функцию проверки на дубликаты - ему цены нет =)

    Гость

    Огромное спасибо за программу.

    Алексей Батькович

    Автор, мне любопытно, ты дальше собираешься продолжать разработку парсера или все на этом заглохло?

    Administratorавтор

    Не вижу смысла его развивать. Я поделился однажды созданным для своих целей инструментом, даже разок его немного доработал по заявкам. Но развивать дальше, ради чего?

    Гость

    Спасибо Вам большое.
    Часы жизни сэкономили!

    j0hndoe

    Спасибо дружище!
    Очень помогла прога.

    e2e4

    Во-первых, огромное спасибо за парсер. Подскажите пожалуйста, есть ли возможность ограничить глубину парсинга (допустим топ-3 или первая страница) и использовать другие операторы (inurl допустим)? Если нет, то могли бы Вы доработать это платно?

    Administratorавтор

    Здравствуйте!

    Извините, но совершенно нет времени, чтобы заняться парсером. Возможно, позже добавлю антигейт, но ничего не могу обещать.

    amex

    за парсер спасибо тоже, большое,
    e2e4 : inurl intitle почему самому не добавить в тексте, будет работать норм, только гуглом банится, но на это другие есть меры
    Автору спасибо еще раз

    Гость

    Не пойму, указаk файл сохранения ссылок txt, кликаю старт и вижу - Не заданы фалы для сохранения результатов.

    Гость

    *указал

    Гость

    парсит только первые 100 линков к каждому запросу :(

    Administratorавтор

    Спасибо, что написали. Вероятно из-за изменений в оформлении выдачи гугла поломался механизм перехода по ссылкам на другие страницы выдачи. Как будет время посмотрю и перезалью парсер.

    Гость

    прграмма супер. но нужно добавить прокси или хотябы ввод кепчи...

    Гость

    А прокси всегда лучше ставит другой программы - я лично ползую крякнутый Proxy Switcher.

    Гость

    Самый лучший парсер для парсинга урлы каталогов из Гоогле!!!
    Спасибо!
    Как благодарность - список запросов для парсинга каталогов:
    addurl.html
    addasite.html
    addalink.html
    submiturl.html
    submitsite.html
    submitlink.html
    submitaurl.html
    submitasite.html
    submitalink.html
    addurl.html
    add_url.html
    add_site.html
    add_link.html
    add_a_url.html
    add_a_site.html
    add_a_link.html
    submit_url.html
    submit_site.html
    submit_link.html
    submit_a_url.html
    submit_a_site.html
    submit_a_link.html
    ?act=s_add
    add/1
    addurl.htm
    addsite.htm
    addlink.htm
    addaurl.htm
    addasite.htm
    addalink.htm
    submiturl.htm
    submitsite.htm
    submitlink.htm
    submitaurl.htm
    submitasite.htm
    submitalink.htm
    add_url.htm
    add_site.htm
    add_link.htm
    add_a_url.htm
    add_a_site.htm
    add_a_link.htm
    submit_url.htm
    submit_site.htm
    submit_link.htm
    submit_a_url.htm
    submit_a_site.htm
    submit_a_link.htm
    add_url.htm
    add_site.htm
    add_link.htm
    add_a_url.htm
    add_a_site.htm
    add_a_link.htm
    submit_url.htm
    submit_ site.htm
    submit_link.htm
    submit_a_url.htm
    submit_a_site.htm
    submit_a_link.htm
    addlink.html
    addurl.htm
    addsite.htm
    ?act=s_add
    dob?white=1
    add.php
    index.php?action=add
    add?white=1
    index.php?a=add
    add-lnk.cgi?cmd=showform
    index.php?actions=add
    modules.php?name=Web_Links&l_op=AddLink
    index.php?id=add
    ?add=1
    /newurl/
    add_link.php
    index.phtml?A=AddAdv
    addb.php
    ?section=addlink
    ?page=reg
    ?add=1
    addurl.php
    /kat/add.php
    /cat/add.php
    /links/add.php
    ?act=addform
    index.php?adds=1
    addlink.php
    catalog_addp.shtml
    addcatalog.php
    ?act=s_add&cat_id=25
    submit.php
    submit.php?type=links

    Гость

    Проблем какой то получается... Когда включу региональные опции (TLD)то всегда Гооге банить меня. А включил "регионалки" на такие домены как ru, eu, cn, us, de... Это можно исправит?
    Все таки спасибо за парсера!

    Гость

    Автор, обновите пожалуйста этот парсер...что б снова с гуглом дружить начал...это самый лучший парсер из всех, которые мне доводилось видить...включая платные версии...

    Гость

    Огромное спасибо автору, за обновление

    Новые комментарии закрыты: заметка из архива.