вторник, 1 декабря 2015 г.

Свежая база Drupal-сайтов + Бонусы

Приветствую! 12 октября Ботмастер выпустил новую версию Хрумера - 12.0.12. Одним из изменений новой версии было - улучшение пробиваемости ресурсов, работающих на движке Drupal. Поэтому было бы грешно не собрать свежую базу Drupal-сайтов.
Парсил мультиязычную базу. Использовал ряд поисковиков: Google, Yandex, Yahoo, Rambler, Baidu и Bing.
Т.к. далеко не все drupal-сайты имеют вид: "/node/", то пришлось парсить без фильтра.
Приведу пару примеров запросов, которые использовал для сбора:
  • "login or register to post comments" "powered by drupal"
  • "Poster un nouveau commentaire" "page personnelle"
Затем через анализатор (один из инструментов Хрумера) база была отфильтрована. В качестве фильтра использовал признаки присущие только сайтам, работающим на движке Drupal, а именно:
  • /misc/drupal.js
  • Drupal.settings
  • drupal.css
В итоге после использование анализатора на выходе получилось 250864 живых (200 OK) Drupal-сайтов.
Продам базу первым 10-ти покупателям. Стоимость базы 10$. Как обычно для покупки обращаться через форму связи. Принимаю Paypal и Webmoney.
Т.к. Ботмастер советует использовать при работе с движком Drupal встроенную в Хрумер систему распознания капчи в связке с капча-сервисами, то в качестве бонуса к базе первому покупателю подарю ключ со 100 рублями на счету в rucaptcha.
И еще один бонус. Это дополнительная база Ucoz-сайтов.
В базе 16238 сайтов. Это выборка из моих прогонов в августе-сентябре. В этой базе содержатся сайты, которые Хрумеру удалось пробить.
В итоге первый покупатель получает 2 базы и ключ от rucaptcha. Каждый последующий покупатель получит только 2 базы.