понедельник, 13 мая 2013 г.

Пробиваем трастовый движок Vanilla

Добрый день! Это моя последняя статья в рамках обучения работы с Хрумером. Эту статья и прошлую статью о социальных сетях я не успел написать в рамках конкурса, но  материал был частично готов, а Ботмастер решил принимать статьи на определенных условиях до 15 мая. В данном мануале пойдет речь о модификации Хрумера для рассылки в трастовый форумный движок - Vanilla.
Vanilla – это бесплатный движок для форума с открытым кодом, поэтому он пользуется большой популярностью. Движок до сих пор поддерживается и развивается. Из защит на движке используется ReCaptcha. На небольшом количестве форумов встречается текстовый вопрос. Рассылку можно делать без поддержки прокси. А главный плюс движка – это чистота, т.е. незаспамленность.
Материал будет изложен в три этапа: парсинг базы, создание модификации и рассылка.
Для начала нам нужно собрать базу Vanilla-сайтов. Для парсинга будем использовать Hrefer.
Во внутренней директории Хрефера в папке “Templates” создаем файл vanilla_addwords.txt и вставляем туда следующие запросы для парсинга:
inurl:"/index.php?p=/discussion/"
inurl:"/entry/register?Target="
В этой же папке создаем файл vanilla.txt и вставляем туда следующие фильтры:
/index.php?p=/discussion/
/entry/register?target=
Открываем Hrefer и переходим к настройкам парсинга: Options – Parsing options.
В блоке “Duplicates filtering” установите галочку напротив "Enable filtering of duplicated links by hostnames". В блоке “Duplicates filtering method” выберите "By hostnames". В блоке “Query ordering” выберите "Words + Additive Words". В блоке “Multi-SE parsing method” выберите "New query for each search engine".
Теперь переходим: Options – Anonymity options.
Установите галочку напротив “Use proxy”, “Auto-refresh, delay (min)”. В блоке “Mode” выберете нужный тип анонимности: прокси или соксы. В блоке “Checking options” выберите “Save only anonymous”. Установите лимит на количество используемого прокси, таймаут и время автообновления прокси. В блоке “Google parsing options” установите галочку напротив "Randomize datacenters".
Далее во вкладке “MultiThreading” в блоке “Multithreading options” установите количество потоков напротив "Parser max. threads count" и “Proxycheсker threads count”, а в блоке “Antiban options” установите количество секунд напротив "Pause between queries" и количество процентов напротив “% of randomization”, установите галочку напротив "Add this pause between threads starting". Во вкладке “Search Engines options & Filter” в блоке “Search engines options” напротив "SE" выберите поисковую систему: Google, а напротив "Sieve-filter": vanilla. Во вкладке Words database из выпадающего списка выберите файл со списком своих слов для парсинга. Чтобы собрать максимально-возможную базу сайтов, используйте мультиязычную базу слов в большом количестве. Потом напротив "Links file" напишите название будующего файла с ссылками. Обновите прокси и можно начинать парсинг!
Базу собрали! Теперь надо обучить Хрумер работать с движком. Запускаем Xrumer. Открываем инструмент ModCreator. В адресной строке инструмента вводим страницу регистрации на движке Vanilla http://robobrrd.com/forum/entry/register?Target=categories%2Fdiscussions и жмем зеленую стрелочку.
Теперь обучаем Хрумер новым полям. Кликаем правой кнопкой мышки по полю “Email” и выбираем: Set FieldEMAIL. Кликаем правой кнопкой мышки по полю “Username” и выбираем: Set FieldNICKNAME. Кликаем правой кнопкой мышки по полю “Password” и выбираем: Set FieldPassword. Кликаем правой кнопкой мышки по полю “Confirm Password” и выбираем: Set FieldPASSWORD. В блоке "Результат" жмем "Сохранить". Далее переходим во вкладку xmessages.txt. Нам нужно указать правило для нахождения формы регистрации. Для этого кликаем правой кнопкой мышки и выбираем: View HTML-code.
Берем кусок кода “<form id="Form_User_Register" method="post"” (без кавычек). В блоке “Обучение” напротив “Признак” вставляем “<form id="Form_User_Register" method="post"” (без кавычек), а напротив “Значение” из выпадающего списка выбираем “RFORM”. Жмем "Добавить".
Еще нужно указать правило об ошибочной каптче. Для этого вводим неправильное значение каптчи и видим сообщение об ошибке.
В блоке “Обучение” напротив “Признак” вставляем “The reCAPTCHA value was not entered correctly” (без кавычек), а напротив “Значение” из выпадающего списка выбираем “ PICTOTRY”. Жмем "Добавить".
Далее нам нужно узнать правило об успешной регистрации. Для этого заполняем все обязательные поля и регистрируемся. Перед нами появляется сообщение об успешной регистрации.
В блоке “Обучение” напротив “Признак” вставляем “You need to confirm your email address” (без кавычек), а напротив “Значение” из выпадающего списка выбираем “ACTIVATION”. Жмем "Добавить".
Нам на почту пришло сообщение с ссылкой для активации аккаунта. Нам нужно активировать аккаунт. Для этого в адресной строке инструмента вводим ссылку активации аккаунта http://robobrrd.com/forum/entry/emailconfirm/167/IHKR51HN и жмем зеленую стрелочку.
В блоке “Обучение” напротив “Признак” вставляем “Your email has been successfully confirmed” (без кавычек), а напротив “Значение” из выпадающего списка выбираем “REGISTERED”. Жмем "Добавить".
Затем нам нужно сохранить все наши изменения. Для этого в блоке "Результат" жмем "Сохранить".
С обучением регистрации закончили. Затем нам надо обучить входить в аккаунт. Для этого в адресной строке инструмента вводим страницу аутентификации на движке Vanilla http://robobrrd.com/forum/entry/signin и жмем зеленую стрелочку.
Остаемся во вкладку xmessages.txt. Нам нужно указать правило для нахождения формы аутентификации. Для этого кликаем правой кнопкой мышки и выбираем: View HTML-code.
Берем кусок кода “<form id="Form_User_SignIn" method="post"” (без кавычек). В блоке “Обучение” напротив “Признак” вставляем “<form id="Form_User_SignIn" method="post"” (без кавычек), а напротив “Значение” из выпадающего списка выбираем “LFORM”. Жмем "Добавить".
Еще нам нужно правило об ошибочном входе в аккаунт. Для этого пытаемся залогиниться под вымышленными данными. Перед нами выскачит сообщение об ошибке.
В блоке “Обучение” напротив “Признак” вставляем “no account could be found related to the email” (без кавычек), а напротив “Значение” из выпадающего списка выбираем “LOGIN_FAILED”. Жмем "Добавить".
Теперь нужно правило об успешной аутентификации. Для этого входим под настоящими данными. Далее кликаем правой кнопкой мышки и выбираем: View HTML-code.
Берем кусок кода “entry/signout” (без кавычек). В блоке “Обучение” напротив “Признак” вставляем “entry/signout” (без кавычек), а напротив “Значение” из выпадающего списка выбираем “LOGGEDIN”. Жмем "Добавить".
Затем нам нужно сохранить все наши изменения. Для этого в блоке "Результат" жмем "Сохранить".
С обучением входа в аккаунт закончили. Далее нам нужно обучить полям при постинге. Для этого в адресной строке инструмента вводим страницу постинга на движке Vanilla http://robobrrd.com/forum/post/discussion и жмем зеленую стрелочку.
Переходим во вкладку xas.txt. Кликаем правой кнопкой мышки по полю “Discussion Title” и выбираем: Set Field – SUBJ1.
Кликаем правой кнопкой мышки по полю “Content” и выбираем: Set Field – MESSAGE. Кликаем правой кнопкой мышки по полю “Tags” и выбираем: Set FieldSUBJ2. В блоке "Результат" жмем "Сохранить".
В МодКрейторе изменения закончились. Открываем файл xurl.txt, удаляем его содержимое и вставляем в него следующее:

{ Vanilla }

AddLinkRule([0,'/entry/register'
           ],URL_TOREGISTRATION);

AddLinkRule([0,'/entry/signin'
           ],URL_TOLOGIN);

AddLinkRule([2,NICKNAME,
             0,'/profile/'
            ],URL_TO_VIEWPROFILE);

AddLinkRule([2,NICKNAME,
             0,'/profile/'
            ],URL_TO_EDITPROFILE);

AddLinkRule([0,'/profile/edit'
            ],URL_TO_EDITPROFILE2);

AddLinkRule([0,'/profile/picture'],URL_TO_EDITAVATAR);

AddLinkRule([0,'/categories/'
            ],URL_TOVIEW);

AddLinkRule([0,'/discussion/',
             0,'/post/',false,
            ],URL_TO_VIEWTOPIC);

AddLinkRule([0,'/post/discussion'
            ],URL_TONEWPOST);
Затем нужно внести в файл xignoreforms.txt запреты на поле поиска. Для этого в блоке “[ANY]” вставляем “{IN_FORM}<input type="text" id="Form_Search" name="Search"” (без кавычек).
Далее нужно внести изменения в файл xpop.txt. Уже выше писалось, что на почту пришло письмо с ссылкой для активации. Поэтому в блоке “[LINKNEEDS]” вставляем http://[...]/entry/emailconfirm/[...] (без кавычек).
С созданием модификации закончили. Переходим непосредственно к рассылке по движку Vanilla. Начнем в настройки Хрумера. Переходим: Настройки – Скорость и Пробиваемость.
В блоке “Экспресс-настройка” передвигаем бегунок в положение “Выше пробиваемость”. В блоке “Прецизионная настройка” установите галочку напротив “Делать повторные попытки при таймаутах” и “Включить обработку фреймов”. В блоке “Опции распознавания пиктокода” устанавливаем галочку напротив “Включить распознавание ReCaptcha”. Укажите нужное вам количество попыток распознания пиктокода. Выберите “Автоматический режим”. Переходим: Настройки – Дополнительные настройки.
В блоке “Рассылка” устанавливаем галочки напротив “Включить проверку активной ссылки после отправки”, “Редактировать профиль после регистрации”, “Закачивать аватар при редактировании профиля”, “Входить под текущим аккаунтом, если логин занят”. В блоке "Спец-режим постинга” выбираем “Только создавать топик”. Переходим: Настройки – Активация профайлов по e-mail.
Выбираем “Автоматический фоновый режим”, в блоках “Периодичность проверки почты” и “Макс. длительность сессии скачивания” устанавливаем нужное вам количество минут, а также устанавливаем галочки напротив “До-скачивать письма по завершении рассылки” и “Скачивать все письма, без фильтрации по заголовку”. Еще надо включить систему самообучения.
Установите галочку напротив “Включить режим самообучения”.
Теперь поговорим о монетизации. В этот раз мы будем работать с фотохостингами, которые платят за просмотры картинок. Платят обычно за 1000 просмотров. Цена зависит от страны! За топовые страны (США, Британия, Австралия, Канада и др.) некоторые фотохостинги платят до 5 $, но и остальные страны тоже оплачиваются, но уже за меньшие деньги.
Картинки могут быть любой тематики, но желательно неадалт (хотя в некоторых фотохостинга не запрещено). Я решил остановится на смешных картинках спортивной тематики. Нам потребуется найти эти картинки. Парсить ссылки картинок будем с помощью Хрумера. Залить картинки можно вручную или можете подключить под это дело – Зеннопостер.
Если немного погуглить, то можно найти источник для парсинга. Я в качестве примера буду парсить спортивную категорию на сайте veryfunnypics.com
Открываем HTML-код страницы и ищем границы для парсинга ссылок картинок.
Переходим: Настройки – Автограббинг. В список для автограббинга вставляем следующее: “<img src="[...]" alt="” (без кавычек). Устанавливаем галочки напротив “Полный сбор всех совпадений по каждой маске” и “Не сохранять в xgrabbed.txt название маски”.
При парсинге можно использовать дефолтный проект “Template”. Но нам еще потребуется база для парсинга картинок.
Для этого переходим: Инструменты – Конвертер ссылок.
В блоке “Выбор шаблонов” создаем шаблон: “{url}{keyword}” (без кавычек). В блоке “Выбор Анкора” выбираем “Перебор всех анкоров из списка для каждой ссылки”.  В блоке “Метод генерации” ставим галочку напротив “В столбец” и выбираем “Стандартная генерация”. В блоке “Список ссылок” вставляем: “http://veryfunnypics.com/pics/index/category/Sports/page/” (без ковычек). В блоке “Список анкоров” вставляем список:
0/sort/recent
1/sort/recent
2/sort/recent
3/sort/recent
4/sort/recent
Жмем кнопку “Сгенерировать”. Далее жмем кнопку: “Скопировать содержимое в буфер”.
Создаем текстовый файл photourl.txt и вставляем туда содержимое из буфера. Можем начинать парсинг!
Т.к. собранные ссылки у нас получились без домена в начале, то это можно исправить с помощью конвертера ссылок следующим образом:
Далее нужно залить картинки на фотохостинги. Вот небольшой список фотохостингов, которые платят за показы:
Imagetwist
Imagejumbo
Imgpo
Imgdino
Imgbunk
К примеру регистрируемся на Imagetwist. Выбираем “URL upload”.
Вставляем наш список собранных картинок. Выбираем размер картинок и папку для картинок. Жмем кнопку “Upload”.
Ждем, когда автозагрузчик загрузить все картинки, и мы увидим блоки с ссылками в разных форматах. Т.к. Vanilla поддерживает html-код, то копируем содержимое блока с html-ссылками в буфер.
Создаем файл imagetwist.txt и вставляем туда содержимое из буфера. Этот файл нам понадобится при составлении проекта.
Теперь переходим к созданию проекта. Используем “Автозаполнение” и “Авторегистрацию gmail-почты”.
В поле “Настоящее имя” с помощью макроса #file_links прописываем пути к файлам с именами и фамилиями. В поле “Подпись” напишите причину редактировании на форуме (на некоторых форумах без этого пункта регистрация невозможна). В поле “Тема” используем вариации. В теле сообщения прописываем пути к нашим картинкам из фотохостингов. Чем больше фотохостингов вы задействуите, тем выше будет ваш доход. Также в конце поста можно прикрепить ссылку на файлообменник, на который вы зальете картинки. Это еще более повысит ваш доход.
Все готово для рассылки! Устанавливаем количество потоков, нашу базу и проект.
Чтобы ваши топики дольше просуществовали и приносили вам пассивный доход за просмотры картинок, следует вначале прогнать по базе в режиме регистрации, а потом в режиме постинга. Также следует создавать топики в категориях, которые очень близки к тематике картинок. Перед первой рассылкой следует включить лог списка разделов форумов.
Для этого переходим: Настройки – Настройка отчетности.
Установите галочку напротив “Вести лог списков разделов на форумах (CategoriesLog.txt)”.
На основании данных лога CategoriesLog.txt перед основной рассылкой сформируйте оптимальный список приоритетных разделов.
Установите галочку напротив “Отправлять сообщение ТОЛЬКО если эти разделы существуют – иначе пропускать”. Количество созданных топиков будет меньше, но с учетом модерации их в итоге окажется больше.
Еще совет! Т.к. форумы используют Рекаптчу, то следует несколько раз воспользоваться инструментом: “Доп. рассылка по Остальным”.
К статье прилагаю архив с необходимый материал! Спасибо за внимание!