четверг, 9 мая 2013 г.

Секс по телефону и социальные сети Jcow

Здравствуйте! Четвертый конкурс статей, проводимый лабораторией BotmasterLabs, закончился 30 апреля. Суть конкурса была в ознакомлении новичков с софтом разработчиков. До 15 мая Ботмастер решил принимать статьи вне конкурса, но ужесточил требования к статьям. Начиная с версии 7.7.45 был расширен функционал инструмента Хрумера – ModCreator. Также появилось возможность переключения модификаций в Хрумере. На основании этого Ботмастер просил сделать акцент на МодКрейторе в новых статьях. Поэтому будем обучать Хрумер новому движку. На просторах интернета помимо популярных социальных сетей (Facebook, Google + и т.д.) есть еще и движки социальных  сетей: PhpFox, Elgg, Dolphin, Jcow и т.д. Вот обучением одной из них мы и займемся. И будет это Jcow.
Почему выбор пал именно на Jcow? Потому что у этого движка в виде защиты используется ReCaptcha, а также на этом движке можно использовать не только профиль, но и различные приложения. Нас будут интересовать два приложения: блоги и события. Суть мода будет в следующем: создание и редактирование профиля с закачкой аватарки, а также постинг в блоги или в события, в зависимости от включенных приложений на конкретных ресурсах.
Для начала нам нужно собрать базу Jcow-сайтов. Т.к. мы будем заниматься постингом в блоги и в события, то нужно найти ресурсы с этими включенными приложениями. Для парсинга будем использовать Hrefer.
Во внутренней директории Хрефера в папке “Templates” создаем файл jcow_addwords.txt и вставляем туда следующие запросы для парсинга:
inurl:"blogs/viewstory/"
inurl:"events/viewstory/"
В этой же папке создаем файл jcow.txt и вставляем туда следующие фильтры:
blogs/viewstory/
events/viewstory/
Открываем Hrefer и переходим к настройкам парсинга: Options – Parsing options.
В блоке “Duplicates filtering” установите галочку напротив "Enable filtering of duplicated links by hostnames". В блоке “Duplicates filtering method” выберите "By hostnames". В блоке “Query ordering” выберите "Words + Additive Words". В блоке “Multi-SE parsing method” выберите "New query for each search engine".
Теперь переходим: Options – Anonymity options.
Установите галочку напротив “Use proxy”, “Auto-refresh, delay (min)”. В блоке “Mode” выберете нужный тип анонимности: прокси или соксы. В блоке “Checking options” выберите “Save only anonymous”. Установите лимит на количество используемого прокси, таймаут и время автообновления прокси. В блоке “Google parsing options” установите галочку напротив "Randomize datacenters".
Далее во вкладке “MultiThreading” в блоке “Multithreading options” установите количество потоков напротив "Parser max. threads count" и “Proxycheсker threads count”, а в блоке “Antiban options” установите количество секунд напротив "Pause between queries" и количество процентов напротив “% of randomization”, установите галочку напротив "Add this pause between threads starting". Во вкладке “Search Engines options & Filter” в блоке “Search engines options” напротив "SE" выберите поисковую систему: Google, а напротив "Sieve-filter": jcow. Во вкладке Words database из выпадающего списка выберите файл со списком своих слов для парсинга. Чтобы собрать максимально-возможную базу сайтов, используйте мультиязычную базу слов в большом количестве. Потом напротив "Links file" напишите название будующего файла с ссылками. Обновите прокси и можно начинать парсинг!
Базу собрали! Теперь надо обучить Хрумер работать с движком. Запускаем Xrumer. Открываем инструмент ModCreator. В адресной строке инструмента вводим страницу регистрации на движке Jcow http://social.fbeach.com//index.php?p=member/signup и жмем зеленую стрелочку.
Теперь обучаем Хрумер новым полям. Кликаем правой кнопкой мышки по полю “Email Address” и выбираем: Set Field – EMAIL. Кликаем правой кнопкой мышки по полю “Username/Nickname” и выбираем: Set Field – NICKNAME. Кликаем правой кнопкой мышки по полю “Password” и выбираем: Set Field – Password. Кликаем правой кнопкой мышки по полю “Full Name” и выбираем: Set Field – REALNAME. Кликаем правой кнопкой мышки по полю “About me” и выбираем: Set Field – SIGNATURE. В блоке "Результат" жмем "Сохранить". Далее переходим во вкладку xmessages.txt. Нам нужно указать правило для нахождения формы регистрации. Для этого кликаем правой кнопкой мышки и выбираем: View HTML-code.
Берем кусок кода “<input type="text" size="20" name="email"” (без кавычек). В блоке “Обучение” напротив “Признак” вставляем “<input type="text" size="20" name="email"” (без кавычек), а напротив “Значение” из выпадающего списка выбираем “RFORM”. Жмем "Добавить".
Еще нужно указать правило об ошибочной каптче. Для этого вводим неправильное значение каптчи и видим сообщение об ошибке.
В блоке “Обучение” напротив “Признак” вставляем “Wrong Verification code” (без кавычек), а напротив “Значение” из выпадающего списка выбираем “ PICTOTRY”. Жмем "Добавить".
Далее нам нужно узнать правило об успешной регистрации. Для этого заполняем все обязательные поля и регистрируемся. Перед нами появляется сообщение об успешной регистрации.
В блоке “Обучение” напротив “Признак” вставляем “You have successfully signed up” (без кавычек), а напротив “Значение” из выпадающего списка выбираем “REGISTERED”. Жмем "Добавить".
С обучением регистрации закончили. Затем нам надо обучить входить в аккаунт. Для этого в адресной строке инструмента вводим страницу аутентификации на движке Jcow http://social.fbeach.com//index.php?p=member/login и жмем зеленую стрелочку.
Остаемся во вкладку xmessages.txt. Нам нужно указать правило для нахождения формы аутентификации. Для этого кликаем правой кнопкой мышки и выбираем: View HTML-code.
Берем кусок кода “<input type="text" size="10" name="username"” (без кавычек). В блоке “Обучение” напротив “Признак” вставляем “<input type="text" size="10" name="username"” (без кавычек), а напротив “Значение” из выпадающего списка выбираем “LFORM”. Жмем "Добавить".
Еще нам нужно правило об ошибочном входе в аккаунт. Для этого пытаемся залогиниться под вымышленными данными. Перед нами выскачит сообщение об ошибке.
В блоке “Обучение” напротив “Признак” вставляем “Wrong account or password” (без кавычек), а напротив “Значение” из выпадающего списка выбираем “LOGIN_FAILED”. Жмем "Добавить".
Теперь нужно правило об успешной аутентификации. Для этого входим под настоящими данными. Далее кликаем правой кнопкой мышки и выбираем: View HTML-code.
Берем кусок кода “member/logout” (без кавычек). В блоке “Обучение” напротив “Признак” вставляем “member/logout” (без кавычек), а напротив “Значение” из выпадающего списка выбираем “LOGGEDIN”. Жмем "Добавить".
Затем нам нужно сохранить все наши изменения. Для этого в блоке "Результат" жмем "Сохранить".
С обучением входа в аккаунт закончили. Далее нам нужно обучить полям при постинге. Для этого в адресной строке инструмента вводим страницу аутентификации на движке Jcow http://social.fbeach.com//index.php?p=blogs/writestory и жмем зеленую стрелочку.
Переходим во вкладку xas.txt. Кликаем правой кнопкой мышки по полю “Title” и выбираем: Set Field – SUBJ1.
Кликаем правой кнопкой мышки по полю “Content” и выбираем: Set Field – MESSAGE. Кликаем правой кнопкой мышки по полю “Tags” и выбираем: Set Field – SUBJ2. В блоке "Результат" жмем "Сохранить".
В МодКрейторе изменения закончились. Открываем файл xurl.txt, удаляем его содержимое и вставляем в него следующее:

{Jcow}

AddLinkRule([0,'member/signup'
           ],URL_TOREGISTRATION);

AddLinkRule([0,'member/login'
           ],URL_TOLOGIN);

AddLinkRule([0,'member/loginpost'
           ],URL_TOLOGIN);

AddLinkRule([0,'blogs',
0,'/viewstory/',false
0,'/writestory',false
           ],URL_TOVIEW);

AddLinkRule([0,'blogs/viewstory/'
           ],URL_TO_VIEWTOPIC);

AddLinkRule([0,'blogs/writestory'
           ],URL_TONEWPOST);

AddLinkRule([0,'events',
0,'/viewstory/',false
0,'/writestory',false
           ],URL_TOVIEW);

AddLinkRule([0,'events/viewstory/'
           ],URL_TO_VIEWTOPIC);

AddLinkRule([0,'events/writestory'
           ],URL_TONEWPOST);

AddLinkRule([2,NICKNAME,
             1,'u/'
           ],URL_TO_VIEWPROFILE);

AddLinkRule([1,'index.php?p=account',
1,'avatar',false,
1,'privacy',false,
1,'cpassword',false
  ],URL_TO_EDITPROFILE);

AddLinkRule([1,'index.php?p=account/index'
  ],URL_TO_EDITPROFILE2);

AddLinkRule([1,'index.php?p=account/avatar'],URL_TO_EDITAVATAR);

AddLinkRule([1,'index.php?p=jquery',
1,'avatar1',false,
1,'privacy1',false,
1,'cpassword1',false
  ],URL_TO_EDITPROFILE);

AddLinkRule([1,'index.php?p=jquery/akun'
  ],URL_TO_EDITPROFILE2);

AddLinkRule([1,'index.php?p=jquery/avatar1'],URL_TO_EDITAVATAR);
Затем нужно внести в файл xignoreforms.txt запреты на поле поиска и на форму аутентификации при регистрации. Для этого в блоке “[ANY]” вставляем “{IN_FORM}<input type="text" id="search_box" name="title"” (без кавычек). А также в блоке “[PM_REGISTER]” вставляем “{IN_FORM}<input type="text" size="10" name="username"” (без кавычек).
С созданием модификации закончили. Переходим непосредственно к рассылке по движку Jcow. Начнем в настройки Хрумера. Переходим: Настройки – Скорость и Пробиваемость.
В блоке “Экспресс-настройка” передвигаем бегунок в положение “Выше пробиваемость”. В блоке “Прецизионная настройка” установите галочку напротив “Делать повторные попытки при таймаутах” и “Включить обработку фреймов”. В блоке “Опции распознавания пиктокода” устанавливаем галочку напротив “Включить распознавание ReCaptcha”. Укажите нужное вам количество попыток распознания пиктокода. Выберите “Автоматический режим”. Переходим: Настройки – Дополнительные настройки.
В блоке “Рассылка” устанавливаем галочки напротив “Редактировать профиль после регистрации”, “Закачивать аватар при редактировании профиля”, “Входить под текущим аккаунтом, если логин занят”. В блоке "Спец-режим постинга” выбираем “Только создавать топик”. Переходим: Настройки – Активация профайлов по e-mail.
Выбираем “Автоматический фоновый режим”, в блоках “Периодичность проверки почты” и “Макс. длительность сессии скачивания” устанавливаем нужное вам количество минут, а также устанавливаем галочки напротив “До-скачивать письма по завершении рассылки” и “Скачивать все письма, без фильтрации по заголовку”. Еще надо включить систему самообучения.
Установите галочку напротив “Включить режим самообучения”.
Теперь переходим к созданию проекта.
В проекте будем использовать промо-материалы из партнерки Always phone sex. Это партнерка специализирует на сексе по телефону. После регистрации вам дадут бесплатные номера телефонов, которые и нужно продвигать. Один номер для США и Канады, а второй – для Британии.
Используем “Автозаполнение”. Регистрируем gmail почту. В поле “Настоящее имя” должны быть имя и фамилия. Укажите путь до файлов с женскими именами и фамилиями с помощью макроса #file_links. В поле “Страна” указываем одну из трех стран: США, Канада и Великобритания или все три страны с использованием вариаций.
Указываем женский пол! В папку с женскими аватарками заливаем баннеры из партнерки. В поле подписи используем номер телефона и кейворды. Также кейворды используем в полях “Тема” и “Описания”. В теле сообщения указываем номер телефона, блок кейвордов и указываем, что номер телефона только для конкретных стран. Особенно хотелось бы остановиться на конструкторе баннеров в партнерке. В проекте можно использовать следующим образом:
http://www.alwaysphonesex.com/Handlers/ImageProcessor.ashx?phonenumber=8882366769&amp;imageUrl=http://ads.alwaysphonesex.com/banners/Legs/LE_468x60_{1|2|3}.gif&amp;xPos={185|205|225}&amp;yPos={25|30|35}&amp;fontFamily={Calibri|Arial|Times New Roman}&amp;fontSize={16|18|20}&amp;fontColor={White|Grey}&amp;fontStyle={1|2}&amp;separator=-&amp;partsInRow=3,
где вариации можно использовать в имени картинок {1|2|3}.gif, в оси абсцисс xPos={185|205|225}, в оси ординат yPos={25|30|35},в шрифте fontFamily={Calibri|Arial|Times New Roman}, в размере шрифта fontSize={16|18|20}, в цвете телефонного номера fontColor={White|Grey} и в стиле телефонного номера fontStyle={1|2}. Тем самым бы добьемся большей уникальности баннера при рассылке. Выборку кейвордов можно сделать в сервисе semrush. По этому промокоду вы сможете в течении 2-х недель воспользоваться бесплатно услугами сервиса по тарифу Agency. Ну с проектом закончили. Переходим непосредственно к рассылке. Указываем нашу собранную базу, наш созданный проект, а также количество потоков и стартуем.
Ну и напоследок продемонстрирую примеры созданных блога, события и профиля.
И конечно же прилагаю к статье архив с файлами модификации Хрумера, примером проекта, небольшой базой Jcow-сайтов и файлами парсинга для Хрефера. Спасибо за внимание!

понедельник, 29 апреля 2013 г.

Аналог конструктора диаграмм SEnukeXCr в Хрумере

Добрый день! Данная статья написана в рамках 4-го конкурса, проводимого разработчиками BotmasterLabs. В своей очередной статье я сделаю акцент на нововведения у западных сео-специалистов. Те, кто работают в буржунете, наверняка встречали такое софт как SEnukeXCr. В программе есть конструктор для создания диаграмм.
Такие диаграммы используют во многих зарубежных программах: SenukeX, MagicSubmitter, SERobot, SEdemon и др. В хрумере таким конструктором диаграмм является – Расписание. В этой статье я наглядно покажу, как это сделать на примере одной из диаграмм SEnukeXCr. Команда Botmaster Labs, за все время существования Хрумера, обучили его огромному количеству движков: форумы, блоги, гостевые, директории, вики, социальные закладки, галереи и т.д. Но я в этой статье буду использовать только часть движков. Согласно с условиями конкурса в статье будут задействованы движки, которым Хрумер был обучен с августа 2012 года.
Список движков + признаки для парсинга:
XenForo (inurl:index.php?threads "Forum software by XenForo")
WR-Forum (inurl:index.php?fid "Powered by WR-Forum")
mvnForum (inurl:viewthread?thread "Powered by mvnForum")
Directory Script (inurl:submit.php "Directory Script by PHP Link Directory")
FluxBB (inurl:viewtopic.php?id "Powered by FluxBB")
Bitrix ("Добавить комментарий" inurl:commentId=)
FireBoard (inurl:com_fireboard "Powered by FireBoard")
Discuz (inurl:forum.php?mod=viewthread “Powered by Discuz”)
PHP Link Directory ("Powered by: PHP Link Directory" inurl:submit.php)
RicarGBooK ("Powered by RicarGBooK" inurl:sign.php)
Easy PHP Guestbook ("Powered by The Easy PHP Guestbook" inurl:guestbook.html)
Gallery ("Add Comment" inurl:q=gallery)
TikiWiki("Powered by TikiWiki" inurl:view_forum_thread.php)
Datso Gallery ("Your comment" inurl:option=com_datsogalleryinurl:func=detail)
INDEXU ("Powered by INDEXU" inurl:register.php)
А также Drupal. Но на нем я хотел бы остановиться поподробней. Многие сайты, работающие на Drupal, поддерживают ЧПУ, поэтому парсить лучше без sieve-filter.
Создаем в папке «Template» файл с названием drupal_addwords.txt. Добавляем в него список:
"Login or register to post comments"
"Войдите или зарегистрируйтесь, чтобы получить возможность отправлять комментарии"
"Anmelden oder Registrieren um Kommentare zu schreiben"
"Vous devez vous identifier ou creer un compte pour ecrire des commentaires"
"Login o registrati per inviare commenti"
"Inicie sesion o registrese para enviar comentarios"
"Faca o login ou crie uma conta para poder enviar comentarios"
"&#30331;&#24405;&#25110;&#27880;&#20876;&#21518;&#21457;&#34920;&#35780;&#35770;"
"&#12467;&#12513;&#12531;&#12488;&#12434;&#25237;&#31295;&#12377;&#12427;&#12395;&#12399;&#12525;&#12464;&#12452;&#12531;&#12414;&#12383;&#12399;&#12518;&#12540;&#12470;&#12540;&#30331;&#37682;&#12434;&#34892;&#12387;&#12390;&#12367;&#12384;&#12373;&#12356;"
"&#47196;&#44536;&#51064;(&#46321;&#47197;) &#54644;&#49436; &#45843;&#44544;&#51012; &#50432;"
Также в этой папке создаем пустой файл с названием drupal.txt.
Теперь настроим парсинг. Переходим: Options – Parsing Options.
В блоке «Duplicates filtering» устанавливаем галочку напротив «Enable filtering of duplicated links by hostnames». В блоке «Duplicates filtering method» выбираем «By hostnames». В блоке «Query options» устанавливаем галочку напротив «Disable filtering harvested links by Sieve-filter».
Для парсинга базы сайтов на друпале можете воспользоваться одним из способов, которые я описывал в первой статье.
Т.к. мы парсили без фильтра, то нам нужно отсеять мусор из базы. Для этого воспользуемся одним из инструментов Хрумера. Переходим: Инструменты – Анализатор базы ссылок.
Напротив «Source» выбираем нашу собранную базу друпал-сайтов. В поле «Искать» вставляем признак «Drupal.settings» (без кавычек). В блоке «Поиск в» выбираем «Content». Устанавливаем нужное количество потоков и жмем на кнопку «Пуск».
Предлагаю объединить движки в группы:
Forum (XenForo, WR-Forum, mvnForum, FluxBB, FireBoard, Discuz)
Directory (Directory Script, PHP Link Directory, INDEXU)
Comment (Bitrix, Drupal)
Gallery (Gallery 2, Datso Gallery)
Guestbook (RicarGBooK, Easy PHP Guestbook)
Wiki (TikiWiki)
После объединения движков в группу вырисовывается диаграмма. Я ее вижу в следующем виде:
Вот на примере данной диаграммы и будут созданы проекты и файл расписания.
Базы сайтов готовы! Далее нам нужно настроить Хрумер и создать несколько проектов.
Переходим: Настройки – Настройки скорости и пробиваемости.
Переводим бегунок в крайнее правое положение. В блоке «Прецизионная настройка» устанавливаем галочки напротив «Делать повторные попытки при таймаутах» и «Включить обработку фреймов». В блоке «Опции распознавания пиктокода» устанавливаем галочку напротив «Включить распознавание ReCaptcha» и выбираем «Автоматический режим».
Переходим: Настройки – Дополнительные настройки.
В блоке «Рассылка» устанавливаем галочки напротив «Включить проверку активной ссылки после отправки», «Входить под текущим аккаунтом, если логин занят» и «Если не работает BB-код, - трансформировать его в HTML». В блоке «Спец-режим постинга» выбираем «Создавать топик / отвечать в существующий».
Переходим: Настройки – Активация почты.
Выбираем «Автоматический фоновый режим». Устанавливаем галочки напротив «До-скачивать письма по завершении рассылки» и «Скачивать все письма, без фильтрации по заголовку».
Также нам потребуется включить систему «Самообучения».
Еще нужно сделать следующие изменения в файле xuser.ini:
В секции [AdvOptions]
ProfileMeansSuccess=0
В секции [ReportCrossLinks]
AnchorsGenEnable=1AnchorsGenType=2AnchorsGenFrom=2AnchorsGenFor=0
Переходим к созданию проектов. Начнем с проекта для движков Comment.
Используем «Автозаполнение». Регистрируем почту hotmail (XRumer регистрирует ящик на Hotmail в один клик). Заполняем поля «Тема» и «Тело сообщения». Ссылку используем в теле сообщения. Эти движки поддерживают HTML, поэтому можете использовать как BB-код (у нас в настройках включена трансформация), так и HTML-код изначально.
Далее создадим проект для движков Directory.
Используем «Автозаполнение». Регистрируем почту hotmail. Заполняем поля «Тема» и «Тело сообщения». Ссылку используем в домашней странице. В теле сообщения ссылок не должно быть. В теле сообщения не должно быть более 250 символов.
Теперь создадим проект для движков Forum.
Используем «Автозаполнение». Регистрируем почту gmail. Используем вариации с точкой в мыле. Заполняем поля «Тема» и «Тело сообщения». Ссылку используем в теле сообщения. Эти движки поддерживают BB-код.
Затем создадим проект для движков Gallery.
Используем «Автозаполнение». Используем ненастоящий почтовый ящик. Заполняем поля «Тема» и «Тело сообщения». Ссылку используем в теле сообщения. Движок Gallery 2 поддерживает BB-код, а движок Datso Gallery поддерживает HTML-код, поэтому используем BB-код в проекте, т.к. в настройках у нас предусмотрена трансформация.
Из-за особенностей гостевых мы сделаем два проекта.
Создаем проект для движка Easy PHP Guestbook.
Используем «Автозаполнение». Используем ненастоящий почтовый ящик. Заполняем поля «Тема» и «Тело сообщения». Ссылку используем в теле сообщения. Этот движок поддерживает HTML-код.
Создаем проект для движка RicarGBooK.
Используем «Автозаполнение». Используем ненастоящий почтовый ящик. Заполняем поля «Тема» и «Тело сообщения». Ссылку используем в домашней странице. А также ссылка должна быть без http://. В теле сообщения ссылок не должно быть.
Затем создадим проект для движка Wiki.
Используем «Автозаполнение». Регистрируем почту hotmail. Заполняем поля «Тема» и «Тело сообщения». Ссылку используем в теле сообщения. Этот движок поддерживает Wiki-код ([url|anchor]).
Теперь создадим проект для движков Referrer.
В этом проекте нас интересует поле «Домашняя страница». В данном поле через макрос #file_links прописываем путь к файлу Anchor.txt из логов проекта Wiki.
Далее создадим проект для Pinger.
Здесь нас также интересует поле «Домашняя страница». По аналогии прописываем через макрос #file_links прописываем путь к файлу Anchor.txt из логов проекта Wiki.
Как вы заметили, для диаграмм требуется большое количество проектов. Всегда встает вопрос о контенте для проектов. Для белых проектов отлично подойдет программа – Seo Content Machine.
У программы есть демо! Демо имеет полный функционал, но работает только 5 дней. Чтобы использовать демо более 5 дней, нужно лишь зарегистрировать новый аккаунт.
Создайте шаблон с именем Xrumer и добавьте в него макросы, поддерживаемые программой.
С помощью мастера можно сгенерировать контент на автомате. Для этого укажите наш шаблон Xrumer, выберите способ синонимизации, укажите количество слов будующего контента, введите кейворд, по которому будет идти сбор, укажите источники контента, а также укажите формат ссылок.
С проектами покончено. Далее связываем проекты и базы с сайтами в системе «Расписание».
Расписывать каждое событие я не буду, т.к. ничего сложного тут нету, а также наверное каждый уже составлял хоть раз расписание и все отлично знает. Разработчики добавили в систему расписания использование режима: “РефСпам” и со следующей версии это будет доступно. Поэтому событие №63 нужно будет отредактировать.
Что насчет монетизации. Тут могу предложить три варианта:
     1)  Продвижение белых проектов. С помощью подобных диаграмм можно добиться повышения PR вашего сайта, а также рост в выдаче поисковых систем по продвигаемым кейвордам. Этого собственно и добиваются пользователя SenukeXCr и других подобных программ. А теперь этим могут и воспользоваться пользователи Хрумера.
   2) Наверное многие на форумах видели рекламу услуг по продвижению сайтов по разным тарифам. К примеру: тариф basic – 1000 social bookmark backlinks, 5000 forum backlinks, 10000 comment backlinks, тариф pro – 2000 social bookmark backlinks, 10000 forum backlinks, 20000 comment backlinks, тариф enterprise – 3000 social bookmark backlinks, 15000 forum backlinks, 30000 comment backlinks. Ничего не стоит сделать под подобные тарифы диаграммы и отобрать хлеб у конкурентов.
      3) Можно создавать диаграммы за деньги.
Прилагаю к статье архив с файлом расписания, с примерными проектами и базами сайтов. Всем спасибо! Удачи вам в продвижении ваших белых проектов.