четверг, 21 марта 2013 г.

Создание сетки блогов на Joomla

Приветствую, уважаемые! Пришла очередь и третей статьи в рамках 4-го конкурса, проводимого лабораторией Botmaster. В данном материале мы будем создавать сетку блогов на движке Joomla. Т.к. Xrumer не умеет создавать подобные блоги, то нам придется его обучить.
Для Joomla создано большое количество компонентов для ведения блогов. Мы рассмотрим один из них. Это компонент Smart Blog. Демо с оффициального сайта разработчиков.
На данных блогах зарегистрированный пользователь может добавлять блоги и комментарии. Нас интересует возможность создавать блоги.
Для начала нам нужно найти ресурсы, использующие компонент Smart Blog. Переходим в Google и вводим запрос типа: "Please login to write comment" "By: On *" "Comments(*)" "Views(*)" (с ковычками).
Заходим на несколько ресурсов и ищем признаки для парсинга.
Вот несколько для примера:
"Smart Blog" "Add New Post" (с ковычками)
inurl:com_blog
Базу можете собрать с помощью метода, описаного мною в первой статье.
После того как собрали базу, переходим к этапу создания мода. Создание модов для Хрумера осуществляется путем изменение файлов логики. Начиная с версии 7.7.40а Elite в программе появился инструмент ModCreator. Вот он то нам и поможет!
Открываем инструмент ModCreator. Вводим http://www.lrf-kenya.org/index.php?option=com_blog в адресной строке иструмента и жмем зеленую стрелочку. Заходим на сайт с использованием своего логина и пароля (заранее зарегистрируйтесь). Нажимаем на ссылку “Add New Post” и видим форму для добавления статьи.
Кликаем правой кнопкой мышки по полю “Title” и выбираем: Set Field – SUBJ1. Затем жмем кнопку “Добавить” (с зеленым крестиком). Такая же процедура с полем “Content ” у меня не прокатила. Поэтому открываем HTML-код страницы (правый клик мышки и выбираем View HTML-code).
Ищем поле контента! В нашем случае – это textarea. Имя у нее – post_desc. В блоке “Обучение” напротив “Имя поля” вставляем post_desc, а напротив “Значение” вставляем MESSAGE. Жмем "Добавить". В блоке "Результат" жмем "Сохранить".
Теперь переходим во вкладку xmessages.txt. Нам нужно запостить статью и узнать правило успешности для Хрумера. Значит заполняем поля Title и Content и сохраняем статью.
Перед нами появилось сообщение “Blog Post saved successfully”. Вот его то мы и будем использовать. В блоке “Обучение” напротив “Признак” вставляем “Blog Post saved successfully” (без ковычек), а напротив “Значение” из выпадающего списка выбираем “SUCCESS”. Жмем "Добавить".
Еще нам нужно узнать правило, указывающее Хрумеру, что произошла ошибка при постинге статьи.  Для этого создаем искусственную ошибку при постинге, т.е. не заполняем одно из полей. Сайт нам выдаст ошибку. Открываем HTML-код страницы и находим участок кода с ошибкой. В нашем случае я выдрал аж 2 правила для хрумера: <dt class="error">Error</dt> и <dd class="error message fade">. Далее в блоке “Обучение” напротив “Признак” вставляем поочереди правила <dt class="error">Error</dt> и <dd class="error message fade">, а напротив “Значение” выбираем из списка INVALID. Жмем "Добавить". Затем в блоке "Результат" жмем "Сохранить".
Как видно, с появлением ModCreator жизнь стала попроще. На форуме прочитал, что со следующего обновления функционал иснтрумента будет расширен. Надеемся, что заработает xurl.txt. Но сейчас в ModCreator править xurl.txt не предоставляется возможным, поэтому мы будем изменять его вручную. Открываем файл xurl.txt из папки LogicFiles.
Находим блок:
AddLinkRule([0,'option=com_fireboard',
             0,'func=post'
           ],URL_TONEWPOST);
Вставляем после его блок:
AddLinkRule([0,'option=com_blog',
             0,'view=addpost'
           ],URL_TONEWPOST);
AddLinkRule([0,'option,com_blog',
             0,'view,addpost'
           ],URL_TONEWPOST);
AddLinkRule([0,'addpost'],URL_TONEWPOST);
Согласно этим правилам Хрумер будет искать формы для добавления статей на сайты.
Находим блок:
AddLinkRule([0,'option=com_fireboard',
             0,'func=view',
             0,'id='],URL_TO_VIEWTOPIC);
Вставляем после его блок:
AddLinkRule([0,'option=com_blog',
             0,'view=comments',
             0,'pid='],URL_TO_VIEWTOPIC);
AddLinkRule([0,'option,com_blog',
             0,'view,comments',
             0,'pid,'],URL_TO_VIEWTOPIC);
AddLinkRule([0,'comments.html?pid='],URL_TO_VIEWTOPIC);
AddLinkRule([0,'/comments/'],URL_TO_VIEWTOPIC);
Согласно этим правилам Хрумер будет искать ссылку на статью.
Находим блок:
AddLinkRule([0,'option=com_fireboard',
             0,'func=fbprofile'],URL_TO_VIEWPROFILE);
Вставляем после его блок:
AddLinkRule([0,'option=com_blog',
             0,'view=blogger',
0,'bn='],URL_TO_VIEWPROFILE);
AddLinkRule([0,'option,com_blog',
             0,'view,blogger',
             0,'bn,'],URL_TO_VIEWPROFILE);
AddLinkRule([0,'blogger.html?bn='],URL_TO_VIEWPROFILE);
AddLinkRule([0,'/blogger/'],URL_TO_VIEWPROFILE);
Согласно этим правилам Хрумер будет искать профиль блогера.
Еще нужно дать хрумеру запрет на комментирвание статей. Ведь мы обучаем постингу статей. Для это в файле xas_near.txt к SUBJ1 добавляем comment_title, а к MESSAGE добавляем comment_desc. И в файле xas.txt заменяем !title на title, а !desc заменяем на desc. Файл xignoreforms.txt нам редактировать не придется, т.к. в нашем случае поле поиска хрумер при постинге не учитывает.
Что насчет регистрации и активации ссылок Хрумером на Joomla сайтах. Хрумер с этим справляется отлично, но из-за разнообразия видов сайтов на движке Joomla в файл xpop.txt нужно добавить “http://[...]option,com_comprofiler/task,confirm[...]” (без ковычек). В файле xmessages.txt к флажку ACTIVATION в конце добавьте “|Uw account is aangemaakt en een activatie link is verzonden naar het opgegeven e-mailadres|activation link has been sent to the e-mail address you entered|Note that you must activate the account by clicking on the activation link when you get the e-mail before you can login” (без ковычек), а к флажку REGISTERED добавьте “|Your account has been created” (без ковычек). Расширять файл default.mask.txt не будем, т.к. большинство сайтов не защищены каптчей, а случае с защищенными сайтами, дак тут админы банальны – ReCaptcha, которую Хрумер щелкает как орешки.
На этом процесс обучение закончен. По аналогии можете обучить Хрумер постить и в другие компонеты блогов для Joomla: LyftenBloggie, EasyBlog, MyBlog, JoomBlog и т.д.
Мод Готов! Переходим к созданию сетки блогов. Процесс будет происходить в два этапа: регистрация и постинг.
Настроим Хрумер и создадим проект. Переходим: Настройки – Скорость и Пробиваемость.
В блоке “Экспресс-настройка” устанавливаем бегунок к “Выше пробиваемость”. В блоке “Опции распознавания пиктокода” устанавливаем галочку напротив “Включить распознавание ReCaptcha”. Укажите нужное вам количество попыток распознания пиктокода. Переходим: Настройки – Дополнительные настройки.
В блоке “Рассылка” устанавливаем галочки напротив “Только регистрация (без постинга текста)”, “Входить под текущим аккаунтом, если логин занят”. В блоке "Спец-режим постинга” выбираем “Только создавать топик”. Переходим: Настройки – Активация профайлов по e-mail.
Выбираем “Автоматический фоновый режим”, в блоках “Периодичность проверки почты” и “Макс. длительность сессии скачивания” устанавливаем нужное вам количество минут, а также устанавливаем галочки напротив “До-скачивать письма по завершении рассылки” и “Скачивать все письма, без фильтрации по заголовку”.
Теперь к проекту! Используем “Автозаполнение”. Регистрируем gmail почту. Личные данные можете заполнить через макрос #file_links.
А теперь к главному! Поле сообщения! Первый вариант: если у вас есть белый проект, то вы можете написать качественную статью, посвященную вашему сайту, по желанию можете использовать картинки и видео. Не забывайте, что bbcode не работает, поэтому используйте htmlcode. Второй вариант: наверное более подходящий для многих. Чтобы не тратится на хостинг и домены, лучше монетизировать сразу нашу сетку блогов. Ищите тематического донора, берете у него статью, вставляете ее в поле сообщения и синонимизируете. В начале текста используем баннер партнерской программы Yesclick (к примеру), у которой есть удобный конструктор gFeed 2.0 (Graphics Feed), а в конце текста используем собственное видео из Youtube. Для того, чтобы зарабатывать на показах в Youtube, зарегистрируйтесь на Youtube и Adsense и в настройках Youtube включите платный показ. В тексте статьи используйте 1-2 ссылки на другие статьи из нашей сетки через макрос #file_links.
Затем установите количество потоков, выберете базу для рассылки и стартуем. После первой регистрации запустите: Инструменты – Доп. Рассылка по “Остальным”. Стоит учитывать тот факт, что не на всех сайтах, работающих на движке Joomla, есть ссылки, ведущие на страницу регистрации, хотя регистрация на сайтах открыта. Если бы на всех Joomla-сайтах страница регистрации выглядела бы так: "index.php?option=com_user&view=register" (без ковычек), то все ссылки в базе можно было бы привести к данной маске. Из этого делам вывод, что Хрумер не на всех Joomla-сайтах найдет форму для регистрации.
После регистрации переходим к режиму Постинга. Переходим: Настройки – Дополнительные настройки.
Уберите галочку напротив “Только регистрация (без постинга текста)” и установите галочку напротив “Рассылка от ранее зарегистрированного пользователя”, “Включить проверку активной ссылки после отправки”. Затем копируем в новый файл содержимое из файлов Registered Accounts.txt, Profiles.txt и Activation.txt из папки “Logs”. Помните, что в ссылках должно содержаться "com_blog" (без ковычек), иначе Хрумер не найдет форму для постинга. Сделать это можно через: Инструменты - Фильтр базы ссылок. В блоке "Базы ссылок" в качестве исходной базы выбираете базу собранную хрефером, а в качестве базы-фильтр выбираете файл с содержимым из файлов Registered Accounts.txt, Profiles.txt и Activation.txt. В блоке "База фильтр" выбираете "Присутствуют". Жмете старт! На выходе имеем базу для постинга. Перед постингом ее следует почистить. Переходим: Инструменты – “Удалить повторные ссылки” и Инструменты – “Пост-обработка ссылок”. Все готово! Выбираем нашу отфильтрованную базу и стратуем.
Чтобы проиндексировать нашу сетку блогов, вы может использовать twitter, addurl или какими-то другие способы, которые вы используете. Но зачем мудрить, когда есть Xrumer. Создайте проект с ссылками на нашу сетку блогов и напарсите хрефером базы гостевых, топиков, блогов и галерей. Начиная с версии 7.7.42 в системе расписания Хрумера появилась “Генерация расписаний по шаблону”. Откройте систему расписаний, выберите из выпадающего списка “Последовательный проход 1 проекта - по нескольким базам”, нажмите Генерацию и в появившемся окне выберите проект и базы. Поставьте галочку напротив “Система расписаний включена”.
К материалу прилагаю архив с файлами. Всем Спасибо!