Хитрый способ сбора качественной пробиваемой базы для XRUMER

Всем привет! Ни для кого не секрет, что каким бы замечательным не был софт для массовой регистрации/рассылки, без надлежащего качества баз он почти не имеет ценности. Базы можно добыть различными способами – спарсить самому /купить /найти в паблике/etc. Каждый вариант хорош по — своему и у каждого из них есть свои плюсы и минусы.

• Паблик базы. Основной плюс это бесплатность. Часто в паблик сливаются и покупные базы, так что найти стоящие все-таки можно, другое дело что по этим базам будет работать сразу большое количество вебмастеров( как с лиц, так и с ломаным хрумом) и они быстро превратятся в помойку, а как известно, 1 трастовая ссылка зачастую лучше чем 1000 с гавносайтов.
• Покупка базы. В основном это лотерея. Селлеров сейчас достаточное количество, но еще больше барыг, которые покупают и перепродают базы, выдавая за свои свежеспарсенные.Данный метод получения базы хорош в том случае если вы дорожите своим временем и покупаете базу у проверенного временем человека.
• Самостоятельный парсинг. Самый лучший, но в тоже время затратный вариант. Для успешного парсинга нужно обладать словарем по тематике, признаками для парсинга + свежими прокси/соксами, если вы соберетесь парсить google, к примеру. Разумеется нужен и сам парсер, для хрумоводом все проще, так как с хрумером идет Hrefer, но все же я рекомендовал еще купить что-нибудь дополнительно. Лично я использую webparser, хотя многие хвалят a-parser, в общем кто на что горазд и у кого какие потребности.

База собранная собственноручно дает небольшое временное преимущество над другими вебмастерами, но не стоит думать, что собрав скажем базу форумов по хорошим признакам вы не обнаружите на доброй половине из них спам от «собратьев по оружию», но в любом случае свежеспаршенные (сырые ) базы будут лучше паблик и зачастую лучше покупных, но как говорится этот вариант для тех у кого хорошие аппаратные мощности + есть время.

Есть конечно же еще варианты – утащить с чужого сервера, пропарсить интернет по примерно такому запросу

intitle:linkslist.txt,прошерстить файлообменники и тд. Но их по понятным причинам мы рассматривать не будем.

Каждый использует хрумер по разному, кто-то постит в топики, линкуя их между собой, кто-то обучает редким движкам. Я же стараюсь не использовать «активный метод рассылки» и работаю только с профилями. У профилей есть значительное число преимуществ:
• Вас не могут привлечь за спам не в каком виде, так как в регистрации профиля нет ничего запретного. Даже если придет абуза от провайдера, всегда можно сказать что вы ничем противозаконным не занимаетесь и «где написано что нельзя регистрироваться и общаться на форумах». Соответственно, регистрацией профилей на форумах можно заниматься и с домашнего компьютера, не прибегая к покупке сервера. За регистрацию профилей за 3 года был лишь 1 разговор с провайдером и то лишь по той причине, что хрумер их DNS, после замены на Google Public DNS больше проблем тьфу-тьфу не было.
• Ссылки относительно вечные. Профили пользователей удаляют намного реже чем спамные топики. Фактически 1 раз сделав прогон по базе, вы обеспечите себя неплохой ссылочной массой на продолжительный промежуток времени.
• Ссылки с профилей хорошо двигают НЧ запросы в google, а если речь идет про трастовые ресурсы, то и в яндексе можно подтянуть даже СЧ ( зачастую если тематика не коммерческая).
К минусам стоит отнести:
• Вы почти не получите трафика с прогона. Переходы с профилей будут, но весьма незначительное количество.
• Профили достаточно долго индексируются, и без ADD URL / ПИНГА/ прогона вновь созданных профилей по другим профилям они вообще могут «не вылезти».

Самый простой и банальный способ собрать базу, это забить следующие признаки(простой список для примера), еще признаки можно посмотреть —>здесь<—:
member.php?u=
profile.php?mode=
index.php?showuser=
index.php?action=profile
memberlist.php?mode=
member.php?u=
profile.php?id=
file=profile&mode=viewprofile&u=
YaBB.pl?action=viewprofile
forums/members/
forum/members/
action=viewprofile
pop_profile.asp?mode=
mode=viewprofile
userid=
member.php?s=
forum/profile.php?mode=

+ подобрать слова/чекнуть прокси и начать парсить. Таким образом вы соберете какую-никакую, но приличную базу, с которой можно работать, но есть способ если не лучше, то ХИТРЕЕ и о нем пойдет речь в основной части статьи.
Основная часть(1):
Многие вебмастера, владеющие хрумером, промышляют предоставлением платных прогонов на всевозможных SEO форумах и сервисах. Средний ценник за 1 прогон – 20-25 WMZ, что зачастую неплохо. Особой популярностью пользуется прогон по профилям и это нам на руку.

Для начала сходим на биржи сайтов, такие как telderi.ru и pr-cy.ru. Продавцы часто указывают происхождение обратных ссылок на свои проекты, давайте введем простую конструкцию:
site:telderi.ru прогон
site:telderi.ru хрумер
site:telderi.ru регистрация в
site:telderi.ru профилям
и тд и тп, список можно продолжать до бесконечности, те кого интересуют гостевые книги/каталоги и тд могут формулировать запросы соответствующе.

Пример лота в телдери:

Как видим: «также прогонялся по профилям, прогон по профилям и каталогам был осуществлен 30 дней назад», значит это «наш клиент». Копируем урл сайта к себе в текстовый файл.

Таким нехитрым способом мы собираем БАЗУ сайтов, которые когда-либо прогонялись хрумером или ручками по трастовым сайтам. Отмечу тот факт, что большинство прогонщиков работают с дефолтным хрумером без измененного файла xas_AI.txt, что опять же нам на руку.

Буквально за час, можно собрать около 200 урлов сайтов, которые были «запачканы» прямым прогоном хрумером. Далее мы идем пополнять коллекцию на SEO форумы, там мы ищем темы с прогонами и смотрим на отзывы, форумов полно, для примера маултолк:

Далее идем по популярным веткам прогонщиков и смотрим в темах тех, кто оставлял отзывы об услуге. В 85% случаев, если у них заполнено поле сайт в профиле и подпись, то там находится их сайт, по которому они заказывали прогон, причем зачастую не один.

Работа по сбору таких урлов немного нудная, но зато эффект будет достойным( пока поверьте на слово).
После 2-3 часов работы, которую можно сбагрить на аутсорс толковому школьнику за 100-150 рублей с мегасофта, мы получаем приличный список сайтов, теперь дело за малым – вытащить обратные ссылки.
Для начала идем в _ http://ahrefs.com и solomono.ru ( можно воспользоваться другим софтом/сервисами) и извлекаем ВСЕ обратные ссылки.

Данную нудную работу тоже лучше поручить кому-то.
Вторым этапом будет подготовка урлов для парсинга, и тут опять следует небольшая хитрость.
Нужно составить запросы для ПАРСИНГА примерно такого вида, приведу пример для seoonly.ru
«Просмотр профиля» https://seoonly.ru/
«Профиль» https://seoonly.ru/
«Профиль пользователя» https://seoonly.ru/
«Пользователь» https://seoonly.ru/
«Сайт» https://seoonly.ru/
«Домашняя страница» https://seoonly.ru/

«user» https://seoonly.ru/

«member» https://seoonly.ru/

«profile» https://seoonly.ru/

+ просто ввести название домена в кавычках «https://seoonly.ru»
Просто погуляйте по форумам и посмотрите как выглядят там профили.
Сделать список таких признаков и урлов вам поможет EXCEL и оператор &
В одной колонке у вас урлы, в другой наши простенькие «признаки»:

Наглядный пример:

Что мы получается на выходе на выходе? База профилей в 100% индексе яндекса или гугла, большинство из которых пробивает дефолтный хрумер.

С такими нехитрыми признаками мы парсим ПС ( я, обычно, ограничиваюсь Яшей и Гошей)

Безусловно, таким способом соберется много дублей, но база профилей получится достаточно качественная и индексируемая. Никогда не гонитесь за количеством, лучше купить/собрать базу базу из 1000 профилей которые попадают в индекс, чем из 40000 закрытых в индексации и тд.

Основная часть (2): В статье про список доменов я упомянул про то, что с помощью этих 3 баз можно собрать неплохую базу под хрумер и я вам не врал.
Для начала стоит скачать все 3 базы – ru, su, РФ:

_https://partner.r01.ru/ru_domains.gz

_https://partner.r01.ru/su_domains.gz

_https://partner.r01.ru/rf_domains.gz

Далее скомпоновать из них 1 большой файл с урлами. ВНИМАНИЕ! Данная операция требует больших аппаратных мощностей, если вы ими не обладаете, поделите базы на куски с помощью KeyWordKeeper ( скачать можно по ссылке — _ ) и продолжайте.

После создания большой базы, нам в любом случае придется прибегнуть к помощи KeyWordKeeper, так как всеми нами любимый EXCEL плохо работает с файлами, где больше 1 000 000 строк, поэтому делим нашу базу на куски по 900 000. Получится достаточно много файлов.

Теперь нужно включить голову и подумать, какие конструкции наиболее часто применимы для форумов.

В базе уже содержится приличное количество форумов, но часто форумы создаются на поддоменах основного сайта и не попадают в базу.
Как в основном выглядят поддомены?
Сайт.ру/forum
Сайт.ру/talk
Forum. Сайт.ру
Talk.сайт.ру
+ другие вариации. Соответственно нам нужно добавить talk и forum к существующим URL, делает это все тем же экселевским оператором & + сочетанием клавиш CTRL + ENTER для применения формулы ко всему списку.

Уже имеющаяся база сайтов должна вырасти в 4 раза!!!Плюс ко всему можно использовать в подобном методе базу ЯНДЕКС КАТАЛОГА и DMOZ (могу поделиться за скромное вознаграждение) + спарсить другие каталоги.

Теперь самое вкусное, в конце рабочего дня мы все что сделали компонуем в 1 большой файл, перемешиваем и запускаем хрумер в режиме «только регистрация».

Учитывая, что база сырая + многих ресурсов просто не существует, мы ведь только предполагаем что там есть поддомены с форумами, при 100 потоках и 6 мегабитном канале скорость будет составлять около 1200-1600 ссылок ( + многое зависит от железа ), те у кого с железом и с каналом дела обстоят лучше прогонят эту базу за пару дней, у остальных же примерно это займет около недели с небольшим. Вторым этапом запускаем редактирование профиля.

В итоге вы получаете на ~65% русскоязычную базу профилей, состоящую из ~8000-9000 ресурсов ( у меня вышло примерно столько), где просто проставлена ссылка вида «https://seoonly.ru/», активных и не закрытых к индексации ссылок будет в 3-4 раза меньше. Данным способом собираются не только форумные профили, но и профили на движке DLE и тд. Если подойти к делу основательно — найти много сайтов + делать прогоны в несколько раз, чтобы выжать из базы максимум — то можно выжать еще сверху 15-20% ресурсов.

Способ можно модернизировать и собирать с помощью него ресурсы любого типа. Статья в первую очередь предназначена для новичков, которые только учатся собирать базы и позволяет за 1 день подготовки собрать базу, которой можно пользоваться несколько месяцев.

Для тех кто не хочет с этим делом заморачиваться, может купить у меня личную базу из 13 000 профилей, собранную данным методом с добавлением ресурсов из ЯК и DMOZ + другие источники ( с ценником пока не определился, но если будет спрос, то думаю, 20-25 WMZ вполне адекватная цена).

Надеюсь статья оказалась для вас полезной. Заранее извиняюсь за плохое превью скриншотов + отсутствие видео материала, со временем постараюсь поправить.

Всем хорошего дня!

UP, купить базу можно по ссылке( внимательно читайте описание перед покупкой ):