Реклама на hackersoft.ru Реклама на hackersoft.ru

Вернуться   Форумы Hackersoft > Разное > Объявления пользователей
CHAT Справка Пользователи Доска почета Календарь Поиск Сообщения за день Все разделы прочитаны

Объявления пользователей Покупка, обмен, продажа скриптов, программ, и т.д.

Ответ
 
Опции темы
Старый 09.03.2018, 13:05   #1
Darkwanderer
newbie 
 
Регистрация: 24.08.2017
Сообщений: 5
Вес репутации: 0 Darkwanderer новичек
Депозит: 0$
Вы сказали Спасибо: 0
Поблагодарили 0 раз(а) в 0 сообщениях
Приветствую, требуется парсер фб. Цель: спарсить весь фб

Реализация:

Фэйсбук имеет жесткие лимиты на почти весь парсинг, кроме парсинга по типу имя + город.

Этим и воспользуемся.

Указываем список городом и список имен. Парсим все, что нам выдают.

Алгоритм будет примерно такой:

Имеется города Нью-йорк, Филадельфия
имена: Минди, Джон, Алиса

Парсер обрабатывает так:

Минди + Нью-йорк, Джон + Нью-йорк, Алиса + Нью-йорк
Минди + Филадельфия, Джон + филадельфия, Алиса + филадельфия

Понадобится где-то 1 к потоков. Вероятно, использовать амазон (как я понимаю, они для этих целей имеют сервера)
Прокси ipv6.

Вероятно, через браузер или имитацию его. Хотя можно и через хттп запросы попробовать.

Аккаунты, в любом случае, будут лететь в бан, так что нужен регистратор, который будет подтягивать аккаунты на время парсинга.


Далее все это собирается в базу. В которой мы можем:

1) Использовать минус-слова по нужным нам категориям. (например, имя и слово "Лера". Все люди с именем Лера, удалятся)

2) Плюс слова по нужным нам категориям. Например, имя и слово "Лера". Все люди с именем Лера, останутся.

Этап фильтрации многоступенчатый. Т.е. операции плюс и минус слов могут использоваться несколько раз. Как в обычной бд.

А также понадобится рейтинг по самым популярным совпадениям. Приведу пример. У нас есть категория Имя. Софт считает, сколько имен совпадает и выстраивает рейтинг от самого большого количества к самому меньшему.

Если у нас в Списке:

Сергей Филатов
Сергей Есенин
Александр Пушкин

Софт выстроит все так:

Сергей - 2
Александр 1

Категории:

1) !Вся! графа Favorites (рейтинг)
2) Образование
3) Город
4) имя и фамилия
5) Любимые цитаты (рейтинг_)
6) Работа (рейтинг)
7) пол


Для связи - телеграмм @Jricher
Darkwanderer вне форума   Ответить с цитированием
Ответ


Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)
 
Опции темы

Ваши права в разделе
Вы не можете создавать темы
Вы не можете отвечать на сообщения
Вы не можете прикреплять файлы
Вы не можете редактировать сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.


Часовой пояс GMT +4, время: 15:25.


© 2005 — +∞ Hackersoft. Все и вся защищены.
Публичная оферта | Правила форума | Реклама на сайте
Powered by vBulletin®©™ Jelsoft®©™ Enterprises Ltd. Перевод: zCarot.
Реклама на hackersoft.ru Реклама на hackersoft.ru