Как настроить прокси в Key Collector?

Key Collector – программа для парсинга поисковых запросов, которая является незаменимым помощником при составлении семантического ядра. И если при работе с небольшим количеством ключевых фраз (до 500-1000) особых проблем не возникает, то обработка больших объемов может превратиться в многонедельную задачу. Но ускорить процесс сбора данных можно с помощью прокси. Далее мы даем подробную инструкцию как это сделать.

Прокси: что это и для чего нужны?

Поисковые системы уже давно ввели ограничения на автоматический парсинг, а именно – на количество запросов за единицу времени. Если оно превышает определенное значение, Яндекс и Google либо блокируют ваш IP, либо выдают бесконечные капчи, чтобы проверить, кто работает – реальный пользователь или специализированное ПО, которое перегружает систему. Поэтому для продуктивного сбора ключевых запросов с помощью программы Key Collector нужно применять прокси.

Key Collector разработан с учетом всех потребностей SEO-специалистов, поэтому ПО имеет специальные настройки для работы с прокси-серверами:

• Проверка доступности анонимных IP-адресов.
• Установка необходимого количества потоков.
• Временная деактивация серверов, при работе через которые была обнаружена капча.
• Поддержание числа активных потоков при разъединении плохих прокси и программы.
• Удаление некачественных серверов из списка.
• Установка оптимального таймаута ожидания.

Но чтобы добавленные прокси прошли проверку и были доступны для сопряжения, нужно правильно настроить Key Collector.

Где взять прокси?

Начнем с того, что они бывают платные и бесплатные. Для парсинга лучше всего купить хорошие индивидуальные прокси. Бесплатные IP-адреса для Key Collector крайне не рекомендованы, поскольку они работают нестабильно, с низкой скоростью, имеют ограниченные настройки и, вероятнее всего, уже «закапчены».

При покупке необходимого количества прокси вы получаете список доступных к использованию сетевых адресов с данными для их настройки. Например:

• IP – 94.181.34.64;
• порт – 8080;
• логин – login;
• пароль – fd78ruf1.

Эти данные нужно сохранить в Блокноте (файл с расширением .txt). Если вы будете самостоятельно формировать список IP для загрузки в Key Collector, делать это нужно в таком формате «сервер:порт@логин:пароль». Например:

94.181.34.64:8080@login:fd78ruf1

В личном кабинете primeproxy.net уже реализован функционал автоматической выгрузки прокси под Key Collector.

Пошаговая инструкция по настройке

Настройка прокси в Key Collector осуществляется в таком порядке:

• Заходим в меню настроек программы (шестеренка в правом верхнем углу). Во вкладке «Парсинг» кликаем на «Yandex.Direct» и убираем в этом поле галочки напротив выделенных ниже пунктов.

• Переходим на вкладку «Сеть». В этом поле должна обязательно стоять галочка напротив пункта «Использовать прокси-серверы».

• Загружаем IP-адреса, которые мы ранее сохраняли в файле txt, в Key Collector. Для этого нажимаем на кнопку «Загрузить из файла…».

• В открывшемся меню находим наш файл с прокси-серверами и нажимаем «Открыть», после чего в программе отобразится список всех IP из него.

• Проставляем галочки напротив всех IP-адресов, которые будем использовать, для их активации. Строка должна быть зеленого цвета.

Перед активацией загруженные сервера можно дополнительно проверить – нажимаем «Проверить в Yandex.Wordstat», или в ПС Yandex, Google. Иногда мы сталкиваемся с такой проблемой что прокси не проходят "проверку", лучше попробовать в ручную проставить галочки и запустить тестовый сбор парсинга. В этот момент и можно будет понять, работают прокси или нет.

Рекомендации по настройке основных параметров для парсинга

Первым делом нужно установить следующие параметры во вкладке «Сеть»:

• Количество потоков – лучше всего ставить значение равное числу используемых прокси. Например, если их 5, то и число потоков выставляем тоже 5.
• Таймаут ожидания ответа от сервера – устанавливаем не менее 30000 мс.

Остальные настройки выставляются по собственному усмотрению.

Настройка прокси для сбора данных из поисковой выдачи

В данной вкладке для корректной работы прокси рекомендуем выставить следующие параметры:

• Задержки между запросами от – рекомендуем выставить значение 20000 мс до 35000 мс. Внимание: при установке меньшего порога, повышается вероятность «заспамливания» прокси. Это может привести к появлению капчи или блокировке IP поисковыми системами.
• Кол-во потоков – ставим значение в зависимости от кол-ва используемых прокси. Если их 5, устанавливаем значение 5.

Такие же настройки применяем к поисковым системам Google и Mail.

Выставляем остальные параметры:

• Кол-во запрашиваемых результатов в поисковой выдаче – 50.
• Тип поиска позиций сайта – волновой поиск со страницы прошлой позиции.
• Не просматривать глубже – 50 позиции.

Все остальные параметры вы можете выставить на свое усмотрение.

Настройка парсинга в Yandex.Wordstat

В данной вкладке рекомендуем выставить следующие параметры:

• Задержки между запросами от – 20000 мс до 35000 мс.
• Кол-во потоков – ставим в зависимости от кол-ва используемых прокси, больше не рекомендуем. Снимаем галочку использовать основной IP адрес.
• Таймаут ожидания от сервиса – 5000 мс.
• Задержка после авторизации – 20000 мс до 35000 мс.

Все остальные настройки вы можете выставить на свое усмотрение.

Настройка парсинга с помощью Yandex.Direct

Под каждый прокси рекомендуем завести отдельный аккаунт на Yandex. В этой вкладке следует выставить такие значения:

• Кол-во потоков – в зависимости от кол-ва прокси.
• Режим использования прокси – выбираем пункт «делать запросы со всех активированных прокси-серверов (поочередно)».

• Задержки между запросами – от 20000 мс до 35000 мс.
• Кол-во потоков – в зависимости от кол-ва прокси.

Остальные значения вы можете выставить на свое усмотрение.

Помимо это мы рекомендуем использовать сервисы для распознования каптчи. Какими бы не были качественными прокси, поисковая система сможет их обнаружить, и если каптча не распазнается, вероятность блокировки возрастает. Если капча была успешно введена, некоторое кол-во раз, поисковая система позволяет парсить далее.

Что делать при обнаружении ошибок?

Если вы делали все в соответствии с инструкцией, но после настройки обнаружили ошибки, попробуйте выполнить следующее:

• Удалить все старые и закапченные прокси – они могут быть забанены, даже если помечены зеленым цветом.
• Чистить файлы cookie и кэш перед каждым парсингом – это выполняется с помощью специального софта.
• Не использовать большое количество потоков с одного сервера.
• Еще раз проверить правильность настройки согласно инструкции.

Если вышеперечисленные рекомендации вам не помогли, обратитесь в техподдержку. А в комментарии укажите, какие именно прокси-сервера дают сбой при проверке.

Мы постарались максимально подробно описать процесс настройки прокси-серверов в Key Collector. Надеемся, что наша статья поможет вам в разы увеличить производительность парсинга с помощью данной программы.