Прокси для парсинга

Прокси для парсинга — это промежуточные адреса, через которые программа-парсер собирает данные с сайтов, чтобы нагрузка не шла с одного IP. Парсинг нужен для сбора цен и товаров с маркетплейсов, семантического ядра, выдачи поисковиков, каталогов и объявлений. В 2026 году почти любой крупный сайт ограничивает число запросов с одного адреса, поэтому без прокси сбор данных упирается в капчу и блокировку уже на первых сотнях страниц.

---

Зачем прокси при парсинге

Сайт видит, сколько запросов приходит с каждого IP и как быстро. Человек открывает несколько страниц в минуту, парсер — десятки в секунду. Когда порог превышен, сайт отвечает одним из способов:

• показывает капчу вместо страницы;
• замедляет ответы или отдаёт ошибку 429;
• блокирует адрес на время или навсегда;
• отдаёт урезанные или искажённые данные — самый опасный вариант, потому что его не видно.

Прокси распределяют запросы между многими адресами. На каждый приходится меньше запросов, и сайт видит обычный трафик, а не одного очень активного посетителя.

Какие прокси выбрать для парсинга

Бесплатные прокси для работы не годятся: адреса давно в чёрных списках, живут недолго, а владелец сервера видит проходящий трафик. Подробнее — в статье откуда берутся бесплатные прокси.

Серверные прокси дешёвые и быстрые. Их хватает для сайтов без серьёзной защиты: открытых каталогов, справочников, собственных проектов. Защищённые сайты узнают адреса дата-центров и встречают их капчей.

Мобильные прокси выходят в сеть через оператора связи, и сайт видит адрес обычного абонента. Такой адрес делят между собой множество людей, поэтому блокировать его сайтам невыгодно. Для маркетплейсов, поисковиков и соцсетей это самый устойчивый вариант. Разница разобрана в статье чем отличаются мобильные прокси от серверных.

Отдельно учитывается география: если собираются цены или выдача конкретного региона, IP должен быть из этого региона — см. география мобильных прокси.

---

Какой канал под какой парсинг

• мультипорт — один вход, а каждое новое соединение получает свой IP из мобильного пула. Пока соединение открыто, адрес не меняется. Лимит считается по числу параллельных соединений. Подходит для параллельного сбора в десятки потоков, доступен для российских операторов. Подробно — в статье мультипорт мобильные прокси;
• приватный канал — закреплён за одним пользователем, адрес меняется по специальной ссылке или по таймеру. Подходит для последовательного сбора с одного сайта и для парсинга с авторизацией;
• общий канал — адрес меняется сам по таймеру. Подходит для нетребовательного сбора, где важна цена, а не контроль над сменой IP.

Мультипорт удобен программам, которые сами управляют соединениями. Для работы через обычный браузер проще приватный канал.

Как настроить парсинг через прокси

1. Число потоков не больше лимита. Если парсер открывает больше соединений, чем разрешено тарифом, часть запросов получит отказ.
2. Сессия держится на одном адресе. Авторизация, корзина, пагинация с cookie — всё это собирается в одном соединении, без смены IP посередине.
3. Паузы между запросами. Для сайтов с сильной защитой меньше потоков и естественные паузы дают больше данных, чем максимум параллельных запросов.
4. Заголовки как у браузера. User-Agent, язык и набор заголовков не должны выдавать скрипт.
5. Проверка ответов. Парсер должен отличать настоящую страницу от капчи, заглушки и пустого ответа, иначе в таблицу попадёт мусор.
6. Уважение к сайту. Собираются только открытые данные, без нагрузки, которая мешает работе сайта.

Когда важно, чтобы каждый запрос уходил с нового адреса, пригодится статья прокси с ротацией на каждый запрос.

Как понять, что парсер заблокирован

Сайты редко сообщают о блокировке прямо. Признаки, по которым парсер должен её распознавать:

• код ответа — 403 «доступ запрещён» или 429 «слишком много запросов» вместо 200;
• капча — в ответе форма проверки «я не робот» вместо нужной страницы;
• переадресация — запрос уводит на страницу входа или на главную;
• размер ответа — страница стала заметно короче обычной;
• пустые поля — цена, название или описание не нашлись там, где были раньше;
• одинаковые ответы — разные адреса страниц отдают один и тот же текст.

Каждый такой ответ записывается в журнал и не попадает в таблицу. Если признаков становится больше, парсер снижает темп и меняет адрес, а не продолжает собирать мусор.

Сколько прокси нужно для парсинга

Число адресов считают от нагрузки на один сайт. Сначала проверяют, сколько запросов в минуту сайт выдерживает с одного IP без капчи. Затем делят нужный объём на этот порог и получают число адресов, которые должны работать одновременно.

Дальше выбор зависит от канала:

• в мультипорте адреса не покупают по одному: число потоков выбирают при покупке, до 50, и каждое новое соединение выходит через свой IP;
• в приватном канале один адрес закреплён за одним клиентом, поэтому под несколько параллельных потоков с разными IP нужно несколько каналов;
• на общем канале адрес меняется сам по таймеру, и все запросы за интервал уходят с одного IP — это стоит учитывать при расчёте темпа.

Трафик на всех тарифах LTESpace не ограничен, поэтому в расчёте участвуют только потоки и адреса, а не гигабайты.

Парсинг сайтов на JavaScript

Часть сайтов отдаёт данные только после выполнения скриптов: каталог подгружается при прокрутке, цена появляется после выбора региона, а поисковая выдача Google с 2025 года без JavaScript не отображается вовсе. Такие сайты собирают через браузер без окна (headless) — Playwright, Puppeteer, Selenium или встроенный браузер парсера.

Браузер тяжелее обычного запроса: с каждой страницей он грузит скрипты, стили и служебные запросы, и всё это идёт через прокси. Поэтому для таких задач важны неограниченный трафик и умеренное число потоков. Как это выглядит на примере поисковой выдачи, разобрано в статье мобильные прокси для парсинга Google.

Готовые программы и свои скрипты

Парсить можно двумя путями. Готовая программа настраивается без кода и подходит для регулярных выгрузок с популярных сайтов. Пример такой программы с подключением мобильных прокси разобран в статье Datacol — парсер сайтов. Свой скрипт — на Python с библиотеками requests, Scrapy или Playwright — гибче, но требует программиста.

В обоих случаях прокси указываются в настройках программы или в коде, а протокол выбирают под инструмент: HTTPS подходит браузерам и HTTP-клиентам, SOCKS5 — остальному трафику. Сравнение протоколов — в статье HTTP, HTTPS и SOCKS5.

Парсинг с авторизацией

Некоторые данные видны только после входа в аккаунт: оптовые цены поставщика, остатки на складе, статистика рекламного кабинета. Здесь правила другие. Сайт связывает все действия с аккаунтом, и смена IP посреди сессии выглядит как вход с другого устройства — частая причина проверки или блокировки.

Поэтому для сбора с авторизацией используют один стабильный адрес на аккаунт: вход, сбор и выход проходят без смены IP. Удобнее всего приватный канал, где адрес закреплён за одним клиентом и меняется только по ссылке, когда это нужно. Собирать стоит только из своего аккаунта или с согласия владельца.

Итоги

Прокси для парсинга распределяют запросы между адресами, чтобы сайт не упирался в капчу и блокировку. Серверных хватает для открытых сайтов, для маркетплейсов, поисковиков и соцсетей устойчивее мобильные. Параллельный сбор удобнее вести через мультипорт, последовательный — через приватный канал. Подобрать канал под свою задачу можно в тарифах LTESpace.