Сбор данных без кода

Это стоит выяснить раньше, чем задумывать работу. Значение, прочитанное на сороковой странице, доступно сорок первому шагу, а после прогона от него остаётся строка в журнале, а не строка в файле.

Со снимками экрана иначе. Это настоящие файлы в папке, доступной только вашей учётной записи.

На экране «Сценарии» девятнадцать видов шага, и четыре из них читают, а не действуют. Каждый идёт внутри браузера самого профиля, с его отпечатком, его куки и его прокси.

Пятый оставляет не текст, а свидетельство. Шаг «Снимок экрана» сохраняет страницу такой, какой она была.

• Извлечь текст

  Берёт первый подошедший селектору элемент и держит его текст, обрезанный по краям и до 4000 знаков.

• Для каждого элемента

  Повторяет вложенные шаги на каждом найденном элементе: десять проходов, если не задать другое число, и до тысячи.

• Выполнить JavaScript

  Выполняет ваш код в странице и держит то, что он вернул, с пределом в шестьдесят секунд по умолчанию.

• Ждать запрос

  Держит прогон, пока страница не попросит названный вами адрес, и опоздавший список читается после того, как он пришёл.

Сломанный селектор падает громко, и чинят его за минуту. Тихо работу заканчивает другое: один браузер, одна банка куки и один адрес, читающие тысячу страниц в час.

Профиль на источник и прокси на профиль это то, ради чего продукт и существует, и ни один селектор этого не чинит.

Адреса вы приносите свои. ARMANOS не продаёт прокси и не держит своей сети выходов: экран «Поставщики прокси» это перечень 8 поставщиков, а «Запросить доступ» там записанная заявка без оплаты.

Расписание принадлежит сценарию и называет профили, время и сколько идёт разом. Каждый день, по выбранным дням недели или раз в 1-24 часа, по вашему местному времени.

Срабатывает оно, только пока ARMANOS открыт. Слот, опоздавший больше чем на тридцать минут, переносится вперёд и считается пропущенным, а пропущенное не доигрывается.

Это сделано нарочно. Тридцать профилей, проснувшихся разом в час, когда они обычно не работают, это и есть всплеск, который сайт читает как робота.

Честный ответ про выгрузку такой: её делают расширения для сбора, а не мы. В каталоге внутри программы их два, оба работают мышью и оба сами пишут CSV.

Ставятся они в выбранный вами профиль, поэтому сбор идёт за отпечатком и адресом этого профиля.

Это чужая работа. Мы сохраняем их магазинный номер, чтобы страница видела то расширение, которое ожидает.

Правила идут раньше техники. Условия пользования, права на базу данных и закон о личных данных решают вопрос раньше, чем до него доберётся любой вид шага.

Одна площадка называет это прямо. LinkedIn просит один аккаунт на человека под настоящим именем и отдельно наказывает за автоматический сбор данных оттуда.

Там, где такого правила у сайта нет, задача снова становится инженерной.

Ничто в продукте не отвечает на проверку и ни к какой решающей службе не подключается. Отвечать на неё вам, в своём окне.

Прогон на ней тоже не ждёт. Шаг, ничего не нашедший, записывается как провалившийся, а дальше решает правило сценария: новый сценарий останавливает этот профиль, а сценарий из прежней версии идёт дальше по странице, которая всё ещё спрашивает.

Профилю, запущенному без окна, вопрос показать негде вовсе, поэтому работу, способную его поднять, запускают так, чтобы её было видно.