Краулер

Краулер ходить сторінками сайту й забирає файли, які на них знайде. На цій сторінці - сайти, які він знає поіменно, види сторінок, які він читає на решті сайтів, куди він може ходити й що лишає, коли використовує браузер, як поводиться із сайтом і які сторінки ви переглядаєте перед прогоном.

Сайти, які він знає поіменно

Для кількох сайтів у Краулера є рецепт - опис того, де сайт тримає свої файли і як їх гортати. На цих сайтах майстер обирає Краулер і нічого не питає про вид сторінки.

Сайт	Що Краулер там бере
500px	фотографа, стрічку на кшталт популярних фото, галерею, фотоісторію або одне фото; довга сторона до 2048 пікселів
Bing Images	результати пошуку зображень
Flickr	фотопотік, альбом, обране, пул групи, тег, Explore, одне фото або пошук; оригінал - лише там, де автор дозволяє завантаження, інакше найбільший наявний розмір
Google Images	результати пошуку зображень
IMDb	фільм, персону або галерею
Reddit	сабреддит або допис

Bing Images і Google Images читаються через браузер. Перед прогоном на Google Images пошук відкривається, щоб ви на нього подивилися, - див. Сторінки, які ви переглядаєте перед прогоном.

Для IMDb майстер питає Завантажувати зображення і Завантажувати відео; IMDb віддає щонайбільше 100 відео. Ще майстер показує IMDb встановлює умови використання своїх даних., і створити проєкт можна, лише коли ви позначите Я прочитав це.

Для Reddit майстер показує вже заповнене поле Ідентифікатор застосунку Reddit. Reddit відповідає лише зареєстрованому застосунку; якщо впираєтеся в обмеження, зареєструйте власний на reddit.com/prefs/apps як installed app і впишіть його ідентифікатор у поле Ідентифікатор застосунку Reddit.

Будь-яка інша сторінка

На сайті, якого Краулер не знає поіменно, на його картці написано Працює з будь-якою сторінкою, але особливостей цього сайту не знає. Оберіть Краулер - і майстер спитає Звідки брати файли? Заздалегідь нічого не вибрано: що це за сторінка, знаєте лише ви.

Варіант	Що це означає
Лише ця сторінка	Файли, на які посилається вказана адреса, і нічого далі
Галерея або альбом	Сторінка з набором зображень
Гілка форуму	Одна тема, вкладення й картинки в дописах
Весь сайт або його частина	За замовчуванням лише вказана сторінка й те, що під нею

Далі сторінка Типи файлів питає, що Завантажувати: Зображення (позначено за замовчуванням), Відео, Звук, Документи та Архіви. Файл, рід якого не видає ні його адреса, ні відповідь сайту, береться все одно.

Окрім Куди можна ходити? (про це - нижче), майстер більше нічого не питає; решта налаштувань кожного варіанта - на сторінці Налаштування сайту проєкту.

Куди він може ходити

Для варіанта Весь сайт або його частина майстер питає ще й Куди можна ходити? Там перелічено області від найвужчої до найширшої, і роботі належить усе, що покриває шаблон обраного рядка. Для https://example.com/gallery/7/ це рядки example.com/gallery/7/*, example.com/gallery/*, example.com/* і *.example.com/* - увесь сайт разом із піддоменами.

Решта - у розділі Адреси на сторінці Налаштування сайту проєкту:

Додаткові адреси - по одному шаблону адреси в рядку, наприклад site.com/gallery/*. Посилання, що відповідають цим шаблонам, теж належать роботі; рядок, обраний у майстрі, зберігається тут першим.
Винятки - шаблони адрес, куди обхід не ходить, хай би як його туди скерували. Вони сильніші за адреси вище.
Кроків від початку - як далеко обхід може відійти від адреси: один крок на кожне пройдене посилання, за замовчуванням 3, щонайбільше 20. Наступна сторінка того самого списку нічого не коштує, як і файл.
Зовнішні посилання - посилання, що ведуть за межі роботи: Ігнорувати, Лише забирати з них файли (за замовчуванням) або Заходити на сторінки й забирати файли.
Дозволені зовнішні адреси - куди обхід може виходити; *, значення за замовчуванням, означає будь-куди.
Які адреси вважати файлами - по одному правилу в рядку, наприклад site.com/get-image/* = pictures, для скрипта, що віддає зображення, або посилання на завантаження без розширення.
Правила переходу - ваші власні умови для посилання: Не ходити, якщо або Ходити, тільки якщо.

Зберігати структуру папок сайту в розділі Теки розкладає все так, як це робить сайт: спершу хост, потім теки з адреси. За замовчуванням це вимкнено, і все опиняється в одному місці.

Що він лишає

Фільтри на сторінці Налаштування сайту проєкту:

Мінімальний розмір і Максимальний розмір, у байтах; 0 - без обмеження. Файл, розміру якого сайт не назвав, береться. Для варіанта Гілка форуму мінімальний розмір спочатку становить 20480 байтів: у дописі аватарки, смайлики й значки рангів - теж звичайні зображення.
Мінімальна ширина і Мінімальна висота, у пікселях. Розмір зображення міститься всередині файлу, тож це вирішується вже після завантаження: зображення, яке не підійшло, видаляється, і журнал про це повідомляє.
Правила відбору - ваші власні умови для файлу: Не брати, якщо.

Для варіанта Лише ця сторінка в розділі Фільтри є ще Які адреси вважати файлами: з цієї сторінки нікуди не переходять, тож адресу, яка видає свій рід лише у відповіді сайту, ніхто й не запитає.

Для варіанта Галерея або альбом у розділі Гортання є Сторінок одного списку: скільки сторінок того самого списку пройти. 0, значення за замовчуванням, означає всі - правильно для альбому й хибно для нескінченної стрічки.

Коли він використовує браузер

Деякі сайти малюють свої сторінки скриптом, і без браузера на них немає чого знаходити. Використовувати браузер у розділі Браузер на сторінці Налаштування сайту проєкту може мати значення Визначити автоматично, Так або Ні. Коли рішення за Краулером, він читає першу сторінку кожного сайту обома способами й залишає той, що знайшов більше; журнал повідомляє, який саме, з обома числами. Браузер у десятки разів повільніший.

Коли сторінка нічого не дала, журнал повідомляє На … нічого не знайдено - можливо, сторінці потрібен браузер.

Манери

Манери на сторінці Налаштування плагіна проєкту - це те, як Краулер поводиться із сайтом:

Секунд між запитами - пауза між будь-якими двома запитами прогону, хай би до яких сайтів вони йшли, за замовчуванням 1, щонайбільше 60. Що вона коротша, то ймовірніше, що сайт почне відмовляти або зачинить перед вами двері; 0 - найкоротший шлях до заблокованої IP-адреси. Див. Темп, який тримає прогін.
Зберігати сторінки - зберігає кожну прочитану сторінку, щоб редактор рецептів міг повторити прогін по них, не турбуючи сайт знову. За замовчуванням увімкнено.
Використовувати рецепти - на сайті, який Краулер знає поіменно, він іде за рецептом цього сайту. Вимкніть, щоб обійти сайт звичайним способом. За замовчуванням увімкнено.
Розпізнавати хостинги зображень - читає посилання на хостинг зображень як зображення з однією пересадкою. Варто вимкнути, якщо хостинг змінив свої сторінки і замість зображення приходить реклама. За замовчуванням увімкнено.

Краулер завантажує по два файли одночасно, рахуючи всі сайти разом. Коли сайт просить його уповільнитися, він так і робить, а журнал повідомляє … попросив уповільнитися, послаблюємо тиск. Секунд: ….

Сторінки, які ви переглядаєте перед прогоном

Деяким сайтам потрібно, щоб ви спершу щось зробили вручну: увійшли, пройшли перевірку або уточнили пошук. Показувати сторінку перед запуском, теж у розділі Манери, визначає, коли відкривається початкова сторінка:

Ніколи - прогін починається одразу.
Якщо сайт цього потребує - за замовчуванням. Сторінка відкривається на сайті, рецепт якого каже, що там потрібні ви, як-от Google Images.
Завжди - сторінка відкривається для кожної адреси проєкту, а для шаблону - один раз, на його першій адресі.

Сторінка відкривається у вікні Перевірте це, перш ніж почнеться завантаження і чекає. Зробіть те, що потрібно сайту, і натисніть Продовжити: прогін почнеться звідти, де ви опинилися, тож на пошуку збережуться і запит, і виставлені вами фільтри. Скасувати зупиняє прогін ще до його початку.

Якщо позначити На цьому сайті треба спершу увійти на останньому кроці майстра, буде встановлено Завжди.

Полагодити парсер

На вкладці Властивості проєкту, у вікні NeoDownloader, картка пропонує Полагодити парсер: так відкривається редактор рецептів на останньому прогоні проєкту, на кроці, де улов став порожнім. Редактор експериментальний. Перш ніж його відкрити, NeoDownloader попереджає Редактор рецептів ще не дороблений, і полагодити прогін йому може не вдатися.