Краулер

Краулер ходить сторінками сайту й забирає файли, які на них знайде. На цій сторінці - сайти, які він знає поіменно, види сторінок, які він читає на решті сайтів, куди він може ходити й що лишає, коли використовує браузер, як поводиться із сайтом і які сторінки ви переглядаєте перед прогоном.

Сайти, які він знає поіменно

Для кількох сайтів у Краулера є рецепт - опис того, де сайт тримає свої файли і як їх гортати. На цих сайтах майстер обирає Краулер і нічого не питає про вид сторінки.

Сайт	Що Краулер там бере
500px	фотографа, стрічку на кшталт популярних фото, галерею, фотоісторію або одне фото; довга сторона до 2048 пікселів
Bing Images	результати пошуку зображень
Flickr	фотопотік, альбом, обране, пул групи, тег, Explore, одне фото або пошук; оригінал - лише там, де автор дозволяє завантаження, інакше найбільший наявний розмір
Google Images	результати пошуку зображень
IMDb	фільм, персону або галерею
Pexels	фотографа, його найкращі роботи або колекції, колекцію, одне фото чи відео або пошук; фото в повному розмірі, відео до вибраної якості
Reddit	сабреддит, профіль або допис
Unsplash	фотографа, його ілюстрації або колекції, колекцію, тему, одне фото чи ілюстрацію або пошук; у повному розмірі
Wikimedia Commons	пошук медіафайлів, категорію та підкатегорії під нею, завантаження однієї людини або один файл; оригінал, а ліцензія й автор - у властивостях файла

Bing Images і Google Images читаються через браузер. Перед прогоном на Google Images пошук відкривається, щоб ви на нього подивилися, - див. Сторінки, які ви переглядаєте перед прогоном.

У проєкту на Google Images на сторінці Налаштування сайту теж є Фільтри - Мінімальна ширина і Мінімальна висота. Google повідомляє розмір кожного зображення у видачі, тож менше не завантажується зовсім: його сайт навіть не запитують.

Для IMDb майстер питає Завантажувати зображення і Завантажувати відео; IMDb віддає щонайбільше 100 відео. Ще майстер показує IMDb встановлює умови використання своїх даних., і створити проєкт можна, лише коли ви позначите Я прочитав це.

Для Pexels майстер питає Завантажувати фото, Завантажувати відео і Якість відео - вона стоїть на До 1080p, поки ви не виберете іншу. У безкоштовній версії варіанти, вищі за 1080p, видно, але вибрати їх не можна.

Reddit відповідає програмі лише після того, як сайт відкрили в її браузері. Тому першого разу перед прогоном відкриється сторінка Reddit: якщо Reddit попросить підтвердити, що ви людина, зробіть це там і натисніть Продовжити. Далі прогони починаються одразу; сторінка відкриється знову, лише якщо Reddit перестане пускати програму.

Для Unsplash майстер питає Завантажувати фото Unsplash+, за замовчуванням вимкнено: такі фото Unsplash віддає в повному розмірі лише зі своїм водяним знаком поверх усього знімка. Поки вимкнено, списки й пошуки їх пропускають, зокрема пошук, розпочатий через Новий пошук; якщо такі фото були в списку, Журнал каже про це один раз за прогін.

Для Wikimedia Commons майстер питає Рівні підкатегорій. Commons тримає більшість файлів у підкатегоріях, тому категорія береться разом з одним рівнем під нею, поки ви не виберете інше. Пошук там доходить до 10 000 файлів - далі сайт не пускає нікого.

Будь-яка інша сторінка

На сайті, якого Краулер не знає поіменно, на його картці написано Працює з будь-якою сторінкою, але особливостей цього сайту не знає. Оберіть Краулер - і майстер спитає Звідки брати файли? Заздалегідь нічого не вибрано: що це за сторінка, знаєте лише ви.

Варіант	Що це означає
Лише ця сторінка	Файли, на які посилається вказана адреса, і нічого далі
Галерея або альбом	Сторінка з набором зображень
Гілка форуму	Одна тема, вкладення й картинки в дописах
Весь сайт або його частина	За замовчуванням лише вказана сторінка й те, що під нею

Далі сторінка Типи файлів питає, що Завантажувати: Зображення (позначено за замовчуванням), Відео, Звук, Документи та Архіви. Файл, рід якого не видає ні його адреса, ні відповідь сайту, береться все одно.

Окрім Куди можна ходити? (про це - нижче), майстер більше нічого не питає; решта налаштувань кожного варіанта - на сторінці Налаштування сайту проєкту.

Куди він може ходити

Для варіанта Весь сайт або його частина майстер питає ще й Куди можна ходити? Там перелічено області від найвужчої до найширшої, і роботі належить усе, що покриває шаблон обраного рядка. Для https://example.com/gallery/7/ це рядки example.com/gallery/7/*, example.com/gallery/*, example.com/* і *.example.com/* - увесь сайт разом із піддоменами.

Решта - у розділі Адреси на сторінці Налаштування сайту проєкту:

• Додаткові адреси - по одному шаблону адреси в рядку, наприклад site.com/gallery/*. Посилання, що відповідають цим шаблонам, теж належать роботі; рядок, обраний у майстрі, зберігається тут першим.
• Винятки - шаблони адрес, куди обхід не ходить, хай би як його туди скерували. Вони сильніші за адреси вище.
• Кроків від початку - як далеко обхід може відійти від адреси: один крок на кожне пройдене посилання, за замовчуванням 3, щонайбільше 20. Наступна сторінка того самого списку нічого не коштує, як і файл.
• Зовнішні посилання - посилання, що ведуть за межі роботи: Ігнорувати, Лише забирати з них файли (за замовчуванням) або Заходити на сторінки й забирати файли.
• Дозволені зовнішні адреси - куди обхід може виходити; *, значення за замовчуванням, означає будь-куди.
• Які адреси вважати файлами - по одному правилу в рядку, наприклад site.com/get-image/* = pictures, для скрипта, що віддає зображення, або посилання на завантаження без розширення.
• Правила переходу - ваші власні умови для посилання: Не ходити, якщо або Ходити, тільки якщо.

Зберігати структуру папок сайту в розділі Теки розкладає все так, як це робить сайт: спершу хост, потім теки з адреси. За замовчуванням це вимкнено, і все опиняється в одному місці.

Що він лишає

Фільтри на сторінці Налаштування сайту проєкту:

• Мінімальний розмір і Максимальний розмір, у байтах; 0 - без обмеження. Файл, розміру якого сайт не назвав, береться. Для варіанта Гілка форуму мінімальний розмір спочатку становить 20480 байтів: у дописі аватарки, смайлики й значки рангів - теж звичайні зображення.
• Мінімальна ширина і Мінімальна висота, у пікселях. Розмір зображення міститься всередині файлу, тож це вирішується вже після завантаження: зображення, яке не підійшло, видаляється, і журнал про це повідомляє.
• Правила відбору - ваші власні умови для файлу: Не брати, якщо.

Для варіанта Лише ця сторінка в розділі Фільтри є ще Які адреси вважати файлами: з цієї сторінки нікуди не переходять, тож адресу, яка видає свій рід лише у відповіді сайту, ніхто й не запитає.

Для варіанта Галерея або альбом у розділі Гортання є Сторінок одного списку: скільки сторінок того самого списку пройти. 0, значення за замовчуванням, означає всі - правильно для альбому й хибно для нескінченної стрічки.

Коли він використовує браузер

Деякі сайти малюють свої сторінки скриптом, і без браузера на них немає чого знаходити. Використовувати браузер у розділі Браузер на сторінці Налаштування сайту проєкту може мати значення Визначити автоматично, Так або Ні. Коли рішення за Краулером, він читає першу сторінку кожного сайту обома способами й залишає той, що знайшов більше; журнал повідомляє, який саме, з обома числами. Браузер у десятки разів повільніший.

Коли сторінка нічого не дала, журнал повідомляє На … нічого не знайдено - можливо, сторінці потрібен браузер.

Манери

Манери на сторінці Налаштування плагіна проєкту - це те, як Краулер поводиться із сайтом:

• Секунд між запитами - пауза між будь-якими двома запитами прогону, хай би до яких сайтів вони йшли, за замовчуванням 1, щонайбільше 60. Що вона коротша, то ймовірніше, що сайт почне відмовляти або зачинить перед вами двері; 0 - найкоротший шлях до заблокованої IP-адреси. Див. Темп, який тримає прогін.
• Зберігати сторінки - зберігає кожну прочитану сторінку, щоб редактор рецептів міг повторити прогін по них, не турбуючи сайт знову. За замовчуванням увімкнено.
• Використовувати рецепти - на сайті, який Краулер знає поіменно, він іде за рецептом цього сайту. Вимкніть, щоб обійти сайт звичайним способом. За замовчуванням увімкнено.
• Розпізнавати хостинги зображень - читає посилання на хостинг зображень як зображення з однією пересадкою. Варто вимкнути, якщо хостинг змінив свої сторінки і замість зображення приходить реклама. За замовчуванням увімкнено.

Краулер завантажує по два файли одночасно, рахуючи всі сайти разом. Коли сайт просить його уповільнитися, він так і робить, а журнал повідомляє … попросив уповільнитися, послаблюємо тиск. Секунд: ….

Сторінки, які ви переглядаєте перед прогоном

Деяким сайтам потрібно, щоб ви спершу щось зробили вручну: увійшли, пройшли перевірку або уточнили пошук. Показувати сторінку перед запуском, теж у розділі Манери, визначає, коли відкривається початкова сторінка:

• Ніколи - прогін починається одразу.
• Якщо сайт цього потребує - за замовчуванням. Сторінка відкривається на сайті, рецепт якого каже, що там потрібні ви, як-от Google Images, і на Reddit, коли він не пускає програму.
• Завжди - сторінка відкривається для кожної адреси проєкту, а для шаблону - один раз, на його першій адресі.

Сторінка відкривається у вікні Перевірте це, перш ніж почнеться завантаження і чекає. Зробіть те, що потрібно сайту, і натисніть Продовжити: прогін почнеться звідти, де ви опинилися, тож на пошуку збережуться і запит, і виставлені вами фільтри. Скасувати зупиняє прогін ще до його початку.

Якщо позначити На цьому сайті треба спершу увійти на останньому кроці майстра, буде встановлено Завжди.

Полагодити парсер

На вкладці Властивості проєкту, у вікні NeoDownloader, картка пропонує Полагодити парсер: так відкривається редактор рецептів на останньому прогоні проєкту, на кроці, який перестав щось знаходити. Редактор експериментальний. Перш ніж його відкрити, NeoDownloader попереджає Редактор рецептів ще не дороблений, і полагодити прогін йому може не вдатися.