Як використовувати cURL для завантаження файлу в Linux?

У світі командних рядків cURL широко використовується для передачі даних за допомогою різних мережевих протоколів. Одним з найпоширеніших випадків його використання є завантаження файлів з Інтернету.

Крім використання параметра -o, існують інші способи завантаження файлів за допомогою cURL.

Незалежно від того, чи є ви системним адміністратором, розробником або ентузіастом, вам необхідно розуміти, як ефективно використовувати cURL для підвищення своєї продуктивності.

У цьому вичерпному посібнику ми розглянемо основи cURL і надамо покрокові інструкції щодо завантаження файлів за допомогою цього інструменту cURL для задоволення різних потреб.

ЩО ТАКЕ CURL?

cURL, скорочення від «client for URLs» (клієнт для URL-адрес), — це інструмент командного рядка та бібліотека, що передає дані за допомогою URL-адрес. Він входить до проекту бібліотеки libcurl. Ця утиліта з відкритим кодом підтримує кілька протоколів, таких як FTP, HTTP, HTTPS, FTPS, SCP, SFTP, LDAP та SMTP.

Завдяки своїй універсальності та простоті використання ця утиліта командного рядка доступна в різних операційних системах. Вона є популярним вибором для розробників та системних адміністраторів, які працюють у різних середовищах. Її безперебійна функціональність та портативність роблять її інструментом, який постійно забезпечує результати без необхідності складної конфігурації.

 

Крім того, оскільки cURL попередньо встановлений на багатьох системах, він усуває необхідність додаткових інсталяцій і забезпечує миттєвий доступ на різних платформах. Він зміцнив свою позицію як основний інструмент для документації API завдяки своїй здатності без зусиль виконувати завдання, пов'язані з передачею даних.

ПЕРЕДУМОВИ

Перш ніж зануритися в докладний посібник з використання cURL для завантаження файлу, вам слід виконати кілька попередніх умов.

 

• Працююча операційна система. Незалежно від того, чи використовуєте ви Linux, macOS або Windows, cURL сумісний з різними операційними системами. Переконайтеся, що у вашій системі є працюючий термінал або командний рядок.
• Перевірте, чи cURL вже встановлений у вашій системі. Більшість дистрибутивів Linux і macOS постачаються з попередньо встановленим cURL. Для Windows, можливо, доведеться встановити його окремо.

Щоб перевірити, чи встановлено cURL, скористайтеся командою -V. Якщо він не встановлений, ви можете відвідати офіційний веб-сайт cURL, щоб отримати інструкції з установки. Крім того, якщо у вашій операційній системі Linux немає cURL, ви можете легко завантажити його за допомогою менеджера пакетів.

• Необхідне стабільне підключення до Інтернету, оскільки cURL завантажує файли з веб-сайтів. Переконайтеся, що ваше інтернет-з'єднання є надійним, щоб уникнути перебоїв під час завантаження. Оскільки cURL підтримує кілька протоколів, переконайтеся, що ви підключені до сервера, який дозволяє завантажувати файли за одним із цих протоколів.
• Опціональний текстовий редактор. Хоча це не є обов'язковим, наявність текстового редактора може допомогти вам створювати та виконувати скрипти за допомогою команд cURL. Це дозволяє писати, редагувати та зберігати скрипти для автоматичного завантаження.

ПОДІБНА ІНСТРУКЦІЯ: ЯК ВИКОРИСТОВУВАТИ CURL ДЛЯ ЗАВАНТАЖЕННЯ ФАЙЛУ

Ось як завантажити файл за допомогою команди cURL.

ЗАВАНТАЖЕННЯ ФАЙЛУ ЗА ДОПОМОГОЮ CURL

Ви можете використовувати cURL для завантаження та збереження файлу за допомогою віддаленого імені. Це простий процес. Відкрийте термінал або командний рядок і використовуйте наступний синтаксис:

curl -O URL

Замініть частину URL на фактичну веб-адресу файлу, який ви хочете завантажити. Опція -O вказує cURL зберегти файл з його оригінальною назвою.

Крім опції -O, ви також можете використовувати опцію --remote-name, щоб зберегти вихідні дані у локальному файлі. Після введення цієї команди ваші файли будуть автоматично завантажені та збережені в поточній робочій директорії.

ЯК ВИКОРИСТОВУВАТИ КОМАНДУ ЗАВАНТАЖЕННЯ CURL ДЛЯ ЗБЕРЕЖЕННЯ ФАЙЛУ З ІНШОЮ НАЗВОЮ

Хоча команда завантаження -O cURL зберігає ваші файли з тією ж назвою, що і на вашому сервері, ви можете вказати назву вихідного файлу.

Щоб зберегти завантажений файл з іншою назвою, використовуйте опцію -o або - -output, а потім вкажіть бажану назву файлу. Використовуйте таку базову синтаксичну конструкцію:

curl -o output_filename URL

У цій команді замініть output_filename на ім'я, яке ви хочете надати завантаженому файлу.

ЯК ВИКОРИСТОВУВАТИ НЕСТАНДАРТНИЙ ПОРТ

Ви можете визначити нестандартний порт під час використання cURL для завантаження файлу. Більшість серверів працюють на стандартних портах, таких як порт 80 для HTTP, порт 21 для FTP та порт 443 для HTTPS.

Однак багато веб-серверів розміщують служби на нестандартних портах з різних причин, таких як підвищення безпеки або уникнення конфліктів з іншими програмами. У цьому випадку ви можете використовувати cURL для визначення нестандартного порту, що допоможе вам безперешкодно завантажувати файли.

Щоб вказати нестандартний порт, потрібно використовувати cURL для додавання номера порту до URL-адреси, до якої ви намагаєтеся отримати доступ. Він додається в кінці IP-адреси або доменного імені сервера. Синтаксис такий:

curl http://example.com:PORT_NUMBER/file.txt -o output_filename

У цій команді замість http://example.com вкажіть фактичну URL-адресу, замість PORT_NUMBER — номер порту, відмінний від стандартного, замість file.txt — ім'я файлу, який потрібно завантажити, а замість output_filename — бажане ім'я завантаженого файлу.

Наприклад, якщо ви отримуєте доступ до веб-сервера, що працює на порту 8080, команда буде виглядати так:

curl http://example.com:8080/file.txt -o output_filename

ЯК ВИКОРИСТОВУВАТИ КОМАНДИ ЗАВАНТАЖЕННЯ CURL ДЛЯ ПОВТОРНОГО ЗАПУСКУ ПЕРЕРВАНИХ ЗАВАНТАЖЕНЬ

Коли у вас слабке мережеве з'єднання, завантажувати великі файли стає складно. Імовірність переривання завантаження зростає.

Однак cURL має команди завантаження, які дозволяють відновити перервані операції за допомогою опції -C -. Щоб відновити завантаження, використовуйте такий синтаксис:

curl -C - -O URL

Ця команда відновить завантаження з того місця, де воно було припинено.

ЯК ЗАВАНТАЖИТИ КІЛЬКА ФАЙЛІВ ЗА ДОПОМОГОЮ ОДНІЄЇ КОМАНДИ

Користувачі можуть завантажити кілька файлів за допомогою однієї команди, вказавши кілька URL-адрес. Наприклад:

curl -O URL1 -O URL2 -O URL3

Ця команда завантажить усі три вказані файли (URL1, URL2 та URL3) у ваш поточний робочий каталог.

Якщо у вас є багато URL-адрес, ви можете зберегти їх у текстовому файлі та скористатися командою xargs разом із cURL.

ЯК ОБМЕЖИТИ ШВИДКІСТЬ ЗАВАНТАЖЕННЯ

Якщо ви хочете обмежити швидкість завантаження, щоб уникнути надмірного споживання пропускної здатності, ви можете скористатися опцією --limit-rate, вказавши бажане обмеження швидкості. Ви можете вказати максимальну кількість байтів, що завантажуються за секунду.

Швидкість можна скоротити, використовуючи кілобайти (k або K), мегабайти (m або M) та гігабайти (g або G).

Наприклад, щоб обмежити швидкість завантаження до 1 Мбіт/с, використовуйте таку команду:

curl --limit-rate 1m -O URL

Пам'ятайте, що якщо ви запускаєте cURL з опцією --limit-rate, швидкість може бути вищою за вказану, але з часом вона вирівняється.

ЯК ПРИПИНИТИ ПОВІЛЬНЕ ЗАВАНТАЖЕННЯ

У випадках, коли завантаження відбувається повільно, ви можете автоматично перервати це з'єднання. Використовуйте опції -y (--speed-time) або -Y ( -speed-limit), щоб зупинити завантаження.

Параметр -Y ( --speed-limit) визначає швидкість, а параметр -y (або --speed-time) визначає час, вимірюваний у секундах. cURL припинить завантаження, якщо швидкість буде нижчою за визначену швидкість і час.

Наприклад, щоб встановити максимальний час завантаження 30 секунд і обмеження швидкості 100 кілобайт на секунду, використовуйте таку команду:

curl --limit-rate 100K --max-time 30 -o output_filename URL

У цій команді, якщо швидкість завантаження падає нижче заданого обмеження (100K) і час завантаження перевищує 30 секунд, cURL автоматично припиняє завантаження.

ЯК ВІДОБРАЗИТИ СТАНОВИЙ СТРІЧКУ ЗАВАНТАЖЕННЯ

Опція -# або --progress-bar в cURL дозволяє відображати стан завантаження. Коли ви включаєте цю опцію в команду cURL, вона замінює звичайну інформацію про хід завантаження динамічною смугою прогресу, що дає вам чітке візуальне уявлення про хід завантаження.

Синтаксис команди для опції смуги прогресу наступний:

curl -# -o output_filename URL

Замініть output_filename на бажане ім'я для завантаженого файлу, а URL — на фактичну веб-адресу файлу, який ви хочете завантажити.

ЯК СЛІДКУВАТИ ЗА ПЕРЕАДРЕСАЦІЯМИ З CURL

Іноді файл, який ви хочете завантажити, може бути розміщений на іншому URL, який переадресовує на фактичне місцезнаходження файлу. Щоб автоматично слідкувати за переадресаціями, використовуйте опцію -L або --location:

curl -L -O URL

Цей параметр вказує cURL слідувати всім переадресаціям, поки не досягне кінцевого пункту призначення, а потім завантажити файл.

ЯК ВИКОРИСТОВУВАТИ СТАНДАРТНУ АВТЕНТИФІКАЦІЮ

Якщо ваш файл вимагає автентифікації, ви можете мати ім'я користувача та пароль. Для цього використовуйте параметр -u. Виконайте цю команду:

curl -u user:password -O URL

ЯК УМОЖЛИВИТИ ВИКОРИСТАННЯ НЕЗАБЕЗПЕЧНИХ СЕРТИФІКАТІВ TLS/SSL

Якщо сервер має самопідписаний або недійсний сертифікат, використовуйте параметр -k, щоб cURL міг завантажувати файл без перевірки ваших сертифікатів SSL/TLS.

Ось простий синтаксис, який слід використовувати:

curl -Ok URL

ЯК ВИКОРИСТОВУВАТИ ПРОКСІ ДЛЯ ЗАВАНТАЖЕННЯ ФАЙЛУ

Ви також можете використовувати проксі для завантаження файлів. Для цього використовуйте параметр -x, а потім додайте адресу проксі. Це повинно виглядати так:

curl -x [proxy address] -O URL

ЯК УВІМКНУТИ ТИХИЙ РЕЖИМ

Іноді може знадобитися, щоб cURL не відображав повідомлення про помилки або прогрес. Щоб увімкнути тихий режим, використовуйте опцію --silent або -s. Дотримуйтесь такого синтаксису:

curl -s -O URL

ЧОМУ ВАРТО ВИКОРИСТОВУВАТИ CURL?

Універсальність і надійність cURL роблять його ідеальним інструментом для широкого кола користувачів, включаючи розробників і системних адміністраторів. Його популярність пояснюється такими перевагами:

ШИРОКА ПІДТРИМКА ПРОТОКОЛІВ

Однією з видатних особливостей cURL є його здатність обробляти різноманітні протоколи. Незалежно від того, чи потрібно завантажувати файли через HTTP, HTTPS, FTP, FTPS, SCP, SFTP, LDAP або інші протоколи, cURL вам допоможе.

Ця гнучкість означає, що ви можете безперешкодно взаємодіяти з різними службами та платформами, забезпечуючи виконання ваших вимог щодо завантаження.

БЕЗПЕРЕБІЙНА АВТОМАТИЗАЦІЯ

Командний рядок cURL робить його дуже сприятливим для автоматизації. Для розробників це означає, що повторювані завдання можна оптимізувати та виконувати з мінімальним ручним втручанням.

Користувачі можуть заощадити значний час, включивши команди cURL у скрипти та автоматизовані процеси. Це дозволяє їм зосередитися на більш складних і важливих аспектах своєї роботи.

НАЛАШТУВАННЯ

cURL пропонує безліч опцій і параметрів, надаючи користувачам високий рівень налаштування. Незалежно від того, чи потрібно встановити конкретні часові обмеження, обмежити швидкість завантаження або обробляти перенаправлення, широкі можливості налаштування cURL гарантують, що ваші запити на завантаження можуть бути точно адаптовані до ваших унікальних вимог.

Такий рівень налаштування дозволяє користувачам адаптувати cURL до своїх конкретних випадків використання.

ПОКРАЩЕНІ ФУНКЦІЇ БЕЗПЕКИ

Безпека є надзвичайно важливою, особливо при роботі з передачею конфіденційних даних. cURL вирішує цю проблему, підтримуючи безпечні протоколи, такі як HTTPS і FTPS.

Під час завантаження файлів, що містять конфіденційну або приватну інформацію вашої компанії, cURL гарантує, що передача даних відбувається через зашифровані з'єднання. Це забезпечить цілісність і конфіденційність інформації, що передається.

Така гарантія безпеки є життєво важливою в професійних і корпоративних середовищах, де захист даних є головним пріоритетом.

ПІДСУМОК

Володіння cURL для завантаження файлів є цінним навиком для розробників, системних адміністраторів і всіх, хто працює з передачею даних. У цьому посібнику розглянуто, як використовувати cURL для завантаження файлів у типових випадках.

Різні команди та опції завантаження cURL дозволяють завантажувати файли з різними характеристиками, відновлювати перервані завантаження, завантажувати кілька файлів, обмежувати швидкість завантаження та ефективно обробляти перенаправлення.

Використовуючи можливості cURL, ви можете автоматизувати завдання, оптимізувати робочі процеси та ефективно керувати завантаженням файлів із командного рядка.