Sincronizza un VPS Linux con memoria dell'oggetto (rClone)

Mantenere i VP Linux sincronizzati con l'archiviazione di oggetti è un modo intelligente per gestire backup, archiviare le risorse statiche o scaricare i dati per la flessibilità di prestazioni e archiviazione.

Questa guida cammina attraverso il processo usando RCLone, uno strumento leggero e potente che funziona con la maggior parte dei servizi di archiviazione degli oggetti.

Prerequisiti

Ecco cosa vorrai avere in atto prima di iniziare:

• A Linux VPS: Avrai bisogno dell'accesso a shell ai tuoi VP.È qui che si trovano i file o le directory che si desidera sincronizzare.
  
  
• Un fornitore di archiviazione di oggetti: Ce ne sono diversi Provider di servizi di archiviazione degli oggetti da scegliere.Scegli uno che può ridimensionare con le tue risorse, integrare con la tua infrastruttura esistente e ovviamente si adatta al tuo budget.
  
  
• Accesso alle credenziali: Avrai bisogno di una chiave di accesso e di una chiave segreta per autenticarsi con l'API del tuo provider di archiviazione.Questi sono usati in modo sicuro dallo strumento di sincronizzazione per interagire con il secchio.

Passaggio 1: installare Rclone

RCLone è un'utilità di comando aperta e open source per la gestione dei file su Cloud Storage.Supporta numerosi provider diversi e funziona bene per la sincronizzazione, la copia, la crittografia e l'automazione dei trasferimenti.

1. Accedi ai vps VPS tramite SSH.

ssh user@your-vps-ip

2. Installa rclone:

curl https://rclone.org/install.sh | sudo bash

Questo prenderà e installerà l'ultima versione.

Se preferisci utilizzare il gestore dei pacchetti del tuo sistema:

Debian/Ubuntu:

sudo apt install rclone

CentOS/RHEL:

sudo yum install epel-release
sudo yum install rclone

Fedora:

sudo dnf install rclone

Passaggio 2: impostare un telecomando

Ora imposerai RCLone in modo che possa parlare con il tuo secchio di archiviazione

Avvia lo strumento di configurazione interattiva:

rclone config

Segui questi passaggi nel menu:

1. Scegliere n Per creare un nuovo telecomando.
   
2. Dagli un nome come miremota.Questo nome viene utilizzato nei comandi per fare riferimento alla connessione
   
3. Scegli il tuo fornitore di archiviazione dall'elenco.
   
4. Inserisci la chiave di accesso e la chiave segreta.
   
5. Inserisci qualsiasi endpoint o configurazione specifici della regione come richiesto.
   
6. Accetta le opzioni predefinite a meno che tu non sappia di aver bisogno di qualcosa di specifico.
   

Ora testiamo la tua configurazione:

rclone ls myremote:

Se tutto è configurato correttamente, vedrai un elenco dei secchi di archiviazione o non restituirà nulla senza mostrare un errore.

Questa configurazione crea un profilo di connessione continua e riutilizzabile e consente di utilizzarlo su più directory o script.

Passaggio 3: sincronizza i tuoi file

Ora che RCLone è impostato, puoi sincronizzare una directory locale (come il tuo sito Web o i file di progetto) con l'archiviazione degli oggetti.

Ad esempio, supponiamo di voler eseguire il backup del tuo sito web da / var / www / html alla memoria degli oggetti:

rclone sync /var/www/html myremote:backups/html --progress

Ecco cosa fa questo comando:

• Confronta la cartella locale (/var/www/html) con la memoria degli oggetti (MyRemote: backups/html
• Trasferisce eventuali file nuovi o aggiornati
• Rimuove i file dalla destinazione che non esistono più nella fonte locale (puoi evitarlo, vedi sotto)

Se si desidera caricare solo file nuovi o modificati senza rimuovere nulla dalla destinazione, è possibile utilizzare copia Invece:

rclone copy /var/www/html myremote:backups/html --progress

Passaggio 4: automatizzare il processo con Cron

Per mantenere i file aggiornati automaticamente, è possibile impostare un lavoro Cron:

1. Apri il tuo crontab:

crontab -e

2. Aggiungi questa riga ai file di sincronizzazione ogni giorno a mezzanotte:

0 0 * * * /usr/bin/rclone sync /var/www/html myremote:backups/html --quiet

Puoi cambiare il tempo e il percorso secondo necessità.Assicurati che il percorso di Rclone corrisponda alla posizione in cui è stato installato (che Rclone ti dirà).

Passaggio 5 (facoltativo): crittografare i file

Se stai gestendo dati sensibili-file utente, documenti interni o qualsiasi cosa non vorresti esposto-il Clone ti consente di aggiungere la crittografia sul lato client prima di caricare.

Ecco come lo abbiamo impostato:

1.run rclone config di nuovo:

rclone config

2. Aggiungi un nuovo telecomando e scegli cripta come tipo di archiviazione.

3. Puntalo alla cartella del telecomando originale (ad es. MyRemote: backups/html).

4. Scegli una password e conferma.

Successivamente, puoi usare il telecomando crittografato per caricare file come questo:

rclone sync /var/www/html mycryptremote:html --progress

Impostazioni opzionali per un migliore controllo

Ecco alcuni flag utili che puoi usare:

--list Accelera il processo di scansione per file di grandi dimensioni utilizzando più memoria durante l'elenco dei file:

rclone sync /var/www/html myremote:backups/html --fast-list

--bwlimit Larghezza di banda Caps Per evitare di rallentare altri processi:

rclone sync /var/www/html myremote:backups/html --bwlimit 1M

--log-file Mantiene un record dettagliato di ogni sincronizzazione in un file di registro:

rclone sync /var/www/html myremote:backups/html --log-file=/var/log/rclone.log

Alternative a Rclone

Mentre RCLone è uno degli strumenti più flessibili e ampiamente consigliati per la sincronizzazione con la memoria degli oggetti, ci sono altre utilità che vale la pena conoscere, specialmente se stai cercando flussi di lavoro diversi, integrazione più profonda o compatibilità specifica.

Ecco alcune alternative, come funzionano e quando potrebbero essere più adatti a seconda delle tue esigenze.

Confronto degli strumenti a colpo d'occhio

S3CMD-semplice e adatto alla sceneggiatura

s3cmd è a Strumento di comando In particolare per interagire con Amazon S3 e S3 Services di archiviazione di oggetti compatibili con S3.È adatto per lo scripting semplice caricamento, download e attività di sincronizzazione, in particolare in lavori Cron o condotte automatizzate di distribuzione.

Se stai gestendo i secchi S3 in tutti gli ambienti o desideri uno strumento che si attacca strettamente all'API S3, S3CMD offre comandi semplici e familiari e documentazione solida.

Quando usarlo:

• Stai già lavorando con S3 o un fornitore compatibile (Wasabi, Backblaze B2 con API S3 abilitato, ecc.).
  
• Vuoi uno strumento leggero e diretto che gioca bene con gli script di shell.
  
• Preferisci uno strumento progettato specificamente per il protocollo S3.
  

Installazione:

sudo apt install s3cmd   # On Debian/Ubuntu

Configurazione:

s3cmd --configure

Ti verrà richiesto:

• Chiave di accesso
  
• Chiave segreta
  
• Endpoint (se non si utilizza AWS)
  
• Crittografia opzionale o impostazioni HTTPS

Esempio di sincronizzazione di base:

s3cmd sync /var/www/html/ s3://your-bucket/html/

S3FS - Montaggio di archiviazione oggetti come un filesystem

S3FS ti consente di montare un secchio S3 come se fosse una directory locale.Ciò significa che è possibile utilizzare i comandi Linux standard (CP, MV, RSYNC, ecc.) Per lavorare con la tua memoria cloud come faresti con un normale disco.

Ciò è particolarmente utile se hai strumenti che non sono consapevoli del cloud ma che possono scrivere su un percorso del file.S3FS rende senza soluzione di continuità reindirizzare quell'output in memoria degli oggetti.Tuttavia, le prestazioni non sono sempre veloci come i file system nativi e non è l'ideale per l'attività di lettura/scrittura ad alta frequenza.

Quando usarlo:

• Sono necessarie applicazioni per leggere/scrivere file come se fossero su un disco locale.
  
• Stai lavorando con un software che non supporta i caricamenti del cloud diretto.
  
• Preferisci la flessibilità dell'accesso diretto al filesystem all'archiviazione degli oggetti.

Installazione:

sudo apt install s3fs

Credenziali di configurazione:

echo ACCESS_KEY:SECRET_KEY > ~/.passwd-s3fs
chmod 600 ~/.passwd-s3fs

Montare il secchio:

mkdir ~/mybucket
s3fs your-bucket-name ~/mybucket -o passwd_file=~/.passwd-s3fs

AWS CLI - Ideale per le integrazioni Amazon S3

L'AWS CLI è lo strumento di comando ufficiale di Amazon per la gestione di quasi ogni parte di AWS, incluso S3.

Se stai facendo molto più di un semplice backup, come l'impostazione delle autorizzazioni di secchio, la gestione di versioni o innescare le funzioni Lambda - la CLI AWS offre più controllo e opzioni rispetto ad altri strumenti.

Quando usarlo:

• Stai già utilizzando i servizi AWS e vuoi integrare le attività di archiviazione nel tuo flusso di lavoro.
  
• Hai bisogno di pieno accesso a funzionalità S3 come regole del ciclo di vita, autorizzazioni e etichettatura degli oggetti.
  
• Si desidera compatibilità con pipeline di automazione o CI/CD.

Installazione (Linux):

curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"
unzip awscliv2.zip
sudo ./aws/install

Configuralo:

aws configure

Quando richiesto, immettere:

• Chiave di accesso
  
• Chiave segreta
  
• Regione predefinita
  
• Formato di output (json, testo, ecc.)

Esempio di sincronizzazione:

aws s3 sync /var/www/html s3://your-bucket-name/html

Avvolgendo

Mantenere i VP in sintonia con l'archiviazione degli oggetti è un modo affidabile per eseguire il backup dei dati e rendere accessibili i contenuti.Che tu stia eseguendo caricamenti regolari o sincronizzando cartelle dal vivo, RCLone ti dà gli strumenti per farlo in modo efficiente.

Con le opzioni per crittografia, registrazione e automazione, è possibile impostare un sistema che funziona in silenzio in background, proprio come lo desideri.