INICIO FORO
Regresar   ForoCoches > Zona General > Electrónica / Informática

  Rclone + Google Drive + encriptación.  
Respuesta

 
Herramientas
Viejo 13-ago-2019, 21:43   #31
Linares86
ForoCoches: Miembro
 
May 2019 | 206 Mens.
Yo estoy en este canal de Telegram, creo que allí te podrán ayudar https://t.me/Googledriveyplex
Linares86 está desconectado   Responder Con Cita


Viejo 17-ago-2019, 22:52   #32
JuRaSSiCBoY
ForoCoches: Miembro
 
Avatar de JuRaSSiCBoY
 
Oct 2008 | 1.077 Mens.
Lugar: Barcelona

KIA Cerato

Cita:
Originalmente Escrito por Linares86 Ver Mensaje
Yo estoy en este canal de Telegram, creo que allí te podrán ayudar https://t.me/Googledriveyplex
Gracias shur, ya pregunté por ahí hace tiempo pero está tan colapsado el grupo que suelen preguntar mucho y no responden a nadie. Finalmente he conseguido lo que me proponía, así que voy a dejar por aquí el proceso por si alguien quiere hacerlo igual, de momento llevo una semana sin un solo baneo
JuRaSSiCBoY está desconectado   Responder Con Cita
Viejo 04-oct-2019, 03:11   #33
as12
Morderador
 
Avatar de as12
 
May 2008 | 4.038 Mens.
Cita:
Originalmente Escrito por JuRaSSiCBoY Ver Mensaje
Gracias shur, ya pregunté por ahí hace tiempo pero está tan colapsado el grupo que suelen preguntar mucho y no responden a nadie. Finalmente he conseguido lo que me proponía, así que voy a dejar por aquí el proceso por si alguien quiere hacerlo igual, de momento llevo una semana sin un solo baneo
Despues de un tiempo shur, ¿sigues con la cuenta ok? O por el contrario te la han baneado. Yo acabo de hacer lo mismo con la mía, solo que prefiero preguntar antes de usarla

as12 está desconectado   Responder Con Cita
Viejo 04-oct-2019, 21:55   #34
JuRaSSiCBoY
ForoCoches: Miembro
 
Avatar de JuRaSSiCBoY
 
Oct 2008 | 1.077 Mens.
Lugar: Barcelona

KIA Cerato

Cita:
Originalmente Escrito por as12 Ver Mensaje
Despues de un tiempo shur, ¿sigues con la cuenta ok? O por el contrario te la han baneado. Yo acabo de hacer lo mismo con la mía, solo que prefiero preguntar antes de usarla
Sigo con la cuenta Ok!!! Ni un solo baneo, como el primer día pero un poco más gordita de TB ;-)
Tengo pendiente coger otra cuenta para usarla de espejo de la que ya tengo por si la de ahora desapareciera porque el superadmin propietario dejara de pagarla o algo así.
Me parece que el comando para sincronizar dos remotes de origen a destino es "rclone sync" pero tengo que mirarlo bien y ver si es sencillo lanzar el comando al encender y apagar el NAS para que se mantengan siempre sincronizadas. A ver si saco tiempo...
JuRaSSiCBoY está desconectado   Responder Con Cita


Viejo 05-oct-2019, 10:50   #35
Din
ForoCoches: Miembro
 
Avatar de Din
 
Ene 2013 | 1.125 Mens.
Lugar: narmia

GMC

Cita:
Originalmente Escrito por JuRaSSiCBoY Ver Mensaje
Buenas tardes shurs, a ver si algún entendido en rclone puede echarme un cable resumiéndome cuáles son los comandos a utilizar para montar GDrive con rclone con encriptación del contenido.

He estado buscando info por ahí pero no encuentro nada que esté completo, por ejemplo, muchos tutoriales no indican los parámetros que hay que pasarle al comando rclone para limitar la subida y bajada en esa carpeta, otros directamente no muestran como encriptar el contenido.

Me interesa la encriptación, pero sobre todo las limitaciones para no sobrepasar lo permitido por Google. A ver si alguien puede poner un "paso a paso", he estado leyendo mucho pero al ser la primera vez que utilizo el comando no me fío demasiado, además de que estamos en 2019 y la información que he encontrado es más antigua.

Ah!! Otra cosa importante, interesa que cuando apague el servidor la carpeta montada con rclone se desmonte y cuando lo encienda se monte de nuevo sin lanzar el comando ¿Esto es posible?

Muchas gracias de antemano y buen forro.


EDITO CON EL PROCESO A SEGUIR PARA CONSEGUIR LO QUE PROPONÍA:

He adaptado el proceso de instalación para un Synology en mi NAS QNAP. Este proceso lo he obtenido de un pdf que podemos encontrar en el grupo de Telegram: https://t.me/googledrive_plex
El enlace directo al pdf: https://t.me/drive_plex/3


1. Instalamos rclone en nuestra distribución de Linux. En mi caso al tener un servidor QNAP solamente he tenido que instalar la aplicación desde el App Center, antes he tenido que añadir el repositorio no-oficial de aplicaciones:

https://www.qnapclub.eu/en/repo.xml


2. Una vez instalado comprobamos que se ha instalado correctamente con el siguiente comando:
/usr/bin/rclone -V

Debería aparecer algo como:
rclone v1.43 - os/arch: linux/amd64 - go version: go1.11

Probamos el siguiente comando (el resultado debería ser el mismo que el anterior)
rclone -V

Esto quiere decir que nuestro sistema conoce perfectamente donde esta Rclone.
Si no lo es, sal de la sesión de ssh, y vuelve a intentarlo. A veces ocurre que hasta que no haces log out y log in no se actualiza el directorio.


3. Configuración de Rclone (remote principal) Desde SSH con la cuenta de admin seguimos los siguientes pasos:

a) Escribimos el comando: Rclone config
b) n (no)
c) rdrive (nombre que yo le he puesto al remote)
d) 12 (google drive, con actualizaciones del sistema puede cambiar el número porque van añadiendo más servicios)
e) Application client ID: enter
f) Client_secret: enter
g) Scope>enter
h) Root_folder_id: enter
i) Service_account_file: enter
j) Advanced config: n
k) Auto config: n
l) Copiamos el enlace, vamos a nuestro navegador en el que estemos logeados en la cuenta de gdrive que queramos usar. Damos permisos, copiamos el enlace y lo copiamos en SSH. (cuidado no pulsar ctrl+c / ctrl+v para copiar y pegar, simplemente señalando cn el ratón es suficiente para copiar. Si pulsas con el botón derecho pegas lo que tengas copiado.)
m) Y. this is OK.

Si lo hemos hecho bien, al introducir el siguiente comando:
rclone lsd rdrive:

Debería listarnos todos los elementos que se encuentran en el directorio principal de google drive.


4. Configuración de Rclone (Remote crypt)

a) Escribimos el comando: Rclone config
b) n
c) Secret (nombre que le he puesto)
d) 9 (Ecrypt)
e) Rdrive:/encripted (apuntamos a la carpeta encripted dentro del remote creado anteriormente)
f) 2. Encrypt the filenames
g) 2. Don’t encrypt directory names.
h) Y) type my own password
i) Password:
j) Repeat password:
k) Y. type my own password.
l) Password:
m) Repeat my password:
n) Advanced config: n
o) Y. yes this is OK.

Yo he decidido ponerle mis contraseñas, si prefieres que rclone te las genere, se puede hacer sin ningún problema.

Si lo hemos hecho bien, al introducir el siguiente comando:
rclone lsd Secret:

Debería listarnos todos los elementos que se encuentran en el la carpeta encrypted en nuestro google drive


5. Montaje de la unidad:

Para montar la unidad, primero debemos crear la carpeta en la que queramos montar el remote. En mi caso:

mkdir /share/Public/Rclonedrives/GDriveEncriptado

Y ahora lanzamos el comando para el montaje de la unidad en el directorio que hemos creado:

rclone mount -v Secret: /share/Public/Rclonedrives/GDriveEncriptado --allow-other --dir-cache-time 72h --vfs-read-chunk-size 32M --umask 002 --vfs-read-chunk-size-limit 128M --vfs-read-chunk-size-limit off --rc &

En la actualidad, gracias a la función VFS de rclone, no es necesario montar una remote caché, ni instalar plex drive. Simplemente con el comando anterior al montar la unidad evitamos los problemas de posible baneos por parte de google.



Si todo ha ido bien, al introducir el siguiente comando deberíamos ver todos los elementos que haya en la carpeta "encripted" de nuestro GDrive:

ls /share/Public/Rclonedrives/GDriveEncriptado



6. Automatizar el montaje de la unidad.

Para no tener que introducir el comando de montar la unidad cada vez que reiniciemos nuestro servidor, vamos a aprovechar que la aplicación "RClone" se lanza en el inicio del sistema para añadirle la línea de montaje.

Para ello editamos el sh de la aplicación que se encuentra en:
/share/CACHEDEV1_DATA/.qpkg/RClone/RClone.sh

Utiliza para ello tu editor de Linux favorito, en mi caso he utilizado nano: nano /share/CACHEDEV1_DATA/.qpkg/RClone/RClone.sh


Código:
#!/bin/sh
CONF=/etc/config/http://qpkg.conf
QPKG_NAME="RClone"
QPKG_ROOT=`/sbin/getcfg $QPKG_NAME Install_Path -f ${CONF}`
APACHE_ROOT=/share/`/sbin/getcfg SHARE_DEF defWeb -d Qweb -f /etc/config/http://def_share.info`

export QPKG_NAME QPKG_ROOT APACHE_ROOT


case "$1" in
  start)
    ENABLED=$(/sbin/getcfg $QPKG_NAME Enable -u -d FALSE -f $CONF)
    if [ "$ENABLED" != "TRUE" ]; then
        echo "$QPKG_NAME is http://disabled."
        exit 1
    fi

/bin/ln -sf $QPKG_ROOT /opt/$QPKG_NAME
/bin/ln -sf $QPKG_ROOT/rclone /usr/bin/rclone

rclone mount -v Secret: /share/Public/Rclonedrives/GDriveEncriptado --allow-other --dir-cache-time 72h --vfs-read-chunk-size 32M --umask 002 --vfs-read-chunk-size-limit 128M --vfs-read-chunk-size-limit off --rc &

    ;;

  stop)

umount /share/Public/Rclonedrives/ollcatdrivecrypt

killall -9 rclone

rm -rf /opt/$QPKG_NAME
rm -rf /usr/bin/rclone

    ;;

  restart)
    $0 stop
    $0 start
    ;;

  *)
    echo "Usage: $0 {start|stop|restart}"
    exit 1
esac

exit 0
Podéis ver en negrita donde irían las líneas de montaje y desmontaje de la unidad. De esta forma se monta la unidad en el inicio del sistema y se desmonta al apagarlo.

También se desmontará la unidad si desde App Center le damos a "Parar" la aplicación "RClone" y se volverá a montar si le damos a "Iniciar".
Currazo, si lo entendiese, sería la leche.
Din está desconectado   Responder Con Cita
Viejo 05-oct-2019, 16:22   #36
as12
Morderador
 
Avatar de as12
 
May 2008 | 4.038 Mens.
Cita:
Originalmente Escrito por JuRaSSiCBoY Ver Mensaje
Sigo con la cuenta Ok!!! Ni un solo baneo, como el primer día pero un poco más gordita de TB ;-)
Tengo pendiente coger otra cuenta para usarla de espejo de la que ya tengo por si la de ahora desapareciera porque el superadmin propietario dejara de pagarla o algo así.
Me parece que el comando para sincronizar dos remotes de origen a destino es "rclone sync" pero tengo que mirarlo bien y ver si es sencillo lanzar el comando al encender y apagar el NAS para que se mantengan siempre sincronizadas. A ver si saco tiempo...

Yo había pensado en hacer algo similar, pero por ejemplo con un script que se ejecute en crontab una vez a la semana, para que se cree el respaldo de lo nuevo respecto a la semana anterior

as12 está desconectado   Responder Con Cita
Viejo 10-oct-2019, 12:50   #37
JuRaSSiCBoY
ForoCoches: Miembro
 
Avatar de JuRaSSiCBoY
 
Oct 2008 | 1.077 Mens.
Lugar: Barcelona

KIA Cerato

Cita:
Originalmente Escrito por as12 Ver Mensaje
Yo había pensado en hacer algo similar, pero por ejemplo con un script que se ejecute en crontab una vez a la semana, para que se cree el respaldo de lo nuevo respecto a la semana anterior
Umm... también había pensado algo así, pero no sé de qué manera es mejor o peor para no darle caña a la API de Google (posibles baneos de 24h). Quizá me equivoco pero supongo que si va haciendo la copia a diario poco a poco le hace trabajar menos que si se hace un día de todo. También depende de los datos que se manejen.

Una duda que tengo es si se puede mandar el comando de sincronización de rclone a los dos remotes (origen y destino) y se puede apagar el servidor y eso sigue copiando de nube a nube o si es necesario tener el servidor encendido... todo será probar.

Diría que el comando a utilizar para sincronizar los dos remotes sería:

rclone copy gdrive:Backup/ gdrive2:Backup/ --update

Algo así...

Última edición por JuRaSSiCBoY fecha: 10-oct-2019 a las 13:01.
JuRaSSiCBoY está desconectado   Responder Con Cita
Viejo 10-oct-2019, 13:23   #38
liborcito
ForoCoches: Miembro
 
Avatar de liborcito
 
Jul 2017 | 158 Mens.
Cita:
Originalmente Escrito por JuRaSSiCBoY Ver Mensaje
Una duda que tengo es si se puede mandar el comando de sincronización de rclone a los dos remotes (origen y destino) y se puede apagar el servidor y eso sigue copiando de nube a nube o si es necesario tener el servidor encendido... todo será probar.

Diría que el comando a utilizar para sincronizar los dos remotes sería:

rclone copy gdrive:Backup/ gdrive2:Backup/ --update

Algo así...
Hasta donde yo sé tendrías que dejar el servidor encendido y el comando sería rclone sync (https://rclone.org/commands/rclone_sync/) para evitar baneos se recomienda usar el flag "--disable copy". Por otro lado tambien es recomendable hacer antes un dedupe en el origen (https://rclone.org/commands/rclone_dedupe/) ya que yo al menos muchas veces me he encontrado con problemas por ficheros duplicados.

Última edición por liborcito fecha: 10-oct-2019 a las 13:29.
liborcito está desconectado   Responder Con Cita
Viejo 10-oct-2019, 15:35   #39
JuRaSSiCBoY
ForoCoches: Miembro
 
Avatar de JuRaSSiCBoY
 
Oct 2008 | 1.077 Mens.
Lugar: Barcelona

KIA Cerato

Cita:
Originalmente Escrito por liborcito Ver Mensaje
Hasta donde yo sé tendrías que dejar el servidor encendido y el comando sería rclone sync (https://rclone.org/commands/rclone_sync/) para evitar baneos se recomienda usar el flag "--disable copy". Por otro lado tambien es recomendable hacer antes un dedupe en el origen (https://rclone.org/commands/rclone_dedupe/) ya que yo al menos muchas veces me he encontrado con problemas por ficheros duplicados.
Muchas gracias shur, lo tendré en cuenta cuando lo consiga lo dejo escrito por aquí para que todos puedan utilizarlo.

De momento he estado probando con esto, que es lo que recomiendan en la página web de rclone para drives encriptados y parece que está funcionando. Si me banean probaré lo que dices:

Cita:
Backing up a crypted remote
If you wish to backup a crypted remote, it it recommended that you use rclone sync on the encrypted files, and make sure the passwords are the same in the new encrypted remote.

This will have the following advantages

rclone sync will check the checksums while copying
you can use rclone check between the encrypted remotes
you don’t decrypt and encrypt unnecessarily
For example, let’s say you have your original remote at remote: with the encrypted version at eremote: with path remote:crypt. You would then set up the new remote remote2: and then the encrypted version eremote2: with path remote2:crypt using the same passwords as eremote:.

To sync the two remotes you would do

rclone sync remote:crypt remote2:crypt
And to check the integrity you would do

rclone check remote:crypt remote2:crypt
https://rclone.org/crypt/

Última edición por JuRaSSiCBoY fecha: 10-oct-2019 a las 15:38.
JuRaSSiCBoY está desconectado   Responder Con Cita
Viejo 11-oct-2019, 08:56   #40
liborcito
ForoCoches: Miembro
 
Avatar de liborcito
 
Jul 2017 | 158 Mens.
Cita:
Originalmente Escrito por JuRaSSiCBoY Ver Mensaje
Muchas gracias shur, lo tendré en cuenta cuando lo consiga lo dejo escrito por aquí para que todos puedan utilizarlo.

De momento he estado probando con esto, que es lo que recomiendan en la página web de rclone para drives encriptados y parece que está funcionando. Si me banean probaré lo que dices:



https://rclone.org/crypt/
Si, así es como lo hago yo, sincronizo directamente sobre los drives encriptados para evitar "trabajo" a rclone. Lógicamente como dices la contraseña de encriptación tiene que ser la misma en las dos drives.
liborcito está desconectado   Responder Con Cita
Viejo 11-oct-2019, 16:45   #41
JuRaSSiCBoY
ForoCoches: Miembro
 
Avatar de JuRaSSiCBoY
 
Oct 2008 | 1.077 Mens.
Lugar: Barcelona

KIA Cerato

Cita:
Originalmente Escrito por liborcito Ver Mensaje
Si, así es como lo hago yo, sincronizo directamente sobre los drives encriptados para evitar "trabajo" a rclone. Lógicamente como dices la contraseña de encriptación tiene que ser la misma en las dos drives.
Dices que te has encontrado con ficheros duplicados. He estado mirando el parámetro para evitar duplicados pero tengo una duda. ¿En qué momento se pueden dar duplicados y por qué? ¿Es un error de rclone?
Yo las copias las hago de un disco duro local hacia la carpeta del remote encriptado que tengo montada. Para esta copia utilizo rsync del propio sistema, sin el rsync del rclone. De momento no me ha duplicado ningún fichero.
Ahora que sí que utilizaré el sync de rclone para un backup de remote gdrive a remote gdrive, ¿Es aquí donde has tenido duplicados?

Gracias por todo shur!
JuRaSSiCBoY está desconectado   Responder Con Cita
Viejo Ayer, 08:45   #42
liborcito
ForoCoches: Miembro
 
Avatar de liborcito
 
Jul 2017 | 158 Mens.
Cita:
Originalmente Escrito por JuRaSSiCBoY Ver Mensaje
Dices que te has encontrado con ficheros duplicados. He estado mirando el parámetro para evitar duplicados pero tengo una duda. ¿En qué momento se pueden dar duplicados y por qué? ¿Es un error de rclone?
Yo las copias las hago de un disco duro local hacia la carpeta del remote encriptado que tengo montada. Para esta copia utilizo rsync del propio sistema, sin el rsync del rclone. De momento no me ha duplicado ningún fichero.
Ahora que sí que utilizaré el sync de rclone para un backup de remote gdrive a remote gdrive, ¿Es aquí donde has tenido duplicados?

Gracias por todo shur!
La verdad es que no tengo muy claro por qué ni en qué momento aparecen los duplicados pero lo cierto es que la primera vez que hice el sync entre dos drives me saltó un aviso de ficheros duplicados y al ejecutar el dedupe encontró bastantes. Parece ser que en este tipo de servicios en la nube pueden llegar a existir dos ficheros con un mismo nombre dentro de una misma carpeta.
No lo he investigado mucho así que no tengo muy claro como llega a pasar, sospecho que sean procesos que no se cierran correctamente (parar una copia a mitad del proceso, etc...) o por ejecutar el mismo comando en paralelo (dos scripts que copian un mismo fichero ejecutandose a la vez) pero no estoy seguro.
liborcito está desconectado   Responder Con Cita


Viejo Ayer, 11:34   #43
JuRaSSiCBoY
ForoCoches: Miembro
 
Avatar de JuRaSSiCBoY
 
Oct 2008 | 1.077 Mens.
Lugar: Barcelona

KIA Cerato

Cita:
Originalmente Escrito por liborcito Ver Mensaje
La verdad es que no tengo muy claro por qué ni en qué momento aparecen los duplicados pero lo cierto es que la primera vez que hice el sync entre dos drives me saltó un aviso de ficheros duplicados y al ejecutar el dedupe encontró bastantes. Parece ser que en este tipo de servicios en la nube pueden llegar a existir dos ficheros con un mismo nombre dentro de una misma carpeta.
No lo he investigado mucho así que no tengo muy claro como llega a pasar, sospecho que sean procesos que no se cierran correctamente (parar una copia a mitad del proceso, etc...) o por ejecutar el mismo comando en paralelo (dos scripts que copian un mismo fichero ejecutandose a la vez) pero no estoy seguro.
Gracias por responder. Qué raruno! estoy pensando si pasaría lo mismo si montas los dos remotes como unidad y haces un rsync para no utilizar "rclone sync" directamente para la sincronización

Bueno, si me pasa ya sé que el dedupe es la solución, millón de gracias shur
JuRaSSiCBoY está desconectado   Responder Con Cita
Viejo Ayer, 11:57   #44
makanaso
ForoCoches: Miembro
 
Avatar de makanaso
 
Feb 2008 | 100 Mens.
Podría ser por el versionado?
makanaso está desconectado   Responder Con Cita


Respuesta

Regresar   Inicio | ForoCoches > Zona General > Electrónica / Informática

Regresar Amazon.es

    - Electrónica
    - Informática
    - VideoJuegos
    - Libros
    - Bricolaje y Herramientas
 PCComponentes.com

    - Componentes
    - Periféricos
    - Ordenadores
    - Smartphones
    - Audio/Foto/Video

Regresar  Tiendas Chinas:

    - GearBest
    - BangGood
Herramientas


 [ VERSIÓN MÓVIL ]
Info Legal | Privacidad | Cookies | Notificaciones | Normas de uso | Publicidad | Updates | Stats | Ayuda | Invitaciones | Contacto