MovieArchiver - Plugin für automatische Archivierung oder Backups von Aufnahmen

Nachricht

#1

Ich möchte Euch mein Plugin

: plugin.png (2.05 KiB) 2041 mal betrachtet

vorstellen:

enigma2-plugin-extensions-moviearchiver
============================

Archivieren:
--------
Der MovieArchiver archiviert automatisch Aufnahmen von beispielsweise der eingebauten Festplatte auf eine externen USB Festplatte.
Hat man mehrere Festplatten ist so sichergestellt das die Platte auf der aufgenommen wird Platz für neue Aufnahmen hat.

Ist "Automatische Archivieren" aktiviert wird nach jeder Aufnahme geprüft ob das eingestellte Limit erreicht wurde und ggf. so viel alte Aufnahme in das Archiv
verschoben bis das Limit an Festplattenplatz wieder frei ist.

Folgende Dateienendungen werden archiviert:
.ts, .avi, .mkv, .mp4, .iso

Inkl. der entsprechenden Metadateien wie z.B.:
.ts.cuts und .ts.meta
--------

Backup:
--------
Alternativ kann er auch als Backup Programm genutzt werden (über die Einstellungen einstellbar).
Zum Backup werden alle Dateien (es gibt keine Dateiendungs-Einschränkung) hinzugefügt die sich im angegebenen Verzeichnis (inkl. aller Unterverzeichnisse) befinden.
--------

Deaktiviert kann der MovieArchiver auch manuel über die Einstellungsseite gestartet werden.

Wichtig:
- Nutzung des Scripts auf eigene Gefahr!

Zu Testen:
- Was passiert wenn der EMC offen ist während eine Archivierung im Hintergrund gestartet wird?
- Was passiert wenn eine Aufnahme gerade abgespielt wird die im Hintergrund archiviert werden soll?

Bisher getestet auf folgenden Images/Receivern:
- openATV / Gigablue Quad
- HDF / ET9000

Screenshot:

: plugin.png (2.05 KiB) 2041 mal betrachtet

Ich freue mich über Feedback oder Tests auf anderen Boxen etc.

Entwickler unterstützen
Plugins zu entwickeln macht Spaß, kostet aber auch eine Menge Zeit.
Kleine Spenden sind immer willkommen.

[ATTACH=CONFIG]41393[/ATTACH]

Changelog:

Version 0.2d
- bugfix

Version 0.2c
- bugfix: exclude folders was not properly work
- new: stop manual started archiving or backup process

Version 0.2b
- add: "Movie Exclude Folders" for backup
- bugfix: settings wasnt properly saved
- exclude .Trash and trashcan folder for backup
- and some other fixes and code improvements

Version 0.2a
- update: recursive folder backup
- add: iso, to archive fileextensions
- update: MovieArchiver description
- update/add: Some Notification Windows

Version: 0.2
- NEW: add backup functionality
- CHANGE: included fileextensions to archive: .ts, .avi, .mkv, .mp4
- ADDED: help messages for settings
- some code improvements

Die neueste Version ist spätestens am nächsten Tag auf dem Feed zu finden.

#2

Hi,
von der Nomenklatur sollte das Plugin
enigma2-plugin-extensions-moviearchiver
heißen.
Ansonsten wird es wenn es auf dem Feed liegt nicht in die richtige Rubrik eingeordnet.

Sonst Idee ist nice - merci!

#3

Hi Sven,

danke für den Hinweis.
Habe es angepasst und eingecheckt.

Und danke auch für das Feedback.

Pike_Bishop · #4

Hi svox,

Das kling ja ganz vielversprechend - Danke erstmal

Ich hab schon mal öfter (in diversen Foren) von nem Wunsch gelesen automatisch die movies auf ne Extern Platte zu sichern.
Also in etwa abgleichen was von ner Internen oder auch Externen Platte schon auf der quasi Backupplatte vorhanden ist und das nichtvorhandene rüberkopieren.
Vielleicht kannst dein Plugin später ja mal um das erweitern vielleicht per config einstellbar ob das so gewünscht ist oder nicht.

Das lässt sich sicher auch per Script realisieren aber ein Plugin dazu wäre sicher die erste Wahl.

Grüsse
Biki3

#5

Hi Biki3,

danke für Dein Feedback und die Anregung.
Immer her mit neuen Ideen. Ich erweitere es gerne weiter. Habe auch noch ein paar Ideen.

Habe ich Dich richtig verstanden:
Statt die Movies zu verschieben, sollen die Filme auf die USB Platte kopiert werden mit vorheriger Überprüfung ob der Film bereits auf der Platte liegt?

Die limit Angabe der Ausgangs HDD wäre dann überflüssig und nur für die externe relevant. Dort würde
das Limit dann angeben das kein Movie mehr rüber kopiert werden darf wenn das limit unterschritten wird.

Habe ich Dich richtig verstanden?

Und besteht den wirklich bedarf seine Filme zu backupen? Würdest Du es nutzen?

#6

Coole Idee.
Ich schätze Biki meint da so eine Art Sync zwischen den Platten. Aber nur wenn es gewünscht ist.
Dann wäre es aber kein Archiver mehr sondern eher ein rsync Plugin.

Pike_Bishop · #7

Hi svox,

Habe ich Dich richtig verstanden:
Statt die Movies zu verschieben, sollen die Filme auf die USB Platte kopiert werden mit vorheriger Überprüfung ob der Film bereits auf der Platte liegt?

Die limit Angabe der Ausgangs HDD wäre dann überflüssig und nur für die externe relevant. Dort würde
das Limit dann angeben das kein Movie mehr rüber kopiert werden darf wenn das limit unterschritten wird.

Habe ich Dich richtig verstanden?

Und besteht den wirklich bedarf seine Filme zu backupen? Würdest Du es nutzen?

Ja das hast du richtig verstanden - und ich bin sicher das daran Bedarf besteht, denn wenn man mal so viele movies auf ner Platte hat wie ich (ist sehr voll meine Interne Platte)
wobei da drauf auch sehr viele mp4, mkv, auch avis und auch dvd-isos liegen dann wärs schon schlimm wenn die Platte mal kaputt geht und man hätte die nicht gesichert
vor Allem deshalb auch da die Umwandlung zu den diversen Formaten ne Menge an Zeit in Anspruch nimmt.
Und da wär ein Plugin in der Richtung der Hammer

Von daher is auch gleich ganz klar beantwortet - Ja und ob ich das nutzen würde.

Und die Idee is ja auch gar nicht auf meinem Mist gewachsen
(ich bin ja auch in anderen Foren unterwegs und allein im Xtrend Allianz Forum kam schon öfter von verschiedenen Usern ne Anfrage diesbezüglich)
Daher denke ich das würde schon fürs Erste bei etlichen Usern Anklang finden so ein Plugin und vermurtlich würden es nach und nach auch immer mehr User verwenden wollen).

@koivo,

Ich schätze Biki meint da so eine Art Sync zwischen den Platten. Aber nur wenn es gewünscht ist.

Ja genau so in etwa stell ich mir das auch vor.

Man müsste also quasi erstmal ne Liste ausgeben lassen was is alles auf der Platte an der Box und was davon liegt schon auf der Backup Platte
und die Differenz (also was halt noch nicht auf der Backup Platte liegt) in ne Extra Liste und dann diese Liste abarbeiten (rüberkopieren)
Das Ganze halt mit ner Proirität (nice) damit die Box nicht überfordert wird und natürlich im Hintergrund
und wenn die Backup Platte kleiner als die Platte an der Box mit nem Hinweis dazu auch das eben nicht alle movies gesichert werden können
(je nachdem wie voll die Plattte halt schon ist mit movies) und wenn Backup Platte dann mal voll (lieber nen Rest von 10 Gb oder so nicht anrühren
und halt nur solange kopieren bis die Backup Platte voll ist aber abzüglich dieser 10 Gb Reserveplatz quasi).

Die 10 Gb sind jetzt nur ne Hausnummer

Grüsse
Biki3

#8

Danke für die Erklärung.

Muss mal sehen wie ich das in der App unter kriegen würde.

Ein erstes Update der Plugins gibt es bereits:

In den Settings sind zwei Einträge hinzugekommen:
- Während einer Aufnahme nicht Archivieren
- Benachrichtigung anzeigen wenn 'Movie Archiv-Festplatten Limit' erreicht wurde

Ist allerdings noch nicht oben im Download enthalten.

@Koivo
Wäre das auch was für Euch Freaks?

Ich kenne mich noch nicht so mit der Basis von enigma2 aus. Also was von oeallianz kommt und was vom jeweiligen Image Team.
Die imports sind allerdings überschaubar, vielleicht kannst Du mal schauen ob es das auch alles beim hdfreaks Image gibt:
https://github.com/MovieArchiver/enigma2-plugin-extensions-moviearchiver/tree/master/src
Und es auf Euren Image testen.

Würde mich freuen wenn es jemand im Image-Feed aufnimmt. Motiviert mehr zu machen

@openATV
Wäre natürlich auch toll wenn ihr es aufnehmt. Captain hatte da ja mal was in der Richtung erwähnt.
Wenn noch was fehlt oder dafür angepasst werden müsste, bitte bescheid sagen.

Kann bitte einer von Euch meinen Thread Title abändern zu:
"MovieArchiver - Plugin zum automatischen Archivieren der Aufnahmen"

#9

Ich habs mal im HDF installiert und wie erwartet läuft es. Ich konnte so erstmal keinen Fehler enddecken.
Soll ich das Plugin mal auf den Feed legen und die Nutzer testen lassen oder ist es noch zu früh dafür?

#10

ich denke, dass es Captain ins OE-A Git packen wird.... er hat es ja anfangs vorgeschlagen. Mal sehen, was er sagt

Pike_Bishop · #11

Hi svox,

Hierzu noch;
https://www.opena.tv/viewtopic.php?p=21745#p21745
ein paar Anregungen von @hounce aus dem Xtrend Allianz Forum;

"ZItat von hounce"
[font=Arial]Zur Synchronisation hätte ich eine relativ einfache Script-Idee, aber leider in den nächsten 3 Wochen keine Zeit sie umzusetzen:
Mit "ls -lR" auf den beiden zu synchronisierenden Geräten jeweils ein vollständiges Listing erstellen und dann vergleichen, ob die Datei vom Quell-Gerät am Ziel-Gerät identisch ist (anhand von Länge oder (sicherer) unter Verwendung von cksum). Die geänderten oder neuen Dateien dann einfach kopieren, gegebenfalls am Ziel-Gerät neue Verzeichnisse erzeugen.
Zur Performance-Optimierung kann man noch "find -mtime" verwenden, um nicht jedesmal alle Dateien durchzurattern, sondern nur jene, welche sich seit dem letzten Suchlauf geändert haben.
Am Quell-Gerät gelöschte Dateien würden dadurch natürlich nicht mit synchronisiert werden, was ja wahrscheinlich auch so gewünscht ist. Es wäre mehr ein Archivierungs-Script als eine wirkliche Synchronisation.
Idealerweise wären die zu durchsuchenden Verzeichnisse am Quell-Rechner noch konfigurierbar (z.B. mittels einer einfachen Variable im Shell-Script).[/font]

So jetzt hab ich damals aber diesbezgl. ein paar Tests gemacht und cksum gibts nicht für unsere Boxen (müsste also jemand crosscompilen) oder man kann auch md5sum nehmen das gibts für unsere Boxen
hat aber nen immensen Nachteil - es is echt langsam also nicht wirklich brauchbar, aber auch cksum is schon sehr langsam, somit sind im Grunde beide Progarmme nicht brauchbar für sowas.

Dazu hat @hounce dann noch folgende Idee gehabt;

"Zitat von hounce"
Ich denke daher, man sollte vielleicht doch nur die Größe vergleichen. TS-Dateien ändern sich ja normalerweise nicht, sondern werden höchstens beschnitten, in welchem Fall sich die Größe ja signifikant ändern würde. Bei kleineren Dateien (etwa settings-Dateien) würde cksum allerdings schon Sinn machen.

Alternativ könnte man das Zieldevice gar nicht beachten, sondern sich bei jedem Lauf den aktuellen Zeitstempel merken und im jeweils nächsten Lauf nur die seither geänderten Dateien kopieren. Aber das ist natürlich ineffizient, falls ein guter Teil schon gesichert ist.

Ideal wäre wahrscheinlich eine Kombination:
- suche nur seit dem letzten Lauf geänderte Dateien
- ist eine Datei kleiner als ein Schwellwert (etwa 30000000) dann verwende cksum (die Shell kann mit sehr großen Zahlen wunderbar umgehen).
- ist sie größer, schau nur auf die Datei-Größe

Eventuell helfen dir diese Anregungen falls du dich wirklich dran setzen möchtest und so ein quasi MovieBackup Pugin in den MovieArchiver einzubauen (oder vielleicht ein eigenständiges Plugin daraus machen) willst .
Jedenfalls is das echt etwas was noch fehlt bislang es gibt ja alle möglichen Plugins aber in der Richtung hab ich noch nix gesehen für die E2 Boxen.

Grüsse
Biki3

#12

@koivo
Toll das es auch mit Eurem Image funktioniert und danke fürs Testen.

Du kannst es gerne auf den Feed packen. Bei mir läuft es bisher stabil. - mein HDD ist voll weswegen es bei jeder Aufnahme angewendet wird
Da ja auch nur ein move auf die Dateien abgesetzt wird, sollte da auch nichts verloren gehen denke ich.
Zudem sind Tests und Testberichte natürlich sehr willkommen.

Wenn es auf den Feed liegt, wie bekommt ihr dann Aktualisierungen mit? - ist mein erstes Plugin deswegen kenne ich den Ablauf noch nicht

@Nobody28
Danke für den Hinweis. Wäre toll es im Feed zu sehen.

Danke auch für das ändern des Thread-Titels!

#13

wenn es im OE-A GIT gebaut wird, dann haben es automatisch alle OE-A Memberteams auf ihrem Feed

musst dann immer nur ins GIT einchecken und wenn eine FW gebaut wird, wirds automatisch mitgebaut

#14

Biki3 hat geschrieben:Eventuell helfen dir diese Anregungen falls du dich wirklich dran setzen möchtest und so ein quasi MovieBackup Pugin in den MovieArchiver einzubauen (oder vielleicht ein eigenständiges Plugin daraus machen) willst .
Jedenfalls is das echt etwas was noch fehlt bislang es gibt ja alle möglichen Plugins aber in der Richtung hab ich noch nix gesehen für die E2 Boxen.

Hi Biki3,

danke für die Hinweise und Ideen.

... eigentlich wollte ich es ja noch nicht schreiben, da noch in Arbeit, aber ich habe da bereits etwas integriert. Konfigurierbar in den Settings.
Momentan allerdings nur unter Abgleich der Dateinamen und nicht über mehrere Verzeichnisse. Hatte schon ein Kommentar im Code und im "Hilfe-Text " das noch nach Size und Date geprüft werden muss.
Ich muss mir da mal Gedanken drüber machen und testen wie schnell filesize und co mit Python sind. Ansonsten ist ls -l (ohne R) schon mal ein guter Ansatz.

MD5 ist sau langsam. Denke auch das würde zu Problemen führen.

Ich wäre schon etwas weiter wenn meine Loklaisierung nicht auf einmal Probleme machen würde, den die geht auf einmal nicht mehr... hmpf.

#15

Nobody28 hat geschrieben:wenn es im OE-A GIT gebaut wird, dann haben es automatisch alle OE-A Memberteams auf ihrem Feed musst dann immer nur ins GIT einchecken und wenn eine FW gebaut wird, wirds automatisch mitgebaut

Ach so. Ja das wäre natürlich richtig toll

Ich hoffe es läuft auch mit dem anderen OE-A Images.

#16

Man kann auch Checksummen nur über einen kleinen Teil der Datei machen. Beispielsweise die ersten 100MB überspringen (wegen Schnitten) und dann die Checksumme der nächsten 5MB erzeugen. Sollte eindeutig genug sein und schnell. Habe mal soetwas für mp3s gebaut.

#17

betacentauri hat geschrieben:Man kann auch Checksummen nur über einen kleinen Teil der Datei machen. Beispielsweise die ersten 100MB überspringen (wegen Schnitten) und dann die Checksumme der nächsten 5MB erzeugen. Sollte eindeutig genug sein und schnell. Habe mal soetwas für mp3s gebaut.

Gute Idee.

Ich werde es vorher erst mal mit:
filecmp.cmp ausprobieren.
Sieht sehr vielversprechend aus.

Kann nur gerade nicht weitermachen da Aufnahmen laufen.
... und dann erst mal mit der Lokalisierung kämpfen.

#18

Also mit filecmp.cmp ist es leider wie mit den anderen Überprüfungen... dauert ewig.

Ich habe es jetzt mal so eingebaut wie von betacentauri beschrieben.
Getestet mit 18 Dateien - insgesamt ca. 8 GB sowohl im Quell als auch Ziel Verzeichnis. - so das er jede Datei miteinander überprüfen muss, also insgesamt 16 GB

Das dauert weniger als 1 sec und ist schon mal ganz gut.
Nichts desto trotz wird das bei größeren Datenmengen schon einige Sekunden dauern.

Hat einer von Euch bereits ein Backup der Filme und mag das mal testen?
Ich würde dann ein ipk erstellen das kein Backup erstellt sondern nur eine Ausgabe an die Console macht. Die Box müsste also mit:
init 4
enigma2
oder einem seriellen Log gestartet werden.

Alternativ bin ich am überlegen ob nicht einfach nur die Dateigröße ausreicht.
Ist doch sehr unwahrscheinlich das eine Datei den gleichen Namen und gleiche Größe hat und doch unterschiedlich ist!?
Also zumindestens bei Movies ist es doch sehr unwahrscheinlich. Bei Textdateien kann das ja schnell mal vorkommen.
Oder seht ihr da Probleme?

#19

Probleme sehe ich da nicht wirklich. Außer jemand legt x Kopien eines Films an, den er aber nur einmal sichern will. Halte ich für relativ unwahrscheinlich.

Wenn es bei einigen Sekunden bleibt, ist das doch ok. Ab ein paar Minuten sieht es vielleicht anders aus. Dafür braucht man aber wahrscheinlich schon sehr viele kleine Filme oder eine langsame Schnittstelle.

#20

Ich habe mal einen Test gemacht und einen Hash von allen Dateien auf meiner schnellen eingebautenPlatte erstellt.
Es waren 845 Dateien und ca. 450gb

In Backupverhältnis würden es gerade mal 220gb sein.

Nur das Hash erzeugen für alle Dateien dauerte
30 Sekunden

Hochgerechnet auf 1,5 TB und 1,5 TB Backup Platte, sind es ca.
200 Sekunden. => über 3 Minuten

Auf meiner langsamen USB Platte sieht es so aus:
1023 Dateien und ca. 650 GB

Nur Hash erzeugen: Nach 20 Minuten habe ich abgebrochen.

Der Spinner wird zudem die ganze Zeit angezeigt.

Das Problem ist ja auch das, nehmen wir mal an das Backup mal durchlief und auf beiden Platten 1,5TB sind. Das Script würde
dann immer wieder diese 3 TB überprüfen müssen. Und das beim laufenden Betrieb.

Denke das Script müsste dann eher nach Uhrzeit gestartet werden und dann am besten mitten in der Nacht.

Ich habe das ganze gerade mal mit size anstatt dem Hash getestet. Das dauert auch bei der langsamen Platte mit allen Dateien nicht mal eine Sekunde.
Wie gesagt kann ich mir auch nicht vorstellen das ein Film mal den gleichen Dateinamen und die gleiche Dateigröße hat, aber trotzdem unterschiedlich sind.

Ich baue es mal so ein und vielleicht kann es dann mal jemand mit einem großen Backup testen?