Ergebnis 11 bis 20 von 132
-
24.10.2013, 21:09 #11Pike_BishopGast
Hi svox,
Hierzu noch;
http://www.opena.tv/forum/showthread...ll=1#post21745
ein paar Anregungen von @hounce aus dem Xtrend Allianz Forum;
"ZItat von hounce"
Zur Synchronisation hätte ich eine relativ einfache Script-Idee, aber leider in den nächsten 3 Wochen keine Zeit sie umzusetzen:
Mit "ls -lR" auf den beiden zu synchronisierenden Geräten jeweils ein vollständiges Listing erstellen und dann vergleichen, ob die Datei vom Quell-Gerät am Ziel-Gerät identisch ist (anhand von Länge oder (sicherer) unter Verwendung von cksum). Die geänderten oder neuen Dateien dann einfach kopieren, gegebenfalls am Ziel-Gerät neue Verzeichnisse erzeugen.
Zur Performance-Optimierung kann man noch "find -mtime" verwenden, um nicht jedesmal alle Dateien durchzurattern, sondern nur jene, welche sich seit dem letzten Suchlauf geändert haben.
Am Quell-Gerät gelöschte Dateien würden dadurch natürlich nicht mit synchronisiert werden, was ja wahrscheinlich auch so gewünscht ist. Es wäre mehr ein Archivierungs-Script als eine wirkliche Synchronisation.
Idealerweise wären die zu durchsuchenden Verzeichnisse am Quell-Rechner noch konfigurierbar (z.B. mittels einer einfachen Variable im Shell-Script).
hat aber nen immensen Nachteil - es is echt langsam also nicht wirklich brauchbar, aber auch cksum is schon sehr langsam, somit sind im Grunde beide Progarmme nicht brauchbar für sowas.
Dazu hat @hounce dann noch folgende Idee gehabt;
"Zitat von hounce"
Ich denke daher, man sollte vielleicht doch nur die Größe vergleichen. TS-Dateien ändern sich ja normalerweise nicht, sondern werden höchstens beschnitten, in welchem Fall sich die Größe ja signifikant ändern würde. Bei kleineren Dateien (etwa settings-Dateien) würde cksum allerdings schon Sinn machen.
Alternativ könnte man das Zieldevice gar nicht beachten, sondern sich bei jedem Lauf den aktuellen Zeitstempel merken und im jeweils nächsten Lauf nur die seither geänderten Dateien kopieren. Aber das ist natürlich ineffizient, falls ein guter Teil schon gesichert ist.
Ideal wäre wahrscheinlich eine Kombination:
- suche nur seit dem letzten Lauf geänderte Dateien
- ist eine Datei kleiner als ein Schwellwert (etwa 30000000) dann verwende cksum (die Shell kann mit sehr großen Zahlen wunderbar umgehen).
- ist sie größer, schau nur auf die Datei-Größe
Jedenfalls is das echt etwas was noch fehlt bislang es gibt ja alle möglichen Plugins aber in der Richtung hab ich noch nix gesehen für die E2 Boxen.
Grüsse
Biki3Geändert von Pike_Bishop (24.10.2013 um 21:12 Uhr)
-
Advertising
-
24.10.2013, 21:14 #12
- Registriert seit
- 16.08.2013
- Ort
- München
- Beiträge
- 540
- Thanks (gegeben)
- 137
- Thanks (bekommen)
- 217
- Total Downloaded
- 16,84 MB
- Total Downloaded
- 16,84 MB
ThemenstarterBox 1:ET8000Box 2:GigaBlue Quad@koivo
Toll das es auch mit Eurem Image funktioniert und danke fürs Testen.
Du kannst es gerne auf den Feed packen. Bei mir läuft es bisher stabil. - mein HDD ist voll weswegen es bei jeder Aufnahme angewendet wird
Da ja auch nur ein move auf die Dateien abgesetzt wird, sollte da auch nichts verloren gehen denke ich.
Zudem sind Tests und Testberichte natürlich sehr willkommen.
Wenn es auf den Feed liegt, wie bekommt ihr dann Aktualisierungen mit? - ist mein erstes Plugin deswegen kenne ich den Ablauf noch nicht
@Nobody28
Danke für den Hinweis. Wäre toll es im Feed zu sehen.
Danke auch für das ändern des Thread-Titels!Plugins:
PiconsUpdater | SeriesOrganizer | MovieArchiver
Entwickler unterstützen:
Plugins zu entwickeln macht Spaß, kostet aber auch eine Menge Zeit.
Kleine Spenden sind immer willkommen.
-
24.10.2013, 21:17 #13
- Registriert seit
- 05.04.2013
- Beiträge
- 3.078
- Thanks (gegeben)
- 324
- Thanks (bekommen)
- 1307
- Total Downloaded
- 11,73 MB
- Total Downloaded
- 11,73 MB
wenn es im OE-A GIT gebaut wird, dann haben es automatisch alle OE-A Memberteams auf ihrem Feed musst dann immer nur ins GIT einchecken und wenn eine FW gebaut wird, wirds automatisch mitgebaut
Gigablue QUADplus
Gigablue IPbox
Gigablue QUAD + Samsung SPF-105P (zeitw. Pearl Displ.)
Gigablue UE plus / Gigablue SE plus / Gigablue ULTRA UE
Gigablue UE + RS232 / Gigablue SE Combo + RS232
Gigablue SOLO +int.USB Port
MK-Digital XP 1000 / Octagon SF8 HD
Xtrend ET9200
Starsat LX
Eddison OptimussOS2plus
Atemio NEMESIS
OPTICUM QuadboxHD 2400
SPYCAT
-
24.10.2013, 21:27 #14
- Registriert seit
- 16.08.2013
- Ort
- München
- Beiträge
- 540
- Thanks (gegeben)
- 137
- Thanks (bekommen)
- 217
- Total Downloaded
- 16,84 MB
- Total Downloaded
- 16,84 MB
ThemenstarterBox 1:ET8000Box 2:GigaBlue QuadHi Biki3,
danke für die Hinweise und Ideen.
... eigentlich wollte ich es ja noch nicht schreiben, da noch in Arbeit, aber ich habe da bereits etwas integriert. Konfigurierbar in den Settings.
Momentan allerdings nur unter Abgleich der Dateinamen und nicht über mehrere Verzeichnisse. Hatte schon ein Kommentar im Code und im "Hilfe-Text " das noch nach Size und Date geprüft werden muss.
Ich muss mir da mal Gedanken drüber machen und testen wie schnell filesize und co mit Python sind. Ansonsten ist ls -l (ohne R) schon mal ein guter Ansatz.
MD5 ist sau langsam. Denke auch das würde zu Problemen führen.
Ich wäre schon etwas weiter wenn meine Loklaisierung nicht auf einmal Probleme machen würde, den die geht auf einmal nicht mehr... hmpf.Plugins:
PiconsUpdater | SeriesOrganizer | MovieArchiver
Entwickler unterstützen:
Plugins zu entwickeln macht Spaß, kostet aber auch eine Menge Zeit.
Kleine Spenden sind immer willkommen.
-
24.10.2013, 21:29 #15
- Registriert seit
- 16.08.2013
- Ort
- München
- Beiträge
- 540
- Thanks (gegeben)
- 137
- Thanks (bekommen)
- 217
- Total Downloaded
- 16,84 MB
- Total Downloaded
- 16,84 MB
ThemenstarterBox 1:ET8000Box 2:GigaBlue QuadPlugins:
PiconsUpdater | SeriesOrganizer | MovieArchiver
Entwickler unterstützen:
Plugins zu entwickeln macht Spaß, kostet aber auch eine Menge Zeit.
Kleine Spenden sind immer willkommen.
-
24.10.2013, 21:42 #16
- Registriert seit
- 15.06.2013
- Beiträge
- 2.359
- Thanks (gegeben)
- 287
- Thanks (bekommen)
- 1399
- Total Downloaded
- 1,32 MB
- Total Downloaded
- 1,32 MB
Box 1:hd51Box 2:vuduo4kseBox 3:und noch 20-30 andereMan kann auch Checksummen nur über einen kleinen Teil der Datei machen. Beispielsweise die ersten 100MB überspringen (wegen Schnitten) und dann die Checksumme der nächsten 5MB erzeugen. Sollte eindeutig genug sein und schnell. Habe mal soetwas für mp3s gebaut.
hd51, vuduo4se,....
-
24.10.2013, 21:59 #17
- Registriert seit
- 16.08.2013
- Ort
- München
- Beiträge
- 540
- Thanks (gegeben)
- 137
- Thanks (bekommen)
- 217
- Total Downloaded
- 16,84 MB
- Total Downloaded
- 16,84 MB
ThemenstarterBox 1:ET8000Box 2:GigaBlue QuadGeändert von svox (24.10.2013 um 22:04 Uhr)
Plugins:
PiconsUpdater | SeriesOrganizer | MovieArchiver
Entwickler unterstützen:
Plugins zu entwickeln macht Spaß, kostet aber auch eine Menge Zeit.
Kleine Spenden sind immer willkommen.
-
25.10.2013, 01:04 #18
- Registriert seit
- 16.08.2013
- Ort
- München
- Beiträge
- 540
- Thanks (gegeben)
- 137
- Thanks (bekommen)
- 217
- Total Downloaded
- 16,84 MB
- Total Downloaded
- 16,84 MB
ThemenstarterBox 1:ET8000Box 2:GigaBlue QuadAlso mit filecmp.cmp ist es leider wie mit den anderen Überprüfungen... dauert ewig.
Ich habe es jetzt mal so eingebaut wie von betacentauri beschrieben.
Getestet mit 18 Dateien - insgesamt ca. 8 GB sowohl im Quell als auch Ziel Verzeichnis. - so das er jede Datei miteinander überprüfen muss, also insgesamt 16 GB
Das dauert weniger als 1 sec und ist schon mal ganz gut.
Nichts desto trotz wird das bei größeren Datenmengen schon einige Sekunden dauern.
Hat einer von Euch bereits ein Backup der Filme und mag das mal testen?
Ich würde dann ein ipk erstellen das kein Backup erstellt sondern nur eine Ausgabe an die Console macht. Die Box müsste also mit:
init 4
enigma2
oder einem seriellen Log gestartet werden.
Alternativ bin ich am überlegen ob nicht einfach nur die Dateigröße ausreicht.
Ist doch sehr unwahrscheinlich das eine Datei den gleichen Namen und gleiche Größe hat und doch unterschiedlich ist!?
Also zumindestens bei Movies ist es doch sehr unwahrscheinlich. Bei Textdateien kann das ja schnell mal vorkommen.
Oder seht ihr da Probleme?Plugins:
PiconsUpdater | SeriesOrganizer | MovieArchiver
Entwickler unterstützen:
Plugins zu entwickeln macht Spaß, kostet aber auch eine Menge Zeit.
Kleine Spenden sind immer willkommen.
-
25.10.2013, 08:55 #19
- Registriert seit
- 15.06.2013
- Beiträge
- 2.359
- Thanks (gegeben)
- 287
- Thanks (bekommen)
- 1399
- Total Downloaded
- 1,32 MB
- Total Downloaded
- 1,32 MB
Box 1:hd51Box 2:vuduo4kseBox 3:und noch 20-30 andereProbleme sehe ich da nicht wirklich. Außer jemand legt x Kopien eines Films an, den er aber nur einmal sichern will. Halte ich für relativ unwahrscheinlich.
Wenn es bei einigen Sekunden bleibt, ist das doch ok. Ab ein paar Minuten sieht es vielleicht anders aus. Dafür braucht man aber wahrscheinlich schon sehr viele kleine Filme oder eine langsame Schnittstelle.hd51, vuduo4se,....
-
25.10.2013, 12:25 #20
- Registriert seit
- 16.08.2013
- Ort
- München
- Beiträge
- 540
- Thanks (gegeben)
- 137
- Thanks (bekommen)
- 217
- Total Downloaded
- 16,84 MB
- Total Downloaded
- 16,84 MB
ThemenstarterBox 1:ET8000Box 2:GigaBlue QuadIch habe mal einen Test gemacht und einen Hash von allen Dateien auf meiner schnellen eingebautenPlatte erstellt.
Es waren 845 Dateien und ca. 450gb
In Backupverhältnis würden es gerade mal 220gb sein.
Nur das Hash erzeugen für alle Dateien dauerte
30 Sekunden
Hochgerechnet auf 1,5 TB und 1,5 TB Backup Platte, sind es ca.
200 Sekunden. => über 3 Minuten
Auf meiner langsamen USB Platte sieht es so aus:
1023 Dateien und ca. 650 GB
Nur Hash erzeugen: Nach 20 Minuten habe ich abgebrochen.
Der Spinner wird zudem die ganze Zeit angezeigt.
Das Problem ist ja auch das, nehmen wir mal an das Backup mal durchlief und auf beiden Platten 1,5TB sind. Das Script würde
dann immer wieder diese 3 TB überprüfen müssen. Und das beim laufenden Betrieb.
Denke das Script müsste dann eher nach Uhrzeit gestartet werden und dann am besten mitten in der Nacht.
Ich habe das ganze gerade mal mit size anstatt dem Hash getestet. Das dauert auch bei der langsamen Platte mit allen Dateien nicht mal eine Sekunde.
Wie gesagt kann ich mir auch nicht vorstellen das ein Film mal den gleichen Dateinamen und die gleiche Dateigröße hat, aber trotzdem unterschiedlich sind.
Ich baue es mal so ein und vielleicht kann es dann mal jemand mit einem großen Backup testen?Plugins:
PiconsUpdater | SeriesOrganizer | MovieArchiver
Entwickler unterstützen:
Plugins zu entwickeln macht Spaß, kostet aber auch eine Menge Zeit.
Kleine Spenden sind immer willkommen.
Lesezeichen