Seite 2 von 14 ErsteErste 123412 ... LetzteLetzte
Ergebnis 11 bis 20 von 132
  1. #11
    Pike_Bishop
    Gast
    Hi svox,

    Hierzu noch;
    http://www.opena.tv/forum/showthread...ll=1#post21745
    ein paar Anregungen von @hounce aus dem Xtrend Allianz Forum;

    "ZItat von hounce"
    Zur Synchronisation hätte ich eine relativ einfache Script-Idee, aber leider in den nächsten 3 Wochen keine Zeit sie umzusetzen:
    Mit "ls -lR" auf den beiden zu synchronisierenden Geräten jeweils ein vollständiges Listing erstellen und dann vergleichen, ob die Datei vom Quell-Gerät am Ziel-Gerät identisch ist (anhand von Länge oder (sicherer) unter Verwendung von cksum). Die geänderten oder neuen Dateien dann einfach kopieren, gegebenfalls am Ziel-Gerät neue Verzeichnisse erzeugen.
    Zur Performance-Optimierung kann man noch "find -mtime" verwenden, um nicht jedesmal alle Dateien durchzurattern, sondern nur jene, welche sich seit dem letzten Suchlauf geändert haben.
    Am Quell-Gerät gelöschte Dateien würden dadurch natürlich nicht mit synchronisiert werden, was ja wahrscheinlich auch so gewünscht ist. Es wäre mehr ein Archivierungs-Script als eine wirkliche Synchronisation.
    Idealerweise wären die zu durchsuchenden Verzeichnisse am Quell-Rechner noch konfigurierbar (z.B. mittels einer einfachen Variable im Shell-Script).
    So jetzt hab ich damals aber diesbezgl. ein paar Tests gemacht und cksum gibts nicht für unsere Boxen (müsste also jemand crosscompilen) oder man kann auch md5sum nehmen das gibts für unsere Boxen
    hat aber nen immensen Nachteil - es is echt langsam also nicht wirklich brauchbar, aber auch cksum is schon sehr langsam, somit sind im Grunde beide Progarmme nicht brauchbar für sowas.

    Dazu hat @hounce dann noch folgende Idee gehabt;
    "Zitat von hounce"
    Ich denke daher, man sollte vielleicht doch nur die Größe vergleichen. TS-Dateien ändern sich ja normalerweise nicht, sondern werden höchstens beschnitten, in welchem Fall sich die Größe ja signifikant ändern würde. Bei kleineren Dateien (etwa settings-Dateien) würde cksum allerdings schon Sinn machen.

    Alternativ könnte man das Zieldevice gar nicht beachten, sondern sich bei jedem Lauf den aktuellen Zeitstempel merken und im jeweils nächsten Lauf nur die seither geänderten Dateien kopieren. Aber das ist natürlich ineffizient, falls ein guter Teil schon gesichert ist.

    Ideal wäre wahrscheinlich eine Kombination:
    - suche nur seit dem letzten Lauf geänderte Dateien
    - ist eine Datei kleiner als ein Schwellwert (etwa 30000000) dann verwende cksum (die Shell kann mit sehr großen Zahlen wunderbar umgehen).
    - ist sie größer, schau nur auf die Datei-Größe
    Eventuell helfen dir diese Anregungen falls du dich wirklich dran setzen möchtest und so ein quasi MovieBackup Pugin in den MovieArchiver einzubauen (oder vielleicht ein eigenständiges Plugin daraus machen) willst .
    Jedenfalls is das echt etwas was noch fehlt bislang es gibt ja alle möglichen Plugins aber in der Richtung hab ich noch nix gesehen für die E2 Boxen.


    Grüsse
    Biki3
    Geändert von Pike_Bishop (24.10.2013 um 21:12 Uhr)

    •   Alt Advertising

       

  2. #12
    Avatar von svox
    Registriert seit
    16.08.2013
    Ort
    München
    Beiträge
    540
    Thanks (gegeben)
    137
    Thanks (bekommen)
    217
    Themenstarter
    Total Downloaded
    16,84 MB
    Total Downloaded
    16,84 MB
    ReceiverDanke
    Box 1:
    ET8000
     
     
    Box 2:
    GigaBlue Quad
     
     
    @koivo
    Toll das es auch mit Eurem Image funktioniert und danke fürs Testen.

    Du kannst es gerne auf den Feed packen. Bei mir läuft es bisher stabil. - mein HDD ist voll weswegen es bei jeder Aufnahme angewendet wird
    Da ja auch nur ein move auf die Dateien abgesetzt wird, sollte da auch nichts verloren gehen denke ich.
    Zudem sind Tests und Testberichte natürlich sehr willkommen.

    Wenn es auf den Feed liegt, wie bekommt ihr dann Aktualisierungen mit? - ist mein erstes Plugin deswegen kenne ich den Ablauf noch nicht

    @Nobody28
    Danke für den Hinweis. Wäre toll es im Feed zu sehen.


    Danke auch für das ändern des Thread-Titels!
    Plugins:
    PiconsUpdater | SeriesOrganizer | MovieArchiver

    Entwickler unterstützen:

    Plugins zu entwickeln macht Spaß, kostet aber auch eine Menge Zeit.
    Kleine Spenden sind immer willkommen.






  3. #13
    Avatar von Nobody28
    Registriert seit
    05.04.2013
    Beiträge
    3.078
    Thanks (gegeben)
    324
    Thanks (bekommen)
    1307
    Total Downloaded
    11,73 MB
    Total Downloaded
    11,73 MB
    ReceiverDanke
    wenn es im OE-A GIT gebaut wird, dann haben es automatisch alle OE-A Memberteams auf ihrem Feed musst dann immer nur ins GIT einchecken und wenn eine FW gebaut wird, wirds automatisch mitgebaut
    Gigablue QUADplus
    Gigablue IPbox
    Gigablue QUAD + Samsung SPF-105P (zeitw. Pearl Displ.)
    Gigablue UE plus / Gigablue SE plus / Gigablue ULTRA UE
    Gigablue UE + RS232 / Gigablue SE Combo + RS232
    Gigablue SOLO +int.USB Port
    MK-Digital XP 1000 / Octagon SF8 HD
    Xtrend ET9200
    Starsat LX
    Eddison OptimussOS2plus
    Atemio NEMESIS
    OPTICUM QuadboxHD 2400
    SPYCAT


  4. #14
    Avatar von svox
    Registriert seit
    16.08.2013
    Ort
    München
    Beiträge
    540
    Thanks (gegeben)
    137
    Thanks (bekommen)
    217
    Themenstarter
    Total Downloaded
    16,84 MB
    Total Downloaded
    16,84 MB
    ReceiverDanke
    Box 1:
    ET8000
     
     
    Box 2:
    GigaBlue Quad
     
     
    Zitat Zitat von Biki3 Beitrag anzeigen
    Eventuell helfen dir diese Anregungen falls du dich wirklich dran setzen möchtest und so ein quasi MovieBackup Pugin in den MovieArchiver einzubauen (oder vielleicht ein eigenständiges Plugin daraus machen) willst .
    Jedenfalls is das echt etwas was noch fehlt bislang es gibt ja alle möglichen Plugins aber in der Richtung hab ich noch nix gesehen für die E2 Boxen.
    Hi Biki3,

    danke für die Hinweise und Ideen.

    ... eigentlich wollte ich es ja noch nicht schreiben, da noch in Arbeit, aber ich habe da bereits etwas integriert. Konfigurierbar in den Settings.
    Momentan allerdings nur unter Abgleich der Dateinamen und nicht über mehrere Verzeichnisse. Hatte schon ein Kommentar im Code und im "Hilfe-Text " das noch nach Size und Date geprüft werden muss.
    Ich muss mir da mal Gedanken drüber machen und testen wie schnell filesize und co mit Python sind. Ansonsten ist ls -l (ohne R) schon mal ein guter Ansatz.

    MD5 ist sau langsam. Denke auch das würde zu Problemen führen.


    Ich wäre schon etwas weiter wenn meine Loklaisierung nicht auf einmal Probleme machen würde, den die geht auf einmal nicht mehr... hmpf.
    Plugins:
    PiconsUpdater | SeriesOrganizer | MovieArchiver

    Entwickler unterstützen:

    Plugins zu entwickeln macht Spaß, kostet aber auch eine Menge Zeit.
    Kleine Spenden sind immer willkommen.






  5. #15
    Avatar von svox
    Registriert seit
    16.08.2013
    Ort
    München
    Beiträge
    540
    Thanks (gegeben)
    137
    Thanks (bekommen)
    217
    Themenstarter
    Total Downloaded
    16,84 MB
    Total Downloaded
    16,84 MB
    ReceiverDanke
    Box 1:
    ET8000
     
     
    Box 2:
    GigaBlue Quad
     
     
    Zitat Zitat von Nobody28 Beitrag anzeigen
    wenn es im OE-A GIT gebaut wird, dann haben es automatisch alle OE-A Memberteams auf ihrem Feed musst dann immer nur ins GIT einchecken und wenn eine FW gebaut wird, wirds automatisch mitgebaut
    Ach so. Ja das wäre natürlich richtig toll
    Ich hoffe es läuft auch mit dem anderen OE-A Images.
    Plugins:
    PiconsUpdater | SeriesOrganizer | MovieArchiver

    Entwickler unterstützen:

    Plugins zu entwickeln macht Spaß, kostet aber auch eine Menge Zeit.
    Kleine Spenden sind immer willkommen.






  6. #16
    Avatar von betacentauri
    Registriert seit
    15.06.2013
    Beiträge
    2.359
    Thanks (gegeben)
    287
    Thanks (bekommen)
    1399
    Total Downloaded
    1,32 MB
    Total Downloaded
    1,32 MB
    ReceiverDanke
    Box 1:
    hd51
     
     
    Box 2:
    vuduo4kse
     
     
    Box 3:
    und noch 20-30 andere
     
     
    Man kann auch Checksummen nur über einen kleinen Teil der Datei machen. Beispielsweise die ersten 100MB überspringen (wegen Schnitten) und dann die Checksumme der nächsten 5MB erzeugen. Sollte eindeutig genug sein und schnell. Habe mal soetwas für mp3s gebaut.
    hd51, vuduo4se,....

  7. #17
    Avatar von svox
    Registriert seit
    16.08.2013
    Ort
    München
    Beiträge
    540
    Thanks (gegeben)
    137
    Thanks (bekommen)
    217
    Themenstarter
    Total Downloaded
    16,84 MB
    Total Downloaded
    16,84 MB
    ReceiverDanke
    Box 1:
    ET8000
     
     
    Box 2:
    GigaBlue Quad
     
     
    Zitat Zitat von betacentauri Beitrag anzeigen
    Man kann auch Checksummen nur über einen kleinen Teil der Datei machen. Beispielsweise die ersten 100MB überspringen (wegen Schnitten) und dann die Checksumme der nächsten 5MB erzeugen. Sollte eindeutig genug sein und schnell. Habe mal soetwas für mp3s gebaut.
    Gute Idee.

    Ich werde es vorher erst mal mit:
    filecmp.cmp ausprobieren.
    Sieht sehr vielversprechend aus.

    Kann nur gerade nicht weitermachen da Aufnahmen laufen.
    ... und dann erst mal mit der Lokalisierung kämpfen.
    Geändert von svox (24.10.2013 um 22:04 Uhr)
    Plugins:
    PiconsUpdater | SeriesOrganizer | MovieArchiver

    Entwickler unterstützen:

    Plugins zu entwickeln macht Spaß, kostet aber auch eine Menge Zeit.
    Kleine Spenden sind immer willkommen.






  8. #18
    Avatar von svox
    Registriert seit
    16.08.2013
    Ort
    München
    Beiträge
    540
    Thanks (gegeben)
    137
    Thanks (bekommen)
    217
    Themenstarter
    Total Downloaded
    16,84 MB
    Total Downloaded
    16,84 MB
    ReceiverDanke
    Box 1:
    ET8000
     
     
    Box 2:
    GigaBlue Quad
     
     
    Also mit filecmp.cmp ist es leider wie mit den anderen Überprüfungen... dauert ewig.

    Ich habe es jetzt mal so eingebaut wie von betacentauri beschrieben.
    Getestet mit 18 Dateien - insgesamt ca. 8 GB sowohl im Quell als auch Ziel Verzeichnis. - so das er jede Datei miteinander überprüfen muss, also insgesamt 16 GB

    Das dauert weniger als 1 sec und ist schon mal ganz gut.
    Nichts desto trotz wird das bei größeren Datenmengen schon einige Sekunden dauern.

    Hat einer von Euch bereits ein Backup der Filme und mag das mal testen?
    Ich würde dann ein ipk erstellen das kein Backup erstellt sondern nur eine Ausgabe an die Console macht. Die Box müsste also mit:
    init 4
    enigma2
    oder einem seriellen Log gestartet werden.


    Alternativ bin ich am überlegen ob nicht einfach nur die Dateigröße ausreicht.
    Ist doch sehr unwahrscheinlich das eine Datei den gleichen Namen und gleiche Größe hat und doch unterschiedlich ist!?
    Also zumindestens bei Movies ist es doch sehr unwahrscheinlich. Bei Textdateien kann das ja schnell mal vorkommen.
    Oder seht ihr da Probleme?
    Plugins:
    PiconsUpdater | SeriesOrganizer | MovieArchiver

    Entwickler unterstützen:

    Plugins zu entwickeln macht Spaß, kostet aber auch eine Menge Zeit.
    Kleine Spenden sind immer willkommen.






  9. #19
    Avatar von betacentauri
    Registriert seit
    15.06.2013
    Beiträge
    2.359
    Thanks (gegeben)
    287
    Thanks (bekommen)
    1399
    Total Downloaded
    1,32 MB
    Total Downloaded
    1,32 MB
    ReceiverDanke
    Box 1:
    hd51
     
     
    Box 2:
    vuduo4kse
     
     
    Box 3:
    und noch 20-30 andere
     
     
    Probleme sehe ich da nicht wirklich. Außer jemand legt x Kopien eines Films an, den er aber nur einmal sichern will. Halte ich für relativ unwahrscheinlich.

    Wenn es bei einigen Sekunden bleibt, ist das doch ok. Ab ein paar Minuten sieht es vielleicht anders aus. Dafür braucht man aber wahrscheinlich schon sehr viele kleine Filme oder eine langsame Schnittstelle.
    hd51, vuduo4se,....

  10. #20
    Avatar von svox
    Registriert seit
    16.08.2013
    Ort
    München
    Beiträge
    540
    Thanks (gegeben)
    137
    Thanks (bekommen)
    217
    Themenstarter
    Total Downloaded
    16,84 MB
    Total Downloaded
    16,84 MB
    ReceiverDanke
    Box 1:
    ET8000
     
     
    Box 2:
    GigaBlue Quad
     
     
    Ich habe mal einen Test gemacht und einen Hash von allen Dateien auf meiner schnellen eingebautenPlatte erstellt.
    Es waren 845 Dateien und ca. 450gb

    In Backupverhältnis würden es gerade mal 220gb sein.

    Nur das Hash erzeugen für alle Dateien dauerte
    30 Sekunden

    Hochgerechnet auf 1,5 TB und 1,5 TB Backup Platte, sind es ca.
    200 Sekunden. => über 3 Minuten


    Auf meiner langsamen USB Platte sieht es so aus:
    1023 Dateien und ca. 650 GB

    Nur Hash erzeugen: Nach 20 Minuten habe ich abgebrochen.

    Der Spinner wird zudem die ganze Zeit angezeigt.

    Das Problem ist ja auch das, nehmen wir mal an das Backup mal durchlief und auf beiden Platten 1,5TB sind. Das Script würde
    dann immer wieder diese 3 TB überprüfen müssen. Und das beim laufenden Betrieb.

    Denke das Script müsste dann eher nach Uhrzeit gestartet werden und dann am besten mitten in der Nacht.



    Ich habe das ganze gerade mal mit size anstatt dem Hash getestet. Das dauert auch bei der langsamen Platte mit allen Dateien nicht mal eine Sekunde.
    Wie gesagt kann ich mir auch nicht vorstellen das ein Film mal den gleichen Dateinamen und die gleiche Dateigröße hat, aber trotzdem unterschiedlich sind.

    Ich baue es mal so ein und vielleicht kann es dann mal jemand mit einem großen Backup testen?
    Plugins:
    PiconsUpdater | SeriesOrganizer | MovieArchiver

    Entwickler unterstützen:

    Plugins zu entwickeln macht Spaß, kostet aber auch eine Menge Zeit.
    Kleine Spenden sind immer willkommen.







Seite 2 von 14 ErsteErste 123412 ... LetzteLetzte

Stichworte

Lesezeichen

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •  
Alle Zeitangaben in WEZ +1. Es ist jetzt 15:31 Uhr.
Powered by vBulletin® Version 4.2.5 (Deutsch)
Copyright ©2024 Adduco Digital e.K. und vBulletin Solutions, Inc. Alle Rechte vorbehalten.
Resources saved on this page: MySQL 5,88%
Parts of this site powered by vBulletin Mods & Addons from DragonByte Technologies Ltd. (Details)
vBulletin Skin By: PurevB.com