Skillnaden mellan två liknande stora råa binära filer

För den andra applikationen / frågan skulle jag använda ett deduplicering av säkerhetskopieringsprogram som restic eller borgbackup, snarare än att försöka för att manuellt hålla reda på ”lappar” eller skillnader. restic säkerhetskopieringsprogrammet gör att du kan säkerhetskopiera kataloger från flera datorer till samma säkerhetskopia och deduplicera säkerhetskopieringsdata både bland fragment av filer från en enskild maskin och mellan en maskin. (Jag har ingen användarupplevelse med borgbackup, så jag kan inte säga något om det programmet.)

Beräkning och lagring av skillnaden mellan abc och abc2 filer kan göras med rsync.

Detta är ett exempel med abc och abc2 153 MB. Filen abc2 har ändrats genom att skriva över första 2,3 MB av filen med några andra data:

 $ ls -lh total 626208 -rw-r--r-- 1 kk wheel 153M Feb 3 16:55 abc -rw-r--r-- 1 kk wheel 153M Feb 3 17:02 abc2  

Vi skapar lapp för att omvandla abc till abc2 och kalla det abc-diff:

 $ rsync --only-write-batch=abc-diff abc2 abc  

 $ ls -lh total 631026 -rw-r--r-- 1 kk wheel 153M Feb 3 16:55 abc -rw------- 1 kk wheel 2.3M Feb 3 17:03 abc-diff -rwx------ 1 kk wheel 38B Feb 3 17:03 abc-diff.sh -rw-r--r-- 1 kk wheel 153M Feb 3 17:02 abc2  

Den genererade filen abc-diff är den faktiska diff (din ”patchfil”), medan abc-diff.sh ärett kort skalskript som rsync skapar åt dig:

 $ cat abc-diff.sh rsync --read-batch=abc-diff ${1:-abc}  

Detta skript ändrar abc så att det blir identiskt med abc2, med tanke på filen abc-diff:

 $ md5sum abc abc2 be00efe0a7a7d3b793e70e466cbc53c6 abc 3decbde2d3a87f3d954ccee9d60f249b abc2 $ sh abc-diff.sh $ md5sum abc abc2 3decbde2d3a87f3d954ccee9d60f249b abc 3decbde2d3a87f3d954ccee9d60f249b abc2  

Filen abc-diff kan nu överföras till vart du än har abc. Med kommandot rsync --read-batch=abc-diff abc applicerar du korrigeringsfilen på filen abc och förvandlar dess innehåll till samma som abc2 -fil på systemet där du skapade diff.

Återanvändning av plåstret en andra gång verkar säkert. Det finns inga felmeddelanden och inte heller ändras filens innehåll (kontrollsumman för MD5 ändras inte).

Observera att om du inte skapar en uttrycklig ”omvänd patch” finns det inget sätt att ångra applikationen av korrigeringsfilen.

Jag testade också att skriva 2,3 MB-modifieringen till någon annan plats i abc2 -data, lite längre in (vid cirka 50 MB) såväl som i början. Den genererade ”patch” var 4,6 MB stor, vilket tyder på att endast de modifierade bitarna lagrades i patch.

Kommentarer

• Tack så mycket @Kusalananda, det ’ är fantastiskt! PS: rsync --read-batch=abc-diff ${1:-abc} (automatiskt genererat .sh-skript) gav remote destination is not allowed with --read-batch rsync error: syntax or usage error (code 1) at main.c(1326) [Receiver=3.1.2], men rsync --read-batch=abc-diff abc fungerade framgångsrikt.Vad är skillnaden mellan dessa två liknande kommandon?
• 2/2 Finns det ett sätt att ta abc som inmatning, applicera plåstret diff-abc med --read-batch men ändrar inte abc ” på plats ”, utan snarare mata ut till en ny fil abc3? (om möjligt allt med rsync, utan piping, så att det fungerar enkelt på Linux såväl som Windows som också har rsync.exe tillgängligt)
• @Basj Kommandona skulle göra olika saker om $1 hade ett värde. ${1:-abc} betyder ” använd den första positionsparametern ($1) såvida det inte är ’ är tomt eller odefinierat. Om det ’ är tomt eller odefinierat, använd abc istället ”. Jag ’ antar att $1 hade ett värde när du försökte det, möjligen något som det tolkade som en fjärrmålsadress.
• @Basj I ’ Jag är inte helt säker på att detta är möjligt, men jag ’ ll ta en titt imorgon efter sömn.
• Tack för ditt svar om ${1:-abc}. Det misslyckades förmodligen beror på att jag försökte det på Windows (jag ’ m med rsync både på Linux för min avlägsna server och Windows lokalt). Men det är ’ perfekt eftersom rsync --read-batch=abc-diff abc fungerar 🙂