Ancestors

Toot

Written by DJGummikuh on 2025-01-30 at 13:38

I'm writing a zip archive as stream to file and the file is intact. I write the SAME stream to S3 and the file gets corrupted ... SOMEHOW .. without change in filesize (so no cropping). Dafuq?

=> More informations about this toot | More toots from DJGummikuh@mastodon.social

Descendants

Written by AliveDevil on 2025-01-30 at 13:39

@DJGummikuh

Was für ein S3 server, und was nutzt du zum Upload?

=> More informations about this toot | More toots from AliveDevil@tauri.earth

Written by DJGummikuh on 2025-01-30 at 13:40

@AliveDevil die Frage nach dem Server verstehe ich nicht. S3 as in AWS. Zum Upload benutz ich den S3AsyncClient aus dem AWS SDK

=> More informations about this toot | More toots from DJGummikuh@mastodon.social

Written by DJGummikuh on 2025-01-30 at 13:43

@AliveDevil hab jetzt die Dateigröße für den Test mal von 150MB auf 300kb reduziert und werde jetzt mal versuchen mit einem Hexeditor herauszufinden worin sich die Datei auf S3 unterscheidet.

=> More informations about this toot | More toots from DJGummikuh@mastodon.social

Written by AliveDevil on 2025-01-30 at 13:46

@DJGummikuh

Wenn 300kb ausreichend sind.

xxd und diff oder colordiff in Konsole.

Wobei ein 150MB Hex Diff schon nicht so optimal ist.

Wie lädst du die Datei danach wieder runter zur Bestätigung, dass die Datei funktioniert?

=> More informations about this toot | More toots from AliveDevil@tauri.earth

Written by DJGummikuh on 2025-01-30 at 13:48

@AliveDevil entweder ebenfalls über S3AsyncClient oder über die AWS Konsole. Beides bringt die gleiche Datei zum Vorschein (mit MD5 kontrolliert), d.h. der Fehler scheint beim Schreiben zu entstehen. Ich gucke mir den 300kb diff gerade an und da sind teilweise einfach andere Blöcke an einzelnen Stellen. Das ist irgendwie alles sehr komisch

=> More informations about this toot | More toots from DJGummikuh@mastodon.social

Written by AliveDevil on 2025-01-30 at 13:48

@DJGummikuh

Im übrigen:

https://github.com/aws/aws-sdk-java-v2/issues/4083

https://github.com/aws/aws-sdk-java-v2/issues/4272

=> More informations about this toot | More toots from AliveDevil@tauri.earth

Written by DJGummikuh on 2025-01-30 at 13:50

@AliveDevil uuuuuuuh very good catch.

=> More informations about this toot | More toots from DJGummikuh@mastodon.social

Written by DJGummikuh on 2025-01-30 at 13:51

@AliveDevil ich war noch nicht so weit wirklich einen Bug im SDK anzunehmen, ich hab geglaubt ich hätte irgendwas falsch gemacht

=> More informations about this toot | More toots from DJGummikuh@mastodon.social

Written by DJGummikuh on 2025-01-30 at 13:52

@AliveDevil das Problem: Ich gebe den Outputstream von dem Asnyc Ding direkt in meinen Zip Outputstream, was der treibt weiß ich nicht. Vermutlich werde ich dann da einen Copy-on-Write outputstream noch zwischenhängen müssne oder so...

=> More informations about this toot | More toots from DJGummikuh@mastodon.social

Written by AliveDevil on 2025-01-30 at 13:55

@DJGummikuh Der ZipOutputStream wird wahrscheinlich nicht dauerhaft neue Buffer anfordern.

=> More informations about this toot | More toots from AliveDevil@tauri.earth

Written by DJGummikuh on 2025-01-30 at 13:56

@AliveDevil ja. Überlege gerade, da einfach nen Piped Stream zwischenzuhängen um dann selbst copy-on-write buffer anzulegen

=> More informations about this toot | More toots from DJGummikuh@mastodon.social