PiPic-Benchmark zur Bildkomprimierung — Q3 2026

Methode

• Die Eingaben nach PNG, JPEG, WebP und AVIF stratifizieren.
• Nur Bilder verwenden, deren Lizenz eine öffentliche Weitergabe erlaubt, und jede Quelle sowie Lizenz in manifest.csv festhalten.
• Werkzeugname, exakte Version, Befehl, Datum, Maschine und Konfiguration vollständig dokumentieren.
• Ein- und Ausgabe im selben Format vergleichen. Eine Formatumwandlung zählt nicht als Komprimierung.
• Eingabe- und Ausgabebytes, eingesparte Bytes, Dauer, Fehler und nicht verkleinerte Dateien aufzeichnen.
• Ausreißer behalten und ihre Ursache dokumentieren.
• Jeden Fall dreimal nacheinander auf derselben Maschine ausführen und die Mediandauer angeben.
• Pro Format mindestens drei Ausgaben zufällig auswählen, dekodieren und visuell prüfen.
• results.csv mit dem Runner erzeugen und Messwerte nicht von Hand bearbeiten.
• Einschränkungen und Fälle veröffentlichen, in denen ein Vergleichswerkzeug besser abschneidet.

Eingaben

Drei Fotos decken Landschaft, Essen und Architektur ab. Jede Quelle ist CC0 oder gemeinfrei und wird als PNG, JPEG, WebP und AVIF kodiert. Daraus entstehen 12 Eingaben. Jede Operation bleibt im selben Format. PNG wird als PNG ausgegeben, bei den anderen Formaten gilt dasselbe. manifest.csv enthält die öffentliche Quellseite, Lizenz, Bytegröße und SHA-256 jeder eingecheckten Eingabe. SOURCES.md nennt Urheber und den Wikimedia-SHA-1, der vor der Erstellung der Ableitungen geprüft wurde.

Die Ableitungen sind bewusst hochwertige Eingaben. Sie erheben keinen Anspruch, alle Webbilder abzubilden. Jedes Motiv hat in allen vier Formaten dieselben Pixelmaße, und jede Datei bleibt unter PiPics dokumentierter Grenze von 8 MB.

Werkzeuge und Konfigurationen

• PiPic Agent CLI 1.0.6 nutzt die veröffentlichte CLI und den entfernten Komprimierungsdienst. Die Dateien werden einzeln mit -o, --json und --concurrency 1 verarbeitet.
• sharp 0.35.3 wird lokal mit ausdrücklich dokumentierten Optionen aufgerufen. PNG nutzt Komprimierungsstufe 6 ohne Palettenumwandlung. JPEG nutzt Qualität 80, 4:2:0-Chroma und optimierte Kodierung. WebP nutzt Qualität 80 und effort 4. AVIF nutzt Qualität 50, effort 4, 4:4:4-Chroma und 8-Bit-Ausgabe.

Die Spalte command enthält für jeden Lauf den exakten Pfad zur ausführbaren Datei und alle Argumente. Die sharp-Optionen stehen in scripts/sharp-compress.mjs, das zum veröffentlichten Reproduktionspaket gehört.

Aufgezeichnete Beobachtungen

• Der Lauf erzeugte 72 Rohzeilen aus 12 Eingaben, 2 Werkzeugen und 3 aufeinanderfolgenden Läufen.
• PiPic schloss 35 von 36 Vorgängen ab. Der zweite Lauf für food.webp meldete fetch failed. Die Zeile bleibt als Fehler mit null Ausgabe- und Einsparbytes erhalten und wurde nicht wiederholt.
• Mit der oben beschriebenen PNG-Konfiguration ohne Palette erzeugte sharp bei allen drei PNG-Eingaben in allen drei Läufen eine größere Datei. Diese neun Zeilen bleiben als not_smaller erhalten und zählen weder als Einsparung noch als Fehler.
• Alle übrigen Ausgaben ließen sich in ihrem Eingabeformat dekodieren. Eine deterministische Stichprobe mit drei verschiedenen Motiven je Format bestand die Sichtprüfung.

Dies sind Beobachtungen aus dem Datensatz und keine Behauptung über den „besten Kompressor“. summary.csv enthält die Medianwerte; results.csv bleibt die Quelle für Fehler und Schwankungen.

Reproduktion

Voraussetzungen.

• macOS oder eine andere Umgebung mit Node.js 20+, npm und ffprobe.
• Ein mit libsvtav1 gebautes ffmpeg und cwebp nur dann, wenn die eingecheckten Eingaben neu erzeugt werden.
• Eine vom Nutzer autorisierte PiPic-CLI-Sitzung mit mindestens 36 verbleibenden Monatsvorgängen. Der Runner liest oder druckt keine Zugangsdaten, verbraucht wegen des entfernten Dienstes aber echtes CLI-Kontingent.

In diesem Verzeichnis ausführen.

# Optional: re-download the three sources, verify their Wikimedia SHA-1,
# and recreate all 12 inputs and manifest rows.
node scripts/prepare-inputs.mjs

# Install exact tool versions into ignored .tools/, check PiPic quota,
# execute three runs, decode outputs and generate the CSV files.
node scripts/run.mjs

# Run after completing the selected visual review.
node scripts/validate.mjs

Die aufgezeichnete Maschine lief mit macOS 26.5.1 auf einem Apple M5 mit 24 GiB RAM. PiPic-Zeiten enthalten die entfernte Anfrage; sharp-Zeiten stammen aus lokaler Ausführung. Sie dürfen nicht als Vergleich der CPU-Geschwindigkeit dargestellt werden.

Einschränkungen

• Verglichen werden dokumentierte Abläufe ohne Abgleich der wahrgenommenen Qualität. Unterschiede in der Dateigröße können verschiedene Qualitätsentscheidungen widerspiegeln.
• Der Datensatz enthält drei fotografische Motive. Er repräsentiert weder Illustrationen, Grafiken mit viel Transparenz, Screenshots, Animationen noch sämtliche Kamerabilder.
• PiPic arbeitet entfernt, sharp lokal. Netzwerk, Dienstlast und Standort beeinflussen PiPic; die Maschinenlast beeinflusst beide.
• Die Sichtprüfung bestätigt die Nutzbarkeit ausgewählter Ausgaben, liefert aber keinen numerischen Wert für wahrgenommene Qualität. Es werden keine Aussagen zu PSNR, SSIM oder SSIMULACRA2 getroffen.
• Der beibehaltene PiPic-Anfragefehler bedeutet, dass die Abschlussrate dieses Laufs nicht 100 % betrug. Ein späterer Lauf muss getrennt veröffentlicht werden und darf dieses Ergebnis nicht überschreiben.

Reproduktionsprüfung

Der Datensatz bestand die lokale Reproduktionsprüfung. Alle Eingaben haben eine öffentliche Lizenz und SHA-256, die Rohzeilen enthalten dokumentierte Befehle, jede fehlerfreie Ausgabe ließ sich dekodieren, drei unterschiedliche Ausgaben je Format bestanden die Sichtprüfung, und die Medianzeilen lassen sich aus der Roh-CSV neu berechnen.

Aus diesen Daten dürfen keine Aussagen wie „am schnellsten“, „am kleinsten“, „am besten“ oder gleichbedeutende Behauptungen abgeleitet werden.