Open Benchmark — energy, robustness, false attribution

Result 1 — energy and computeErgebnis 1 — Energie und Rechenaufwand

1024×1024 crops of 12 real camera photos. Each row: 3 runs of 40 s, an idle baseline before every run, median shown. Energy is read from the CPU power counter of Windows (RAPL-style) and the idle power is subtracted.1024×1024-Ausschnitte von 12 echten Kamerafotos. Jede Zeile: 3 Läufe à 40 s, vor jedem Lauf eine Leerlauf-Messung, der Median wird gezeigt. Die Energie kommt vom CPU-Leistungszähler von Windows (RAPL-artig), die Leerlaufleistung ist abgezogen.

OperationVorgang	time per op (as shipped)Zeit je Vorgang (wie ausgeliefert)	CPU-seconds per op, as shippedCPU-Sekunden je Vorgang, wie ausgeliefert	CPU-seconds, ONE threadCPU-Sekunden, EIN Thread	energy per op, mJEnergie je Vorgang, mJ
TrustMark encode	147 ms	2.06	0.440	768 (measured; range 385–1154)768 (gemessen; Spanne 385–1154)
TrustMark decode	56 ms	0.81	0.164	627 (measured)627 (gemessen)
FORTRESS invisible: embedFORTRESS invisible: einbetten	49.1 ms	0.060	0.060	≈ 22–47 (estimate: below meter noise)≈ 22–47 (Schätzung: unter dem Rauschen des Zählers)
FORTRESS invisible: readFORTRESS invisible: lesen	25.0 ms	0.029	0.029	≈ 11–23 (estimate: below meter noise)≈ 11–23 (Schätzung: unter dem Rauschen des Zählers)
FORTRESS fragile: sealFORTRESS fragil: siegeln	10.7 ms	0.014	0.014	≈ 5–11 (estimate: below meter noise)≈ 5–11 (Schätzung: unter dem Rauschen des Zählers)
FORTRESS fragile: verifyFORTRESS fragil: prüfen	2.1 ms	0.002	0.002	≈ 1–2 (estimate: below meter noise)≈ 1–2 (Schätzung: unter dem Rauschen des Zählers)

Reading it honestly. Single-threaded, FORTRESS needs about 7× fewer CPU-seconds to embed and 6× fewer to read (measured). As shipped, TrustMark spreads the work over 16 threads, which costs extra CPU time; there the gap is about 30×. Energy: the meter resolves TrustMark clearly (about +6 to +11 W over idle) but a single FORTRESS thread (about +1 to +2 W) sits inside its noise (idle drifts by 5 W), so the FORTRESS joules are an estimate: CPU-seconds × the joules per CPU-second observed for TrustMark (0.37–0.78 J). The energy gap therefore lies between roughly 4× (single-thread) and 35× (as shipped). We did not measure a GPU, a different CPU or a wall-socket meter.Ehrlich gelesen. Mit einem Thread braucht FORTRESS etwa 7× weniger CPU-Sekunden zum Einbetten und 6× weniger zum Lesen (gemessen). TrustMark verteilt die Arbeit wie ausgeliefert auf 16 Threads, das kostet zusätzliche CPU-Zeit; dort liegt der Abstand bei etwa 30×. Energie: Der Zähler löst TrustMark klar auf (etwa +6 bis +11 W über Leerlauf), aber ein einzelner FORTRESS-Thread (etwa +1 bis +2 W) liegt im Rauschen (der Leerlauf driftet um 5 W), die FORTRESS-Joule sind deshalb eine Schätzung: CPU-Sekunden × die bei TrustMark beobachteten Joule je CPU-Sekunde (0,37–0,78 J). Der Energieabstand liegt damit zwischen grob 4× (ein Thread) und 35× (wie ausgeliefert). Wir haben keine GPU, keine andere CPU und kein Steckdosen-Messgerät gemessen.

Result 2 — does the mark survive, and does it stay quiet?Ergebnis 2 — übersteht die Marke es, und bleibt sie still?

Same 12 photos. Count of photos where the original payload was read back correctly after the attack. The unmarked control must read nothing.Dieselben 12 Fotos. Anzahl der Fotos, bei denen die ursprüngliche Nutzlast nach dem Angriff korrekt gelesen wurde. Die unmarkierte Kontrolle darf nichts lesen.

AttackAngriff	FORTRESS invisible	FORTRESS crop-hardened	TrustMark Q
no attackkein Angriff	12/12	12/12	12/12
JPEG q90JPEG q90	12/12	12/12	12/12
JPEG q75JPEG q75	12/12	12/12	12/12
JPEG q50JPEG q50	12/12	12/12	12/12
resize to 75 %Verkleinern auf 75 %	12/12	0/12	12/12
centre crop 10 %, rescaledMittelzuschnitt 10 %, hochskaliert	12/12	12/12	12/12
false hits on unmarked photosFehltreffer bei unmarkierten Fotos	0/12	0/12	0/12
pixel distortion, median PSNR (higher = less change; not visibility)Pixelverzerrung, Median-PSNR (höher = weniger Änderung; nicht Sichtbarkeit)	39.2 dB	26.0 dB	42.6 dB

Where we do not win or are not comparable. TrustMark changes the pixels less (higher PSNR; PSNR is not visibility, and we did not run the colour-difference test on TrustMark). Our crop-hardened profile survives the crop but not the resize, and it is visible; the invisible profile held all six attacks here, although it is documented as not crop-hardened (our crop test rescales back to the original size, which is the easy case). Payloads differ (a 128-bit key versus a short BCH-coded text). The attacks are mild: no rotation, no AI redraw, no screenshot-of-a-screen. n = 12. The fragile seal has no TrustMark counterpart and is not in this table.Wo wir nicht gewinnen oder nicht vergleichbar sind. TrustMark verändert die Pixel weniger (höheres PSNR; PSNR ist keine Sichtbarkeit, und den Farbdifferenz-Test haben wir an TrustMark nicht gefahren). Unser zuschnittfestes Profil übersteht den Zuschnitt, aber nicht das Verkleinern, und es ist sichtbar; das unsichtbare Profil hielt hier alle sechs Angriffe, obwohl es als nicht zuschnittfest dokumentiert ist (unser Zuschnitt wird auf die Originalgröße zurückskaliert, das ist der leichte Fall). Die Nutzlasten unterscheiden sich (ein 128-Bit-Schlüssel gegen einen kurzen BCH-codierten Text). Die Angriffe sind mild: keine Drehung, keine KI-Neuzeichnung, kein Foto eines Bildschirms. n = 12. Das fragile Siegel hat bei TrustMark keine Entsprechung und steht nicht in dieser Tabelle.

Method, so you can check itMethode, damit Sie es prüfen können

Photos: 12 original camera JPEGs, centre-cropped to a square and resized to 1024×1024. Machine: AMD Ryzen AI Max+ 395, Windows, 16 cores / 32 threads, nothing else heavy running. Date: 2026-10-21 07:36.Fotos: 12 Original-Kamera-JPEGs, mittig quadratisch zugeschnitten und auf 1024×1024 skaliert. Maschine: AMD Ryzen AI Max+ 395, Windows, 16 Kerne / 32 Threads, nichts anderes Schweres im Hintergrund. Datum: 2026-10-21 07:36.
TrustMark: Python package trustmark 0.9.1, model Q, BCH_5, text mode, CPU only. FORTRESS: the SDK, profiles invisible and crop-hardened, luma channel, plain Node.js.TrustMark: Python-Paket trustmark 0.9.1, Modell Q, BCH_5, Textmodus, nur CPU. FORTRESS: das SDK, Profile invisible und crop-hardened, Helligkeitskanal, reines Node.js.
The “APU power” counter of this machine is a constant budget value (it stayed at 35 W under full load) and is not used. The “CPU power” counter followed load and is.Der Zähler „APU Power“ dieser Maschine ist ein konstanter Budgetwert (er blieb bei Volllast auf 35 W) und wird nicht benutzt. Der Zähler „CPU Power“ folgte der Last und wird benutzt.
Raw files: ergebnis.json (energy, every run) and robust.json (robustness, control, single-thread times).Rohdateien: ergebnis.json (Energie, jeder Lauf) und robust.json (Robustheit, Kontrolle, Ein-Thread-Zeiten).
The harness is open source: github.com/founder396/FortressOS → fortress-open-benchmark (adapter contract, self-test, TrustMark example). The FORTRESS SDK is licensed, so the FORTRESS adapter is not in the repository; participants and an independent body get it under NDA.Der Messrahmen ist Open Source: github.com/founder396/FortressOS → fortress-open-benchmark (Adapter-Vorgabe, Selbsttest, TrustMark-Beispiel). Die FORTRESS-SDK ist lizenziert, deshalb liegt der FORTRESS-Adapter nicht im Repository; Teilnehmende und eine unabhängige Stelle erhalten ihn unter NDA.

Join the benchmarkMachen Sie mit

If you build image or video watermarking, provenance or tamper-evidence, bring your tool: write an adapter (a few lines, see the repository) and run the harness. The rules are short.Wenn Sie Wasserzeichen, Herkunftsnachweise oder Manipulationserkennung für Bild oder Video bauen: bringen Sie Ihr Werkzeug mit. Die Regeln sind kurz.

Same photos, same attacks, same meter. We run your tool on our machine, or you run our protocol on yours and send the raw files.Dieselben Fotos, dieselben Angriffe, derselbe Zähler. Wir lassen Ihr Werkzeug auf unserer Maschine laufen, oder Sie fahren unser Protokoll auf Ihrer und schicken die Rohdateien.
Three axes, never fused: energy per operation, robustness per attack, false hits on unmarked files. No single score.Drei Achsen, nie verschmolzen: Energie je Vorgang, Robustheit je Angriff, Fehltreffer bei unmarkierten Dateien. Keine Gesamtnote.
Everything is published, including losses, with your right of reply next to our numbers. Wrong numbers are corrected with a dated note.Alles wird veröffentlicht, auch Niederlagen, mit Ihrem Recht auf Gegendarstellung neben unseren Zahlen. Falsche Zahlen werden mit datiertem Vermerk korrigiert.
Results are labelled “measured by DESTILL.ai” or “self-reported, raw files attached”. Tools whose vendors do not take part are listed only if open source, and only with our method.Ergebnisse werden gekennzeichnet: „gemessen von DESTILL.ai“ oder „selbst gemeldet, Rohdateien angehängt“. Werkzeuge, deren Hersteller nicht teilnehmen, erscheinen nur als Open Source und nur mit unserer Methode.
Next rounds we plan: rotation, AI redraw and screen re-capture as attacks; a GPU arm; a mains-socket meter; video; and a colour-difference test for visibility.Nächste Runden, die wir planen: Drehung, KI-Neuzeichnung und Abfotografieren eines Bildschirms als Angriffe; ein GPU-Zweig; ein Steckdosen-Messgerät; Video; und ein Farbdifferenz-Test für die Sichtbarkeit.

Take part: Mitmachen: [email protected]