QA Knowledge Hub

Benchmarkkien yleiskuva

Miten benchmarkit kannattaa esitellä ilman ylilupaamista.

Benchmarkkien yleiskuva

Benchmarkit kannattaa esittää kysymyksinä, ei vain numeroina:

  • mikä oli testin tavoite
  • mitä datapolkua mitattiin
  • millä datamäärällä
  • mitä ei testattu

Suositus

Jokaisen benchmarkin yhteydessa pidetaan erikseen:

  1. oletukset
  2. tulokset
  3. rajaukset

Perusoppi

Teknisesti tärkein benchmark-sääntö on nyt selvä:

bytesRead ei yksin riitä. R2-latenssissa rangeReads on yhtä tärkeä, usein tärkeämpi.

Vahvin nykyinen tulos

Raportin mukaan 10M-row JRI4 remote R2 + Worker -objektilla saatiin kuusi kyselymuotoa toimimaan aidosta 346 MiB objektista:

materialized_top   rangeReads=4   bytesRead=2279    durationMs=176
indexed_top        rangeReads=6   bytesRead=10627   durationMs=238
source_filter      rangeReads=4   bytesRead=2259    durationMs=142
timestamp_range    rangeReads=4   bytesRead=2459    durationMs=148
source_index       rangeReads=7   bytesRead=14543   durationMs=261
timestamp_index    rangeReads=8   bytesRead=16791   durationMs=284

Mitä tämä osoittaa

  • objektin koko voi kasvaa suureksi ilman että luettujen tavujen määrä kasvaa lineaarisesti
  • kyselymuoto vaikuttaa paljon range-readien määrään
  • covering- ja indexed-polut kannattaa erottaa toisistaan

On this page