Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Setup continuous benchmarking #3169

Merged
merged 21 commits into from
Jan 22, 2025
Merged

Conversation

alishakawaguchi
Copy link
Contributor

@alishakawaguchi alishakawaguchi commented Jan 20, 2025

Updates generators to create transformer benchmarks
Adds github action for continuous benchmarking

  • compares main branch benchmarks to PR branch benchmarks using benchstat
  • leaves comment on PR with geomean results

@alishakawaguchi alishakawaguchi added the Devex Created by Linear-GitHub Sync label Jan 20, 2025
@alishakawaguchi alishakawaguchi self-assigned this Jan 20, 2025
Copy link

vercel bot commented Jan 20, 2025

The latest updates on your projects. Learn more about Vercel for Git ↗︎

1 Skipped Deployment
Name Status Preview Comments Updated (UTC)
neosync-docs ⬜️ Ignored (Inspect) Visit Preview Jan 22, 2025 5:52pm

Copy link

codecov bot commented Jan 20, 2025

Codecov Report

Attention: Patch coverage is 82.00000% with 9 lines in your changes missing coverage. Please review.

Project coverage is 27.81%. Comparing base (d334d79) to head (118cfac).
Report is 7 commits behind head on main.

Files with missing lines Patch % Lines
worker/pkg/benthos/transformers/generator_utils.go 0.00% 9 Missing ⚠️
Additional details and impacted files
@@            Coverage Diff             @@
##             main    #3169      +/-   ##
==========================================
- Coverage   30.37%   27.81%   -2.56%     
==========================================
  Files         374      378       +4     
  Lines       43027    43248     +221     
==========================================
- Hits        13071    12031    -1040     
- Misses      28431    29767    +1336     
+ Partials     1525     1450      -75     

☔ View full report in Codecov by Sentry.
📢 Have feedback on the report? Share it here.

Copy link

github-actions bot commented Jan 21, 2025

Benchstat Geomean Results

107.19% sec/op, 4.93% B/op, 2.16% allocs/op

Benchstat results
                                    │ .benchmarks/results.txt │              results-local2.txt               │
                                    │         sec/op          │       sec/op         vs base                  │
CleanPostgresType-10                             28.96n ± ∞ ¹          30.65n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateBool-10                                  13.59n ± ∞ ¹          13.60n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateBusinessName-10                          245.7n ± ∞ ¹          249.2n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateCardNumber-10                            19.98n ± ∞ ¹          20.03n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateCategorical-10                           83.36n ± ∞ ¹          86.31n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateCity-10                                  115.2n ± ∞ ¹   1001348459.0n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateCountry-10                               69.39n ± ∞ ¹          71.87n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateEmail-10                                 652.0n ± ∞ ¹          649.1n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateFirstName-10                             125.5n ± ∞ ¹          131.8n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateFloat64-10                               20.39n ± ∞ ¹          21.07n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateFullAddress-10                           1.066µ ± ∞ ¹    1001290.917µ ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateFullName-10                              999.9n ± ∞ ¹          965.2n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateGender-10                                27.64n ± ∞ ¹          27.54n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateInt64-10                                 20.14n ± ∞ ¹          20.41n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateInt64PhoneNumber-10                      35.41n ± ∞ ¹          35.60n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateInternationalPhoneNumber-10              119.3n ± ∞ ¹          119.1n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateIpAddress-10                             370.8n ± ∞ ¹          363.1n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateLastName-10                              127.8n ± ∞ ¹          134.8n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateRandomString-10                          1.055µ ± ∞ ¹          1.055µ ± ∞ ¹         ~ (p=1.000 n=1) ³
GenerateSHA256Hash-10                            477.3n ± ∞ ¹          473.7n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateSSN-10                                   195.2n ± ∞ ¹          193.5n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateState-10                                 70.14n ± ∞ ¹          70.25n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateStreetAddress-10                         133.8n ± ∞ ¹          134.5n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateStringPhoneNumber-10                     115.4n ± ∞ ¹          115.2n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateUnixTimestamp-10                         63.11n ± ∞ ¹          61.83n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateUsername-10                              260.5n ± ∞ ¹          237.8n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateUTCTimestamp-10                          79.46n ± ∞ ¹          76.54n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateUUID-10                                  361.1n ± ∞ ¹          336.8n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateZipcode-10                               70.60n ± ∞ ¹          68.93n ± ∞ ¹         ~ (p=1.000 n=1) ²
TransformCharacterScramble-10                    116.3n ± ∞ ¹          131.1n ± ∞ ¹         ~ (p=1.000 n=1) ²
TransformE164PhoneNumber-10                      122.5n ± ∞ ¹          126.1n ± ∞ ¹         ~ (p=1.000 n=1) ²
TransformEmail-10                                901.8n ± ∞ ¹          894.6n ± ∞ ¹         ~ (p=1.000 n=1) ²
TransformFirstName-10                            151.3n ± ∞ ¹          151.3n ± ∞ ¹         ~ (p=1.000 n=1) ³
TransformFloat64-10                              81.48n ± ∞ ¹          81.87n ± ∞ ¹         ~ (p=1.000 n=1) ²
TransformFullName-10                             925.5n ± ∞ ¹          930.0n ± ∞ ¹         ~ (p=1.000 n=1) ²
TransformInt64-10                                22.96n ± ∞ ¹          22.76n ± ∞ ¹         ~ (p=1.000 n=1) ²
TransformInt64PhoneNumber-10                     37.73n ± ∞ ¹          38.21n ± ∞ ¹         ~ (p=1.000 n=1) ²
TransformLastName-10                             128.3n ± ∞ ¹          130.1n ± ∞ ¹         ~ (p=1.000 n=1) ²
TransformString-10                               1.075µ ± ∞ ¹          1.066µ ± ∞ ¹         ~ (p=1.000 n=1) ²
TransformStringPhoneNumber-10                    134.6n ± ∞ ¹          134.5n ± ∞ ¹         ~ (p=1.000 n=1) ²
TransformUuid-10                                 23.55n ± ∞ ¹          23.54n ± ∞ ¹         ~ (p=1.000 n=1) ²
geomean                                          123.1n                255.1n        +107.19%
¹ need >= 6 samples for confidence interval at level 0.95
² need >= 4 samples to detect a difference at alpha level 0.05
³ all samples are equal

                                    │ .benchmarks/results.txt │          results-local2.txt          │
                                    │          B/op           │     B/op      vs base                │
CleanPostgresType-10                              0.000 ± ∞ ¹    0.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateBool-10                                   0.000 ± ∞ ¹    0.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateBusinessName-10                           304.0 ± ∞ ¹    304.0 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateCardNumber-10                             8.000 ± ∞ ¹    8.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateCategorical-10                            64.00 ± ∞ ¹    64.00 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateCity-10                                   160.0 ± ∞ ¹    256.0 ± ∞ ¹       ~ (p=1.000 n=1) ³
GenerateCountry-10                                24.00 ± ∞ ¹    24.00 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateEmail-10                                  385.0 ± ∞ ¹    385.0 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateFirstName-10                              208.0 ± ∞ ¹    208.0 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateFloat64-10                                8.000 ± ∞ ¹    8.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateFullAddress-10                            512.0 ± ∞ ¹   2304.0 ± ∞ ¹       ~ (p=1.000 n=1) ³
GenerateFullName-10                               418.0 ± ∞ ¹    418.0 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateGender-10                                 16.00 ± ∞ ¹    16.00 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateInt64-10                                  7.000 ± ∞ ¹    7.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateInt64PhoneNumber-10                       8.000 ± ∞ ¹    8.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateInternationalPhoneNumber-10               40.00 ± ∞ ¹    40.00 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateIpAddress-10                              31.00 ± ∞ ¹    31.00 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateLastName-10                               176.0 ± ∞ ¹    176.0 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateRandomString-10                           186.0 ± ∞ ¹    186.0 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateSHA256Hash-10                             288.0 ± ∞ ¹    288.0 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateSSN-10                                    46.00 ± ∞ ¹    46.00 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateState-10                                  24.00 ± ∞ ¹    24.00 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateStreetAddress-10                          240.0 ± ∞ ¹    240.0 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateStringPhoneNumber-10                      40.00 ± ∞ ¹    40.00 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateUnixTimestamp-10                          8.000 ± ∞ ¹    8.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateUsername-10                               205.0 ± ∞ ¹    205.0 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateUTCTimestamp-10                           24.00 ± ∞ ¹    24.00 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateUUID-10                                   80.00 ± ∞ ¹    80.00 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateZipcode-10                                24.00 ± ∞ ¹    24.00 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformCharacterScramble-10                     40.00 ± ∞ ¹    40.00 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformE164PhoneNumber-10                       40.00 ± ∞ ¹    40.00 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformEmail-10                                 489.0 ± ∞ ¹    489.0 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformFirstName-10                             224.0 ± ∞ ¹    224.0 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformFloat64-10                               88.00 ± ∞ ¹    88.00 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformFullName-10                              418.0 ± ∞ ¹    418.0 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformInt64-10                                 8.000 ± ∞ ¹    8.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformInt64PhoneNumber-10                      8.000 ± ∞ ¹    8.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformLastName-10                              176.0 ± ∞ ¹    176.0 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformString-10                                202.0 ± ∞ ¹    202.0 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformStringPhoneNumber-10                     56.00 ± ∞ ¹    56.00 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformUuid-10                                  16.00 ± ∞ ¹    16.00 ± ∞ ¹       ~ (p=1.000 n=1) ²
geomean                                                     ⁴                 +4.93%               ⁴
¹ need >= 6 samples for confidence interval at level 0.95
² all samples are equal
³ need >= 4 samples to detect a difference at alpha level 0.05
⁴ summaries must be >0 to compute geomean

                                    │ .benchmarks/results.txt │         results-local2.txt          │
                                    │        allocs/op        │  allocs/op   vs base                │
CleanPostgresType-10                              0.000 ± ∞ ¹   0.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateBool-10                                   0.000 ± ∞ ¹   0.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateBusinessName-10                           2.000 ± ∞ ¹   2.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateCardNumber-10                             1.000 ± ∞ ¹   1.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateCategorical-10                            2.000 ± ∞ ¹   2.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateCity-10                                   2.000 ± ∞ ¹   3.000 ± ∞ ¹       ~ (p=1.000 n=1) ³
GenerateCountry-10                                2.000 ± ∞ ¹   2.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateEmail-10                                  8.000 ± ∞ ¹   8.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateFirstName-10                              2.000 ± ∞ ¹   2.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateFloat64-10                                1.000 ± ∞ ¹   1.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateFullAddress-10                            10.00 ± ∞ ¹   16.00 ± ∞ ¹       ~ (p=1.000 n=1) ³
GenerateFullName-10                               6.000 ± ∞ ¹   6.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateGender-10                                 1.000 ± ∞ ¹   1.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateInt64-10                                  0.000 ± ∞ ¹   0.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateInt64PhoneNumber-10                       1.000 ± ∞ ¹   1.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateInternationalPhoneNumber-10               3.000 ± ∞ ¹   3.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateIpAddress-10                              2.000 ± ∞ ¹   2.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateLastName-10                               2.000 ± ∞ ¹   2.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateRandomString-10                           3.000 ± ∞ ¹   3.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateSHA256Hash-10                             7.000 ± ∞ ¹   7.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateSSN-10                                    3.000 ± ∞ ¹   3.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateState-10                                  2.000 ± ∞ ¹   2.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateStreetAddress-10                          2.000 ± ∞ ¹   2.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateStringPhoneNumber-10                      3.000 ± ∞ ¹   3.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateUnixTimestamp-10                          1.000 ± ∞ ¹   1.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateUsername-10                               6.000 ± ∞ ¹   6.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateUTCTimestamp-10                           1.000 ± ∞ ¹   1.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateUUID-10                                   3.000 ± ∞ ¹   3.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateZipcode-10                                2.000 ± ∞ ¹   2.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformCharacterScramble-10                     2.000 ± ∞ ¹   2.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformE164PhoneNumber-10                       3.000 ± ∞ ¹   3.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformEmail-10                                 14.00 ± ∞ ¹   14.00 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformFirstName-10                             3.000 ± ∞ ¹   3.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformFloat64-10                               3.000 ± ∞ ¹   3.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformFullName-10                              6.000 ± ∞ ¹   6.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformInt64-10                                 1.000 ± ∞ ¹   1.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformInt64PhoneNumber-10                      1.000 ± ∞ ¹   1.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformLastName-10                              2.000 ± ∞ ¹   2.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformString-10                                4.000 ± ∞ ¹   4.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformStringPhoneNumber-10                     4.000 ± ∞ ¹   4.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformUuid-10                                  1.000 ± ∞ ¹   1.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
geomean                                                     ⁴                +2.16%               ⁴
¹ need >= 6 samples for confidence interval at level 0.95
² all samples are equal
³ need >= 4 samples to detect a difference at alpha level 0.05
⁴ summaries must be >0 to compute geomean

@alishakawaguchi alishakawaguchi changed the title WIP - Continuous Benchmarking Setup continuous benchmarking Jan 21, 2025
Copy link
Member

@nickzelei nickzelei left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

This is awesome, let's chat more about the PR comment output and how we can make it more meaningful.

I'm guessing the current printout is the total overall benchmark?
Would be great if we could get a tabular rendered view of each function being benchmarked.

@nucleuscloud nucleuscloud deleted a comment from github-actions bot Jan 22, 2025
Copy link

Benchstat Geomean Results

-0.67% sec/op, 0.00% B/op, 0.00% allocs/op

Benchstat results
                                   │ main-benchmark.txt │         branch-benchmark.txt         │
                                   │       sec/op       │    sec/op     vs base                │
CleanPostgresType-4                        42.32n ± ∞ ¹   42.59n ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateCity-4                             177.6n ± ∞ ¹   172.3n ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateEmail-4                            1.364µ ± ∞ ¹   1.369µ ± ∞ ¹       ~ (p=1.000 n=1) ²
Runner_Single-4                                           8.055µ ± ∞ ¹
GenerateBool-4                                            11.75n ± ∞ ¹
GenerateBusinessName-4                                    326.5n ± ∞ ¹
GenerateCardNumber-4                                      28.56n ± ∞ ¹
GenerateCategorical-4                                     102.4n ± ∞ ¹
GenerateCountry-4                                         110.3n ± ∞ ¹
GenerateFirstName-4                                       203.4n ± ∞ ¹
GenerateFloat64-4                                         38.60n ± ∞ ¹
GenerateFullAddress-4                                     1.427µ ± ∞ ¹
GenerateFullName-4                                        1.262µ ± ∞ ¹
GenerateGender-4                                          41.78n ± ∞ ¹
GenerateInt64-4                                           27.84n ± ∞ ¹
GenerateInt64PhoneNumber-4                                51.66n ± ∞ ¹
GenerateInternationalPhoneNumber-4                        176.0n ± ∞ ¹
GenerateIpAddress-4                                       563.7n ± ∞ ¹
GenerateLastName-4                                        189.0n ± ∞ ¹
GenerateRandomString-4                                    981.0n ± ∞ ¹
GenerateSHA256Hash-4                                      1.008µ ± ∞ ¹
GenerateSSN-4                                             301.6n ± ∞ ¹
GenerateState-4                                           104.7n ± ∞ ¹
GenerateStreetAddress-4                                   207.3n ± ∞ ¹
GenerateStringPhoneNumber-4                               173.1n ± ∞ ¹
GenerateUnixTimestamp-4                                   77.00n ± ∞ ¹
GenerateUsername-4                                        358.8n ± ∞ ¹
GenerateUTCTimestamp-4                                    105.1n ± ∞ ¹
GenerateUUID-4                                            735.7n ± ∞ ¹
GenerateZipcode-4                                         105.7n ± ∞ ¹
TransformCharacterScramble-4                              172.6n ± ∞ ¹
TransformE164PhoneNumber-4                                181.5n ± ∞ ¹
TransformEmail-4                                          1.791µ ± ∞ ¹
TransformFirstName-4                                      241.5n ± ∞ ¹
TransformFloat64-4                                        111.5n ± ∞ ¹
TransformFullName-4                                       1.280µ ± ∞ ¹
TransformInt64-4                                          33.23n ± ∞ ¹
TransformInt64PhoneNumber-4                               58.07n ± ∞ ¹
TransformLastName-4                                       195.6n ± ∞ ¹
TransformString-4                                         1.028µ ± ∞ ¹
TransformStringPhoneNumber-4                              204.3n ± ∞ ¹
TransformUuid-4                                           37.75n ± ∞ ¹
geomean                                    217.2n         197.0n        -0.67%
¹ need >= 6 samples for confidence interval at level 0.95
² need >= 4 samples to detect a difference at alpha level 0.05

                                   │ main-benchmark.txt │         branch-benchmark.txt          │
                                   │        B/op        │     B/op       vs base                │
CleanPostgresType-4                         0.000 ± ∞ ¹     0.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateCity-4                              160.0 ± ∞ ¹     160.0 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateEmail-4                             385.0 ± ∞ ¹     385.0 ± ∞ ¹       ~ (p=1.000 n=1) ²
Runner_Single-4                                           2.316Ki ± ∞ ¹
GenerateBool-4                                              0.000 ± ∞ ¹
GenerateBusinessName-4                                      304.0 ± ∞ ¹
GenerateCardNumber-4                                        8.000 ± ∞ ¹
GenerateCategorical-4                                       64.00 ± ∞ ¹
GenerateCountry-4                                           24.00 ± ∞ ¹
GenerateFirstName-4                                         208.0 ± ∞ ¹
GenerateFloat64-4                                           8.000 ± ∞ ¹
GenerateFullAddress-4                                       512.0 ± ∞ ¹
GenerateFullName-4                                          418.0 ± ∞ ¹
GenerateGender-4                                            16.00 ± ∞ ¹
GenerateInt64-4                                             7.000 ± ∞ ¹
GenerateInt64PhoneNumber-4                                  8.000 ± ∞ ¹
GenerateInternationalPhoneNumber-4                          40.00 ± ∞ ¹
GenerateIpAddress-4                                         31.00 ± ∞ ¹
GenerateLastName-4                                          176.0 ± ∞ ¹
GenerateRandomString-4                                      186.0 ± ∞ ¹
GenerateSHA256Hash-4                                        288.0 ± ∞ ¹
GenerateSSN-4                                               46.00 ± ∞ ¹
GenerateState-4                                             24.00 ± ∞ ¹
GenerateStreetAddress-4                                     240.0 ± ∞ ¹
GenerateStringPhoneNumber-4                                 40.00 ± ∞ ¹
GenerateUnixTimestamp-4                                     8.000 ± ∞ ¹
GenerateUsername-4                                          205.0 ± ∞ ¹
GenerateUTCTimestamp-4                                      24.00 ± ∞ ¹
GenerateUUID-4                                              80.00 ± ∞ ¹
GenerateZipcode-4                                           24.00 ± ∞ ¹
TransformCharacterScramble-4                                40.00 ± ∞ ¹
TransformE164PhoneNumber-4                                  40.00 ± ∞ ¹
TransformEmail-4                                            489.0 ± ∞ ¹
TransformFirstName-4                                        224.0 ± ∞ ¹
TransformFloat64-4                                          88.00 ± ∞ ¹
TransformFullName-4                                         418.0 ± ∞ ¹
TransformInt64-4                                            8.000 ± ∞ ¹
TransformInt64PhoneNumber-4                                 8.000 ± ∞ ¹
TransformLastName-4                                         176.0 ± ∞ ¹
TransformString-4                                           202.0 ± ∞ ¹
TransformStringPhoneNumber-4                                56.00 ± ∞ ¹
TransformUuid-4                                             16.00 ± ∞ ¹
geomean                                               ³                  +0.00%               ³
¹ need >= 6 samples for confidence interval at level 0.95
² all samples are equal
³ summaries must be >0 to compute geomean

                                   │ main-benchmark.txt │        branch-benchmark.txt         │
                                   │     allocs/op      │  allocs/op   vs base                │
CleanPostgresType-4                         0.000 ± ∞ ¹   0.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateCity-4                              2.000 ± ∞ ¹   2.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateEmail-4                             8.000 ± ∞ ¹   8.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
Runner_Single-4                                           24.00 ± ∞ ¹
GenerateBool-4                                            0.000 ± ∞ ¹
GenerateBusinessName-4                                    2.000 ± ∞ ¹
GenerateCardNumber-4                                      1.000 ± ∞ ¹
GenerateCategorical-4                                     2.000 ± ∞ ¹
GenerateCountry-4                                         2.000 ± ∞ ¹
GenerateFirstName-4                                       2.000 ± ∞ ¹
GenerateFloat64-4                                         1.000 ± ∞ ¹
GenerateFullAddress-4                                     10.00 ± ∞ ¹
GenerateFullName-4                                        6.000 ± ∞ ¹
GenerateGender-4                                          1.000 ± ∞ ¹
GenerateInt64-4                                           0.000 ± ∞ ¹
GenerateInt64PhoneNumber-4                                1.000 ± ∞ ¹
GenerateInternationalPhoneNumber-4                        3.000 ± ∞ ¹
GenerateIpAddress-4                                       2.000 ± ∞ ¹
GenerateLastName-4                                        2.000 ± ∞ ¹
GenerateRandomString-4                                    3.000 ± ∞ ¹
GenerateSHA256Hash-4                                      7.000 ± ∞ ¹
GenerateSSN-4                                             3.000 ± ∞ ¹
GenerateState-4                                           2.000 ± ∞ ¹
GenerateStreetAddress-4                                   2.000 ± ∞ ¹
GenerateStringPhoneNumber-4                               3.000 ± ∞ ¹
GenerateUnixTimestamp-4                                   1.000 ± ∞ ¹
GenerateUsername-4                                        6.000 ± ∞ ¹
GenerateUTCTimestamp-4                                    1.000 ± ∞ ¹
GenerateUUID-4                                            3.000 ± ∞ ¹
GenerateZipcode-4                                         2.000 ± ∞ ¹
TransformCharacterScramble-4                              2.000 ± ∞ ¹
TransformE164PhoneNumber-4                                3.000 ± ∞ ¹
TransformEmail-4                                          14.00 ± ∞ ¹
TransformFirstName-4                                      3.000 ± ∞ ¹
TransformFloat64-4                                        3.000 ± ∞ ¹
TransformFullName-4                                       6.000 ± ∞ ¹
TransformInt64-4                                          1.000 ± ∞ ¹
TransformInt64PhoneNumber-4                               1.000 ± ∞ ¹
TransformLastName-4                                       2.000 ± ∞ ¹
TransformString-4                                         4.000 ± ∞ ¹
TransformStringPhoneNumber-4                              4.000 ± ∞ ¹
TransformUuid-4                                           1.000 ± ∞ ¹
geomean                                               ³                +0.00%               ³
¹ need >= 6 samples for confidence interval at level 0.95
² all samples are equal
³ summaries must be >0 to compute geomean

@alishakawaguchi alishakawaguchi merged commit cb43f97 into main Jan 22, 2025
12 of 13 checks passed
@alishakawaguchi alishakawaguchi deleted the alisha/transformer-benchmarks branch January 22, 2025 18:10
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
Devex Created by Linear-GitHub Sync
Projects
None yet
Development

Successfully merging this pull request may close these issues.

2 participants