Setup continuous benchmarking

[alishakawaguchi]

Updates generators to create transformer benchmarks
Adds github action for continuous benchmarking

• compares main branch benchmarks to PR branch benchmarks using benchstat
• leaves comment on PR with geomean results

[vercel]

The latest updates on your projects. Learn more about Vercel for Git ↗︎

1 Skipped Deployment

Name	Status	Preview	Comments	Updated (UTC)
neosync-docs	⬜️ Ignored (Inspect)	Visit Preview		Jan 22, 2025 5:52pm

[codecov]

Codecov Report

Attention: Patch coverage is 82.00000% with 9 lines in your changes missing coverage. Please review.

Project coverage is 27.81%. Comparing base (d334d79) to head (118cfac).
Report is 7 commits behind head on main.

Files with missing lines	Patch %	Lines
worker/pkg/benthos/transformers/generator_utils.go	0.00%	9 Missing ⚠️

Additional details and impacted files

@@            Coverage Diff             @@
##             main    #3169      +/-   ##
==========================================
- Coverage   30.37%   27.81%   -2.56%     
==========================================
  Files         374      378       +4     
  Lines       43027    43248     +221     
==========================================
- Hits        13071    12031    -1040     
- Misses      28431    29767    +1336     
+ Partials     1525     1450      -75     

☔ View full report in Codecov by Sentry.
📢 Have feedback on the report? Share it here.

[github-actions]

Benchstat Geomean Results

107.19% sec/op, 4.93% B/op, 2.16% allocs/op

Benchstat results

                                    │ .benchmarks/results.txt │              results-local2.txt               │
                                    │         sec/op          │       sec/op         vs base                  │
CleanPostgresType-10                             28.96n ± ∞ ¹          30.65n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateBool-10                                  13.59n ± ∞ ¹          13.60n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateBusinessName-10                          245.7n ± ∞ ¹          249.2n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateCardNumber-10                            19.98n ± ∞ ¹          20.03n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateCategorical-10                           83.36n ± ∞ ¹          86.31n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateCity-10                                  115.2n ± ∞ ¹   1001348459.0n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateCountry-10                               69.39n ± ∞ ¹          71.87n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateEmail-10                                 652.0n ± ∞ ¹          649.1n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateFirstName-10                             125.5n ± ∞ ¹          131.8n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateFloat64-10                               20.39n ± ∞ ¹          21.07n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateFullAddress-10                           1.066µ ± ∞ ¹    1001290.917µ ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateFullName-10                              999.9n ± ∞ ¹          965.2n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateGender-10                                27.64n ± ∞ ¹          27.54n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateInt64-10                                 20.14n ± ∞ ¹          20.41n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateInt64PhoneNumber-10                      35.41n ± ∞ ¹          35.60n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateInternationalPhoneNumber-10              119.3n ± ∞ ¹          119.1n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateIpAddress-10                             370.8n ± ∞ ¹          363.1n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateLastName-10                              127.8n ± ∞ ¹          134.8n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateRandomString-10                          1.055µ ± ∞ ¹          1.055µ ± ∞ ¹         ~ (p=1.000 n=1) ³
GenerateSHA256Hash-10                            477.3n ± ∞ ¹          473.7n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateSSN-10                                   195.2n ± ∞ ¹          193.5n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateState-10                                 70.14n ± ∞ ¹          70.25n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateStreetAddress-10                         133.8n ± ∞ ¹          134.5n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateStringPhoneNumber-10                     115.4n ± ∞ ¹          115.2n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateUnixTimestamp-10                         63.11n ± ∞ ¹          61.83n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateUsername-10                              260.5n ± ∞ ¹          237.8n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateUTCTimestamp-10                          79.46n ± ∞ ¹          76.54n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateUUID-10                                  361.1n ± ∞ ¹          336.8n ± ∞ ¹         ~ (p=1.000 n=1) ²
GenerateZipcode-10                               70.60n ± ∞ ¹          68.93n ± ∞ ¹         ~ (p=1.000 n=1) ²
TransformCharacterScramble-10                    116.3n ± ∞ ¹          131.1n ± ∞ ¹         ~ (p=1.000 n=1) ²
TransformE164PhoneNumber-10                      122.5n ± ∞ ¹          126.1n ± ∞ ¹         ~ (p=1.000 n=1) ²
TransformEmail-10                                901.8n ± ∞ ¹          894.6n ± ∞ ¹         ~ (p=1.000 n=1) ²
TransformFirstName-10                            151.3n ± ∞ ¹          151.3n ± ∞ ¹         ~ (p=1.000 n=1) ³
TransformFloat64-10                              81.48n ± ∞ ¹          81.87n ± ∞ ¹         ~ (p=1.000 n=1) ²
TransformFullName-10                             925.5n ± ∞ ¹          930.0n ± ∞ ¹         ~ (p=1.000 n=1) ²
TransformInt64-10                                22.96n ± ∞ ¹          22.76n ± ∞ ¹         ~ (p=1.000 n=1) ²
TransformInt64PhoneNumber-10                     37.73n ± ∞ ¹          38.21n ± ∞ ¹         ~ (p=1.000 n=1) ²
TransformLastName-10                             128.3n ± ∞ ¹          130.1n ± ∞ ¹         ~ (p=1.000 n=1) ²
TransformString-10                               1.075µ ± ∞ ¹          1.066µ ± ∞ ¹         ~ (p=1.000 n=1) ²
TransformStringPhoneNumber-10                    134.6n ± ∞ ¹          134.5n ± ∞ ¹         ~ (p=1.000 n=1) ²
TransformUuid-10                                 23.55n ± ∞ ¹          23.54n ± ∞ ¹         ~ (p=1.000 n=1) ²
geomean                                          123.1n                255.1n        +107.19%
¹ need >= 6 samples for confidence interval at level 0.95
² need >= 4 samples to detect a difference at alpha level 0.05
³ all samples are equal

                                    │ .benchmarks/results.txt │          results-local2.txt          │
                                    │          B/op           │     B/op      vs base                │
CleanPostgresType-10                              0.000 ± ∞ ¹    0.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateBool-10                                   0.000 ± ∞ ¹    0.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateBusinessName-10                           304.0 ± ∞ ¹    304.0 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateCardNumber-10                             8.000 ± ∞ ¹    8.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateCategorical-10                            64.00 ± ∞ ¹    64.00 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateCity-10                                   160.0 ± ∞ ¹    256.0 ± ∞ ¹       ~ (p=1.000 n=1) ³
GenerateCountry-10                                24.00 ± ∞ ¹    24.00 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateEmail-10                                  385.0 ± ∞ ¹    385.0 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateFirstName-10                              208.0 ± ∞ ¹    208.0 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateFloat64-10                                8.000 ± ∞ ¹    8.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateFullAddress-10                            512.0 ± ∞ ¹   2304.0 ± ∞ ¹       ~ (p=1.000 n=1) ³
GenerateFullName-10                               418.0 ± ∞ ¹    418.0 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateGender-10                                 16.00 ± ∞ ¹    16.00 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateInt64-10                                  7.000 ± ∞ ¹    7.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateInt64PhoneNumber-10                       8.000 ± ∞ ¹    8.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateInternationalPhoneNumber-10               40.00 ± ∞ ¹    40.00 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateIpAddress-10                              31.00 ± ∞ ¹    31.00 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateLastName-10                               176.0 ± ∞ ¹    176.0 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateRandomString-10                           186.0 ± ∞ ¹    186.0 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateSHA256Hash-10                             288.0 ± ∞ ¹    288.0 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateSSN-10                                    46.00 ± ∞ ¹    46.00 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateState-10                                  24.00 ± ∞ ¹    24.00 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateStreetAddress-10                          240.0 ± ∞ ¹    240.0 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateStringPhoneNumber-10                      40.00 ± ∞ ¹    40.00 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateUnixTimestamp-10                          8.000 ± ∞ ¹    8.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateUsername-10                               205.0 ± ∞ ¹    205.0 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateUTCTimestamp-10                           24.00 ± ∞ ¹    24.00 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateUUID-10                                   80.00 ± ∞ ¹    80.00 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateZipcode-10                                24.00 ± ∞ ¹    24.00 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformCharacterScramble-10                     40.00 ± ∞ ¹    40.00 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformE164PhoneNumber-10                       40.00 ± ∞ ¹    40.00 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformEmail-10                                 489.0 ± ∞ ¹    489.0 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformFirstName-10                             224.0 ± ∞ ¹    224.0 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformFloat64-10                               88.00 ± ∞ ¹    88.00 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformFullName-10                              418.0 ± ∞ ¹    418.0 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformInt64-10                                 8.000 ± ∞ ¹    8.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformInt64PhoneNumber-10                      8.000 ± ∞ ¹    8.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformLastName-10                              176.0 ± ∞ ¹    176.0 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformString-10                                202.0 ± ∞ ¹    202.0 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformStringPhoneNumber-10                     56.00 ± ∞ ¹    56.00 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformUuid-10                                  16.00 ± ∞ ¹    16.00 ± ∞ ¹       ~ (p=1.000 n=1) ²
geomean                                                     ⁴                 +4.93%               ⁴
¹ need >= 6 samples for confidence interval at level 0.95
² all samples are equal
³ need >= 4 samples to detect a difference at alpha level 0.05
⁴ summaries must be >0 to compute geomean

                                    │ .benchmarks/results.txt │         results-local2.txt          │
                                    │        allocs/op        │  allocs/op   vs base                │
CleanPostgresType-10                              0.000 ± ∞ ¹   0.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateBool-10                                   0.000 ± ∞ ¹   0.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateBusinessName-10                           2.000 ± ∞ ¹   2.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateCardNumber-10                             1.000 ± ∞ ¹   1.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateCategorical-10                            2.000 ± ∞ ¹   2.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateCity-10                                   2.000 ± ∞ ¹   3.000 ± ∞ ¹       ~ (p=1.000 n=1) ³
GenerateCountry-10                                2.000 ± ∞ ¹   2.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateEmail-10                                  8.000 ± ∞ ¹   8.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateFirstName-10                              2.000 ± ∞ ¹   2.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateFloat64-10                                1.000 ± ∞ ¹   1.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateFullAddress-10                            10.00 ± ∞ ¹   16.00 ± ∞ ¹       ~ (p=1.000 n=1) ³
GenerateFullName-10                               6.000 ± ∞ ¹   6.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateGender-10                                 1.000 ± ∞ ¹   1.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateInt64-10                                  0.000 ± ∞ ¹   0.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateInt64PhoneNumber-10                       1.000 ± ∞ ¹   1.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateInternationalPhoneNumber-10               3.000 ± ∞ ¹   3.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateIpAddress-10                              2.000 ± ∞ ¹   2.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateLastName-10                               2.000 ± ∞ ¹   2.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateRandomString-10                           3.000 ± ∞ ¹   3.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateSHA256Hash-10                             7.000 ± ∞ ¹   7.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateSSN-10                                    3.000 ± ∞ ¹   3.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateState-10                                  2.000 ± ∞ ¹   2.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateStreetAddress-10                          2.000 ± ∞ ¹   2.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateStringPhoneNumber-10                      3.000 ± ∞ ¹   3.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateUnixTimestamp-10                          1.000 ± ∞ ¹   1.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateUsername-10                               6.000 ± ∞ ¹   6.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateUTCTimestamp-10                           1.000 ± ∞ ¹   1.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateUUID-10                                   3.000 ± ∞ ¹   3.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateZipcode-10                                2.000 ± ∞ ¹   2.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformCharacterScramble-10                     2.000 ± ∞ ¹   2.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformE164PhoneNumber-10                       3.000 ± ∞ ¹   3.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformEmail-10                                 14.00 ± ∞ ¹   14.00 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformFirstName-10                             3.000 ± ∞ ¹   3.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformFloat64-10                               3.000 ± ∞ ¹   3.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformFullName-10                              6.000 ± ∞ ¹   6.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformInt64-10                                 1.000 ± ∞ ¹   1.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformInt64PhoneNumber-10                      1.000 ± ∞ ¹   1.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformLastName-10                              2.000 ± ∞ ¹   2.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformString-10                                4.000 ± ∞ ¹   4.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformStringPhoneNumber-10                     4.000 ± ∞ ¹   4.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
TransformUuid-10                                  1.000 ± ∞ ¹   1.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
geomean                                                     ⁴                +2.16%               ⁴
¹ need >= 6 samples for confidence interval at level 0.95
² all samples are equal
³ need >= 4 samples to detect a difference at alpha level 0.05
⁴ summaries must be >0 to compute geomean

[nickzelei]

This is awesome, let's chat more about the PR comment output and how we can make it more meaningful.

I'm guessing the current printout is the total overall benchmark?
Would be great if we could get a tabular rendered view of each function being benchmarked.

[github-actions]

Benchstat Geomean Results

-0.67% sec/op, 0.00% B/op, 0.00% allocs/op

Benchstat results

                                   │ main-benchmark.txt │         branch-benchmark.txt         │
                                   │       sec/op       │    sec/op     vs base                │
CleanPostgresType-4                        42.32n ± ∞ ¹   42.59n ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateCity-4                             177.6n ± ∞ ¹   172.3n ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateEmail-4                            1.364µ ± ∞ ¹   1.369µ ± ∞ ¹       ~ (p=1.000 n=1) ²
Runner_Single-4                                           8.055µ ± ∞ ¹
GenerateBool-4                                            11.75n ± ∞ ¹
GenerateBusinessName-4                                    326.5n ± ∞ ¹
GenerateCardNumber-4                                      28.56n ± ∞ ¹
GenerateCategorical-4                                     102.4n ± ∞ ¹
GenerateCountry-4                                         110.3n ± ∞ ¹
GenerateFirstName-4                                       203.4n ± ∞ ¹
GenerateFloat64-4                                         38.60n ± ∞ ¹
GenerateFullAddress-4                                     1.427µ ± ∞ ¹
GenerateFullName-4                                        1.262µ ± ∞ ¹
GenerateGender-4                                          41.78n ± ∞ ¹
GenerateInt64-4                                           27.84n ± ∞ ¹
GenerateInt64PhoneNumber-4                                51.66n ± ∞ ¹
GenerateInternationalPhoneNumber-4                        176.0n ± ∞ ¹
GenerateIpAddress-4                                       563.7n ± ∞ ¹
GenerateLastName-4                                        189.0n ± ∞ ¹
GenerateRandomString-4                                    981.0n ± ∞ ¹
GenerateSHA256Hash-4                                      1.008µ ± ∞ ¹
GenerateSSN-4                                             301.6n ± ∞ ¹
GenerateState-4                                           104.7n ± ∞ ¹
GenerateStreetAddress-4                                   207.3n ± ∞ ¹
GenerateStringPhoneNumber-4                               173.1n ± ∞ ¹
GenerateUnixTimestamp-4                                   77.00n ± ∞ ¹
GenerateUsername-4                                        358.8n ± ∞ ¹
GenerateUTCTimestamp-4                                    105.1n ± ∞ ¹
GenerateUUID-4                                            735.7n ± ∞ ¹
GenerateZipcode-4                                         105.7n ± ∞ ¹
TransformCharacterScramble-4                              172.6n ± ∞ ¹
TransformE164PhoneNumber-4                                181.5n ± ∞ ¹
TransformEmail-4                                          1.791µ ± ∞ ¹
TransformFirstName-4                                      241.5n ± ∞ ¹
TransformFloat64-4                                        111.5n ± ∞ ¹
TransformFullName-4                                       1.280µ ± ∞ ¹
TransformInt64-4                                          33.23n ± ∞ ¹
TransformInt64PhoneNumber-4                               58.07n ± ∞ ¹
TransformLastName-4                                       195.6n ± ∞ ¹
TransformString-4                                         1.028µ ± ∞ ¹
TransformStringPhoneNumber-4                              204.3n ± ∞ ¹
TransformUuid-4                                           37.75n ± ∞ ¹
geomean                                    217.2n         197.0n        -0.67%
¹ need >= 6 samples for confidence interval at level 0.95
² need >= 4 samples to detect a difference at alpha level 0.05

                                   │ main-benchmark.txt │         branch-benchmark.txt          │
                                   │        B/op        │     B/op       vs base                │
CleanPostgresType-4                         0.000 ± ∞ ¹     0.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateCity-4                              160.0 ± ∞ ¹     160.0 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateEmail-4                             385.0 ± ∞ ¹     385.0 ± ∞ ¹       ~ (p=1.000 n=1) ²
Runner_Single-4                                           2.316Ki ± ∞ ¹
GenerateBool-4                                              0.000 ± ∞ ¹
GenerateBusinessName-4                                      304.0 ± ∞ ¹
GenerateCardNumber-4                                        8.000 ± ∞ ¹
GenerateCategorical-4                                       64.00 ± ∞ ¹
GenerateCountry-4                                           24.00 ± ∞ ¹
GenerateFirstName-4                                         208.0 ± ∞ ¹
GenerateFloat64-4                                           8.000 ± ∞ ¹
GenerateFullAddress-4                                       512.0 ± ∞ ¹
GenerateFullName-4                                          418.0 ± ∞ ¹
GenerateGender-4                                            16.00 ± ∞ ¹
GenerateInt64-4                                             7.000 ± ∞ ¹
GenerateInt64PhoneNumber-4                                  8.000 ± ∞ ¹
GenerateInternationalPhoneNumber-4                          40.00 ± ∞ ¹
GenerateIpAddress-4                                         31.00 ± ∞ ¹
GenerateLastName-4                                          176.0 ± ∞ ¹
GenerateRandomString-4                                      186.0 ± ∞ ¹
GenerateSHA256Hash-4                                        288.0 ± ∞ ¹
GenerateSSN-4                                               46.00 ± ∞ ¹
GenerateState-4                                             24.00 ± ∞ ¹
GenerateStreetAddress-4                                     240.0 ± ∞ ¹
GenerateStringPhoneNumber-4                                 40.00 ± ∞ ¹
GenerateUnixTimestamp-4                                     8.000 ± ∞ ¹
GenerateUsername-4                                          205.0 ± ∞ ¹
GenerateUTCTimestamp-4                                      24.00 ± ∞ ¹
GenerateUUID-4                                              80.00 ± ∞ ¹
GenerateZipcode-4                                           24.00 ± ∞ ¹
TransformCharacterScramble-4                                40.00 ± ∞ ¹
TransformE164PhoneNumber-4                                  40.00 ± ∞ ¹
TransformEmail-4                                            489.0 ± ∞ ¹
TransformFirstName-4                                        224.0 ± ∞ ¹
TransformFloat64-4                                          88.00 ± ∞ ¹
TransformFullName-4                                         418.0 ± ∞ ¹
TransformInt64-4                                            8.000 ± ∞ ¹
TransformInt64PhoneNumber-4                                 8.000 ± ∞ ¹
TransformLastName-4                                         176.0 ± ∞ ¹
TransformString-4                                           202.0 ± ∞ ¹
TransformStringPhoneNumber-4                                56.00 ± ∞ ¹
TransformUuid-4                                             16.00 ± ∞ ¹
geomean                                               ³                  +0.00%               ³
¹ need >= 6 samples for confidence interval at level 0.95
² all samples are equal
³ summaries must be >0 to compute geomean

                                   │ main-benchmark.txt │        branch-benchmark.txt         │
                                   │     allocs/op      │  allocs/op   vs base                │
CleanPostgresType-4                         0.000 ± ∞ ¹   0.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateCity-4                              2.000 ± ∞ ¹   2.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
GenerateEmail-4                             8.000 ± ∞ ¹   8.000 ± ∞ ¹       ~ (p=1.000 n=1) ²
Runner_Single-4                                           24.00 ± ∞ ¹
GenerateBool-4                                            0.000 ± ∞ ¹
GenerateBusinessName-4                                    2.000 ± ∞ ¹
GenerateCardNumber-4                                      1.000 ± ∞ ¹
GenerateCategorical-4                                     2.000 ± ∞ ¹
GenerateCountry-4                                         2.000 ± ∞ ¹
GenerateFirstName-4                                       2.000 ± ∞ ¹
GenerateFloat64-4                                         1.000 ± ∞ ¹
GenerateFullAddress-4                                     10.00 ± ∞ ¹
GenerateFullName-4                                        6.000 ± ∞ ¹
GenerateGender-4                                          1.000 ± ∞ ¹
GenerateInt64-4                                           0.000 ± ∞ ¹
GenerateInt64PhoneNumber-4                                1.000 ± ∞ ¹
GenerateInternationalPhoneNumber-4                        3.000 ± ∞ ¹
GenerateIpAddress-4                                       2.000 ± ∞ ¹
GenerateLastName-4                                        2.000 ± ∞ ¹
GenerateRandomString-4                                    3.000 ± ∞ ¹
GenerateSHA256Hash-4                                      7.000 ± ∞ ¹
GenerateSSN-4                                             3.000 ± ∞ ¹
GenerateState-4                                           2.000 ± ∞ ¹
GenerateStreetAddress-4                                   2.000 ± ∞ ¹
GenerateStringPhoneNumber-4                               3.000 ± ∞ ¹
GenerateUnixTimestamp-4                                   1.000 ± ∞ ¹
GenerateUsername-4                                        6.000 ± ∞ ¹
GenerateUTCTimestamp-4                                    1.000 ± ∞ ¹
GenerateUUID-4                                            3.000 ± ∞ ¹
GenerateZipcode-4                                         2.000 ± ∞ ¹
TransformCharacterScramble-4                              2.000 ± ∞ ¹
TransformE164PhoneNumber-4                                3.000 ± ∞ ¹
TransformEmail-4                                          14.00 ± ∞ ¹
TransformFirstName-4                                      3.000 ± ∞ ¹
TransformFloat64-4                                        3.000 ± ∞ ¹
TransformFullName-4                                       6.000 ± ∞ ¹
TransformInt64-4                                          1.000 ± ∞ ¹
TransformInt64PhoneNumber-4                               1.000 ± ∞ ¹
TransformLastName-4                                       2.000 ± ∞ ¹
TransformString-4                                         4.000 ± ∞ ¹
TransformStringPhoneNumber-4                              4.000 ± ∞ ¹
TransformUuid-4                                           1.000 ± ∞ ¹
geomean                                               ³                +0.00%               ³
¹ need >= 6 samples for confidence interval at level 0.95
² all samples are equal
³ summaries must be >0 to compute geomean