[Perf -7%] System.Text.Json.Tests.Perf_Basic (3)

[DrewScoggins]

Run Information

Architecture	x64
OS	ubuntu 18.04
Changes	diff

Regressions in System.Text.Json.Tests.Perf_Basic

Benchmark	Baseline	Test	Test/Base	Modality	Baseline Outlier	Baseline ETL	Comapre ETL
WriteBasicUtf16	1.70 ms	1.81 ms	1.06		True
WriteBasicUtf16	1.58 ms	1.73 ms	1.10	Bimodal	True
WriteBasicUtf8	1.60 ms	1.70 ms	1.06	Bimodal	True

Historical Data in Reporting System

Repro

git clone https://github.com/dotnet/performance.git
python3 .\performance\scripts\benchmarks_ci.py -f netcoreapp5.0 --filter 'System.Text.Json.Tests.Perf_Basic*'

Details

Histogram

System.Text.Json.Tests.Perf_Basic.WriteBasicUtf16(Formatted: False, SkipValidation: False, DataSize: 100000)

[1676012.495 ; 1724716.090) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[1724716.090 ; 1811955.055) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@

System.Text.Json.Tests.Perf_Basic.WriteBasicUtf16(Formatted: False, SkipValidation: True, DataSize: 100000)

[1570573.834 ; 1609118.439) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[1609118.439 ; 1647663.044) | 
[1647663.044 ; 1684280.570) | 
[1684280.570 ; 1753660.623) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@

System.Text.Json.Tests.Perf_Basic.WriteBasicUtf8(Formatted: False, SkipValidation: True, DataSize: 100000)

[1586210.469 ; 1649979.447) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[1649979.447 ; 1725195.469) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@

Docs

Profiling workflow for dotnet/runtime repository
Benchmarking workflow for dotnet/runtime repository

[DrewScoggins]

These tests seem highly related.

Run Information

Architecture	x64
OS	ubuntu 18.04
Changes	diff

Regressions in System.Text.Json.Tests.Perf_Deep

Benchmark	Baseline	Test	Test/Base	Modality	Baseline Outlier	Baseline ETL	Comapre ETL
WriteDeepUtf8	3.70 ms	4.19 ms	1.13	Bimodal	True
WriteDeepUtf8	3.96 ms	4.50 ms	1.13	Bimodal	True
WriteDeepUtf16	3.76 ms	4.13 ms	1.10	Bimodal	False

Historical Data in Reporting System

Repro

git clone https://github.com/dotnet/performance.git
python3 .\performance\scripts\benchmarks_ci.py -f netcoreapp5.0 --filter 'System.Text.Json.Tests.Perf_Deep*'

Details

Histogram

System.Text.Json.Tests.Perf_Deep.WriteDeepUtf8(Formatted: False, SkipValidation: True)

[3608478.718 ; 3740856.569) | @@@@@@@@@@@@@@@@@@@@@@@
[3740856.569 ; 3935689.937) | @@@@@@@@@@@@@@@
[3935689.937 ; 4091747.846) | @@
[4091747.846 ; 4224125.697) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@

System.Text.Json.Tests.Perf_Deep.WriteDeepUtf8(Formatted: False, SkipValidation: False)

[3877435.393 ; 3975882.737) | @@@@@@
[3975882.737 ; 4101365.441) | @@@@@@@@@@@@@@@@@@@@@
[4101365.441 ; 4228997.869) | @@@@@@@@@@
[4228997.869 ; 4348615.675) | @@
[4348615.675 ; 4474098.379) | @@@@@@@@@@@@@@@@@@@@@@@@@@
[4474098.379 ; 4573076.930) | @@@@@@@@

System.Text.Json.Tests.Perf_Deep.WriteDeepUtf16(Formatted: False, SkipValidation: True)

[3637807.509 ; 3725277.314) | @
[3725277.314 ; 3841047.475) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[3841047.475 ; 3955000.233) | @@@@
[3955000.233 ; 4090024.367) | @@@@
[4090024.367 ; 4205794.527) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@

Docs

Profiling workflow for dotnet/runtime repository
Benchmarking workflow for dotnet/runtime repository

[steveharter]

FWIW a quick git log showed no obvious JSON or encoding changes: git log --after="2020-10-1" --before="2020-10-7" --oneline. The nearest JSON change I saw was 527f9ae