diff --git "a/wandb/run-20220303_062125-20v3572q/files/wandb-summary.json" "b/wandb/run-20220303_062125-20v3572q/files/wandb-summary.json"
--- "a/wandb/run-20220303_062125-20v3572q/files/wandb-summary.json"
+++ "b/wandb/run-20220303_062125-20v3572q/files/wandb-summary.json"
@@ -1 +1 @@
-{"train/loss": 6.3299, "train/learning_rate": 1.7341040462427744e-07, "train/epoch": 5.0, "train/global_step": 4460, "_runtime": 29094, "_timestamp": 1646317579, "_step": 4462, "gradients/decoder.cls.predictions.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 7.0, 2.0, 2.0, 3.0, 0.0, 3.0, 63.0, 50.0, 10.0, 10.0, 6.0, 5.0, 5.0, 0.0, 30189.0, 92.0, 30.0, 12.0, 5.0, 4.0, 2.0, 2.0, 6.0, 1.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-147.75, -143.8642578125, -139.978515625, -136.0927734375, -132.20703125, -128.3212890625, -124.435546875, -120.5498046875, -116.6640625, -112.7783203125, -108.892578125, -105.0068359375, -101.12109375, -97.2353515625, -93.349609375, -89.4638671875, -85.578125, -81.6923828125, -77.806640625, -73.9208984375, -70.03515625, -66.1494140625, -62.263671875, -58.3779296875, -54.4921875, -50.6064453125, -46.720703125, -42.8349609375, -38.94921875, -35.0634765625, -31.177734375, -27.2919921875, -23.40625, -19.5205078125, -15.634765625, -11.7490234375, -7.86328125, -3.9775390625, -0.091796875, 3.7939453125, 7.6796875, 11.5654296875, 15.451171875, 19.3369140625, 23.22265625, 27.1083984375, 30.994140625, 34.8798828125, 38.765625, 42.6513671875, 46.537109375, 50.4228515625, 54.30859375, 58.1943359375, 62.080078125, 65.9658203125, 69.8515625, 73.7373046875, 77.623046875, 81.5087890625, 85.39453125, 89.2802734375, 93.166015625, 97.0517578125, 100.9375]}, "gradients/decoder.cls.predictions.transform.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 5.0, 25.0, 891.0, 88.0, 2.0, 3.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-164.79515075683594, -157.496337890625, -150.19752502441406, -142.89871215820312, -135.59991455078125, -128.30108642578125, -121.00228881835938, -113.70347595214844, -106.4046630859375, -99.10585021972656, -91.80703735351562, -84.50823211669922, -77.20941925048828, -69.91060638427734, -62.61179733276367, -55.31298828125, -48.01417541503906, -40.715362548828125, -33.41655349731445, -26.11774253845215, -18.818931579589844, -11.520118713378906, -4.221309661865234, 3.0774993896484375, 10.376312255859375, 17.67512321472168, 24.973934173583984, 32.272743225097656, 39.571556091308594, 46.87036895751953, 54.1691780090332, 61.467987060546875, 68.76681518554688, 76.06562805175781, 83.36444091796875, 90.66324615478516, 97.9620590209961, 105.26087188720703, 112.55967712402344, 119.85848999023438, 127.15730285644531, 134.45611572265625, 141.7549285888672, 149.05374145507812, 156.3525390625, 163.6513671875, 170.95016479492188, 178.2489776611328, 185.54779052734375, 192.8466033935547, 200.14541625976562, 207.44422912597656, 214.7430419921875, 222.04183959960938, 229.3406524658203, 236.63946533203125, 243.9382781982422, 251.23709106445312, 258.535888671875, 265.834716796875, 273.1335144042969, 280.4323425292969, 287.73114013671875, 295.02996826171875, 302.3287658691406]}, "gradients/decoder.cls.predictions.transform.LayerNorm.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 1.0, 1.0, 5.0, 1.0, 7.0, 6.0, 4.0, 5.0, 10.0, 13.0, 10.0, 15.0, 21.0, 11.0, 19.0, 21.0, 21.0, 20.0, 19.0, 32.0, 30.0, 27.0, 27.0, 32.0, 33.0, 39.0, 38.0, 37.0, 40.0, 47.0, 31.0, 34.0, 30.0, 24.0, 31.0, 26.0, 26.0, 19.0, 27.0, 26.0, 22.0, 17.0, 15.0, 17.0, 10.0, 11.0, 10.0, 5.0, 12.0, 5.0, 5.0, 6.0, 8.0, 3.0, 3.0, 1.0, 2.0, 0.0, 0.0, 0.0, 3.0], "bins": [-26.483293533325195, -25.644893646240234, -24.80649185180664, -23.96809196472168, -23.12969207763672, -22.291290283203125, -21.452890396118164, -20.614490509033203, -19.77608871459961, -18.93768882751465, -18.099287033081055, -17.260887145996094, -16.422487258911133, -15.584086418151855, -14.745685577392578, -13.907285690307617, -13.068885803222656, -12.230484962463379, -11.392085075378418, -10.55368423461914, -9.71528434753418, -8.876883506774902, -8.038482666015625, -7.200082302093506, -6.361681938171387, -5.523281574249268, -4.684881210327148, -3.846480369567871, -3.008080005645752, -2.169679641723633, -1.3312788009643555, -0.49287843704223633, 0.34552001953125, 1.1839205026626587, 2.0223209857940674, 2.8607215881347656, 3.6991219520568848, 4.537522315979004, 5.375923156738281, 6.2143235206604, 7.0527238845825195, 7.891124248504639, 8.729524612426758, 9.567925453186035, 10.406326293945312, 11.244726181030273, 12.08312702178955, 12.921527862548828, 13.759927749633789, 14.598328590393066, 15.436728477478027, 16.275129318237305, 17.113529205322266, 17.95193099975586, 18.79033088684082, 19.62873077392578, 20.467132568359375, 21.305532455444336, 22.14393424987793, 22.98233413696289, 23.82073402404785, 24.659133911132812, 25.497535705566406, 26.335935592651367, 27.174335479736328]}, "gradients/decoder.cls.predictions.transform.dense.weight": {"_type": "histogram", "values": [2.0, 6.0, 2.0, 7.0, 5.0, 9.0, 17.0, 25.0, 35.0, 48.0, 60.0, 83.0, 127.0, 156.0, 241.0, 282.0, 378.0, 508.0, 762.0, 1038.0, 1293.0, 1679.0, 2204.0, 2940.0, 4063.0, 5500.0, 7760.0, 11095.0, 17096.0, 28591.0, 71575.0, 728615.0, 74624.0, 29545.0, 17317.0, 11287.0, 7870.0, 5625.0, 4136.0, 3044.0, 2335.0, 1713.0, 1272.0, 915.0, 784.0, 510.0, 414.0, 270.0, 194.0, 154.0, 118.0, 77.0, 56.0, 32.0, 26.0, 21.0, 13.0, 7.0, 6.0, 4.0, 2.0, 2.0, 0.0, 1.0], "bins": [-19.296875, -18.6845703125, -18.072265625, -17.4599609375, -16.84765625, -16.2353515625, -15.623046875, -15.0107421875, -14.3984375, -13.7861328125, -13.173828125, -12.5615234375, -11.94921875, -11.3369140625, -10.724609375, -10.1123046875, -9.5, -8.8876953125, -8.275390625, -7.6630859375, -7.05078125, -6.4384765625, -5.826171875, -5.2138671875, -4.6015625, -3.9892578125, -3.376953125, -2.7646484375, -2.15234375, -1.5400390625, -0.927734375, -0.3154296875, 0.296875, 0.9091796875, 1.521484375, 2.1337890625, 2.74609375, 3.3583984375, 3.970703125, 4.5830078125, 5.1953125, 5.8076171875, 6.419921875, 7.0322265625, 7.64453125, 8.2568359375, 8.869140625, 9.4814453125, 10.09375, 10.7060546875, 11.318359375, 11.9306640625, 12.54296875, 13.1552734375, 13.767578125, 14.3798828125, 14.9921875, 15.6044921875, 16.216796875, 16.8291015625, 17.44140625, 18.0537109375, 18.666015625, 19.2783203125, 19.890625]}, "gradients/decoder.cls.predictions.transform.dense.bias": {"_type": "histogram", "values": [1.0, 1.0, 3.0, 1.0, 1.0, 1.0, 1.0, 3.0, 5.0, 5.0, 4.0, 6.0, 5.0, 5.0, 4.0, 6.0, 7.0, 6.0, 11.0, 7.0, 11.0, 7.0, 14.0, 8.0, 15.0, 22.0, 35.0, 93.0, 411.0, 118.0, 33.0, 22.0, 11.0, 9.0, 10.0, 7.0, 11.0, 9.0, 10.0, 11.0, 13.0, 4.0, 7.0, 12.0, 3.0, 1.0, 6.0, 2.0, 5.0, 3.0, 4.0, 1.0, 2.0, 2.0, 0.0, 3.0, 2.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-5.25, -5.06671142578125, -4.8834228515625, -4.70013427734375, -4.516845703125, -4.33355712890625, -4.1502685546875, -3.96697998046875, -3.78369140625, -3.60040283203125, -3.4171142578125, -3.23382568359375, -3.050537109375, -2.86724853515625, -2.6839599609375, -2.50067138671875, -2.3173828125, -2.13409423828125, -1.9508056640625, -1.76751708984375, -1.584228515625, -1.40093994140625, -1.2176513671875, -1.03436279296875, -0.85107421875, -0.66778564453125, -0.4844970703125, -0.30120849609375, -0.117919921875, 0.06536865234375, 0.2486572265625, 0.43194580078125, 0.615234375, 0.79852294921875, 0.9818115234375, 1.16510009765625, 1.348388671875, 1.53167724609375, 1.7149658203125, 1.89825439453125, 2.08154296875, 2.26483154296875, 2.4481201171875, 2.63140869140625, 2.814697265625, 2.99798583984375, 3.1812744140625, 3.36456298828125, 3.5478515625, 3.73114013671875, 3.9144287109375, 4.09771728515625, 4.281005859375, 4.46429443359375, 4.6475830078125, 4.83087158203125, 5.01416015625, 5.19744873046875, 5.3807373046875, 5.56402587890625, 5.747314453125, 5.93060302734375, 6.1138916015625, 6.29718017578125, 6.48046875]}, "gradients/decoder.bert.encoder.layer.23.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 1.0, 3.0, 0.0, 3.0, 4.0, 3.0, 7.0, 9.0, 7.0, 15.0, 14.0, 12.0, 24.0, 38.0, 47.0, 54.0, 91.0, 164.0, 198.0, 92.0, 43.0, 38.0, 28.0, 24.0, 12.0, 15.0, 12.0, 14.0, 6.0, 5.0, 4.0, 4.0, 10.0, 1.0, 1.0, 4.0, 3.0, 0.0, 3.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-4.917340278625488, -4.77283239364624, -4.628324031829834, -4.483816146850586, -4.339308261871338, -4.19480037689209, -4.050292015075684, -3.9057841300964355, -3.7612762451171875, -3.6167681217193604, -3.4722602367401123, -3.327752113342285, -3.183244228363037, -3.03873610496521, -2.894227981567383, -2.7497200965881348, -2.6052119731903076, -2.4607038497924805, -2.3161959648132324, -2.1716878414154053, -2.0271799564361572, -1.88267183303833, -1.7381638288497925, -1.5936558246612549, -1.4491478204727173, -1.3046398162841797, -1.160131812095642, -1.0156238079071045, -0.8711157441139221, -0.7266077399253845, -0.5820996761322021, -0.43759167194366455, -0.29308366775512695, -0.14857564866542816, -0.00406762957572937, 0.14044040441513062, 0.2849484086036682, 0.4294564127922058, 0.5739644765853882, 0.7184724807739258, 0.8629804849624634, 1.007488489151001, 1.1519964933395386, 1.2965044975280762, 1.4410126209259033, 1.5855205059051514, 1.7300286293029785, 1.8745366334915161, 2.0190446376800537, 2.163552761077881, 2.308060646057129, 2.452568769454956, 2.597076654434204, 2.7415847778320312, 2.8860926628112793, 3.0306007862091064, 3.1751089096069336, 3.3196170330047607, 3.464124917984009, 3.608633041381836, 3.753140926361084, 3.897649049758911, 4.042157173156738, 4.186665058135986, 4.331172943115234]}, "gradients/decoder.bert.encoder.layer.23.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 2.0, 1.0, 5.0, 0.0, 6.0, 3.0, 9.0, 8.0, 8.0, 10.0, 11.0, 17.0, 19.0, 21.0, 27.0, 25.0, 28.0, 31.0, 39.0, 43.0, 36.0, 44.0, 43.0, 44.0, 34.0, 34.0, 35.0, 39.0, 35.0, 34.0, 39.0, 28.0, 24.0, 27.0, 24.0, 28.0, 25.0, 10.0, 20.0, 19.0, 12.0, 15.0, 14.0, 9.0, 6.0, 3.0, 5.0, 2.0, 3.0, 4.0, 2.0, 5.0, 2.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0], "bins": [-2.3368263244628906, -2.2582285404205322, -2.179630756378174, -2.1010329723358154, -2.022435188293457, -1.9438374042510986, -1.8652397394180298, -1.7866419553756714, -1.708044171333313, -1.6294463872909546, -1.5508486032485962, -1.4722508192062378, -1.393653154373169, -1.3150553703308105, -1.2364575862884521, -1.1578598022460938, -1.0792620182037354, -1.000664234161377, -0.9220664501190186, -0.8434687256813049, -0.7648709416389465, -0.6862731575965881, -0.6076754331588745, -0.5290776491165161, -0.4504798650741577, -0.3718820810317993, -0.2932843267917633, -0.2146865576505661, -0.1360887885093689, -0.0574910044670105, 0.021106749773025513, 0.09970450401306152, 0.17830228805541992, 0.2569000720977783, 0.33549782633781433, 0.41409558057785034, 0.49269336462020874, 0.5712911486625671, 0.6498888731002808, 0.7284866571426392, 0.8070844411849976, 0.885682225227356, 0.9642800092697144, 1.0428777933120728, 1.1214754581451416, 1.2000732421875, 1.2786710262298584, 1.3572688102722168, 1.4358665943145752, 1.5144643783569336, 1.593062162399292, 1.6716599464416504, 1.7502577304840088, 1.8288555145263672, 1.907453179359436, 1.9860509634017944, 2.0646486282348633, 2.1432464122772217, 2.22184419631958, 2.3004419803619385, 2.379039764404297, 2.4576375484466553, 2.5362353324890137, 2.614832878112793, 2.6934309005737305]}, "gradients/decoder.bert.encoder.layer.23.output.dense.weight": {"_type": "histogram", "values": [1.0, 2.0, 1.0, 4.0, 1.0, 14.0, 3.0, 9.0, 19.0, 32.0, 30.0, 45.0, 77.0, 120.0, 176.0, 276.0, 403.0, 594.0, 842.0, 1403.0, 1965.0, 2899.0, 4592.0, 6979.0, 10700.0, 16258.0, 26009.0, 41913.0, 69715.0, 179545.0, 3519516.0, 129494.0, 60447.0, 37977.0, 25465.0, 17498.0, 11893.0, 8362.0, 5786.0, 4002.0, 2701.0, 1961.0, 1351.0, 943.0, 643.0, 459.0, 366.0, 243.0, 185.0, 115.0, 76.0, 58.0, 33.0, 20.0, 26.0, 17.0, 6.0, 9.0, 8.0, 10.0, 3.0, 1.0, 1.0, 2.0], "bins": [-1.666015625, -1.6113433837890625, -1.556671142578125, -1.5019989013671875, -1.44732666015625, -1.3926544189453125, -1.337982177734375, -1.2833099365234375, -1.2286376953125, -1.1739654541015625, -1.119293212890625, -1.0646209716796875, -1.00994873046875, -0.9552764892578125, -0.900604248046875, -0.8459320068359375, -0.791259765625, -0.7365875244140625, -0.681915283203125, -0.6272430419921875, -0.57257080078125, -0.5178985595703125, -0.463226318359375, -0.4085540771484375, -0.3538818359375, -0.2992095947265625, -0.244537353515625, -0.1898651123046875, -0.13519287109375, -0.0805206298828125, -0.025848388671875, 0.0288238525390625, 0.08349609375, 0.1381683349609375, 0.192840576171875, 0.2475128173828125, 0.30218505859375, 0.3568572998046875, 0.411529541015625, 0.4662017822265625, 0.5208740234375, 0.5755462646484375, 0.630218505859375, 0.6848907470703125, 0.73956298828125, 0.7942352294921875, 0.848907470703125, 0.9035797119140625, 0.958251953125, 1.0129241943359375, 1.067596435546875, 1.1222686767578125, 1.17694091796875, 1.2316131591796875, 1.286285400390625, 1.3409576416015625, 1.3956298828125, 1.4503021240234375, 1.504974365234375, 1.5596466064453125, 1.61431884765625, 1.6689910888671875, 1.723663330078125, 1.7783355712890625, 1.8330078125]}, "gradients/decoder.bert.encoder.layer.23.output.dense.bias": {"_type": "histogram", "values": [1.0, 2.0, 1.0, 0.0, 2.0, 2.0, 3.0, 4.0, 4.0, 2.0, 4.0, 8.0, 4.0, 14.0, 6.0, 14.0, 12.0, 24.0, 20.0, 23.0, 18.0, 32.0, 34.0, 40.0, 38.0, 37.0, 35.0, 43.0, 30.0, 39.0, 33.0, 40.0, 48.0, 33.0, 33.0, 27.0, 33.0, 24.0, 25.0, 29.0, 20.0, 21.0, 18.0, 15.0, 24.0, 19.0, 10.0, 12.0, 13.0, 8.0, 8.0, 7.0, 2.0, 3.0, 2.0, 5.0, 1.0, 2.0, 3.0, 4.0, 1.0, 2.0, 0.0, 3.0], "bins": [-0.2115478515625, -0.20465087890625, -0.19775390625, -0.19085693359375, -0.1839599609375, -0.17706298828125, -0.170166015625, -0.16326904296875, -0.1563720703125, -0.14947509765625, -0.142578125, -0.13568115234375, -0.1287841796875, -0.12188720703125, -0.114990234375, -0.10809326171875, -0.1011962890625, -0.09429931640625, -0.08740234375, -0.08050537109375, -0.0736083984375, -0.06671142578125, -0.059814453125, -0.05291748046875, -0.0460205078125, -0.03912353515625, -0.0322265625, -0.02532958984375, -0.0184326171875, -0.01153564453125, -0.004638671875, 0.00225830078125, 0.0091552734375, 0.01605224609375, 0.02294921875, 0.02984619140625, 0.0367431640625, 0.04364013671875, 0.050537109375, 0.05743408203125, 0.0643310546875, 0.07122802734375, 0.078125, 0.08502197265625, 0.0919189453125, 0.09881591796875, 0.105712890625, 0.11260986328125, 0.1195068359375, 0.12640380859375, 0.13330078125, 0.14019775390625, 0.1470947265625, 0.15399169921875, 0.160888671875, 0.16778564453125, 0.1746826171875, 0.18157958984375, 0.1884765625, 0.19537353515625, 0.2022705078125, 0.20916748046875, 0.216064453125, 0.22296142578125, 0.2298583984375]}, "gradients/decoder.bert.encoder.layer.23.intermediate.dense.weight": {"_type": "histogram", "values": [4.0, 3.0, 6.0, 5.0, 6.0, 11.0, 15.0, 29.0, 53.0, 64.0, 101.0, 139.0, 191.0, 259.0, 393.0, 636.0, 796.0, 1321.0, 1724.0, 2580.0, 3659.0, 5434.0, 7777.0, 11250.0, 16514.0, 24196.0, 37060.0, 59868.0, 117981.0, 508225.0, 2846009.0, 297181.0, 95416.0, 52043.0, 32608.0, 22025.0, 15087.0, 10349.0, 7300.0, 5039.0, 3366.0, 2374.0, 1638.0, 1100.0, 771.0, 531.0, 399.0, 261.0, 166.0, 123.0, 71.0, 42.0, 41.0, 20.0, 15.0, 11.0, 7.0, 3.0, 3.0, 1.0, 2.0, 1.0, 0.0, 1.0], "bins": [-0.400390625, -0.38720703125, -0.3740234375, -0.36083984375, -0.34765625, -0.33447265625, -0.3212890625, -0.30810546875, -0.294921875, -0.28173828125, -0.2685546875, -0.25537109375, -0.2421875, -0.22900390625, -0.2158203125, -0.20263671875, -0.189453125, -0.17626953125, -0.1630859375, -0.14990234375, -0.13671875, -0.12353515625, -0.1103515625, -0.09716796875, -0.083984375, -0.07080078125, -0.0576171875, -0.04443359375, -0.03125, -0.01806640625, -0.0048828125, 0.00830078125, 0.021484375, 0.03466796875, 0.0478515625, 0.06103515625, 0.07421875, 0.08740234375, 0.1005859375, 0.11376953125, 0.126953125, 0.14013671875, 0.1533203125, 0.16650390625, 0.1796875, 0.19287109375, 0.2060546875, 0.21923828125, 0.232421875, 0.24560546875, 0.2587890625, 0.27197265625, 0.28515625, 0.29833984375, 0.3115234375, 0.32470703125, 0.337890625, 0.35107421875, 0.3642578125, 0.37744140625, 0.390625, 0.40380859375, 0.4169921875, 0.43017578125, 0.443359375]}, "gradients/decoder.bert.encoder.layer.23.intermediate.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 4.0, 1.0, 4.0, 7.0, 2.0, 5.0, 7.0, 11.0, 13.0, 12.0, 22.0, 22.0, 22.0, 27.0, 26.0, 28.0, 28.0, 35.0, 59.0, 71.0, 92.0, 215.0, 647.0, 1194.0, 784.0, 264.0, 106.0, 67.0, 49.0, 42.0, 28.0, 30.0, 20.0, 19.0, 22.0, 15.0, 13.0, 13.0, 17.0, 6.0, 10.0, 9.0, 3.0, 1.0, 4.0, 8.0, 1.0, 2.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0], "bins": [-0.1578369140625, -0.15313339233398438, -0.14842987060546875, -0.14372634887695312, -0.1390228271484375, -0.13431930541992188, -0.12961578369140625, -0.12491226196289062, -0.120208740234375, -0.11550521850585938, -0.11080169677734375, -0.10609817504882812, -0.1013946533203125, -0.09669113159179688, -0.09198760986328125, -0.08728408813476562, -0.08258056640625, -0.07787704467773438, -0.07317352294921875, -0.06847000122070312, -0.0637664794921875, -0.059062957763671875, -0.05435943603515625, -0.049655914306640625, -0.044952392578125, -0.040248870849609375, -0.03554534912109375, -0.030841827392578125, -0.0261383056640625, -0.021434783935546875, -0.01673126220703125, -0.012027740478515625, -0.00732421875, -0.002620697021484375, 0.00208282470703125, 0.006786346435546875, 0.0114898681640625, 0.016193389892578125, 0.02089691162109375, 0.025600433349609375, 0.030303955078125, 0.035007476806640625, 0.03971099853515625, 0.044414520263671875, 0.0491180419921875, 0.053821563720703125, 0.05852508544921875, 0.06322860717773438, 0.06793212890625, 0.07263565063476562, 0.07733917236328125, 0.08204269409179688, 0.0867462158203125, 0.09144973754882812, 0.09615325927734375, 0.10085678100585938, 0.105560302734375, 0.11026382446289062, 0.11496734619140625, 0.11967086791992188, 0.1243743896484375, 0.12907791137695312, 0.13378143310546875, 0.13848495483398438, 0.1431884765625]}, "gradients/decoder.bert.encoder.layer.23.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 1.0, 1.0, 2.0, 0.0, 1.0, 1.0, 3.0, 0.0, 6.0, 9.0, 6.0, 7.0, 9.0, 12.0, 17.0, 15.0, 22.0, 38.0, 30.0, 41.0, 64.0, 66.0, 115.0, 166.0, 91.0, 69.0, 39.0, 40.0, 39.0, 14.0, 12.0, 18.0, 8.0, 8.0, 8.0, 7.0, 5.0, 8.0, 2.0, 4.0, 0.0, 5.0, 1.0, 2.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.36776912212371826, -0.3559679687023163, -0.3441668152809143, -0.33236563205718994, -0.32056447863578796, -0.308763325214386, -0.296962171792984, -0.28516101837158203, -0.27335983514785767, -0.2615586817264557, -0.24975751340389252, -0.23795635998249054, -0.22615519165992737, -0.2143540382385254, -0.2025528848171234, -0.19075173139572144, -0.17895057797431946, -0.16714942455291748, -0.1553482562303543, -0.14354710280895233, -0.13174593448638916, -0.11994478106498718, -0.1081436276435852, -0.09634246677160263, -0.08454130589962006, -0.07274014502763748, -0.060938987880945206, -0.04913783073425293, -0.037336669862270355, -0.02553550899028778, -0.013734355568885803, -0.0019331946969032288, 0.009867966175079346, 0.02166912518441677, 0.033470284193754196, 0.04527144134044647, 0.05707260221242905, 0.06887376308441162, 0.0806749165058136, 0.09247607737779617, 0.10427723824977875, 0.11607839912176132, 0.1278795599937439, 0.13968071341514587, 0.15148186683654785, 0.16328303515911102, 0.175084188580513, 0.18688535690307617, 0.19868651032447815, 0.21048766374588013, 0.2222888320684433, 0.23408998548984528, 0.24589115381240845, 0.2576923072338104, 0.2694934606552124, 0.2812946140766144, 0.29309576749801636, 0.30489692091941833, 0.3166980743408203, 0.3284992575645447, 0.34030041098594666, 0.35210156440734863, 0.3639027178287506, 0.3757038712501526, 0.38750505447387695]}, "gradients/decoder.bert.encoder.layer.23.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 3.0, 2.0, 1.0, 4.0, 3.0, 7.0, 6.0, 3.0, 12.0, 17.0, 13.0, 12.0, 18.0, 21.0, 19.0, 29.0, 32.0, 36.0, 30.0, 41.0, 43.0, 41.0, 41.0, 37.0, 48.0, 39.0, 48.0, 34.0, 28.0, 28.0, 30.0, 34.0, 25.0, 19.0, 31.0, 31.0, 25.0, 21.0, 15.0, 14.0, 9.0, 14.0, 10.0, 13.0, 7.0, 6.0, 4.0, 4.0, 4.0, 2.0, 2.0, 3.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.223970428109169, -0.21657605469226837, -0.20918169617652893, -0.2017873227596283, -0.19439296424388885, -0.18699859082698822, -0.17960423231124878, -0.17220985889434814, -0.1648154854774475, -0.15742111206054688, -0.15002675354480743, -0.1426323801279068, -0.13523802161216736, -0.12784364819526672, -0.12044928222894669, -0.11305491626262665, -0.10566055029630661, -0.09826618432998657, -0.09087181836366653, -0.0834774523973465, -0.07608307898044586, -0.06868871301412582, -0.061294347047805786, -0.05389997735619545, -0.04650561138987541, -0.039111245423555374, -0.03171687573194504, -0.024322509765625, -0.016928141936659813, -0.009533774107694626, -0.002139408141374588, 0.005254961550235748, 0.012649327516555786, 0.020043695345520973, 0.02743806317448616, 0.0348324291408062, 0.042226798832416534, 0.04962116479873657, 0.05701553076505661, 0.06440989673137665, 0.07180427014827728, 0.07919863611459732, 0.08659300208091736, 0.093987375497818, 0.10138174146413803, 0.10877610743045807, 0.1161704733967781, 0.12356483936309814, 0.13095921277999878, 0.13835358619689941, 0.14574794471263885, 0.1531423181295395, 0.16053667664527893, 0.16793105006217957, 0.1753254234790802, 0.18271978199481964, 0.19011414051055908, 0.19750851392745972, 0.20490287244319916, 0.2122972458600998, 0.21969160437583923, 0.22708597779273987, 0.2344803512096405, 0.24187470972537994, 0.24926908314228058]}, "gradients/decoder.bert.encoder.layer.23.crossattention.output.dense.weight": {"_type": "histogram", "values": [2.0, 0.0, 3.0, 3.0, 8.0, 9.0, 15.0, 18.0, 30.0, 43.0, 61.0, 96.0, 112.0, 168.0, 251.0, 238.0, 321.0, 439.0, 543.0, 747.0, 1172.0, 1547.0, 2298.0, 3061.0, 4532.0, 6397.0, 9538.0, 14357.0, 22448.0, 35880.0, 62039.0, 117529.0, 315282.0, 211058.0, 94759.0, 51736.0, 31037.0, 19710.0, 12537.0, 8564.0, 5891.0, 3896.0, 2835.0, 1992.0, 1506.0, 967.0, 772.0, 501.0, 398.0, 303.0, 262.0, 194.0, 136.0, 119.0, 74.0, 44.0, 29.0, 28.0, 19.0, 7.0, 7.0, 5.0, 2.0, 1.0], "bins": [-0.2200927734375, -0.2133922576904297, -0.20669174194335938, -0.19999122619628906, -0.19329071044921875, -0.18659019470214844, -0.17988967895507812, -0.1731891632080078, -0.1664886474609375, -0.1597881317138672, -0.15308761596679688, -0.14638710021972656, -0.13968658447265625, -0.13298606872558594, -0.12628555297851562, -0.11958503723144531, -0.112884521484375, -0.10618400573730469, -0.09948348999023438, -0.09278297424316406, -0.08608245849609375, -0.07938194274902344, -0.07268142700195312, -0.06598091125488281, -0.0592803955078125, -0.05257987976074219, -0.045879364013671875, -0.03917884826660156, -0.03247833251953125, -0.025777816772460938, -0.019077301025390625, -0.012376785278320312, -0.00567626953125, 0.0010242462158203125, 0.007724761962890625, 0.014425277709960938, 0.02112579345703125, 0.027826309204101562, 0.034526824951171875, 0.04122734069824219, 0.0479278564453125, 0.05462837219238281, 0.061328887939453125, 0.06802940368652344, 0.07472991943359375, 0.08143043518066406, 0.08813095092773438, 0.09483146667480469, 0.101531982421875, 0.10823249816894531, 0.11493301391601562, 0.12163352966308594, 0.12833404541015625, 0.13503456115722656, 0.14173507690429688, 0.1484355926513672, 0.1551361083984375, 0.1618366241455078, 0.16853713989257812, 0.17523765563964844, 0.18193817138671875, 0.18863868713378906, 0.19533920288085938, 0.2020397186279297, 0.208740234375]}, "gradients/decoder.bert.encoder.layer.23.crossattention.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 2.0, 6.0, 3.0, 4.0, 10.0, 12.0, 8.0, 2.0, 10.0, 8.0, 7.0, 16.0, 23.0, 14.0, 26.0, 25.0, 28.0, 25.0, 28.0, 37.0, 42.0, 30.0, 43.0, 26.0, 36.0, 33.0, 39.0, 26.0, 42.0, 31.0, 32.0, 34.0, 25.0, 28.0, 27.0, 27.0, 24.0, 24.0, 22.0, 16.0, 20.0, 11.0, 16.0, 9.0, 7.0, 12.0, 4.0, 6.0, 6.0, 6.0, 7.0, 3.0, 4.0, 1.0, 2.0, 2.0, 2.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.004001617431640625, -0.003866732120513916, -0.003731846809387207, -0.003596961498260498, -0.003462076187133789, -0.00332719087600708, -0.003192305564880371, -0.003057420253753662, -0.002922534942626953, -0.002787649631500244, -0.002652764320373535, -0.002517879009246826, -0.002382993698120117, -0.002248108386993408, -0.0021132230758666992, -0.0019783377647399902, -0.0018434524536132812, -0.0017085671424865723, -0.0015736818313598633, -0.0014387965202331543, -0.0013039112091064453, -0.0011690258979797363, -0.0010341405868530273, -0.0008992552757263184, -0.0007643699645996094, -0.0006294846534729004, -0.0004945993423461914, -0.0003597140312194824, -0.00022482872009277344, -8.994340896606445e-05, 4.494190216064453e-05, 0.00017982721328735352, 0.0003147125244140625, 0.0004495978355407715, 0.0005844831466674805, 0.0007193684577941895, 0.0008542537689208984, 0.0009891390800476074, 0.0011240243911743164, 0.0012589097023010254, 0.0013937950134277344, 0.0015286803245544434, 0.0016635656356811523, 0.0017984509468078613, 0.0019333362579345703, 0.0020682215690612793, 0.0022031068801879883, 0.0023379921913146973, 0.0024728775024414062, 0.0026077628135681152, 0.0027426481246948242, 0.002877533435821533, 0.003012418746948242, 0.003147304058074951, 0.00328218936920166, 0.003417074680328369, 0.003551959991455078, 0.003686845302581787, 0.003821730613708496, 0.003956615924835205, 0.004091501235961914, 0.004226386547088623, 0.004361271858215332, 0.004496157169342041, 0.00463104248046875]}, "gradients/decoder.bert.encoder.layer.23.crossattention.self.value.weight": {"_type": "histogram", "values": [3.0, 2.0, 0.0, 3.0, 1.0, 3.0, 4.0, 9.0, 3.0, 8.0, 16.0, 17.0, 29.0, 29.0, 63.0, 83.0, 105.0, 204.0, 247.0, 406.0, 586.0, 784.0, 1221.0, 1710.0, 2599.0, 4213.0, 6495.0, 10245.0, 16047.0, 25502.0, 39694.0, 69599.0, 728527.0, 51238.0, 31628.0, 20508.0, 13148.0, 8171.0, 5233.0, 3446.0, 2202.0, 1447.0, 979.0, 620.0, 430.0, 330.0, 231.0, 163.0, 104.0, 76.0, 45.0, 37.0, 26.0, 16.0, 14.0, 5.0, 3.0, 7.0, 2.0, 3.0, 2.0, 2.0, 0.0, 3.0], "bins": [-0.0791015625, -0.07664966583251953, -0.07419776916503906, -0.0717458724975586, -0.06929397583007812, -0.06684207916259766, -0.06439018249511719, -0.06193828582763672, -0.05948638916015625, -0.05703449249267578, -0.05458259582519531, -0.052130699157714844, -0.049678802490234375, -0.047226905822753906, -0.04477500915527344, -0.04232311248779297, -0.0398712158203125, -0.03741931915283203, -0.03496742248535156, -0.032515525817871094, -0.030063629150390625, -0.027611732482910156, -0.025159835815429688, -0.02270793914794922, -0.02025604248046875, -0.01780414581298828, -0.015352249145507812, -0.012900352478027344, -0.010448455810546875, -0.007996559143066406, -0.0055446624755859375, -0.0030927658081054688, -0.000640869140625, 0.0018110275268554688, 0.0042629241943359375, 0.006714820861816406, 0.009166717529296875, 0.011618614196777344, 0.014070510864257812, 0.01652240753173828, 0.01897430419921875, 0.02142620086669922, 0.023878097534179688, 0.026329994201660156, 0.028781890869140625, 0.031233787536621094, 0.03368568420410156, 0.03613758087158203, 0.0385894775390625, 0.04104137420654297, 0.04349327087402344, 0.045945167541503906, 0.048397064208984375, 0.050848960876464844, 0.05330085754394531, 0.05575275421142578, 0.05820465087890625, 0.06065654754638672, 0.06310844421386719, 0.06556034088134766, 0.06801223754882812, 0.0704641342163086, 0.07291603088378906, 0.07536792755126953, 0.07781982421875]}, "gradients/decoder.bert.encoder.layer.23.crossattention.self.value.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 4.0, 1.0, 4.0, 6.0, 6.0, 6.0, 8.0, 16.0, 10.0, 18.0, 17.0, 31.0, 32.0, 32.0, 41.0, 35.0, 37.0, 41.0, 39.0, 39.0, 43.0, 54.0, 46.0, 35.0, 42.0, 35.0, 35.0, 47.0, 31.0, 28.0, 31.0, 22.0, 33.0, 13.0, 16.0, 14.0, 18.0, 14.0, 8.0, 9.0, 6.0, 4.0, 2.0, 3.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.003238677978515625, -0.0031309127807617188, -0.0030231475830078125, -0.0029153823852539062, -0.0028076171875, -0.0026998519897460938, -0.0025920867919921875, -0.0024843215942382812, -0.002376556396484375, -0.0022687911987304688, -0.0021610260009765625, -0.0020532608032226562, -0.00194549560546875, -0.0018377304077148438, -0.0017299652099609375, -0.0016222000122070312, -0.001514434814453125, -0.0014066696166992188, -0.0012989044189453125, -0.0011911392211914062, -0.0010833740234375, -0.0009756088256835938, -0.0008678436279296875, -0.0007600784301757812, -0.000652313232421875, -0.0005445480346679688, -0.0004367828369140625, -0.00032901763916015625, -0.00022125244140625, -0.00011348724365234375, -5.7220458984375e-06, 0.00010204315185546875, 0.000209808349609375, 0.00031757354736328125, 0.0004253387451171875, 0.0005331039428710938, 0.000640869140625, 0.0007486343383789062, 0.0008563995361328125, 0.0009641647338867188, 0.001071929931640625, 0.0011796951293945312, 0.0012874603271484375, 0.0013952255249023438, 0.00150299072265625, 0.0016107559204101562, 0.0017185211181640625, 0.0018262863159179688, 0.001934051513671875, 0.0020418167114257812, 0.0021495819091796875, 0.0022573471069335938, 0.0023651123046875, 0.0024728775024414062, 0.0025806427001953125, 0.0026884078979492188, 0.002796173095703125, 0.0029039382934570312, 0.0030117034912109375, 0.0031194686889648438, 0.00322723388671875, 0.0033349990844726562, 0.0034427642822265625, 0.0035505294799804688, 0.003658294677734375]}, "gradients/decoder.bert.encoder.layer.23.crossattention.self.key.weight": {"_type": "histogram", "values": [3.0, 5.0, 6.0, 4.0, 8.0, 13.0, 9.0, 25.0, 28.0, 21.0, 51.0, 50.0, 68.0, 85.0, 99.0, 112.0, 137.0, 196.0, 231.0, 272.0, 309.0, 387.0, 476.0, 566.0, 672.0, 799.0, 969.0, 1199.0, 1698.0, 3000.0, 6918.0, 23342.0, 980278.0, 12418.0, 4285.0, 2264.0, 1446.0, 1016.0, 855.0, 731.0, 571.0, 531.0, 439.0, 384.0, 319.0, 242.0, 229.0, 169.0, 139.0, 107.0, 92.0, 71.0, 53.0, 49.0, 36.0, 20.0, 20.0, 10.0, 12.0, 15.0, 6.0, 5.0, 3.0, 3.0], "bins": [-0.0025348663330078125, -0.00245627760887146, -0.0023776888847351074, -0.002299100160598755, -0.0022205114364624023, -0.00214192271232605, -0.0020633339881896973, -0.0019847452640533447, -0.0019061565399169922, -0.0018275678157806396, -0.0017489790916442871, -0.0016703903675079346, -0.001591801643371582, -0.0015132129192352295, -0.001434624195098877, -0.0013560354709625244, -0.0012774467468261719, -0.0011988580226898193, -0.0011202692985534668, -0.0010416805744171143, -0.0009630918502807617, -0.0008845031261444092, -0.0008059144020080566, -0.0007273256778717041, -0.0006487369537353516, -0.000570148229598999, -0.0004915595054626465, -0.00041297078132629395, -0.0003343820571899414, -0.00025579333305358887, -0.00017720460891723633, -9.861588478088379e-05, -2.002716064453125e-05, 5.856156349182129e-05, 0.00013715028762817383, 0.00021573901176452637, 0.0002943277359008789, 0.00037291646003723145, 0.000451505184173584, 0.0005300939083099365, 0.0006086826324462891, 0.0006872713565826416, 0.0007658600807189941, 0.0008444488048553467, 0.0009230375289916992, 0.0010016262531280518, 0.0010802149772644043, 0.0011588037014007568, 0.0012373924255371094, 0.001315981149673462, 0.0013945698738098145, 0.001473158597946167, 0.0015517473220825195, 0.001630336046218872, 0.0017089247703552246, 0.0017875134944915771, 0.0018661022186279297, 0.0019446909427642822, 0.0020232796669006348, 0.0021018683910369873, 0.00218045711517334, 0.0022590458393096924, 0.002337634563446045, 0.0024162232875823975, 0.00249481201171875]}, "gradients/decoder.bert.encoder.layer.23.crossattention.self.key.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 2.0, 1.0, 0.0, 3.0, 2.0, 0.0, 1.0, 2.0, 2.0, 1.0, 2.0, 0.0, 1.0, 2.0, 2.0, 4.0, 6.0, 16.0, 12.0, 806.0, 77.0, 27.0, 10.0, 9.0, 5.0, 2.0, 0.0, 1.0, 2.0, 0.0, 1.0, 0.0, 2.0, 0.0, 2.0, 2.0, 0.0, 0.0, 1.0, 1.0, 3.0, 0.0, 2.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0], "bins": [-9.644031524658203e-05, -9.322259575128555e-05, -9.000487625598907e-05, -8.67871567606926e-05, -8.356943726539612e-05, -8.035171777009964e-05, -7.713399827480316e-05, -7.391627877950668e-05, -7.06985592842102e-05, -6.748083978891373e-05, -6.426312029361725e-05, -6.104540079832077e-05, -5.782768130302429e-05, -5.4609961807727814e-05, -5.1392242312431335e-05, -4.817452281713486e-05, -4.495680332183838e-05, -4.17390838265419e-05, -3.852136433124542e-05, -3.5303644835948944e-05, -3.2085925340652466e-05, -2.8868205845355988e-05, -2.565048635005951e-05, -2.243276685476303e-05, -1.9215047359466553e-05, -1.5997327864170074e-05, -1.2779608368873596e-05, -9.561888873577118e-06, -6.34416937828064e-06, -3.1264498829841614e-06, 9.12696123123169e-08, 3.308989107608795e-06, 6.5267086029052734e-06, 9.744428098201752e-06, 1.296214759349823e-05, 1.6179867088794708e-05, 1.9397586584091187e-05, 2.2615306079387665e-05, 2.5833025574684143e-05, 2.905074506998062e-05, 3.22684645652771e-05, 3.548618406057358e-05, 3.8703903555870056e-05, 4.1921623051166534e-05, 4.513934254646301e-05, 4.835706204175949e-05, 5.157478153705597e-05, 5.479250103235245e-05, 5.8010220527648926e-05, 6.12279400229454e-05, 6.444565951824188e-05, 6.766337901353836e-05, 7.088109850883484e-05, 7.409881800413132e-05, 7.73165374994278e-05, 8.053425699472427e-05, 8.375197649002075e-05, 8.696969598531723e-05, 9.018741548061371e-05, 9.340513497591019e-05, 9.662285447120667e-05, 9.984057396650314e-05, 0.00010305829346179962, 0.0001062760129570961, 0.00010949373245239258]}, "gradients/decoder.bert.encoder.layer.23.crossattention.self.query.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 4.0, 6.0, 9.0, 7.0, 11.0, 19.0, 31.0, 42.0, 43.0, 66.0, 62.0, 122.0, 147.0, 177.0, 238.0, 304.0, 408.0, 531.0, 706.0, 851.0, 994.0, 1286.0, 1609.0, 2090.0, 2677.0, 3522.0, 5506.0, 14221.0, 72982.0, 898859.0, 17903.0, 6361.0, 3862.0, 2780.0, 2099.0, 1605.0, 1328.0, 1028.0, 900.0, 671.0, 607.0, 455.0, 368.0, 259.0, 213.0, 162.0, 112.0, 92.0, 63.0, 50.0, 39.0, 18.0, 21.0, 22.0, 11.0, 4.0, 1.0, 5.0, 1.0, 3.0], "bins": [-0.0015764236450195312, -0.0015287995338439941, -0.001481175422668457, -0.00143355131149292, -0.0013859272003173828, -0.0013383030891418457, -0.0012906789779663086, -0.0012430548667907715, -0.0011954307556152344, -0.0011478066444396973, -0.0011001825332641602, -0.001052558422088623, -0.001004934310913086, -0.0009573101997375488, -0.0009096860885620117, -0.0008620619773864746, -0.0008144378662109375, -0.0007668137550354004, -0.0007191896438598633, -0.0006715655326843262, -0.0006239414215087891, -0.000576317310333252, -0.0005286931991577148, -0.00048106908798217773, -0.0004334449768066406, -0.0003858208656311035, -0.0003381967544555664, -0.0002905726432800293, -0.0002429485321044922, -0.00019532442092895508, -0.00014770030975341797, -0.00010007619857788086, -5.245208740234375e-05, -4.827976226806641e-06, 4.279613494873047e-05, 9.042024612426758e-05, 0.0001380443572998047, 0.0001856684684753418, 0.0002332925796508789, 0.000280916690826416, 0.0003285408020019531, 0.00037616491317749023, 0.00042378902435302734, 0.00047141313552856445, 0.0005190372467041016, 0.0005666613578796387, 0.0006142854690551758, 0.0006619095802307129, 0.00070953369140625, 0.0007571578025817871, 0.0008047819137573242, 0.0008524060249328613, 0.0009000301361083984, 0.0009476542472839355, 0.0009952783584594727, 0.0010429024696350098, 0.0010905265808105469, 0.001138150691986084, 0.001185774803161621, 0.0012333989143371582, 0.0012810230255126953, 0.0013286471366882324, 0.0013762712478637695, 0.0014238953590393066, 0.0014715194702148438]}, "gradients/decoder.bert.encoder.layer.23.crossattention.self.query.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 2.0, 3.0, 1.0, 0.0, 2.0, 0.0, 3.0, 1.0, 2.0, 1.0, 1.0, 1.0, 1.0, 1.0, 2.0, 0.0, 3.0, 2.0, 1.0, 1.0, 0.0, 3.0, 6.0, 13.0, 23.0, 24.0, 796.0, 42.0, 28.0, 14.0, 15.0, 1.0, 1.0, 4.0, 0.0, 6.0, 0.0, 0.0, 3.0, 1.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0, 3.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00046515464782714844, -0.00044950470328330994, -0.00043385475873947144, -0.00041820481419563293, -0.00040255486965179443, -0.00038690492510795593, -0.00037125498056411743, -0.00035560503602027893, -0.00033995509147644043, -0.00032430514693260193, -0.00030865520238876343, -0.0002930052578449249, -0.0002773553133010864, -0.0002617053687572479, -0.0002460554242134094, -0.00023040547966957092, -0.00021475553512573242, -0.00019910559058189392, -0.00018345564603805542, -0.00016780570149421692, -0.00015215575695037842, -0.00013650581240653992, -0.00012085586786270142, -0.00010520592331886292, -8.955597877502441e-05, -7.390603423118591e-05, -5.825608968734741e-05, -4.260614514350891e-05, -2.695620059967041e-05, -1.130625605583191e-05, 4.343688488006592e-06, 1.9993633031845093e-05, 3.5643577575683594e-05, 5.1293522119522095e-05, 6.69434666633606e-05, 8.25934112071991e-05, 9.82433557510376e-05, 0.0001138933002948761, 0.0001295432448387146, 0.0001451931893825531, 0.0001608431339263916, 0.0001764930784702301, 0.0001921430230140686, 0.0002077929675579071, 0.0002234429121017456, 0.0002390928566455841, 0.0002547428011894226, 0.0002703927457332611, 0.0002860426902770996, 0.0003016926348209381, 0.0003173425793647766, 0.0003329925239086151, 0.0003486424684524536, 0.0003642924129962921, 0.0003799423575401306, 0.0003955923020839691, 0.0004112422466278076, 0.0004268921911716461, 0.0004425421357154846, 0.0004581920802593231, 0.0004738420248031616, 0.0004894919693470001, 0.0005051419138908386, 0.0005207918584346771, 0.0005364418029785156]}, "gradients/decoder.bert.encoder.layer.23.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 4.0, 2.0, 1.0, 2.0, 7.0, 3.0, 5.0, 9.0, 9.0, 16.0, 16.0, 16.0, 30.0, 26.0, 44.0, 68.0, 105.0, 167.0, 137.0, 82.0, 59.0, 53.0, 32.0, 24.0, 12.0, 22.0, 12.0, 11.0, 11.0, 7.0, 5.0, 5.0, 1.0, 2.0, 2.0, 2.0, 4.0, 2.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0], "bins": [-0.00976170040667057, -0.009496732614934444, -0.009231764823198318, -0.008966797031462193, -0.008701829239726067, -0.00843686144798994, -0.008171893656253815, -0.007906924933195114, -0.0076419576071202755, -0.0073769898153841496, -0.007112022023648024, -0.006847054231911898, -0.006582085974514484, -0.0063171181827783585, -0.0060521503910422325, -0.005787182599306107, -0.005522214807569981, -0.005257247015833855, -0.004992279224097729, -0.004727311432361603, -0.004462343640625477, -0.004197375848889351, -0.003932407591491938, -0.0036674397997558117, -0.0034024720080196857, -0.00313750421628356, -0.002872536424547434, -0.0026075683999806643, -0.0023426006082445383, -0.0020776328165084124, -0.0018126649083569646, -0.0015476970002055168, -0.0012827287428081036, -0.0010177609510719776, -0.0007527930429205298, -0.000487825192976743, -0.00022285734303295612, 4.211044870316982e-05, 0.0003070783568546176, 0.0005720462650060654, 0.0008370140567421913, 0.0011019818484783173, 0.001366949756629765, 0.0016319176647812128, 0.0018968854565173388, 0.0021618532482534647, 0.0024268212728202343, 0.0026917890645563602, 0.002956756856292486, 0.003221724648028612, 0.003486692439764738, 0.0037516604643315077, 0.004016628488898277, 0.004281596280634403, 0.004546564072370529, 0.004811531864106655, 0.005076499655842781, 0.005341467447578907, 0.005606435239315033, 0.005871403031051159, 0.006136370822787285, 0.006401338614523411, 0.006666306871920824, 0.00693127466365695, 0.007196242455393076]}, "gradients/decoder.bert.encoder.layer.23.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 3.0, 2.0, 4.0, 7.0, 5.0, 3.0, 7.0, 16.0, 11.0, 14.0, 16.0, 24.0, 19.0, 28.0, 25.0, 32.0, 28.0, 39.0, 41.0, 45.0, 46.0, 42.0, 39.0, 46.0, 36.0, 41.0, 29.0, 27.0, 33.0, 31.0, 33.0, 23.0, 24.0, 31.0, 23.0, 24.0, 18.0, 12.0, 15.0, 12.0, 14.0, 10.0, 8.0, 10.0, 4.0, 2.0, 4.0, 1.0, 4.0, 2.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.004443526268005371, -0.004299814812839031, -0.004156103823333979, -0.004012392368167639, -0.0038686811458319426, -0.0037249699234962463, -0.00358125870116055, -0.003437547478824854, -0.003293836023658514, -0.003150124801322818, -0.0030064135789871216, -0.0028627021238207817, -0.0027189909014850855, -0.0025752796791493893, -0.002431568456813693, -0.002287857234477997, -0.0021441460121423006, -0.0020004347898066044, -0.0018567234510555863, -0.0017130122287198901, -0.001569300889968872, -0.0014255896676331758, -0.0012818784452974796, -0.0011381671065464616, -0.0009944558842107654, -0.0008507446036674082, -0.0007070333231240511, -0.0005633221007883549, -0.00041961082024499774, -0.0002758995397016406, -0.00013218831736594439, 1.1523021385073662e-05, 0.00015523424372076988, 0.000298945524264127, 0.0004426567757036537, 0.0005863680271431804, 0.0007300793076865375, 0.0008737905882298946, 0.0010175018105655909, 0.001161213149316609, 0.0013049243716523051, 0.0014486355939880013, 0.0015923469327390194, 0.0017360581550747156, 0.0018797693774104118, 0.0020234808325767517, 0.0021671918220818043, 0.002310903277248144, 0.0024546144995838404, 0.0025983257219195366, 0.002742036944255233, 0.002885748166590929, 0.003029459621757269, 0.003173170844092965, 0.0033168820664286613, 0.0034605935215950012, 0.003604304511100054, 0.00374801573343575, 0.0038917269557714462, 0.004035438410937786, 0.004179149400442839, 0.0043228608556091785, 0.004466571845114231, 0.004610283300280571, 0.004753994755446911]}, "gradients/decoder.bert.encoder.layer.23.attention.output.dense.weight": {"_type": "histogram", "values": [4.0, 1.0, 3.0, 4.0, 1.0, 9.0, 14.0, 22.0, 22.0, 48.0, 53.0, 70.0, 108.0, 150.0, 199.0, 271.0, 413.0, 600.0, 874.0, 1147.0, 1774.0, 2520.0, 3644.0, 5505.0, 8105.0, 11760.0, 18098.0, 27827.0, 42815.0, 72085.0, 135524.0, 327338.0, 165602.0, 82460.0, 48349.0, 30235.0, 20174.0, 13145.0, 8687.0, 5803.0, 4050.0, 2752.0, 1905.0, 1304.0, 885.0, 657.0, 449.0, 321.0, 225.0, 167.0, 117.0, 90.0, 52.0, 42.0, 31.0, 24.0, 11.0, 10.0, 6.0, 2.0, 5.0, 2.0, 4.0, 2.0], "bins": [-0.00614166259765625, -0.005947411060333252, -0.005753159523010254, -0.005558907985687256, -0.005364656448364258, -0.00517040491104126, -0.004976153373718262, -0.004781901836395264, -0.004587650299072266, -0.004393398761749268, -0.0041991472244262695, -0.0040048956871032715, -0.0038106441497802734, -0.0036163926124572754, -0.0034221410751342773, -0.0032278895378112793, -0.0030336380004882812, -0.002839386463165283, -0.002645134925842285, -0.002450883388519287, -0.002256631851196289, -0.002062380313873291, -0.001868128776550293, -0.001673877239227295, -0.0014796257019042969, -0.0012853741645812988, -0.0010911226272583008, -0.0008968710899353027, -0.0007026195526123047, -0.0005083680152893066, -0.0003141164779663086, -0.00011986494064331055, 7.43865966796875e-05, 0.00026863813400268555, 0.0004628896713256836, 0.0006571412086486816, 0.0008513927459716797, 0.0010456442832946777, 0.0012398958206176758, 0.0014341473579406738, 0.0016283988952636719, 0.00182265043258667, 0.002016901969909668, 0.002211153507232666, 0.002405405044555664, 0.002599656581878662, 0.00279390811920166, 0.002988159656524658, 0.0031824111938476562, 0.0033766627311706543, 0.0035709142684936523, 0.0037651658058166504, 0.0039594173431396484, 0.0041536688804626465, 0.0043479204177856445, 0.004542171955108643, 0.004736423492431641, 0.004930675029754639, 0.005124926567077637, 0.005319178104400635, 0.005513429641723633, 0.005707681179046631, 0.005901932716369629, 0.006096184253692627, 0.006290435791015625]}, "gradients/decoder.bert.encoder.layer.23.attention.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 3.0, 5.0, 3.0, 2.0, 5.0, 2.0, 5.0, 9.0, 6.0, 15.0, 19.0, 20.0, 26.0, 29.0, 29.0, 22.0, 32.0, 28.0, 32.0, 41.0, 41.0, 52.0, 40.0, 40.0, 40.0, 45.0, 35.0, 35.0, 38.0, 40.0, 26.0, 30.0, 19.0, 32.0, 20.0, 29.0, 15.0, 16.0, 15.0, 20.0, 11.0, 12.0, 5.0, 7.0, 7.0, 3.0, 2.0, 2.0, 5.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.0015363693237304688, -0.0014876723289489746, -0.0014389753341674805, -0.0013902783393859863, -0.0013415813446044922, -0.001292884349822998, -0.001244187355041504, -0.0011954903602600098, -0.0011467933654785156, -0.0010980963706970215, -0.0010493993759155273, -0.0010007023811340332, -0.0009520053863525391, -0.0009033083915710449, -0.0008546113967895508, -0.0008059144020080566, -0.0007572174072265625, -0.0007085204124450684, -0.0006598234176635742, -0.0006111264228820801, -0.0005624294281005859, -0.0005137324333190918, -0.00046503543853759766, -0.0004163384437561035, -0.0003676414489746094, -0.00031894445419311523, -0.0002702474594116211, -0.00022155046463012695, -0.0001728534698486328, -0.00012415647506713867, -7.545948028564453e-05, -2.676248550415039e-05, 2.193450927734375e-05, 7.063150405883789e-05, 0.00011932849884033203, 0.00016802549362182617, 0.0002167224884033203, 0.00026541948318481445, 0.0003141164779663086, 0.00036281347274780273, 0.0004115104675292969, 0.000460207462310791, 0.0005089044570922852, 0.0005576014518737793, 0.0006062984466552734, 0.0006549954414367676, 0.0007036924362182617, 0.0007523894309997559, 0.00080108642578125, 0.0008497834205627441, 0.0008984804153442383, 0.0009471774101257324, 0.0009958744049072266, 0.0010445713996887207, 0.0010932683944702148, 0.001141965389251709, 0.0011906623840332031, 0.0012393593788146973, 0.0012880563735961914, 0.0013367533683776855, 0.0013854503631591797, 0.0014341473579406738, 0.001482844352722168, 0.0015315413475036621, 0.0015802383422851562]}, "gradients/decoder.bert.encoder.layer.23.attention.self.value.weight": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 2.0, 0.0, 3.0, 6.0, 8.0, 14.0, 18.0, 33.0, 47.0, 63.0, 103.0, 179.0, 210.0, 310.0, 551.0, 832.0, 1167.0, 1800.0, 2631.0, 3885.0, 5902.0, 9011.0, 13614.0, 20605.0, 31147.0, 49359.0, 82103.0, 160742.0, 319090.0, 138953.0, 74908.0, 46123.0, 29143.0, 19032.0, 12221.0, 8393.0, 5527.0, 3672.0, 2408.0, 1584.0, 1039.0, 743.0, 449.0, 301.0, 217.0, 165.0, 83.0, 77.0, 33.0, 21.0, 17.0, 11.0, 7.0, 4.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00319671630859375, -0.0030949413776397705, -0.002993166446685791, -0.0028913915157318115, -0.002789616584777832, -0.0026878416538238525, -0.002586066722869873, -0.0024842917919158936, -0.002382516860961914, -0.0022807419300079346, -0.002178966999053955, -0.0020771920680999756, -0.001975417137145996, -0.0018736422061920166, -0.0017718672752380371, -0.0016700923442840576, -0.0015683174133300781, -0.0014665424823760986, -0.0013647675514221191, -0.0012629926204681396, -0.0011612176895141602, -0.0010594427585601807, -0.0009576678276062012, -0.0008558928966522217, -0.0007541179656982422, -0.0006523430347442627, -0.0005505681037902832, -0.0004487931728363037, -0.0003470182418823242, -0.0002452433109283447, -0.00014346837997436523, -4.169344902038574e-05, 6.008148193359375e-05, 0.00016185641288757324, 0.00026363134384155273, 0.0003654062747955322, 0.0004671812057495117, 0.0005689561367034912, 0.0006707310676574707, 0.0007725059986114502, 0.0008742809295654297, 0.0009760558605194092, 0.0010778307914733887, 0.0011796057224273682, 0.0012813806533813477, 0.0013831555843353271, 0.0014849305152893066, 0.0015867054462432861, 0.0016884803771972656, 0.0017902553081512451, 0.0018920302391052246, 0.001993805170059204, 0.0020955801010131836, 0.002197355031967163, 0.0022991299629211426, 0.002400904893875122, 0.0025026798248291016, 0.002604454755783081, 0.0027062296867370605, 0.00280800461769104, 0.0029097795486450195, 0.003011554479598999, 0.0031133294105529785, 0.003215104341506958, 0.0033168792724609375]}, "gradients/decoder.bert.encoder.layer.23.attention.self.value.bias": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 0.0, 0.0, 2.0, 2.0, 3.0, 1.0, 2.0, 4.0, 8.0, 5.0, 11.0, 7.0, 9.0, 16.0, 17.0, 23.0, 22.0, 20.0, 17.0, 20.0, 30.0, 36.0, 28.0, 53.0, 43.0, 46.0, 44.0, 39.0, 39.0, 43.0, 43.0, 33.0, 35.0, 21.0, 30.0, 24.0, 34.0, 35.0, 28.0, 29.0, 21.0, 11.0, 10.0, 16.0, 8.0, 12.0, 7.0, 9.0, 7.0, 1.0, 4.0, 4.0, 3.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0], "bins": [-0.0009570121765136719, -0.0009261295199394226, -0.0008952468633651733, -0.0008643642067909241, -0.0008334815502166748, -0.0008025988936424255, -0.0007717162370681763, -0.000740833580493927, -0.0007099509239196777, -0.0006790682673454285, -0.0006481856107711792, -0.0006173029541969299, -0.0005864202976226807, -0.0005555376410484314, -0.0005246549844741821, -0.0004937723278999329, -0.0004628896713256836, -0.0004320070147514343, -0.00040112435817718506, -0.0003702417016029358, -0.0003393590450286865, -0.00030847638845443726, -0.000277593731880188, -0.0002467110753059387, -0.00021582841873168945, -0.00018494576215744019, -0.00015406310558319092, -0.00012318044900894165, -9.229779243469238e-05, -6.141513586044312e-05, -3.053247928619385e-05, 3.501772880554199e-07, 3.123283386230469e-05, 6.211549043655396e-05, 9.299814701080322e-05, 0.0001238808035850525, 0.00015476346015930176, 0.00018564611673355103, 0.0002165287733078003, 0.00024741142988204956, 0.00027829408645629883, 0.0003091767430305481, 0.00034005939960479736, 0.00037094205617904663, 0.0004018247127532959, 0.00043270736932754517, 0.00046359002590179443, 0.0004944726824760437, 0.000525355339050293, 0.0005562379956245422, 0.0005871206521987915, 0.0006180033087730408, 0.00064888596534729, 0.0006797686219215393, 0.0007106512784957886, 0.0007415339350700378, 0.0007724165916442871, 0.0008032992482185364, 0.0008341819047927856, 0.0008650645613670349, 0.0008959472179412842, 0.0009268298745155334, 0.0009577125310897827, 0.000988595187664032, 0.0010194778442382812]}, "gradients/decoder.bert.encoder.layer.23.attention.self.key.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 4.0, 3.0, 3.0, 4.0, 5.0, 13.0, 4.0, 11.0, 21.0, 24.0, 30.0, 46.0, 81.0, 106.0, 159.0, 241.0, 361.0, 600.0, 958.0, 1503.0, 2630.0, 4769.0, 8727.0, 18633.0, 45465.0, 160676.0, 608740.0, 122079.0, 38481.0, 16218.0, 7655.0, 4150.0, 2297.0, 1412.0, 830.0, 530.0, 379.0, 223.0, 147.0, 120.0, 57.0, 45.0, 40.0, 25.0, 19.0, 11.0, 9.0, 7.0, 2.0, 6.0, 3.0, 2.0, 0.0, 2.0, 1.0, 2.0, 0.0, 2.0, 0.0, 1.0], "bins": [-0.00016427040100097656, -0.0001588687300682068, -0.000153467059135437, -0.00014806538820266724, -0.00014266371726989746, -0.00013726204633712769, -0.0001318603754043579, -0.00012645870447158813, -0.00012105703353881836, -0.00011565536260604858, -0.00011025369167327881, -0.00010485202074050903, -9.945034980773926e-05, -9.404867887496948e-05, -8.864700794219971e-05, -8.324533700942993e-05, -7.784366607666016e-05, -7.244199514389038e-05, -6.70403242111206e-05, -6.163865327835083e-05, -5.6236982345581055e-05, -5.083531141281128e-05, -4.5433640480041504e-05, -4.003196954727173e-05, -3.463029861450195e-05, -2.9228627681732178e-05, -2.3826956748962402e-05, -1.8425285816192627e-05, -1.3023614883422852e-05, -7.621943950653076e-06, -2.2202730178833008e-06, 3.1813979148864746e-06, 8.58306884765625e-06, 1.3984739780426025e-05, 1.93864107131958e-05, 2.4788081645965576e-05, 3.018975257873535e-05, 3.559142351150513e-05, 4.09930944442749e-05, 4.639476537704468e-05, 5.179643630981445e-05, 5.719810724258423e-05, 6.2599778175354e-05, 6.800144910812378e-05, 7.340312004089355e-05, 7.880479097366333e-05, 8.42064619064331e-05, 8.960813283920288e-05, 9.500980377197266e-05, 0.00010041147470474243, 0.00010581314563751221, 0.00011121481657028198, 0.00011661648750305176, 0.00012201815843582153, 0.0001274198293685913, 0.00013282150030136108, 0.00013822317123413086, 0.00014362484216690063, 0.0001490265130996704, 0.00015442818403244019, 0.00015982985496520996, 0.00016523152589797974, 0.0001706331968307495, 0.0001760348677635193, 0.00018143653869628906]}, "gradients/decoder.bert.encoder.layer.23.attention.self.key.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 0.0, 0.0, 1.0, 4.0, 1.0, 3.0, 2.0, 4.0, 6.0, 7.0, 3.0, 4.0, 7.0, 9.0, 9.0, 6.0, 9.0, 8.0, 14.0, 15.0, 26.0, 28.0, 26.0, 28.0, 38.0, 67.0, 88.0, 115.0, 117.0, 68.0, 40.0, 42.0, 35.0, 21.0, 21.0, 36.0, 18.0, 17.0, 14.0, 7.0, 8.0, 13.0, 5.0, 3.0, 3.0, 5.0, 4.0, 2.0, 1.0, 3.0, 2.0, 2.0, 3.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-9.179115295410156e-06, -8.882023394107819e-06, -8.584931492805481e-06, -8.287839591503143e-06, -7.990747690200806e-06, -7.693655788898468e-06, -7.39656388759613e-06, -7.099471986293793e-06, -6.802380084991455e-06, -6.5052881836891174e-06, -6.20819628238678e-06, -5.911104381084442e-06, -5.6140124797821045e-06, -5.316920578479767e-06, -5.019828677177429e-06, -4.7227367758750916e-06, -4.425644874572754e-06, -4.128552973270416e-06, -3.831461071968079e-06, -3.534369170665741e-06, -3.2372772693634033e-06, -2.9401853680610657e-06, -2.643093466758728e-06, -2.3460015654563904e-06, -2.0489096641540527e-06, -1.751817762851715e-06, -1.4547258615493774e-06, -1.1576339602470398e-06, -8.605420589447021e-07, -5.634501576423645e-07, -2.6635825634002686e-07, 3.073364496231079e-08, 3.2782554626464844e-07, 6.249174475669861e-07, 9.220093488693237e-07, 1.2191012501716614e-06, 1.516193151473999e-06, 1.8132850527763367e-06, 2.1103769540786743e-06, 2.407468855381012e-06, 2.7045607566833496e-06, 3.0016526579856873e-06, 3.298744559288025e-06, 3.5958364605903625e-06, 3.8929283618927e-06, 4.190020263195038e-06, 4.4871121644973755e-06, 4.784204065799713e-06, 5.081295967102051e-06, 5.3783878684043884e-06, 5.675479769706726e-06, 5.972571671009064e-06, 6.269663572311401e-06, 6.566755473613739e-06, 6.863847374916077e-06, 7.160939276218414e-06, 7.458031177520752e-06, 7.75512307882309e-06, 8.052214980125427e-06, 8.349306881427765e-06, 8.646398782730103e-06, 8.94349068403244e-06, 9.240582585334778e-06, 9.537674486637115e-06, 9.834766387939453e-06]}, "gradients/decoder.bert.encoder.layer.23.attention.self.query.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 3.0, 5.0, 6.0, 10.0, 14.0, 23.0, 36.0, 51.0, 76.0, 122.0, 173.0, 267.0, 438.0, 639.0, 1033.0, 1470.0, 2409.0, 3999.0, 5897.0, 10117.0, 16210.0, 27534.0, 51477.0, 93532.0, 241801.0, 325242.0, 122856.0, 59062.0, 33102.0, 20125.0, 11546.0, 7244.0, 4329.0, 2706.0, 1763.0, 1115.0, 763.0, 462.0, 332.0, 209.0, 136.0, 72.0, 45.0, 45.0, 28.0, 19.0, 11.0, 7.0, 2.0, 1.0, 3.0, 4.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.2438507080078125e-05, -4.098284989595413e-05, -3.952719271183014e-05, -3.8071535527706146e-05, -3.661587834358215e-05, -3.516022115945816e-05, -3.370456397533417e-05, -3.2248906791210175e-05, -3.079324960708618e-05, -2.933759242296219e-05, -2.7881935238838196e-05, -2.6426278054714203e-05, -2.497062087059021e-05, -2.3514963686466217e-05, -2.2059306502342224e-05, -2.060364931821823e-05, -1.9147992134094238e-05, -1.7692334949970245e-05, -1.6236677765846252e-05, -1.478102058172226e-05, -1.3325363397598267e-05, -1.1869706213474274e-05, -1.041404902935028e-05, -8.958391845226288e-06, -7.502734661102295e-06, -6.047077476978302e-06, -4.591420292854309e-06, -3.135763108730316e-06, -1.6801059246063232e-06, -2.2444874048233032e-07, 1.2312084436416626e-06, 2.6868656277656555e-06, 4.1425228118896484e-06, 5.598179996013641e-06, 7.053837180137634e-06, 8.509494364261627e-06, 9.96515154838562e-06, 1.1420808732509613e-05, 1.2876465916633606e-05, 1.4332123100757599e-05, 1.5787780284881592e-05, 1.7243437469005585e-05, 1.8699094653129578e-05, 2.015475183725357e-05, 2.1610409021377563e-05, 2.3066066205501556e-05, 2.452172338962555e-05, 2.5977380573749542e-05, 2.7433037757873535e-05, 2.8888694941997528e-05, 3.034435212612152e-05, 3.1800009310245514e-05, 3.325566649436951e-05, 3.47113236784935e-05, 3.616698086261749e-05, 3.7622638046741486e-05, 3.907829523086548e-05, 4.053395241498947e-05, 4.1989609599113464e-05, 4.344526678323746e-05, 4.490092396736145e-05, 4.635658115148544e-05, 4.7812238335609436e-05, 4.926789551973343e-05, 5.072355270385742e-05]}, "gradients/decoder.bert.encoder.layer.23.attention.self.query.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 0.0, 0.0, 4.0, 3.0, 3.0, 3.0, 5.0, 3.0, 4.0, 4.0, 8.0, 15.0, 13.0, 26.0, 25.0, 27.0, 29.0, 34.0, 34.0, 49.0, 46.0, 51.0, 50.0, 63.0, 52.0, 48.0, 55.0, 38.0, 34.0, 45.0, 35.0, 35.0, 27.0, 24.0, 17.0, 13.0, 16.0, 17.0, 12.0, 10.0, 12.0, 5.0, 5.0, 3.0, 4.0, 1.0, 4.0, 1.0, 3.0, 0.0, 0.0, 1.0, 2.0], "bins": [-1.4662742614746094e-05, -1.4252029359340668e-05, -1.3841316103935242e-05, -1.3430602848529816e-05, -1.301988959312439e-05, -1.2609176337718964e-05, -1.2198463082313538e-05, -1.1787749826908112e-05, -1.1377036571502686e-05, -1.096632331609726e-05, -1.0555610060691833e-05, -1.0144896805286407e-05, -9.734183549880981e-06, -9.323470294475555e-06, -8.91275703907013e-06, -8.502043783664703e-06, -8.091330528259277e-06, -7.680617272853851e-06, -7.269904017448425e-06, -6.859190762042999e-06, -6.448477506637573e-06, -6.037764251232147e-06, -5.627050995826721e-06, -5.216337740421295e-06, -4.805624485015869e-06, -4.394911229610443e-06, -3.984197974205017e-06, -3.573484718799591e-06, -3.162771463394165e-06, -2.752058207988739e-06, -2.341344952583313e-06, -1.930631697177887e-06, -1.519918441772461e-06, -1.109205186367035e-06, -6.984919309616089e-07, -2.8777867555618286e-07, 1.2293457984924316e-07, 5.336478352546692e-07, 9.443610906600952e-07, 1.3550743460655212e-06, 1.7657876014709473e-06, 2.1765008568763733e-06, 2.5872141122817993e-06, 2.9979273676872253e-06, 3.4086406230926514e-06, 3.819353878498077e-06, 4.230067133903503e-06, 4.6407803893089294e-06, 5.0514936447143555e-06, 5.4622069001197815e-06, 5.8729201555252075e-06, 6.2836334109306335e-06, 6.6943466663360596e-06, 7.105059921741486e-06, 7.515773177146912e-06, 7.926486432552338e-06, 8.337199687957764e-06, 8.74791294336319e-06, 9.158626198768616e-06, 9.569339454174042e-06, 9.980052709579468e-06, 1.0390765964984894e-05, 1.080147922039032e-05, 1.1212192475795746e-05, 1.1622905731201172e-05]}, "gradients/decoder.bert.encoder.layer.22.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 2.0, 1.0, 1.0, 1.0, 2.0, 6.0, 8.0, 6.0, 4.0, 8.0, 14.0, 17.0, 17.0, 25.0, 28.0, 39.0, 52.0, 70.0, 94.0, 173.0, 121.0, 81.0, 54.0, 38.0, 43.0, 25.0, 21.0, 21.0, 10.0, 5.0, 3.0, 7.0, 3.0, 3.0, 3.0, 3.0, 1.0, 3.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.0029527395963668823, -0.0028672488406300545, -0.0027817580848932266, -0.0026962673291563988, -0.0026107768062502146, -0.0025252860505133867, -0.002439795294776559, -0.002354304539039731, -0.002268813783302903, -0.0021833230275660753, -0.0020978322718292475, -0.0020123417489230633, -0.0019268508767709136, -0.0018413602374494076, -0.0017558694817125797, -0.0016703787259757519, -0.0015848880866542459, -0.001499397330917418, -0.001413906691595912, -0.0013284159358590841, -0.0012429251801222563, -0.0011574344243854284, -0.0010719437850639224, -0.0009864530293270946, -0.0009009623317979276, -0.0008154716342687607, -0.0007299808785319328, -0.0006444901810027659, -0.000558999483473599, -0.0004735087277367711, -0.00038801803020760417, -0.0003025272744707763, -0.00021703657694160938, -0.000131545850308612, -4.6055138227529824e-05, 3.943557385355234e-05, 0.00012492630048654974, 0.00021041702711954713, 0.00029590772464871407, 0.0003813984803855419, 0.00046688917791470885, 0.0005523798754438758, 0.0006378706311807036, 0.0007233613287098706, 0.0008088520262390375, 0.0008943427819758654, 0.0009798335377126932, 0.001065324293449521, 0.001150814932771027, 0.001236305688507855, 0.001321796327829361, 0.0014072870835661888, 0.0014927778393030167, 0.0015782685950398445, 0.0016637592343613505, 0.0017492499900981784, 0.0018347406294196844, 0.0019202313851565123, 0.00200572214089334, 0.0020912126637995243, 0.002176703419536352, 0.00226219417527318, 0.002347684931010008, 0.0024331756867468357, 0.0025186664424836636]}, "gradients/decoder.bert.encoder.layer.22.output.LayerNorm.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 1.0, 1.0, 3.0, 0.0, 2.0, 2.0, 6.0, 4.0, 3.0, 8.0, 16.0, 15.0, 17.0, 16.0, 24.0, 27.0, 36.0, 20.0, 26.0, 40.0, 27.0, 31.0, 50.0, 41.0, 46.0, 46.0, 37.0, 35.0, 42.0, 38.0, 26.0, 29.0, 35.0, 20.0, 37.0, 26.0, 16.0, 26.0, 22.0, 19.0, 24.0, 13.0, 9.0, 12.0, 8.0, 11.0, 5.0, 4.0, 2.0, 3.0, 3.0, 2.0, 3.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0014068367891013622, -0.0013592165196314454, -0.0013115963665768504, -0.0012639760971069336, -0.0012163559440523386, -0.0011687356745824218, -0.001121115405112505, -0.00107349525205791, -0.0010258749825879931, -0.0009782547131180763, -0.0009306345600634813, -0.0008830142905935645, -0.0008353940793313086, -0.0007877738680690527, -0.0007401535985991359, -0.00069253338733688, -0.0006449131760746241, -0.0005972929648123682, -0.0005496727535501122, -0.0005020524840801954, -0.0004544322728179395, -0.0004068120615556836, -0.00035919182118959725, -0.0003115715808235109, -0.000263951369561255, -0.00021633114374708384, -0.0001687109179329127, -0.00012109069211874157, -7.347046630457044e-05, -2.58502404903993e-05, 2.1769985323771834e-05, 6.93902256898582e-05, 0.00011701032053679228, 0.00016463054635096341, 0.00021225077216513455, 0.0002598710125312209, 0.0003074912237934768, 0.0003551114350557327, 0.0004027316754218191, 0.00045035191578790545, 0.0004979721270501614, 0.0005455923383124173, 0.0005932125495746732, 0.00064083281904459, 0.0006884530303068459, 0.0007360732415691018, 0.0007836935110390186, 0.0008313137223012745, 0.0008789339335635304, 0.0009265541448257864, 0.0009741743560880423, 0.001021794625557959, 0.001069414895027876, 0.001117035048082471, 0.0011646553175523877, 0.0012122755870223045, 0.0012598957400768995, 0.0013075160095468163, 0.0013551361626014113, 0.0014027564320713282, 0.0014503765851259232, 0.00149799685459584, 0.0015456171240657568, 0.0015932372771203518, 0.0016408575465902686]}, "gradients/decoder.bert.encoder.layer.22.output.dense.weight": {"_type": "histogram", "values": [5.0, 6.0, 2.0, 17.0, 15.0, 26.0, 40.0, 45.0, 95.0, 121.0, 185.0, 240.0, 390.0, 619.0, 871.0, 1221.0, 1805.0, 2606.0, 3739.0, 5570.0, 8110.0, 11751.0, 17202.0, 25834.0, 40372.0, 67615.0, 163651.0, 1925093.0, 1616988.0, 123357.0, 59218.0, 35706.0, 23952.0, 16519.0, 11844.0, 8412.0, 6130.0, 4295.0, 3142.0, 2160.0, 1518.0, 1105.0, 782.0, 589.0, 386.0, 263.0, 197.0, 142.0, 103.0, 67.0, 42.0, 30.0, 31.0, 25.0, 16.0, 9.0, 9.0, 7.0, 4.0, 1.0, 2.0, 2.0, 3.0, 2.0], "bins": [-0.0016460418701171875, -0.0015871524810791016, -0.0015282630920410156, -0.0014693737030029297, -0.0014104843139648438, -0.0013515949249267578, -0.0012927055358886719, -0.001233816146850586, -0.0011749267578125, -0.001116037368774414, -0.0010571479797363281, -0.0009982585906982422, -0.0009393692016601562, -0.0008804798126220703, -0.0008215904235839844, -0.0007627010345458984, -0.0007038116455078125, -0.0006449222564697266, -0.0005860328674316406, -0.0005271434783935547, -0.00046825408935546875, -0.0004093647003173828, -0.0003504753112792969, -0.00029158592224121094, -0.000232696533203125, -0.00017380714416503906, -0.00011491775512695312, -5.602836608886719e-05, 2.86102294921875e-06, 6.175041198730469e-05, 0.00012063980102539062, 0.00017952919006347656, 0.0002384185791015625, 0.00029730796813964844, 0.0003561973571777344, 0.0004150867462158203, 0.00047397613525390625, 0.0005328655242919922, 0.0005917549133300781, 0.0006506443023681641, 0.00070953369140625, 0.0007684230804443359, 0.0008273124694824219, 0.0008862018585205078, 0.0009450912475585938, 0.0010039806365966797, 0.0010628700256347656, 0.0011217594146728516, 0.0011806488037109375, 0.0012395381927490234, 0.0012984275817871094, 0.0013573169708251953, 0.0014162063598632812, 0.0014750957489013672, 0.0015339851379394531, 0.001592874526977539, 0.001651763916015625, 0.001710653305053711, 0.0017695426940917969, 0.0018284320831298828, 0.0018873214721679688, 0.0019462108612060547, 0.0020051002502441406, 0.0020639896392822266, 0.0021228790283203125]}, "gradients/decoder.bert.encoder.layer.22.output.dense.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 3.0, 1.0, 4.0, 7.0, 5.0, 6.0, 13.0, 12.0, 12.0, 14.0, 22.0, 24.0, 37.0, 25.0, 42.0, 35.0, 48.0, 35.0, 51.0, 34.0, 51.0, 40.0, 42.0, 33.0, 51.0, 42.0, 29.0, 39.0, 31.0, 22.0, 28.0, 30.0, 23.0, 22.0, 21.0, 19.0, 10.0, 14.0, 9.0, 3.0, 7.0, 6.0, 4.0, 5.0, 4.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.000518798828125, -0.0005003437399864197, -0.00048188865184783936, -0.00046343356370925903, -0.0004449784755706787, -0.0004265233874320984, -0.00040806829929351807, -0.00038961321115493774, -0.0003711581230163574, -0.0003527030348777771, -0.0003342479467391968, -0.00031579285860061646, -0.00029733777046203613, -0.0002788826823234558, -0.0002604275941848755, -0.00024197250604629517, -0.00022351741790771484, -0.00020506232976913452, -0.0001866072416305542, -0.00016815215349197388, -0.00014969706535339355, -0.00013124197721481323, -0.00011278688907623291, -9.433180093765259e-05, -7.587671279907227e-05, -5.742162466049194e-05, -3.896653652191162e-05, -2.05114483833313e-05, -2.0563602447509766e-06, 1.6398727893829346e-05, 3.485381603240967e-05, 5.330890417098999e-05, 7.176399230957031e-05, 9.021908044815063e-05, 0.00010867416858673096, 0.00012712925672531128, 0.0001455843448638916, 0.00016403943300247192, 0.00018249452114105225, 0.00020094960927963257, 0.0002194046974182129, 0.0002378597855567932, 0.00025631487369537354, 0.00027476996183395386, 0.0002932250499725342, 0.0003116801381111145, 0.0003301352262496948, 0.00034859031438827515, 0.00036704540252685547, 0.0003855004906654358, 0.0004039555788040161, 0.00042241066694259644, 0.00044086575508117676, 0.0004593208432197571, 0.0004777759313583374, 0.0004962310194969177, 0.000514686107635498, 0.0005331411957740784, 0.0005515962839126587, 0.000570051372051239, 0.0005885064601898193, 0.0006069615483283997, 0.00062541663646698, 0.0006438717246055603, 0.0006623268127441406]}, "gradients/decoder.bert.encoder.layer.22.intermediate.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 1.0, 2.0, 3.0, 6.0, 9.0, 9.0, 20.0, 35.0, 52.0, 82.0, 125.0, 219.0, 353.0, 509.0, 853.0, 1411.0, 2301.0, 3798.0, 6902.0, 12844.0, 24775.0, 51349.0, 120686.0, 444426.0, 2970429.0, 351059.0, 105490.0, 46268.0, 22671.0, 11925.0, 6566.0, 3693.0, 2129.0, 1262.0, 787.0, 420.0, 292.0, 196.0, 119.0, 72.0, 47.0, 30.0, 30.0, 18.0, 10.0, 6.0, 2.0, 5.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0017795562744140625, -0.0017263293266296387, -0.0016731023788452148, -0.001619875431060791, -0.0015666484832763672, -0.0015134215354919434, -0.0014601945877075195, -0.0014069676399230957, -0.0013537406921386719, -0.001300513744354248, -0.0012472867965698242, -0.0011940598487854004, -0.0011408329010009766, -0.0010876059532165527, -0.001034379005432129, -0.000981152057647705, -0.0009279251098632812, -0.0008746981620788574, -0.0008214712142944336, -0.0007682442665100098, -0.0007150173187255859, -0.0006617903709411621, -0.0006085634231567383, -0.0005553364753723145, -0.0005021095275878906, -0.0004488825798034668, -0.00039565563201904297, -0.00034242868423461914, -0.0002892017364501953, -0.00023597478866577148, -0.00018274784088134766, -0.00012952089309692383, -7.62939453125e-05, -2.3066997528076172e-05, 3.0159950256347656e-05, 8.338689804077148e-05, 0.0001366138458251953, 0.00018984079360961914, 0.00024306774139404297, 0.0002962946891784668, 0.0003495216369628906, 0.00040274858474731445, 0.0004559755325317383, 0.0005092024803161621, 0.0005624294281005859, 0.0006156563758850098, 0.0006688833236694336, 0.0007221102714538574, 0.0007753372192382812, 0.0008285641670227051, 0.0008817911148071289, 0.0009350180625915527, 0.0009882450103759766, 0.0010414719581604004, 0.0010946989059448242, 0.001147925853729248, 0.0012011528015136719, 0.0012543797492980957, 0.0013076066970825195, 0.0013608336448669434, 0.0014140605926513672, 0.001467287540435791, 0.0015205144882202148, 0.0015737414360046387, 0.0016269683837890625]}, "gradients/decoder.bert.encoder.layer.22.intermediate.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 3.0, 1.0, 0.0, 1.0, 3.0, 5.0, 2.0, 4.0, 9.0, 8.0, 10.0, 10.0, 17.0, 41.0, 29.0, 33.0, 43.0, 60.0, 67.0, 77.0, 110.0, 131.0, 248.0, 504.0, 982.0, 673.0, 294.0, 175.0, 124.0, 90.0, 51.0, 57.0, 49.0, 29.0, 33.0, 17.0, 21.0, 13.0, 12.0, 10.0, 7.0, 7.0, 8.0, 6.0, 1.0, 4.0, 1.0, 2.0, 1.0, 2.0, 3.0, 1.0, 1.0], "bins": [-0.0004558563232421875, -0.0004430823028087616, -0.0004303082823753357, -0.0004175342619419098, -0.0004047602415084839, -0.000391986221075058, -0.0003792122006416321, -0.0003664381802082062, -0.0003536641597747803, -0.00034089013934135437, -0.00032811611890792847, -0.00031534209847450256, -0.00030256807804107666, -0.00028979405760765076, -0.00027702003717422485, -0.00026424601674079895, -0.00025147199630737305, -0.00023869797587394714, -0.00022592395544052124, -0.00021314993500709534, -0.00020037591457366943, -0.00018760189414024353, -0.00017482787370681763, -0.00016205385327339172, -0.00014927983283996582, -0.00013650581240653992, -0.00012373179197311401, -0.00011095777153968811, -9.818375110626221e-05, -8.54097306728363e-05, -7.26357102394104e-05, -5.98616898059845e-05, -4.7087669372558594e-05, -3.431364893913269e-05, -2.1539628505706787e-05, -8.765608072280884e-06, 4.0084123611450195e-06, 1.6782432794570923e-05, 2.9556453227996826e-05, 4.233047366142273e-05, 5.510449409484863e-05, 6.787851452827454e-05, 8.065253496170044e-05, 9.342655539512634e-05, 0.00010620057582855225, 0.00011897459626197815, 0.00013174861669540405, 0.00014452263712882996, 0.00015729665756225586, 0.00017007067799568176, 0.00018284469842910767, 0.00019561871886253357, 0.00020839273929595947, 0.00022116675972938538, 0.00023394078016281128, 0.0002467148005962372, 0.0002594888210296631, 0.000272262841463089, 0.0002850368618965149, 0.0002978108823299408, 0.0003105849027633667, 0.0003233589231967926, 0.0003361329436302185, 0.0003489069640636444, 0.0003616809844970703]}, "gradients/decoder.bert.encoder.layer.22.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 3.0, 0.0, 3.0, 2.0, 4.0, 1.0, 7.0, 5.0, 5.0, 11.0, 11.0, 7.0, 19.0, 23.0, 24.0, 37.0, 48.0, 60.0, 109.0, 163.0, 122.0, 86.0, 50.0, 53.0, 40.0, 19.0, 22.0, 17.0, 13.0, 11.0, 12.0, 8.0, 3.0, 5.0, 0.0, 2.0, 4.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.0010270326165482402, -0.0009966394864022732, -0.0009662463562563062, -0.0009358532261103392, -0.0009054600959643722, -0.0008750669658184052, -0.0008446738356724381, -0.0008142807055264711, -0.0007838875753805041, -0.0007534944452345371, -0.0007231013150885701, -0.0006927081849426031, -0.0006623150547966361, -0.0006319219246506691, -0.0006015287945047021, -0.0005711356643587351, -0.000540742592420429, -0.000510349462274462, -0.000479956332128495, -0.00044956320198252797, -0.00041917007183656096, -0.00038877694169059396, -0.0003583838406484574, -0.0003279907105024904, -0.0002975975803565234, -0.0002672044502105564, -0.00023681132006458938, -0.0002064182044705376, -0.0001760250743245706, -0.0001456319441786036, -0.00011523882858455181, -8.48456984385848e-05, -5.445262650027871e-05, -2.4059499992290512e-05, 6.333626515697688e-06, 3.672674938570708e-05, 6.711987953167409e-05, 9.75130096776411e-05, 0.00012790612527169287, 0.00015829925541765988, 0.00018869238556362689, 0.0002190855157095939, 0.0002494786458555609, 0.00027987174689769745, 0.00031026487704366446, 0.00034065800718963146, 0.00037105113733559847, 0.0004014442674815655, 0.0004318373976275325, 0.0004622305277734995, 0.0004926236579194665, 0.0005230167880654335, 0.0005534099182114005, 0.0005838030483573675, 0.0006141961785033345, 0.0006445893086493015, 0.0006749824387952685, 0.0007053755689412355, 0.0007357686990872025, 0.0007661618292331696, 0.0007965549593791366, 0.0008269480895251036, 0.0008573412196710706, 0.0008877343498170376, 0.0009181274217553437]}, "gradients/decoder.bert.encoder.layer.22.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 3.0, 2.0, 4.0, 2.0, 5.0, 10.0, 5.0, 11.0, 16.0, 17.0, 21.0, 29.0, 30.0, 28.0, 31.0, 30.0, 46.0, 40.0, 43.0, 50.0, 47.0, 44.0, 34.0, 43.0, 50.0, 43.0, 40.0, 49.0, 31.0, 24.0, 23.0, 32.0, 25.0, 17.0, 15.0, 14.0, 10.0, 15.0, 11.0, 5.0, 4.0, 5.0, 4.0, 3.0, 0.0, 3.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0], "bins": [-0.0006500603631138802, -0.0006297914660535753, -0.0006095225689932704, -0.0005892536719329655, -0.0005689847748726606, -0.0005487158778123558, -0.0005284469807520509, -0.0005081781418994069, -0.0004879092157352716, -0.0004676403186749667, -0.0004473714216146618, -0.00042710252455435693, -0.0004068336565978825, -0.00038656475953757763, -0.00036629586247727275, -0.00034602696541696787, -0.000325758068356663, -0.0003054891712963581, -0.00028522027423605323, -0.00026495137717574835, -0.00024468248011544347, -0.00022441359760705382, -0.00020414471509866416, -0.00018387581803835928, -0.0001636069209780544, -0.00014333802391774952, -0.00012306912685744464, -0.00010280024434905499, -8.253134728875011e-05, -6.226245022844523e-05, -4.1993560444097966e-05, -2.17246706597507e-05, -1.4557735994458199e-06, 1.8813119822880253e-05, 3.9082013245206326e-05, 5.93509066675324e-05, 7.961980008985847e-05, 9.988869715016335e-05, 0.00012015758693451062, 0.00014042647671885788, 0.00016069537377916276, 0.00018096427083946764, 0.00020123316789977252, 0.00022150205040816218, 0.00024177094746846706, 0.0002620398299768567, 0.0002823087270371616, 0.00030257762409746647, 0.00032284652115777135, 0.00034311541821807623, 0.0003633843152783811, 0.000383653212338686, 0.00040392210939899087, 0.00042419100645929575, 0.0004444598744157702, 0.00046472877147607505, 0.00048499766853637993, 0.0005052665364928544, 0.0005255354335531592, 0.0005458043306134641, 0.000566073227673769, 0.0005863421247340739, 0.0006066110217943788, 0.0006268799188546836, 0.0006471488159149885]}, "gradients/decoder.bert.encoder.layer.22.crossattention.output.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 3.0, 2.0, 1.0, 4.0, 7.0, 5.0, 8.0, 16.0, 28.0, 30.0, 48.0, 66.0, 81.0, 127.0, 196.0, 287.0, 400.0, 576.0, 857.0, 1330.0, 2015.0, 2958.0, 4960.0, 7834.0, 12825.0, 21996.0, 38710.0, 72172.0, 153822.0, 391209.0, 162668.0, 74901.0, 39914.0, 22700.0, 13169.0, 8123.0, 5045.0, 3167.0, 2041.0, 1422.0, 870.0, 607.0, 413.0, 288.0, 204.0, 146.0, 100.0, 62.0, 47.0, 35.0, 22.0, 15.0, 12.0, 9.0, 7.0, 5.0, 3.0, 3.0, 1.0, 1.0, 1.0], "bins": [-0.00228118896484375, -0.002211064100265503, -0.002140939235687256, -0.002070814371109009, -0.0020006895065307617, -0.0019305646419525146, -0.0018604397773742676, -0.0017903149127960205, -0.0017201900482177734, -0.0016500651836395264, -0.0015799403190612793, -0.0015098154544830322, -0.0014396905899047852, -0.001369565725326538, -0.001299440860748291, -0.001229315996170044, -0.0011591911315917969, -0.0010890662670135498, -0.0010189414024353027, -0.0009488165378570557, -0.0008786916732788086, -0.0008085668087005615, -0.0007384419441223145, -0.0006683170795440674, -0.0005981922149658203, -0.0005280673503875732, -0.00045794248580932617, -0.0003878176212310791, -0.00031769275665283203, -0.00024756789207458496, -0.0001774430274963379, -0.00010731816291809082, -3.719329833984375e-05, 3.293156623840332e-05, 0.00010305643081665039, 0.00017318129539489746, 0.00024330615997314453, 0.0003134310245513916, 0.00038355588912963867, 0.00045368075370788574, 0.0005238056182861328, 0.0005939304828643799, 0.000664055347442627, 0.000734180212020874, 0.0008043050765991211, 0.0008744299411773682, 0.0009445548057556152, 0.0010146796703338623, 0.0010848045349121094, 0.0011549293994903564, 0.0012250542640686035, 0.0012951791286468506, 0.0013653039932250977, 0.0014354288578033447, 0.0015055537223815918, 0.0015756785869598389, 0.001645803451538086, 0.001715928316116333, 0.00178605318069458, 0.0018561780452728271, 0.0019263029098510742, 0.0019964277744293213, 0.0020665526390075684, 0.0021366775035858154, 0.0022068023681640625]}, "gradients/decoder.bert.encoder.layer.22.crossattention.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 1.0, 4.0, 5.0, 3.0, 3.0, 7.0, 9.0, 7.0, 16.0, 21.0, 10.0, 25.0, 24.0, 22.0, 27.0, 34.0, 34.0, 39.0, 52.0, 32.0, 40.0, 58.0, 32.0, 35.0, 43.0, 53.0, 33.0, 37.0, 38.0, 36.0, 33.0, 28.0, 30.0, 21.0, 22.0, 21.0, 13.0, 9.0, 9.0, 9.0, 9.0, 6.0, 10.0, 5.0, 2.0, 3.0, 0.0, 2.0, 0.0, 2.0, 0.0, 2.0, 1.0, 1.0], "bins": [-0.00015497207641601562, -0.00015030615031719208, -0.00014564022421836853, -0.00014097429811954498, -0.00013630837202072144, -0.0001316424459218979, -0.00012697651982307434, -0.0001223105937242508, -0.00011764466762542725, -0.0001129787415266037, -0.00010831281542778015, -0.0001036468893289566, -9.898096323013306e-05, -9.431503713130951e-05, -8.964911103248596e-05, -8.498318493366241e-05, -8.031725883483887e-05, -7.565133273601532e-05, -7.098540663719177e-05, -6.631948053836823e-05, -6.165355443954468e-05, -5.698762834072113e-05, -5.232170224189758e-05, -4.7655776143074036e-05, -4.298985004425049e-05, -3.832392394542694e-05, -3.3657997846603394e-05, -2.8992071747779846e-05, -2.43261456489563e-05, -1.966021955013275e-05, -1.4994293451309204e-05, -1.0328367352485657e-05, -5.662441253662109e-06, -9.96515154838562e-07, 3.6694109439849854e-06, 8.335337042808533e-06, 1.300126314163208e-05, 1.7667189240455627e-05, 2.2333115339279175e-05, 2.6999041438102722e-05, 3.166496753692627e-05, 3.633089363574982e-05, 4.0996819734573364e-05, 4.566274583339691e-05, 5.032867193222046e-05, 5.4994598031044006e-05, 5.9660524129867554e-05, 6.43264502286911e-05, 6.899237632751465e-05, 7.36583024263382e-05, 7.832422852516174e-05, 8.299015462398529e-05, 8.765608072280884e-05, 9.232200682163239e-05, 9.698793292045593e-05, 0.00010165385901927948, 0.00010631978511810303, 0.00011098571121692657, 0.00011565163731575012, 0.00012031756341457367, 0.00012498348951339722, 0.00012964941561222076, 0.0001343153417110443, 0.00013898126780986786, 0.0001436471939086914]}, "gradients/decoder.bert.encoder.layer.22.crossattention.self.value.weight": {"_type": "histogram", "values": [3.0, 2.0, 0.0, 6.0, 9.0, 9.0, 20.0, 35.0, 41.0, 55.0, 67.0, 106.0, 124.0, 188.0, 215.0, 337.0, 373.0, 501.0, 681.0, 899.0, 1124.0, 1454.0, 2014.0, 2880.0, 3936.0, 5488.0, 7721.0, 11081.0, 16196.0, 23977.0, 36296.0, 66610.0, 721773.0, 47871.0, 29704.0, 19543.0, 13562.0, 9393.0, 6649.0, 4485.0, 3328.0, 2455.0, 1822.0, 1375.0, 1019.0, 746.0, 562.0, 424.0, 370.0, 284.0, 195.0, 163.0, 106.0, 84.0, 67.0, 46.0, 43.0, 21.0, 11.0, 11.0, 9.0, 4.0, 0.0, 3.0], "bins": [-0.0019817352294921875, -0.0019203126430511475, -0.0018588900566101074, -0.0017974674701690674, -0.0017360448837280273, -0.0016746222972869873, -0.0016131997108459473, -0.0015517771244049072, -0.0014903545379638672, -0.0014289319515228271, -0.0013675093650817871, -0.001306086778640747, -0.001244664192199707, -0.001183241605758667, -0.001121819019317627, -0.001060396432876587, -0.0009989738464355469, -0.0009375512599945068, -0.0008761286735534668, -0.0008147060871124268, -0.0007532835006713867, -0.0006918609142303467, -0.0006304383277893066, -0.0005690157413482666, -0.0005075931549072266, -0.0004461705684661865, -0.0003847479820251465, -0.00032332539558410645, -0.0002619028091430664, -0.00020048022270202637, -0.00013905763626098633, -7.763504981994629e-05, -1.621246337890625e-05, 4.521012306213379e-05, 0.00010663270950317383, 0.00016805529594421387, 0.0002294778823852539, 0.00029090046882629395, 0.000352323055267334, 0.000413745641708374, 0.00047516822814941406, 0.0005365908145904541, 0.0005980134010314941, 0.0006594359874725342, 0.0007208585739135742, 0.0007822811603546143, 0.0008437037467956543, 0.0009051263332366943, 0.0009665489196777344, 0.0010279715061187744, 0.0010893940925598145, 0.0011508166790008545, 0.0012122392654418945, 0.0012736618518829346, 0.0013350844383239746, 0.0013965070247650146, 0.0014579296112060547, 0.0015193521976470947, 0.0015807747840881348, 0.0016421973705291748, 0.0017036199569702148, 0.0017650425434112549, 0.001826465129852295, 0.001887887716293335, 0.001949310302734375]}, "gradients/decoder.bert.encoder.layer.22.crossattention.self.value.bias": {"_type": "histogram", "values": [2.0, 2.0, 1.0, 3.0, 9.0, 2.0, 1.0, 7.0, 5.0, 10.0, 5.0, 11.0, 15.0, 11.0, 18.0, 20.0, 20.0, 20.0, 18.0, 28.0, 16.0, 30.0, 25.0, 37.0, 40.0, 38.0, 35.0, 50.0, 40.0, 47.0, 38.0, 29.0, 46.0, 38.0, 23.0, 45.0, 24.0, 16.0, 24.0, 18.0, 24.0, 16.0, 13.0, 11.0, 9.0, 12.0, 11.0, 10.0, 11.0, 5.0, 5.0, 8.0, 6.0, 3.0, 4.0, 3.0, 1.0, 0.0, 1.0, 2.0, 0.0, 1.0, 0.0, 1.0], "bins": [-7.742643356323242e-05, -7.478892803192139e-05, -7.215142250061035e-05, -6.951391696929932e-05, -6.687641143798828e-05, -6.423890590667725e-05, -6.160140037536621e-05, -5.8963894844055176e-05, -5.632638931274414e-05, -5.3688883781433105e-05, -5.105137825012207e-05, -4.8413872718811035e-05, -4.57763671875e-05, -4.3138861656188965e-05, -4.050135612487793e-05, -3.7863850593566895e-05, -3.522634506225586e-05, -3.2588839530944824e-05, -2.995133399963379e-05, -2.7313828468322754e-05, -2.467632293701172e-05, -2.2038817405700684e-05, -1.940131187438965e-05, -1.6763806343078613e-05, -1.4126300811767578e-05, -1.1488795280456543e-05, -8.851289749145508e-06, -6.213784217834473e-06, -3.5762786865234375e-06, -9.387731552124023e-07, 1.6987323760986328e-06, 4.336237907409668e-06, 6.973743438720703e-06, 9.611248970031738e-06, 1.2248754501342773e-05, 1.4886260032653809e-05, 1.7523765563964844e-05, 2.016127109527588e-05, 2.2798776626586914e-05, 2.543628215789795e-05, 2.8073787689208984e-05, 3.071129322052002e-05, 3.3348798751831055e-05, 3.598630428314209e-05, 3.8623809814453125e-05, 4.126131534576416e-05, 4.3898820877075195e-05, 4.653632640838623e-05, 4.9173831939697266e-05, 5.18113374710083e-05, 5.4448843002319336e-05, 5.708634853363037e-05, 5.9723854064941406e-05, 6.236135959625244e-05, 6.499886512756348e-05, 6.763637065887451e-05, 7.027387619018555e-05, 7.291138172149658e-05, 7.554888725280762e-05, 7.818639278411865e-05, 8.082389831542969e-05, 8.346140384674072e-05, 8.609890937805176e-05, 8.873641490936279e-05, 9.137392044067383e-05]}, "gradients/decoder.bert.encoder.layer.22.crossattention.self.key.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 2.0, 0.0, 3.0, 2.0, 6.0, 3.0, 11.0, 9.0, 16.0, 18.0, 16.0, 39.0, 45.0, 46.0, 76.0, 92.0, 145.0, 193.0, 326.0, 399.0, 674.0, 949.0, 1561.0, 3367.0, 13248.0, 1019374.0, 3118.0, 1756.0, 947.0, 651.0, 456.0, 270.0, 209.0, 142.0, 112.0, 87.0, 51.0, 40.0, 23.0, 26.0, 17.0, 13.0, 6.0, 4.0, 6.0, 5.0, 4.0, 3.0, 1.0, 2.0, 0.0, 0.0, 2.0, 1.0], "bins": [-2.1755695343017578e-05, -2.1134503185749054e-05, -2.051331102848053e-05, -1.9892118871212006e-05, -1.927092671394348e-05, -1.8649734556674957e-05, -1.8028542399406433e-05, -1.740735024213791e-05, -1.6786158084869385e-05, -1.616496592760086e-05, -1.5543773770332336e-05, -1.4922581613063812e-05, -1.4301389455795288e-05, -1.3680197298526764e-05, -1.305900514125824e-05, -1.2437812983989716e-05, -1.1816620826721191e-05, -1.1195428669452667e-05, -1.0574236512184143e-05, -9.953044354915619e-06, -9.331852197647095e-06, -8.71066004037857e-06, -8.089467883110046e-06, -7.468275725841522e-06, -6.847083568572998e-06, -6.225891411304474e-06, -5.60469925403595e-06, -4.9835070967674255e-06, -4.362314939498901e-06, -3.741122782230377e-06, -3.119930624961853e-06, -2.498738467693329e-06, -1.8775463104248047e-06, -1.2563541531562805e-06, -6.351619958877563e-07, -1.3969838619232178e-08, 6.07222318649292e-07, 1.2284144759178162e-06, 1.8496066331863403e-06, 2.4707987904548645e-06, 3.0919909477233887e-06, 3.713183104991913e-06, 4.334375262260437e-06, 4.955567419528961e-06, 5.576759576797485e-06, 6.1979517340660095e-06, 6.819143891334534e-06, 7.440336048603058e-06, 8.061528205871582e-06, 8.682720363140106e-06, 9.30391252040863e-06, 9.925104677677155e-06, 1.0546296834945679e-05, 1.1167488992214203e-05, 1.1788681149482727e-05, 1.2409873306751251e-05, 1.3031065464019775e-05, 1.36522576212883e-05, 1.4273449778556824e-05, 1.4894641935825348e-05, 1.5515834093093872e-05, 1.6137026250362396e-05, 1.675821840763092e-05, 1.7379410564899445e-05, 1.800060272216797e-05]}, "gradients/decoder.bert.encoder.layer.22.crossattention.self.key.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 15.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 999.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 9.0], "bins": [-1.1920928955078125e-07, -1.1641532182693481e-07, -1.1362135410308838e-07, -1.1082738637924194e-07, -1.0803341865539551e-07, -1.0523945093154907e-07, -1.0244548320770264e-07, -9.96515154838562e-08, -9.685754776000977e-08, -9.406358003616333e-08, -9.12696123123169e-08, -8.847564458847046e-08, -8.568167686462402e-08, -8.288770914077759e-08, -8.009374141693115e-08, -7.729977369308472e-08, -7.450580596923828e-08, -7.171183824539185e-08, -6.891787052154541e-08, -6.612390279769897e-08, -6.332993507385254e-08, -6.05359673500061e-08, -5.774199962615967e-08, -5.494803190231323e-08, -5.21540641784668e-08, -4.936009645462036e-08, -4.6566128730773926e-08, -4.377216100692749e-08, -4.0978193283081055e-08, -3.818422555923462e-08, -3.5390257835388184e-08, -3.259629011154175e-08, -2.9802322387695312e-08, -2.7008354663848877e-08, -2.421438694000244e-08, -2.1420419216156006e-08, -1.862645149230957e-08, -1.5832483768463135e-08, -1.30385160446167e-08, -1.0244548320770264e-08, -7.450580596923828e-09, -4.6566128730773926e-09, -1.862645149230957e-09, 9.313225746154785e-10, 3.725290298461914e-09, 6.51925802230835e-09, 9.313225746154785e-09, 1.210719347000122e-08, 1.4901161193847656e-08, 1.7695128917694092e-08, 2.0489096641540527e-08, 2.3283064365386963e-08, 2.60770320892334e-08, 2.8870999813079834e-08, 3.166496753692627e-08, 3.4458935260772705e-08, 3.725290298461914e-08, 4.0046870708465576e-08, 4.284083843231201e-08, 4.563480615615845e-08, 4.842877388000488e-08, 5.122274160385132e-08, 5.4016709327697754e-08, 5.681067705154419e-08, 5.960464477539063e-08]}, "gradients/decoder.bert.encoder.layer.22.crossattention.self.query.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 3.0, 1.0, 2.0, 3.0, 3.0, 2.0, 4.0, 5.0, 6.0, 8.0, 16.0, 14.0, 15.0, 36.0, 53.0, 68.0, 96.0, 165.0, 270.0, 472.0, 885.0, 1576.0, 3832.0, 11212.0, 1015077.0, 8199.0, 3242.0, 1331.0, 794.0, 403.0, 297.0, 158.0, 99.0, 67.0, 51.0, 27.0, 17.0, 22.0, 12.0, 8.0, 4.0, 3.0, 4.0, 4.0, 1.0, 1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-2.288818359375e-05, -2.2259540855884552e-05, -2.1630898118019104e-05, -2.1002255380153656e-05, -2.0373612642288208e-05, -1.974496990442276e-05, -1.9116327166557312e-05, -1.8487684428691864e-05, -1.7859041690826416e-05, -1.7230398952960968e-05, -1.660175621509552e-05, -1.5973113477230072e-05, -1.5344470739364624e-05, -1.4715828001499176e-05, -1.4087185263633728e-05, -1.345854252576828e-05, -1.2829899787902832e-05, -1.2201257050037384e-05, -1.1572614312171936e-05, -1.0943971574306488e-05, -1.031532883644104e-05, -9.686686098575592e-06, -9.058043360710144e-06, -8.429400622844696e-06, -7.800757884979248e-06, -7.1721151471138e-06, -6.543472409248352e-06, -5.914829671382904e-06, -5.286186933517456e-06, -4.657544195652008e-06, -4.02890145778656e-06, -3.400258719921112e-06, -2.771615982055664e-06, -2.142973244190216e-06, -1.514330506324768e-06, -8.856877684593201e-07, -2.5704503059387207e-07, 3.7159770727157593e-07, 1.000240445137024e-06, 1.628883183002472e-06, 2.25752592086792e-06, 2.886168658733368e-06, 3.514811396598816e-06, 4.143454134464264e-06, 4.772096872329712e-06, 5.40073961019516e-06, 6.029382348060608e-06, 6.658025085926056e-06, 7.286667823791504e-06, 7.915310561656952e-06, 8.5439532995224e-06, 9.172596037387848e-06, 9.801238775253296e-06, 1.0429881513118744e-05, 1.1058524250984192e-05, 1.168716698884964e-05, 1.2315809726715088e-05, 1.2944452464580536e-05, 1.3573095202445984e-05, 1.4201737940311432e-05, 1.483038067817688e-05, 1.5459023416042328e-05, 1.6087666153907776e-05, 1.6716308891773224e-05, 1.7344951629638672e-05]}, "gradients/decoder.bert.encoder.layer.22.crossattention.self.query.bias": {"_type": "histogram", "values": [2.0, 0.0, 3.0, 0.0, 1.0, 0.0, 1.0, 0.0, 3.0, 0.0, 4.0, 0.0, 2.0, 0.0, 2.0, 0.0, 3.0, 0.0, 5.0, 0.0, 2.0, 0.0, 963.0, 0.0, 7.0, 0.0, 5.0, 0.0, 3.0, 0.0, 2.0, 0.0, 0.0, 2.0, 0.0, 2.0, 0.0, 1.0, 0.0, 2.0, 0.0, 4.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-6.556510925292969e-07, -6.26780092716217e-07, -5.979090929031372e-07, -5.690380930900574e-07, -5.401670932769775e-07, -5.112960934638977e-07, -4.824250936508179e-07, -4.5355409383773804e-07, -4.246830940246582e-07, -3.9581209421157837e-07, -3.6694109439849854e-07, -3.380700945854187e-07, -3.0919909477233887e-07, -2.8032809495925903e-07, -2.514570951461792e-07, -2.2258609533309937e-07, -1.9371509552001953e-07, -1.648440957069397e-07, -1.3597309589385986e-07, -1.0710209608078003e-07, -7.82310962677002e-08, -4.936009645462036e-08, -2.0489096641540527e-08, 8.381903171539307e-09, 3.725290298461914e-08, 6.612390279769897e-08, 9.499490261077881e-08, 1.2386590242385864e-07, 1.5273690223693848e-07, 1.816079020500183e-07, 2.1047890186309814e-07, 2.39349901676178e-07, 2.682209014892578e-07, 2.9709190130233765e-07, 3.259629011154175e-07, 3.548339009284973e-07, 3.8370490074157715e-07, 4.12575900554657e-07, 4.414469003677368e-07, 4.7031790018081665e-07, 4.991888999938965e-07, 5.280598998069763e-07, 5.569308996200562e-07, 5.85801899433136e-07, 6.146728992462158e-07, 6.435438990592957e-07, 6.724148988723755e-07, 7.012858986854553e-07, 7.301568984985352e-07, 7.59027898311615e-07, 7.878988981246948e-07, 8.167698979377747e-07, 8.456408977508545e-07, 8.745118975639343e-07, 9.033828973770142e-07, 9.32253897190094e-07, 9.611248970031738e-07, 9.899958968162537e-07, 1.0188668966293335e-06, 1.0477378964424133e-06, 1.0766088962554932e-06, 1.105479896068573e-06, 1.1343508958816528e-06, 1.1632218956947327e-06, 1.1920928955078125e-06]}, "gradients/decoder.bert.encoder.layer.22.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 1.0, 3.0, 2.0, 1.0, 5.0, 0.0, 2.0, 7.0, 9.0, 4.0, 11.0, 9.0, 14.0, 21.0, 28.0, 28.0, 29.0, 51.0, 78.0, 123.0, 164.0, 115.0, 71.0, 52.0, 47.0, 34.0, 22.0, 17.0, 16.0, 9.0, 12.0, 11.0, 1.0, 4.0, 3.0, 2.0, 2.0, 4.0, 1.0, 2.0, 1.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00023259238514583558, -0.00022542836086358875, -0.00021826433658134192, -0.0002111003122990951, -0.00020393628801684827, -0.00019677226373460144, -0.0001896082394523546, -0.00018244421517010778, -0.00017528019088786095, -0.00016811616660561413, -0.0001609521423233673, -0.00015378811804112047, -0.00014662409375887364, -0.0001394600694766268, -0.00013229604519437999, -0.00012513202091213316, -0.00011796800390584394, -0.00011080397962359712, -0.00010363995534135029, -9.647593105910346e-05, -8.931190677685663e-05, -8.214788977056742e-05, -7.498386548832059e-05, -6.781984120607376e-05, -6.0655813285848126e-05, -5.34917890036013e-05, -4.632776472135447e-05, -3.916374407708645e-05, -3.199971979483962e-05, -2.4835695512592793e-05, -1.7671671230345964e-05, -1.0507646948099136e-05, -3.3436226658523083e-06, 3.820401161647169e-06, 1.0984424989146646e-05, 1.8148448361898772e-05, 2.53124726441456e-05, 3.2476495107403025e-05, 3.964051938964985e-05, 4.680454367189668e-05, 5.396856795414351e-05, 6.113258859841153e-05, 6.829661288065836e-05, 7.546063716290519e-05, 8.262466144515201e-05, 8.978868572739884e-05, 9.695271000964567e-05, 0.0001041167342918925, 0.00011128075857413933, 0.00011844478285638615, 0.00012560879986267537, 0.0001327728241449222, 0.00013993684842716902, 0.00014710087270941585, 0.00015426489699166268, 0.0001614289212739095, 0.00016859294555615634, 0.00017575696983840317, 0.00018292099412065, 0.00019008501840289682, 0.00019724904268514365, 0.00020441306696739048, 0.0002115770912496373, 0.00021874111553188413, 0.00022590513981413096]}, "gradients/decoder.bert.encoder.layer.22.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 3.0, 2.0, 4.0, 3.0, 6.0, 8.0, 3.0, 13.0, 15.0, 19.0, 21.0, 28.0, 30.0, 30.0, 30.0, 33.0, 43.0, 39.0, 47.0, 50.0, 45.0, 44.0, 37.0, 41.0, 52.0, 41.0, 39.0, 48.0, 33.0, 20.0, 31.0, 27.0, 25.0, 17.0, 16.0, 11.0, 11.0, 15.0, 10.0, 5.0, 4.0, 5.0, 4.0, 3.0, 0.0, 4.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 1.0], "bins": [-0.00014877876674290746, -0.00014414213364943862, -0.00013950548600405455, -0.0001348688529105857, -0.00013023220526520163, -0.00012559557217173278, -0.00012095893180230632, -0.00011632229143287987, -0.00011168565833941102, -0.00010704901796998456, -0.0001024123776005581, -9.777574450708926e-05, -9.31391041376628e-05, -8.850246376823634e-05, -8.386582339880988e-05, -7.922918302938342e-05, -7.459254265995696e-05, -6.99559022905305e-05, -6.531926192110404e-05, -6.068262518965639e-05, -5.604598845820874e-05, -5.140934808878228e-05, -4.677270771935582e-05, -4.213607098790817e-05, -3.749943061848171e-05, -3.286279024905525e-05, -2.82261535176076e-05, -2.358951314818114e-05, -1.8952874597744085e-05, -1.431623604730703e-05, -9.67959567788057e-06, -5.042958946432918e-06, -4.0631857700645924e-07, 4.230320428177947e-06, 8.866959433362354e-06, 1.3503598893294111e-05, 1.8140237443731166e-05, 2.2776875994168222e-05, 2.741351636359468e-05, 3.205015309504233e-05, 3.668679346446879e-05, 4.132343383389525e-05, 4.59600705653429e-05, 5.059671093476936e-05, 5.523335130419582e-05, 5.986998803564347e-05, 6.450663204304874e-05, 6.914326513651758e-05, 7.377990550594404e-05, 7.84165458753705e-05, 8.305318624479696e-05, 8.768982661422342e-05, 9.232645970769227e-05, 9.696310007711872e-05, 0.00010159974044654518, 0.00010623637354001403, 0.0001108730211853981, 0.00011550966155482456, 0.00012014630192425102, 0.00012478293501771986, 0.00012941958266310394, 0.00013405621575657278, 0.00013869284885004163, 0.0001433294964954257, 0.00014796612958889455]}, "gradients/decoder.bert.encoder.layer.22.attention.output.dense.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 4.0, 2.0, 4.0, 2.0, 5.0, 14.0, 10.0, 21.0, 32.0, 45.0, 59.0, 75.0, 138.0, 216.0, 299.0, 446.0, 661.0, 1038.0, 1665.0, 2596.0, 4205.0, 6673.0, 10462.0, 17537.0, 29871.0, 52597.0, 103439.0, 277185.0, 298916.0, 107031.0, 54562.0, 30969.0, 18233.0, 11016.0, 6762.0, 4242.0, 2677.0, 1732.0, 1124.0, 662.0, 448.0, 284.0, 200.0, 121.0, 98.0, 60.0, 37.0, 31.0, 21.0, 14.0, 12.0, 7.0, 4.0, 2.0, 3.0, 0.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.0002779960632324219, -0.0002693161368370056, -0.00026063621044158936, -0.0002519562840461731, -0.00024327635765075684, -0.00023459643125534058, -0.00022591650485992432, -0.00021723657846450806, -0.0002085566520690918, -0.00019987672567367554, -0.00019119679927825928, -0.00018251687288284302, -0.00017383694648742676, -0.0001651570200920105, -0.00015647709369659424, -0.00014779716730117798, -0.00013911724090576172, -0.00013043731451034546, -0.0001217573881149292, -0.00011307746171951294, -0.00010439753532409668, -9.571760892868042e-05, -8.703768253326416e-05, -7.83577561378479e-05, -6.967782974243164e-05, -6.099790334701538e-05, -5.231797695159912e-05, -4.363805055618286e-05, -3.49581241607666e-05, -2.6278197765350342e-05, -1.7598271369934082e-05, -8.918344974517822e-06, -2.384185791015625e-07, 8.441507816314697e-06, 1.7121434211730957e-05, 2.5801360607147217e-05, 3.4481287002563477e-05, 4.3161213397979736e-05, 5.1841139793395996e-05, 6.0521066188812256e-05, 6.920099258422852e-05, 7.788091897964478e-05, 8.656084537506104e-05, 9.52407717704773e-05, 0.00010392069816589355, 0.00011260062456130981, 0.00012128055095672607, 0.00012996047735214233, 0.0001386404037475586, 0.00014732033014297485, 0.0001560002565383911, 0.00016468018293380737, 0.00017336010932922363, 0.0001820400357246399, 0.00019071996212005615, 0.0001993998885154724, 0.00020807981491088867, 0.00021675974130630493, 0.0002254396677017212, 0.00023411959409713745, 0.0002427995204925537, 0.00025147944688796997, 0.00026015937328338623, 0.0002688392996788025, 0.00027751922607421875]}, "gradients/decoder.bert.encoder.layer.22.attention.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 2.0, 1.0, 2.0, 3.0, 5.0, 2.0, 4.0, 8.0, 14.0, 9.0, 14.0, 19.0, 26.0, 19.0, 31.0, 38.0, 24.0, 42.0, 32.0, 41.0, 38.0, 54.0, 40.0, 43.0, 43.0, 52.0, 41.0, 48.0, 32.0, 36.0, 35.0, 26.0, 32.0, 23.0, 21.0, 22.0, 16.0, 12.0, 17.0, 13.0, 9.0, 7.0, 6.0, 4.0, 3.0, 1.0, 3.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0], "bins": [-6.842613220214844e-05, -6.606150418519974e-05, -6.369687616825104e-05, -6.133224815130234e-05, -5.896762013435364e-05, -5.660299211740494e-05, -5.423836410045624e-05, -5.187373608350754e-05, -4.950910806655884e-05, -4.714448004961014e-05, -4.477985203266144e-05, -4.241522401571274e-05, -4.005059599876404e-05, -3.768596798181534e-05, -3.532133996486664e-05, -3.295671194791794e-05, -3.059208393096924e-05, -2.822745591402054e-05, -2.586282789707184e-05, -2.349819988012314e-05, -2.113357186317444e-05, -1.876894384622574e-05, -1.640431582927704e-05, -1.4039687812328339e-05, -1.1675059795379639e-05, -9.310431778430939e-06, -6.945803761482239e-06, -4.581175744533539e-06, -2.216547727584839e-06, 1.4808028936386108e-07, 2.512708306312561e-06, 4.877336323261261e-06, 7.241964340209961e-06, 9.606592357158661e-06, 1.197122037410736e-05, 1.433584839105606e-05, 1.670047640800476e-05, 1.906510442495346e-05, 2.142973244190216e-05, 2.379436045885086e-05, 2.615898847579956e-05, 2.852361649274826e-05, 3.088824450969696e-05, 3.325287252664566e-05, 3.561750054359436e-05, 3.798212856054306e-05, 4.034675657749176e-05, 4.271138459444046e-05, 4.507601261138916e-05, 4.744064062833786e-05, 4.980526864528656e-05, 5.216989666223526e-05, 5.453452467918396e-05, 5.689915269613266e-05, 5.926378071308136e-05, 6.162840873003006e-05, 6.399303674697876e-05, 6.635766476392746e-05, 6.872229278087616e-05, 7.108692079782486e-05, 7.345154881477356e-05, 7.581617683172226e-05, 7.818080484867096e-05, 8.054543286561966e-05, 8.291006088256836e-05]}, "gradients/decoder.bert.encoder.layer.22.attention.self.value.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 3.0, 1.0, 4.0, 8.0, 16.0, 18.0, 31.0, 51.0, 54.0, 93.0, 160.0, 205.0, 311.0, 424.0, 637.0, 910.0, 1227.0, 1711.0, 2495.0, 3271.0, 4866.0, 6658.0, 9118.0, 12851.0, 17870.0, 25500.0, 38317.0, 57474.0, 90370.0, 164786.0, 264259.0, 118875.0, 72446.0, 46040.0, 31723.0, 21823.0, 15476.0, 11001.0, 7848.0, 5641.0, 4014.0, 2958.0, 2011.0, 1515.0, 1044.0, 760.0, 511.0, 365.0, 270.0, 196.0, 113.0, 93.0, 53.0, 48.0, 17.0, 9.0, 8.0, 10.0, 2.0, 4.0, 1.0], "bins": [-0.0001246929168701172, -0.00012094434350728989, -0.00011719577014446259, -0.00011344719678163528, -0.00010969862341880798, -0.00010595005005598068, -0.00010220147669315338, -9.845290333032608e-05, -9.470432996749878e-05, -9.095575660467148e-05, -8.720718324184418e-05, -8.345860987901688e-05, -7.971003651618958e-05, -7.596146315336227e-05, -7.221288979053497e-05, -6.846431642770767e-05, -6.471574306488037e-05, -6.096716970205307e-05, -5.721859633922577e-05, -5.347002297639847e-05, -4.972144961357117e-05, -4.5972876250743866e-05, -4.2224302887916565e-05, -3.8475729525089264e-05, -3.472715616226196e-05, -3.097858279943466e-05, -2.723000943660736e-05, -2.348143607378006e-05, -1.973286271095276e-05, -1.5984289348125458e-05, -1.2235715985298157e-05, -8.487142622470856e-06, -4.738569259643555e-06, -9.899958968162537e-07, 2.7585774660110474e-06, 6.507150828838348e-06, 1.025572419166565e-05, 1.400429755449295e-05, 1.775287091732025e-05, 2.1501444280147552e-05, 2.5250017642974854e-05, 2.8998591005802155e-05, 3.2747164368629456e-05, 3.6495737731456757e-05, 4.024431109428406e-05, 4.399288445711136e-05, 4.774145781993866e-05, 5.149003118276596e-05, 5.523860454559326e-05, 5.898717790842056e-05, 6.273575127124786e-05, 6.648432463407516e-05, 7.023289799690247e-05, 7.398147135972977e-05, 7.773004472255707e-05, 8.147861808538437e-05, 8.522719144821167e-05, 8.897576481103897e-05, 9.272433817386627e-05, 9.647291153669357e-05, 0.00010022148489952087, 0.00010397005826234818, 0.00010771863162517548, 0.00011146720498800278, 0.00011521577835083008]}, "gradients/decoder.bert.encoder.layer.22.attention.self.value.bias": {"_type": "histogram", "values": [1.0, 1.0, 2.0, 2.0, 0.0, 3.0, 1.0, 5.0, 5.0, 2.0, 8.0, 4.0, 10.0, 12.0, 14.0, 12.0, 12.0, 14.0, 15.0, 28.0, 20.0, 21.0, 22.0, 25.0, 35.0, 36.0, 40.0, 41.0, 32.0, 41.0, 38.0, 45.0, 37.0, 37.0, 28.0, 40.0, 41.0, 40.0, 26.0, 33.0, 24.0, 20.0, 24.0, 24.0, 14.0, 14.0, 9.0, 8.0, 5.0, 12.0, 10.0, 7.0, 2.0, 4.0, 2.0, 5.0, 4.0, 0.0, 2.0, 1.0, 0.0, 2.0, 1.0, 1.0], "bins": [-4.112720489501953e-05, -3.981124609708786e-05, -3.849528729915619e-05, -3.717932850122452e-05, -3.586336970329285e-05, -3.4547410905361176e-05, -3.3231452107429504e-05, -3.191549330949783e-05, -3.059953451156616e-05, -2.928357571363449e-05, -2.796761691570282e-05, -2.665165811777115e-05, -2.5335699319839478e-05, -2.4019740521907806e-05, -2.2703781723976135e-05, -2.1387822926044464e-05, -2.0071864128112793e-05, -1.8755905330181122e-05, -1.743994653224945e-05, -1.612398773431778e-05, -1.4808028936386108e-05, -1.3492070138454437e-05, -1.2176111340522766e-05, -1.0860152542591095e-05, -9.544193744659424e-06, -8.228234946727753e-06, -6.9122761487960815e-06, -5.59631735086441e-06, -4.280358552932739e-06, -2.964399755001068e-06, -1.648440957069397e-06, -3.3248215913772583e-07, 9.834766387939453e-07, 2.2994354367256165e-06, 3.6153942346572876e-06, 4.931353032588959e-06, 6.24731183052063e-06, 7.563270628452301e-06, 8.879229426383972e-06, 1.0195188224315643e-05, 1.1511147022247314e-05, 1.2827105820178986e-05, 1.4143064618110657e-05, 1.5459023416042328e-05, 1.6774982213974e-05, 1.809094101190567e-05, 1.940689980983734e-05, 2.0722858607769012e-05, 2.2038817405700684e-05, 2.3354776203632355e-05, 2.4670735001564026e-05, 2.5986693799495697e-05, 2.7302652597427368e-05, 2.861861139535904e-05, 2.993457019329071e-05, 3.125052899122238e-05, 3.256648778915405e-05, 3.3882446587085724e-05, 3.5198405385017395e-05, 3.6514364182949066e-05, 3.783032298088074e-05, 3.914628177881241e-05, 4.046224057674408e-05, 4.177819937467575e-05, 4.309415817260742e-05]}, "gradients/decoder.bert.encoder.layer.22.attention.self.key.weight": {"_type": "histogram", "values": [2.0, 0.0, 2.0, 0.0, 2.0, 5.0, 8.0, 6.0, 10.0, 12.0, 10.0, 19.0, 34.0, 44.0, 47.0, 75.0, 106.0, 145.0, 175.0, 330.0, 386.0, 597.0, 833.0, 1194.0, 1827.0, 3557.0, 4585.0, 7260.0, 12221.0, 20950.0, 39625.0, 82438.0, 444668.0, 250867.0, 82027.0, 39623.0, 21309.0, 12243.0, 8727.0, 4170.0, 2619.0, 1766.0, 1207.0, 800.0, 685.0, 382.0, 256.0, 199.0, 142.0, 106.0, 63.0, 82.0, 47.0, 13.0, 22.0, 19.0, 9.0, 9.0, 2.0, 2.0, 4.0, 1.0, 1.0, 1.0], "bins": [-8.165836334228516e-06, -7.918104529380798e-06, -7.670372724533081e-06, -7.422640919685364e-06, -7.1749091148376465e-06, -6.927177309989929e-06, -6.679445505142212e-06, -6.431713700294495e-06, -6.183981895446777e-06, -5.93625009059906e-06, -5.688518285751343e-06, -5.4407864809036255e-06, -5.193054676055908e-06, -4.945322871208191e-06, -4.697591066360474e-06, -4.449859261512756e-06, -4.202127456665039e-06, -3.954395651817322e-06, -3.7066638469696045e-06, -3.458932042121887e-06, -3.21120023727417e-06, -2.9634684324264526e-06, -2.7157366275787354e-06, -2.468004822731018e-06, -2.2202730178833008e-06, -1.9725412130355835e-06, -1.7248094081878662e-06, -1.477077603340149e-06, -1.2293457984924316e-06, -9.816139936447144e-07, -7.338821887969971e-07, -4.861503839492798e-07, -2.384185791015625e-07, 9.313225746154785e-09, 2.5704503059387207e-07, 5.047768354415894e-07, 7.525086402893066e-07, 1.000240445137024e-06, 1.2479722499847412e-06, 1.4957040548324585e-06, 1.7434358596801758e-06, 1.991167664527893e-06, 2.2388994693756104e-06, 2.4866312742233276e-06, 2.734363079071045e-06, 2.982094883918762e-06, 3.2298266887664795e-06, 3.4775584936141968e-06, 3.725290298461914e-06, 3.973022103309631e-06, 4.220753908157349e-06, 4.468485713005066e-06, 4.716217517852783e-06, 4.9639493227005005e-06, 5.211681127548218e-06, 5.459412932395935e-06, 5.707144737243652e-06, 5.95487654209137e-06, 6.202608346939087e-06, 6.450340151786804e-06, 6.6980719566345215e-06, 6.945803761482239e-06, 7.193535566329956e-06, 7.441267371177673e-06, 7.68899917602539e-06]}, "gradients/decoder.bert.encoder.layer.22.attention.self.key.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 1.0, 0.0, 1.0, 2.0, 2.0, 0.0, 0.0, 2.0, 5.0, 4.0, 5.0, 3.0, 9.0, 5.0, 8.0, 14.0, 16.0, 15.0, 37.0, 13.0, 29.0, 36.0, 91.0, 51.0, 52.0, 171.0, 75.0, 54.0, 50.0, 72.0, 41.0, 19.0, 39.0, 16.0, 20.0, 20.0, 3.0, 2.0, 9.0, 8.0, 1.0, 5.0, 5.0, 1.0, 0.0, 1.0, 2.0, 1.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.6226043701171875e-06, -2.5453045964241028e-06, -2.468004822731018e-06, -2.3907050490379333e-06, -2.3134052753448486e-06, -2.236105501651764e-06, -2.158805727958679e-06, -2.0815059542655945e-06, -2.0042061805725098e-06, -1.926906406879425e-06, -1.8496066331863403e-06, -1.7723068594932556e-06, -1.695007085800171e-06, -1.6177073121070862e-06, -1.5404075384140015e-06, -1.4631077647209167e-06, -1.385807991027832e-06, -1.3085082173347473e-06, -1.2312084436416626e-06, -1.1539086699485779e-06, -1.0766088962554932e-06, -9.993091225624084e-07, -9.220093488693237e-07, -8.44709575176239e-07, -7.674098014831543e-07, -6.901100277900696e-07, -6.128102540969849e-07, -5.355104804039001e-07, -4.5821070671081543e-07, -3.809109330177307e-07, -3.03611159324646e-07, -2.2631138563156128e-07, -1.4901161193847656e-07, -7.171183824539185e-08, 5.587935447692871e-09, 8.288770914077759e-08, 1.601874828338623e-07, 2.3748725652694702e-07, 3.1478703022003174e-07, 3.9208680391311646e-07, 4.6938657760620117e-07, 5.466863512992859e-07, 6.239861249923706e-07, 7.012858986854553e-07, 7.7858567237854e-07, 8.558854460716248e-07, 9.331852197647095e-07, 1.0104849934577942e-06, 1.087784767150879e-06, 1.1650845408439636e-06, 1.2423843145370483e-06, 1.319684088230133e-06, 1.3969838619232178e-06, 1.4742836356163025e-06, 1.5515834093093872e-06, 1.628883183002472e-06, 1.7061829566955566e-06, 1.7834827303886414e-06, 1.860782504081726e-06, 1.938082277774811e-06, 2.0153820514678955e-06, 2.0926818251609802e-06, 2.169981598854065e-06, 2.2472813725471497e-06, 2.3245811462402344e-06]}, "gradients/decoder.bert.encoder.layer.22.attention.self.query.weight": {"_type": "histogram", "values": [1.0, 1.0, 5.0, 1.0, 10.0, 15.0, 28.0, 41.0, 54.0, 61.0, 120.0, 99.0, 183.0, 178.0, 265.0, 309.0, 560.0, 820.0, 818.0, 1421.0, 1644.0, 2846.0, 3433.0, 6720.0, 11440.0, 15768.0, 37333.0, 63124.0, 272451.0, 422691.0, 110315.0, 37229.0, 24025.0, 12895.0, 6234.0, 5069.0, 2638.0, 2378.0, 1328.0, 1146.0, 811.0, 482.0, 469.0, 253.0, 251.0, 153.0, 145.0, 84.0, 77.0, 49.0, 31.0, 22.0, 10.0, 16.0, 4.0, 6.0, 3.0, 3.0, 2.0, 3.0, 1.0, 1.0, 1.0, 2.0], "bins": [-7.927417755126953e-06, -7.655471563339233e-06, -7.383525371551514e-06, -7.111579179763794e-06, -6.839632987976074e-06, -6.5676867961883545e-06, -6.295740604400635e-06, -6.023794412612915e-06, -5.751848220825195e-06, -5.479902029037476e-06, -5.207955837249756e-06, -4.936009645462036e-06, -4.664063453674316e-06, -4.392117261886597e-06, -4.120171070098877e-06, -3.848224878311157e-06, -3.5762786865234375e-06, -3.3043324947357178e-06, -3.032386302947998e-06, -2.7604401111602783e-06, -2.4884939193725586e-06, -2.216547727584839e-06, -1.944601535797119e-06, -1.6726553440093994e-06, -1.4007091522216797e-06, -1.12876296043396e-06, -8.568167686462402e-07, -5.848705768585205e-07, -3.129243850708008e-07, -4.0978193283081055e-08, 2.3096799850463867e-07, 5.029141902923584e-07, 7.748603820800781e-07, 1.0468065738677979e-06, 1.3187527656555176e-06, 1.5906989574432373e-06, 1.862645149230957e-06, 2.1345913410186768e-06, 2.4065375328063965e-06, 2.678483724594116e-06, 2.950429916381836e-06, 3.2223761081695557e-06, 3.4943222999572754e-06, 3.766268491744995e-06, 4.038214683532715e-06, 4.3101608753204346e-06, 4.582107067108154e-06, 4.854053258895874e-06, 5.125999450683594e-06, 5.3979456424713135e-06, 5.669891834259033e-06, 5.941838026046753e-06, 6.213784217834473e-06, 6.485730409622192e-06, 6.757676601409912e-06, 7.029622793197632e-06, 7.3015689849853516e-06, 7.573515176773071e-06, 7.845461368560791e-06, 8.11740756034851e-06, 8.38935375213623e-06, 8.66129994392395e-06, 8.93324613571167e-06, 9.20519232749939e-06, 9.47713851928711e-06]}, "gradients/decoder.bert.encoder.layer.22.attention.self.query.bias": {"_type": "histogram", "values": [2.0, 0.0, 2.0, 1.0, 2.0, 1.0, 2.0, 0.0, 1.0, 0.0, 2.0, 1.0, 3.0, 1.0, 1.0, 4.0, 4.0, 9.0, 1.0, 3.0, 10.0, 7.0, 7.0, 13.0, 4.0, 19.0, 17.0, 14.0, 41.0, 21.0, 62.0, 48.0, 52.0, 135.0, 95.0, 140.0, 46.0, 40.0, 64.0, 19.0, 39.0, 16.0, 11.0, 16.0, 10.0, 5.0, 3.0, 6.0, 8.0, 1.0, 1.0, 4.0, 1.0, 0.0, 1.0, 0.0, 2.0, 1.0, 2.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-2.86102294921875e-06, -2.7781352400779724e-06, -2.695247530937195e-06, -2.6123598217964172e-06, -2.5294721126556396e-06, -2.446584403514862e-06, -2.3636966943740845e-06, -2.280808985233307e-06, -2.1979212760925293e-06, -2.1150335669517517e-06, -2.032145857810974e-06, -1.9492581486701965e-06, -1.866370439529419e-06, -1.7834827303886414e-06, -1.7005950212478638e-06, -1.6177073121070862e-06, -1.5348196029663086e-06, -1.451931893825531e-06, -1.3690441846847534e-06, -1.2861564755439758e-06, -1.2032687664031982e-06, -1.1203810572624207e-06, -1.037493348121643e-06, -9.546056389808655e-07, -8.717179298400879e-07, -7.888302206993103e-07, -7.059425115585327e-07, -6.230548024177551e-07, -5.401670932769775e-07, -4.5727938413619995e-07, -3.7439167499542236e-07, -2.915039658546448e-07, -2.086162567138672e-07, -1.257285475730896e-07, -4.284083843231201e-08, 4.0046870708465576e-08, 1.2293457984924316e-07, 2.0582228899002075e-07, 2.8870999813079834e-07, 3.7159770727157593e-07, 4.544854164123535e-07, 5.373731255531311e-07, 6.202608346939087e-07, 7.031485438346863e-07, 7.860362529754639e-07, 8.689239621162415e-07, 9.51811671257019e-07, 1.0346993803977966e-06, 1.1175870895385742e-06, 1.2004747986793518e-06, 1.2833625078201294e-06, 1.366250216960907e-06, 1.4491379261016846e-06, 1.5320256352424622e-06, 1.6149133443832397e-06, 1.6978010535240173e-06, 1.780688762664795e-06, 1.8635764718055725e-06, 1.94646418094635e-06, 2.0293518900871277e-06, 2.1122395992279053e-06, 2.195127308368683e-06, 2.2780150175094604e-06, 2.360902726650238e-06, 2.4437904357910156e-06]}, "gradients/decoder.bert.encoder.layer.21.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 2.0, 2.0, 2.0, 0.0, 2.0, 4.0, 2.0, 4.0, 6.0, 4.0, 6.0, 10.0, 11.0, 15.0, 21.0, 27.0, 23.0, 51.0, 50.0, 48.0, 106.0, 173.0, 108.0, 81.0, 52.0, 48.0, 40.0, 25.0, 22.0, 12.0, 10.0, 12.0, 8.0, 3.0, 6.0, 2.0, 5.0, 5.0, 1.0, 0.0, 0.0, 1.0, 2.0, 3.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00010991619637934491, -0.00010608402953948826, -0.00010225185542367399, -9.841968130785972e-05, -9.458751446800306e-05, -9.075534762814641e-05, -8.692317351233214e-05, -8.309099939651787e-05, -7.925883255666122e-05, -7.542666571680456e-05, -7.15944916009903e-05, -6.776231748517603e-05, -6.393015064531937e-05, -6.009798016748391e-05, -5.626580968964845e-05, -5.243363921181299e-05, -4.8601468733977526e-05, -4.4769298256142065e-05, -4.0937127778306603e-05, -3.710495730047114e-05, -3.327278682263568e-05, -2.944061634480022e-05, -2.5608445866964757e-05, -2.1776275389129296e-05, -1.7944104911293834e-05, -1.4111934433458373e-05, -1.0279763955622911e-05, -6.44759347778745e-06, -2.6154229999519885e-06, 1.216747477883473e-06, 5.0489179557189345e-06, 8.881088433554396e-06, 1.2713251635432243e-05, 1.6545422113267705e-05, 2.0377592591103166e-05, 2.4209763068938628e-05, 2.804193354677409e-05, 3.187410402460955e-05, 3.570627450244501e-05, 3.9538444980280474e-05, 4.3370615458115935e-05, 4.72027859359514e-05, 5.103495641378686e-05, 5.486712689162232e-05, 5.869929736945778e-05, 6.253147148527205e-05, 6.63636383251287e-05, 7.019580516498536e-05, 7.402797928079963e-05, 7.78601533966139e-05, 8.169232023647055e-05, 8.55244870763272e-05, 8.935666119214147e-05, 9.318883530795574e-05, 9.70210021478124e-05, 0.00010085316898766905, 0.00010468534310348332, 0.00010851751721929759, 0.00011234968405915424, 0.0001161818508990109, 0.00012001402501482517, 0.00012384619913063943, 0.00012767835869453847, 0.00013151053281035274, 0.000135342706926167]}, "gradients/decoder.bert.encoder.layer.21.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 3.0, 0.0, 2.0, 2.0, 6.0, 5.0, 8.0, 15.0, 7.0, 11.0, 13.0, 15.0, 18.0, 29.0, 24.0, 42.0, 35.0, 43.0, 37.0, 49.0, 42.0, 41.0, 37.0, 40.0, 41.0, 46.0, 54.0, 37.0, 39.0, 36.0, 38.0, 25.0, 34.0, 22.0, 21.0, 17.0, 15.0, 17.0, 9.0, 8.0, 9.0, 7.0, 3.0, 4.0, 4.0, 1.0, 0.0, 2.0, 3.0, 0.0, 0.0, 0.0, 3.0], "bins": [-8.563237497583032e-05, -8.315257582580671e-05, -8.06727766757831e-05, -7.819297752575949e-05, -7.571317837573588e-05, -7.323338650166988e-05, -7.075358735164627e-05, -6.827378820162266e-05, -6.579398905159906e-05, -6.331418990157545e-05, -6.083439075155184e-05, -5.8354595239507034e-05, -5.5874796089483425e-05, -5.3394996939459816e-05, -5.091520142741501e-05, -4.8435402277391404e-05, -4.5955603127367795e-05, -4.3475803977344185e-05, -4.0996004827320576e-05, -3.8516209315275773e-05, -3.6036410165252164e-05, -3.3556611015228555e-05, -3.107681550318375e-05, -2.8597016353160143e-05, -2.6117217203136533e-05, -2.3637418053112924e-05, -2.1157620722078718e-05, -1.8677823391044512e-05, -1.6198024241020903e-05, -1.3718226000491995e-05, -1.1238427759963088e-05, -8.758630428928882e-06, -6.278824002947658e-06, -3.7990257624187507e-06, -1.319227521889843e-06, 1.1605707186390646e-06, 3.640368959167972e-06, 6.12016719969688e-06, 8.599965440225787e-06, 1.1079762771259993e-05, 1.3559561921283603e-05, 1.6039361071307212e-05, 1.8519158402341418e-05, 2.0998955733375624e-05, 2.3478754883399233e-05, 2.5958554033422843e-05, 2.843835136445705e-05, 3.0918148695491254e-05, 3.3397947845514864e-05, 3.587774699553847e-05, 3.835754614556208e-05, 4.0837341657606885e-05, 4.3317140807630494e-05, 4.5796939957654104e-05, 4.8276735469698906e-05, 5.0756534619722515e-05, 5.3236333769746125e-05, 5.5716132919769734e-05, 5.8195932069793344e-05, 6.0675727581838146e-05, 6.315553036984056e-05, 6.563532224390656e-05, 6.811512139393017e-05, 7.059492054395378e-05, 7.307471969397739e-05]}, "gradients/decoder.bert.encoder.layer.21.output.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 3.0, 1.0, 2.0, 4.0, 8.0, 9.0, 22.0, 25.0, 37.0, 79.0, 101.0, 147.0, 232.0, 360.0, 574.0, 851.0, 1250.0, 1916.0, 2847.0, 4116.0, 6210.0, 9638.0, 15461.0, 25588.0, 44709.0, 85996.0, 232526.0, 3018521.0, 504671.0, 104693.0, 53039.0, 30066.0, 18362.0, 11266.0, 7020.0, 4762.0, 2983.0, 2083.0, 1360.0, 930.0, 595.0, 419.0, 267.0, 204.0, 122.0, 76.0, 49.0, 30.0, 27.0, 15.0, 11.0, 7.0, 4.0, 2.0, 2.0, 1.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.00011998414993286133, -0.00011619273573160172, -0.0001124013215303421, -0.00010860990732908249, -0.00010481849312782288, -0.00010102707892656326, -9.723566472530365e-05, -9.344425052404404e-05, -8.965283632278442e-05, -8.586142212152481e-05, -8.20700079202652e-05, -7.827859371900558e-05, -7.448717951774597e-05, -7.069576531648636e-05, -6.690435111522675e-05, -6.311293691396713e-05, -5.932152271270752e-05, -5.5530108511447906e-05, -5.1738694310188293e-05, -4.794728010892868e-05, -4.415586590766907e-05, -4.0364451706409454e-05, -3.657303750514984e-05, -3.278162330389023e-05, -2.8990209102630615e-05, -2.5198794901371002e-05, -2.140738070011139e-05, -1.7615966498851776e-05, -1.3824552297592163e-05, -1.003313809633255e-05, -6.241723895072937e-06, -2.450309693813324e-06, 1.341104507446289e-06, 5.132518708705902e-06, 8.923932909965515e-06, 1.2715347111225128e-05, 1.650676131248474e-05, 2.0298175513744354e-05, 2.4089589715003967e-05, 2.788100391626358e-05, 3.167241811752319e-05, 3.5463832318782806e-05, 3.925524652004242e-05, 4.304666072130203e-05, 4.6838074922561646e-05, 5.062948912382126e-05, 5.442090332508087e-05, 5.8212317526340485e-05, 6.20037317276001e-05, 6.579514592885971e-05, 6.958656013011932e-05, 7.337797433137894e-05, 7.716938853263855e-05, 8.096080273389816e-05, 8.475221693515778e-05, 8.854363113641739e-05, 9.2335045337677e-05, 9.612645953893661e-05, 9.991787374019623e-05, 0.00010370928794145584, 0.00010750070214271545, 0.00011129211634397507, 0.00011508353054523468, 0.00011887494474649429, 0.0001226663589477539]}, "gradients/decoder.bert.encoder.layer.21.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 2.0, 0.0, 1.0, 2.0, 2.0, 1.0, 6.0, 4.0, 7.0, 10.0, 7.0, 13.0, 7.0, 12.0, 15.0, 15.0, 17.0, 26.0, 33.0, 30.0, 30.0, 45.0, 41.0, 45.0, 40.0, 30.0, 38.0, 45.0, 38.0, 37.0, 52.0, 36.0, 27.0, 40.0, 37.0, 34.0, 33.0, 30.0, 20.0, 18.0, 20.0, 11.0, 8.0, 16.0, 8.0, 5.0, 7.0, 1.0, 4.0, 4.0, 4.0, 3.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-2.6464462280273438e-05, -2.5629065930843353e-05, -2.479366958141327e-05, -2.3958273231983185e-05, -2.31228768825531e-05, -2.2287480533123016e-05, -2.1452084183692932e-05, -2.0616687834262848e-05, -1.9781291484832764e-05, -1.894589513540268e-05, -1.8110498785972595e-05, -1.727510243654251e-05, -1.6439706087112427e-05, -1.5604309737682343e-05, -1.4768913388252258e-05, -1.3933517038822174e-05, -1.309812068939209e-05, -1.2262724339962006e-05, -1.1427327990531921e-05, -1.0591931641101837e-05, -9.756535291671753e-06, -8.921138942241669e-06, -8.085742592811584e-06, -7.2503462433815e-06, -6.414949893951416e-06, -5.579553544521332e-06, -4.7441571950912476e-06, -3.908760845661163e-06, -3.073364496231079e-06, -2.237968146800995e-06, -1.4025717973709106e-06, -5.671754479408264e-07, 2.682209014892578e-07, 1.103617250919342e-06, 1.9390136003494263e-06, 2.7744099497795105e-06, 3.6098062992095947e-06, 4.445202648639679e-06, 5.280598998069763e-06, 6.115995347499847e-06, 6.951391696929932e-06, 7.786788046360016e-06, 8.6221843957901e-06, 9.457580745220184e-06, 1.0292977094650269e-05, 1.1128373444080353e-05, 1.1963769793510437e-05, 1.2799166142940521e-05, 1.3634562492370605e-05, 1.446995884180069e-05, 1.5305355191230774e-05, 1.6140751540660858e-05, 1.6976147890090942e-05, 1.7811544239521027e-05, 1.864694058895111e-05, 1.9482336938381195e-05, 2.031773328781128e-05, 2.1153129637241364e-05, 2.1988525986671448e-05, 2.2823922336101532e-05, 2.3659318685531616e-05, 2.44947150349617e-05, 2.5330111384391785e-05, 2.616550773382187e-05, 2.7000904083251953e-05]}, "gradients/decoder.bert.encoder.layer.21.intermediate.dense.weight": {"_type": "histogram", "values": [5.0, 3.0, 3.0, 3.0, 1.0, 11.0, 14.0, 19.0, 31.0, 46.0, 69.0, 125.0, 147.0, 225.0, 374.0, 545.0, 790.0, 1093.0, 1704.0, 2398.0, 3559.0, 5224.0, 7979.0, 11839.0, 18015.0, 29561.0, 45563.0, 80132.0, 142135.0, 347299.0, 2180995.0, 802832.0, 231770.0, 108105.0, 64395.0, 37133.0, 24412.0, 15098.0, 10362.0, 6512.0, 4334.0, 3050.0, 2019.0, 1414.0, 933.0, 644.0, 446.0, 291.0, 208.0, 147.0, 100.0, 64.0, 34.0, 34.0, 27.0, 11.0, 9.0, 3.0, 5.0, 1.0, 0.0, 1.0, 2.0, 1.0], "bins": [-4.851818084716797e-05, -4.694238305091858e-05, -4.536658525466919e-05, -4.37907874584198e-05, -4.221498966217041e-05, -4.063919186592102e-05, -3.906339406967163e-05, -3.748759627342224e-05, -3.591179847717285e-05, -3.433600068092346e-05, -3.276020288467407e-05, -3.118440508842468e-05, -2.9608607292175293e-05, -2.8032809495925903e-05, -2.6457011699676514e-05, -2.4881213903427124e-05, -2.3305416107177734e-05, -2.1729618310928345e-05, -2.0153820514678955e-05, -1.8578022718429565e-05, -1.7002224922180176e-05, -1.5426427125930786e-05, -1.3850629329681396e-05, -1.2274831533432007e-05, -1.0699033737182617e-05, -9.123235940933228e-06, -7.547438144683838e-06, -5.971640348434448e-06, -4.395842552185059e-06, -2.820044755935669e-06, -1.2442469596862793e-06, 3.3155083656311035e-07, 1.9073486328125e-06, 3.4831464290618896e-06, 5.058944225311279e-06, 6.634742021560669e-06, 8.210539817810059e-06, 9.786337614059448e-06, 1.1362135410308838e-05, 1.2937933206558228e-05, 1.4513731002807617e-05, 1.6089528799057007e-05, 1.7665326595306396e-05, 1.9241124391555786e-05, 2.0816922187805176e-05, 2.2392719984054565e-05, 2.3968517780303955e-05, 2.5544315576553345e-05, 2.7120113372802734e-05, 2.8695911169052124e-05, 3.0271708965301514e-05, 3.18475067615509e-05, 3.342330455780029e-05, 3.499910235404968e-05, 3.657490015029907e-05, 3.815069794654846e-05, 3.972649574279785e-05, 4.130229353904724e-05, 4.287809133529663e-05, 4.445388913154602e-05, 4.602968692779541e-05, 4.76054847240448e-05, 4.918128252029419e-05, 5.075708031654358e-05, 5.233287811279297e-05]}, "gradients/decoder.bert.encoder.layer.21.intermediate.dense.bias": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 1.0, 1.0, 2.0, 1.0, 5.0, 2.0, 1.0, 9.0, 5.0, 6.0, 10.0, 17.0, 13.0, 13.0, 21.0, 16.0, 36.0, 35.0, 29.0, 54.0, 56.0, 44.0, 77.0, 86.0, 112.0, 137.0, 198.0, 325.0, 603.0, 671.0, 389.0, 224.0, 163.0, 129.0, 83.0, 83.0, 83.0, 65.0, 42.0, 46.0, 38.0, 24.0, 18.0, 17.0, 16.0, 13.0, 11.0, 9.0, 10.0, 14.0, 6.0, 5.0, 5.0, 7.0, 1.0, 0.0, 1.0, 0.0, 2.0, 2.0, 1.0], "bins": [-1.5497207641601562e-05, -1.501571387052536e-05, -1.4534220099449158e-05, -1.4052726328372955e-05, -1.3571232557296753e-05, -1.308973878622055e-05, -1.2608245015144348e-05, -1.2126751244068146e-05, -1.1645257472991943e-05, -1.1163763701915741e-05, -1.0682269930839539e-05, -1.0200776159763336e-05, -9.719282388687134e-06, -9.237788617610931e-06, -8.756294846534729e-06, -8.274801075458527e-06, -7.793307304382324e-06, -7.311813533306122e-06, -6.8303197622299194e-06, -6.348825991153717e-06, -5.867332220077515e-06, -5.385838449001312e-06, -4.90434467792511e-06, -4.4228509068489075e-06, -3.941357135772705e-06, -3.4598633646965027e-06, -2.9783695936203003e-06, -2.496875822544098e-06, -2.0153820514678955e-06, -1.5338882803916931e-06, -1.0523945093154907e-06, -5.709007382392883e-07, -8.940696716308594e-08, 3.9208680391311646e-07, 8.735805749893188e-07, 1.3550743460655212e-06, 1.8365681171417236e-06, 2.318061888217926e-06, 2.7995556592941284e-06, 3.281049430370331e-06, 3.762543201446533e-06, 4.244036972522736e-06, 4.725530743598938e-06, 5.20702451467514e-06, 5.688518285751343e-06, 6.170012056827545e-06, 6.6515058279037476e-06, 7.13299959897995e-06, 7.614493370056152e-06, 8.095987141132355e-06, 8.577480912208557e-06, 9.05897468328476e-06, 9.540468454360962e-06, 1.0021962225437164e-05, 1.0503455996513367e-05, 1.0984949767589569e-05, 1.1466443538665771e-05, 1.1947937309741974e-05, 1.2429431080818176e-05, 1.2910924851894379e-05, 1.3392418622970581e-05, 1.3873912394046783e-05, 1.4355406165122986e-05, 1.4836899936199188e-05, 1.531839370727539e-05]}, "gradients/decoder.bert.encoder.layer.21.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 2.0, 3.0, 1.0, 1.0, 3.0, 7.0, 7.0, 9.0, 8.0, 18.0, 11.0, 23.0, 33.0, 27.0, 41.0, 66.0, 95.0, 211.0, 144.0, 87.0, 45.0, 41.0, 33.0, 21.0, 21.0, 15.0, 5.0, 6.0, 8.0, 5.0, 4.0, 4.0, 2.0, 2.0, 3.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-5.2929750381736085e-05, -5.1204624469392e-05, -4.9479502195026726e-05, -4.775437628268264e-05, -4.602925037033856e-05, -4.430412809597328e-05, -4.25790021836292e-05, -4.085387627128512e-05, -3.912875399691984e-05, -3.740362808457576e-05, -3.567850581021048e-05, -3.39533798978664e-05, -3.222825762350112e-05, -3.050313171115704e-05, -2.8778005798812956e-05, -2.7052881705458276e-05, -2.5327757612103596e-05, -2.3602633518748917e-05, -2.1877509425394237e-05, -2.0152383513050154e-05, -1.8427259419695474e-05, -1.6702135326340795e-05, -1.4977010323491413e-05, -1.3251885320642032e-05, -1.1526761227287352e-05, -9.801637133932672e-06, -8.076512131083291e-06, -6.3513875829812605e-06, -4.62626303487923e-06, -2.9011389415245503e-06, -1.176013938675169e-06, 5.491110641742125e-07, 2.274235157528892e-06, 3.999359705630923e-06, 5.724484253732953e-06, 7.449608801834984e-06, 9.174733349937014e-06, 1.0899857443291694e-05, 1.2624982446141075e-05, 1.4350107448990457e-05, 1.6075231542345136e-05, 1.7800355635699816e-05, 1.9525479729054496e-05, 2.125060564139858e-05, 2.297572973475326e-05, 2.4700853828107938e-05, 2.642597974045202e-05, 2.81511038338067e-05, 2.987622792716138e-05, 3.1601353839505464e-05, 3.332647611387074e-05, 3.505160202621482e-05, 3.6776727938558906e-05, 3.850185021292418e-05, 4.0226976125268266e-05, 4.195210203761235e-05, 4.3677224311977625e-05, 4.540235022432171e-05, 4.7127472498686984e-05, 4.885259841103107e-05, 5.0577720685396343e-05, 5.230284659774043e-05, 5.402797251008451e-05, 5.5753094784449786e-05, 5.747822069679387e-05]}, "gradients/decoder.bert.encoder.layer.21.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 1.0, 4.0, 1.0, 6.0, 6.0, 2.0, 7.0, 9.0, 11.0, 18.0, 25.0, 20.0, 30.0, 29.0, 22.0, 31.0, 41.0, 45.0, 44.0, 31.0, 56.0, 50.0, 48.0, 48.0, 40.0, 42.0, 39.0, 36.0, 52.0, 35.0, 23.0, 26.0, 23.0, 20.0, 17.0, 15.0, 10.0, 8.0, 14.0, 5.0, 6.0, 4.0, 3.0, 3.0, 4.0, 3.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.213071613572538e-05, -3.114089122391306e-05, -3.0151068131090142e-05, -2.916124321927782e-05, -2.8171420126454905e-05, -2.7181595214642584e-05, -2.6191770302830264e-05, -2.5201945391017944e-05, -2.4212122298195027e-05, -2.3222297386382706e-05, -2.223247429355979e-05, -2.124264938174747e-05, -2.025282446993515e-05, -1.9263001377112232e-05, -1.8273176465299912e-05, -1.7283353372476995e-05, -1.6293528460664675e-05, -1.5303703548852354e-05, -1.4313880456029437e-05, -1.3324055544217117e-05, -1.2334231541899499e-05, -1.134440753958188e-05, -1.035458262776956e-05, -9.364758625451941e-06, -8.374934623134322e-06, -7.385110620816704e-06, -6.395286163751734e-06, -5.405461706686765e-06, -4.415637704369146e-06, -3.425813702051528e-06, -2.4359892449865583e-06, -1.4461647879215889e-06, -4.563407856039703e-07, 5.334834440873237e-07, 1.5233076737786178e-06, 2.5131319034699118e-06, 3.502956133161206e-06, 4.492780135478824e-06, 5.482604592543794e-06, 6.472429049608763e-06, 7.462253051926382e-06, 8.452077054244e-06, 9.441901056561619e-06, 1.043172596837394e-05, 1.1421549970691558e-05, 1.2411373973009177e-05, 1.3401198884821497e-05, 1.4391022887139115e-05, 1.5380846889456734e-05, 1.6370671801269054e-05, 1.736049489409197e-05, 1.835031980590429e-05, 1.934014289872721e-05, 2.032996781053953e-05, 2.131979272235185e-05, 2.230961763416417e-05, 2.3299440726987086e-05, 2.4289265638799407e-05, 2.5279088731622323e-05, 2.6268913643434644e-05, 2.7258738555246964e-05, 2.824856164806988e-05, 2.92383865598822e-05, 3.0228209652705118e-05, 3.121803456451744e-05]}, "gradients/decoder.bert.encoder.layer.21.crossattention.output.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 2.0, 0.0, 5.0, 8.0, 6.0, 17.0, 20.0, 30.0, 27.0, 41.0, 64.0, 96.0, 155.0, 227.0, 315.0, 467.0, 745.0, 1052.0, 1766.0, 2876.0, 4548.0, 7871.0, 13985.0, 26477.0, 54939.0, 131640.0, 440350.0, 202681.0, 78641.0, 35888.0, 18219.0, 10075.0, 5807.0, 3456.0, 2146.0, 1308.0, 877.0, 563.0, 374.0, 236.0, 166.0, 121.0, 83.0, 70.0, 48.0, 20.0, 17.0, 10.0, 10.0, 8.0, 4.0, 1.0, 6.0, 3.0, 3.0, 0.0, 1.0], "bins": [-0.0001201629638671875, -0.00011659879237413406, -0.00011303462088108063, -0.00010947044938802719, -0.00010590627789497375, -0.00010234210640192032, -9.877793490886688e-05, -9.521376341581345e-05, -9.164959192276001e-05, -8.808542042970657e-05, -8.452124893665314e-05, -8.09570774435997e-05, -7.739290595054626e-05, -7.382873445749283e-05, -7.026456296443939e-05, -6.670039147138596e-05, -6.313621997833252e-05, -5.957204848527908e-05, -5.600787699222565e-05, -5.244370549917221e-05, -4.8879534006118774e-05, -4.531536251306534e-05, -4.17511910200119e-05, -3.8187019526958466e-05, -3.462284803390503e-05, -3.105867654085159e-05, -2.7494505047798157e-05, -2.393033355474472e-05, -2.0366162061691284e-05, -1.6801990568637848e-05, -1.3237819075584412e-05, -9.673647582530975e-06, -6.109476089477539e-06, -2.5453045964241028e-06, 1.0188668966293335e-06, 4.58303838968277e-06, 8.147209882736206e-06, 1.1711381375789642e-05, 1.527555286884308e-05, 1.8839724361896515e-05, 2.240389585494995e-05, 2.5968067348003387e-05, 2.9532238841056824e-05, 3.309641033411026e-05, 3.6660581827163696e-05, 4.022475332021713e-05, 4.378892481327057e-05, 4.7353096306324005e-05, 5.091726779937744e-05, 5.448143929243088e-05, 5.8045610785484314e-05, 6.160978227853775e-05, 6.517395377159119e-05, 6.873812526464462e-05, 7.230229675769806e-05, 7.58664682507515e-05, 7.943063974380493e-05, 8.299481123685837e-05, 8.65589827299118e-05, 9.012315422296524e-05, 9.368732571601868e-05, 9.725149720907211e-05, 0.00010081566870212555, 0.00010437984019517899, 0.00010794401168823242]}, "gradients/decoder.bert.encoder.layer.21.crossattention.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 1.0, 1.0, 3.0, 0.0, 1.0, 4.0, 1.0, 4.0, 9.0, 5.0, 8.0, 15.0, 7.0, 20.0, 14.0, 12.0, 24.0, 23.0, 36.0, 26.0, 50.0, 30.0, 40.0, 38.0, 30.0, 62.0, 64.0, 43.0, 28.0, 55.0, 46.0, 36.0, 34.0, 24.0, 41.0, 24.0, 31.0, 29.0, 21.0, 16.0, 11.0, 10.0, 5.0, 2.0, 11.0, 5.0, 5.0, 4.0, 4.0, 2.0, 2.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-6.735324859619141e-06, -6.509944796562195e-06, -6.284564733505249e-06, -6.059184670448303e-06, -5.833804607391357e-06, -5.608424544334412e-06, -5.383044481277466e-06, -5.15766441822052e-06, -4.932284355163574e-06, -4.706904292106628e-06, -4.481524229049683e-06, -4.256144165992737e-06, -4.030764102935791e-06, -3.8053840398788452e-06, -3.5800039768218994e-06, -3.3546239137649536e-06, -3.129243850708008e-06, -2.903863787651062e-06, -2.678483724594116e-06, -2.4531036615371704e-06, -2.2277235984802246e-06, -2.002343535423279e-06, -1.776963472366333e-06, -1.5515834093093872e-06, -1.3262033462524414e-06, -1.1008232831954956e-06, -8.754432201385498e-07, -6.50063157081604e-07, -4.246830940246582e-07, -1.993030309677124e-07, 2.60770320892334e-08, 2.514570951461792e-07, 4.76837158203125e-07, 7.022172212600708e-07, 9.275972843170166e-07, 1.1529773473739624e-06, 1.3783574104309082e-06, 1.603737473487854e-06, 1.8291175365447998e-06, 2.0544975996017456e-06, 2.2798776626586914e-06, 2.505257725715637e-06, 2.730637788772583e-06, 2.956017851829529e-06, 3.1813979148864746e-06, 3.4067779779434204e-06, 3.632158041000366e-06, 3.857538104057312e-06, 4.082918167114258e-06, 4.308298230171204e-06, 4.533678293228149e-06, 4.759058356285095e-06, 4.984438419342041e-06, 5.209818482398987e-06, 5.435198545455933e-06, 5.660578608512878e-06, 5.885958671569824e-06, 6.11133873462677e-06, 6.336718797683716e-06, 6.562098860740662e-06, 6.787478923797607e-06, 7.012858986854553e-06, 7.238239049911499e-06, 7.463619112968445e-06, 7.68899917602539e-06]}, "gradients/decoder.bert.encoder.layer.21.crossattention.self.value.weight": {"_type": "histogram", "values": [3.0, 0.0, 3.0, 1.0, 3.0, 1.0, 4.0, 2.0, 4.0, 7.0, 6.0, 8.0, 11.0, 8.0, 20.0, 35.0, 35.0, 55.0, 111.0, 167.0, 295.0, 503.0, 765.0, 1330.0, 2194.0, 3539.0, 5641.0, 8852.0, 14166.0, 23988.0, 42479.0, 795431.0, 69510.0, 31104.0, 18447.0, 11291.0, 6989.0, 4451.0, 2766.0, 1735.0, 1038.0, 644.0, 361.0, 218.0, 123.0, 74.0, 40.0, 30.0, 17.0, 10.0, 8.0, 6.0, 10.0, 7.0, 7.0, 1.0, 6.0, 5.0, 2.0, 1.0, 3.0, 0.0, 2.0, 3.0], "bins": [-9.959936141967773e-05, -9.646173566579819e-05, -9.332410991191864e-05, -9.018648415803909e-05, -8.704885840415955e-05, -8.391123265028e-05, -8.077360689640045e-05, -7.76359811425209e-05, -7.449835538864136e-05, -7.136072963476181e-05, -6.822310388088226e-05, -6.508547812700272e-05, -6.194785237312317e-05, -5.881022661924362e-05, -5.5672600865364075e-05, -5.253497511148453e-05, -4.939734935760498e-05, -4.625972360372543e-05, -4.3122097849845886e-05, -3.998447209596634e-05, -3.684684634208679e-05, -3.3709220588207245e-05, -3.05715948343277e-05, -2.743396908044815e-05, -2.4296343326568604e-05, -2.1158717572689056e-05, -1.802109181880951e-05, -1.4883466064929962e-05, -1.1745840311050415e-05, -8.608214557170868e-06, -5.470588803291321e-06, -2.3329630494117737e-06, 8.046627044677734e-07, 3.9422884583473206e-06, 7.079914212226868e-06, 1.0217539966106415e-05, 1.3355165719985962e-05, 1.649279147386551e-05, 1.9630417227745056e-05, 2.2768042981624603e-05, 2.590566873550415e-05, 2.9043294489383698e-05, 3.2180920243263245e-05, 3.531854599714279e-05, 3.845617175102234e-05, 4.1593797504901886e-05, 4.473142325878143e-05, 4.786904901266098e-05, 5.100667476654053e-05, 5.4144300520420074e-05, 5.728192627429962e-05, 6.041955202817917e-05, 6.355717778205872e-05, 6.669480353593826e-05, 6.983242928981781e-05, 7.297005504369736e-05, 7.61076807975769e-05, 7.924530655145645e-05, 8.2382932305336e-05, 8.552055805921555e-05, 8.865818381309509e-05, 9.179580956697464e-05, 9.493343532085419e-05, 9.807106107473373e-05, 0.00010120868682861328]}, "gradients/decoder.bert.encoder.layer.21.crossattention.self.value.bias": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 3.0, 2.0, 6.0, 6.0, 8.0, 5.0, 7.0, 10.0, 8.0, 10.0, 10.0, 14.0, 19.0, 15.0, 13.0, 15.0, 22.0, 29.0, 38.0, 30.0, 28.0, 57.0, 98.0, 108.0, 92.0, 27.0, 28.0, 44.0, 31.0, 23.0, 33.0, 15.0, 19.0, 24.0, 16.0, 14.0, 17.0, 8.0, 10.0, 12.0, 9.0, 6.0, 5.0, 6.0, 2.0, 3.0, 2.0, 2.0, 2.0, 2.0, 2.0, 2.0, 0.0, 1.0, 1.0], "bins": [-4.470348358154297e-06, -4.3315812945365906e-06, -4.192814230918884e-06, -4.054047167301178e-06, -3.915280103683472e-06, -3.7765130400657654e-06, -3.637745976448059e-06, -3.4989789128303528e-06, -3.3602118492126465e-06, -3.22144478559494e-06, -3.082677721977234e-06, -2.9439106583595276e-06, -2.8051435947418213e-06, -2.666376531124115e-06, -2.5276094675064087e-06, -2.3888424038887024e-06, -2.250075340270996e-06, -2.11130827665329e-06, -1.9725412130355835e-06, -1.8337741494178772e-06, -1.695007085800171e-06, -1.5562400221824646e-06, -1.4174729585647583e-06, -1.278705894947052e-06, -1.1399388313293457e-06, -1.0011717677116394e-06, -8.624047040939331e-07, -7.236376404762268e-07, -5.848705768585205e-07, -4.461035132408142e-07, -3.073364496231079e-07, -1.685693860054016e-07, -2.9802322387695312e-08, 1.0896474123001099e-07, 2.477318048477173e-07, 3.864988684654236e-07, 5.252659320831299e-07, 6.640329957008362e-07, 8.028000593185425e-07, 9.415671229362488e-07, 1.080334186553955e-06, 1.2191012501716614e-06, 1.3578683137893677e-06, 1.496635377407074e-06, 1.6354024410247803e-06, 1.7741695046424866e-06, 1.912936568260193e-06, 2.051703631877899e-06, 2.1904706954956055e-06, 2.3292377591133118e-06, 2.468004822731018e-06, 2.6067718863487244e-06, 2.7455389499664307e-06, 2.884306013584137e-06, 3.0230730772018433e-06, 3.1618401408195496e-06, 3.300607204437256e-06, 3.439374268054962e-06, 3.5781413316726685e-06, 3.7169083952903748e-06, 3.855675458908081e-06, 3.994442522525787e-06, 4.133209586143494e-06, 4.2719766497612e-06, 4.410743713378906e-06]}, "gradients/decoder.bert.encoder.layer.21.crossattention.self.key.weight": {"_type": "histogram", "values": [1.0, 4.0, 1.0, 4.0, 1.0, 2.0, 8.0, 12.0, 14.0, 12.0, 17.0, 28.0, 34.0, 40.0, 52.0, 70.0, 94.0, 105.0, 137.0, 149.0, 252.0, 278.0, 365.0, 585.0, 648.0, 1051.0, 1704.0, 2420.0, 3986.0, 10786.0, 998771.0, 11847.0, 5915.0, 2936.0, 1906.0, 1123.0, 796.0, 674.0, 395.0, 300.0, 264.0, 161.0, 137.0, 103.0, 78.0, 50.0, 56.0, 42.0, 35.0, 29.0, 20.0, 20.0, 17.0, 12.0, 6.0, 8.0, 3.0, 3.0, 5.0, 0.0, 2.0, 0.0, 1.0, 1.0], "bins": [-1.341104507446289e-05, -1.2973323464393616e-05, -1.253560185432434e-05, -1.2097880244255066e-05, -1.1660158634185791e-05, -1.1222437024116516e-05, -1.0784715414047241e-05, -1.0346993803977966e-05, -9.909272193908691e-06, -9.471550583839417e-06, -9.033828973770142e-06, -8.596107363700867e-06, -8.158385753631592e-06, -7.720664143562317e-06, -7.282942533493042e-06, -6.845220923423767e-06, -6.407499313354492e-06, -5.969777703285217e-06, -5.532056093215942e-06, -5.0943344831466675e-06, -4.656612873077393e-06, -4.218891263008118e-06, -3.7811696529388428e-06, -3.343448042869568e-06, -2.905726432800293e-06, -2.468004822731018e-06, -2.030283212661743e-06, -1.5925616025924683e-06, -1.1548399925231934e-06, -7.171183824539185e-07, -2.7939677238464355e-07, 1.5832483768463135e-07, 5.960464477539062e-07, 1.0337680578231812e-06, 1.471489667892456e-06, 1.909211277961731e-06, 2.346932888031006e-06, 2.7846544981002808e-06, 3.2223761081695557e-06, 3.6600977182388306e-06, 4.0978193283081055e-06, 4.53554093837738e-06, 4.973262548446655e-06, 5.41098415851593e-06, 5.848705768585205e-06, 6.28642737865448e-06, 6.724148988723755e-06, 7.16187059879303e-06, 7.599592208862305e-06, 8.03731381893158e-06, 8.475035429000854e-06, 8.91275703907013e-06, 9.350478649139404e-06, 9.78820025920868e-06, 1.0225921869277954e-05, 1.0663643479347229e-05, 1.1101365089416504e-05, 1.1539086699485779e-05, 1.1976808309555054e-05, 1.2414529919624329e-05, 1.2852251529693604e-05, 1.3289973139762878e-05, 1.3727694749832153e-05, 1.4165416359901428e-05, 1.4603137969970703e-05]}, "gradients/decoder.bert.encoder.layer.21.crossattention.self.key.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 7.0, 0.0, 2.0, 0.0, 9.0, 0.0, 0.0, 10.0, 0.0, 24.0, 0.0, 887.0, 0.0, 21.0, 0.0, 19.0, 0.0, 0.0, 11.0, 0.0, 6.0, 0.0, 5.0, 0.0, 3.0, 0.0, 6.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-1.0132789611816406e-06, -9.862706065177917e-07, -9.592622518539429e-07, -9.32253897190094e-07, -9.052455425262451e-07, -8.782371878623962e-07, -8.512288331985474e-07, -8.242204785346985e-07, -7.972121238708496e-07, -7.702037692070007e-07, -7.431954145431519e-07, -7.16187059879303e-07, -6.891787052154541e-07, -6.621703505516052e-07, -6.351619958877563e-07, -6.081536412239075e-07, -5.811452865600586e-07, -5.541369318962097e-07, -5.271285772323608e-07, -5.00120222568512e-07, -4.731118679046631e-07, -4.461035132408142e-07, -4.1909515857696533e-07, -3.9208680391311646e-07, -3.650784492492676e-07, -3.380700945854187e-07, -3.110617399215698e-07, -2.8405338525772095e-07, -2.5704503059387207e-07, -2.300366759300232e-07, -2.0302832126617432e-07, -1.7601996660232544e-07, -1.4901161193847656e-07, -1.2200325727462769e-07, -9.499490261077881e-08, -6.798654794692993e-08, -4.0978193283081055e-08, -1.3969838619232178e-08, 1.30385160446167e-08, 4.0046870708465576e-08, 6.705522537231445e-08, 9.406358003616333e-08, 1.210719347000122e-07, 1.4808028936386108e-07, 1.7508864402770996e-07, 2.0209699869155884e-07, 2.2910535335540771e-07, 2.561137080192566e-07, 2.8312206268310547e-07, 3.1013041734695435e-07, 3.371387720108032e-07, 3.641471266746521e-07, 3.91155481338501e-07, 4.1816383600234985e-07, 4.4517219066619873e-07, 4.721805453300476e-07, 4.991888999938965e-07, 5.261972546577454e-07, 5.532056093215942e-07, 5.802139639854431e-07, 6.07222318649292e-07, 6.342306733131409e-07, 6.612390279769897e-07, 6.882473826408386e-07, 7.152557373046875e-07]}, "gradients/decoder.bert.encoder.layer.21.crossattention.self.query.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 3.0, 0.0, 5.0, 3.0, 12.0, 1.0, 11.0, 19.0, 11.0, 15.0, 27.0, 29.0, 40.0, 59.0, 70.0, 48.0, 151.0, 137.0, 201.0, 295.0, 380.0, 642.0, 697.0, 1310.0, 2085.0, 3942.0, 8477.0, 20640.0, 948543.0, 32473.0, 13853.0, 6109.0, 3026.0, 1682.0, 1009.0, 712.0, 466.0, 322.0, 307.0, 159.0, 162.0, 87.0, 97.0, 52.0, 57.0, 44.0, 19.0, 21.0, 19.0, 5.0, 9.0, 7.0, 10.0, 3.0, 0.0, 3.0, 4.0, 2.0], "bins": [-1.0073184967041016e-05, -9.783543646335602e-06, -9.493902325630188e-06, -9.204261004924774e-06, -8.91461968421936e-06, -8.624978363513947e-06, -8.335337042808533e-06, -8.045695722103119e-06, -7.756054401397705e-06, -7.466413080692291e-06, -7.1767717599868774e-06, -6.887130439281464e-06, -6.59748911857605e-06, -6.307847797870636e-06, -6.018206477165222e-06, -5.728565156459808e-06, -5.4389238357543945e-06, -5.149282515048981e-06, -4.859641194343567e-06, -4.569999873638153e-06, -4.280358552932739e-06, -3.9907172322273254e-06, -3.7010759115219116e-06, -3.411434590816498e-06, -3.121793270111084e-06, -2.83215194940567e-06, -2.5425106287002563e-06, -2.2528693079948425e-06, -1.9632279872894287e-06, -1.6735866665840149e-06, -1.383945345878601e-06, -1.0943040251731873e-06, -8.046627044677734e-07, -5.150213837623596e-07, -2.253800630569458e-07, 6.426125764846802e-08, 3.5390257835388184e-07, 6.435438990592957e-07, 9.331852197647095e-07, 1.2228265404701233e-06, 1.5124678611755371e-06, 1.802109181880951e-06, 2.0917505025863647e-06, 2.3813918232917786e-06, 2.6710331439971924e-06, 2.960674464702606e-06, 3.25031578540802e-06, 3.539957106113434e-06, 3.829598426818848e-06, 4.1192397475242615e-06, 4.408881068229675e-06, 4.698522388935089e-06, 4.988163709640503e-06, 5.277805030345917e-06, 5.5674463510513306e-06, 5.857087671756744e-06, 6.146728992462158e-06, 6.436370313167572e-06, 6.726011633872986e-06, 7.0156529545784e-06, 7.3052942752838135e-06, 7.594935595989227e-06, 7.884576916694641e-06, 8.174218237400055e-06, 8.463859558105469e-06]}, "gradients/decoder.bert.encoder.layer.21.crossattention.self.query.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 1.0, 4.0, 0.0, 0.0, 0.0, 0.0, 14.0, 4.0, 7.0, 7.0, 25.0, 12.0, 879.0, 16.0, 18.0, 3.0, 3.0, 5.0, 5.0, 0.0, 0.0, 0.0, 3.0, 6.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.337860107421875e-06, -3.25031578540802e-06, -3.162771463394165e-06, -3.07522714138031e-06, -2.987682819366455e-06, -2.9001384973526e-06, -2.812594175338745e-06, -2.72504985332489e-06, -2.637505531311035e-06, -2.54996120929718e-06, -2.462416887283325e-06, -2.3748725652694702e-06, -2.2873282432556152e-06, -2.1997839212417603e-06, -2.1122395992279053e-06, -2.0246952772140503e-06, -1.9371509552001953e-06, -1.8496066331863403e-06, -1.7620623111724854e-06, -1.6745179891586304e-06, -1.5869736671447754e-06, -1.4994293451309204e-06, -1.4118850231170654e-06, -1.3243407011032104e-06, -1.2367963790893555e-06, -1.1492520570755005e-06, -1.0617077350616455e-06, -9.741634130477905e-07, -8.866190910339355e-07, -7.990747690200806e-07, -7.115304470062256e-07, -6.239861249923706e-07, -5.364418029785156e-07, -4.4889748096466064e-07, -3.6135315895080566e-07, -2.738088369369507e-07, -1.862645149230957e-07, -9.872019290924072e-08, -1.1175870895385742e-08, 7.636845111846924e-08, 1.6391277313232422e-07, 2.514570951461792e-07, 3.390014171600342e-07, 4.2654573917388916e-07, 5.140900611877441e-07, 6.016343832015991e-07, 6.891787052154541e-07, 7.767230272293091e-07, 8.642673492431641e-07, 9.51811671257019e-07, 1.039355993270874e-06, 1.126900315284729e-06, 1.214444637298584e-06, 1.301988959312439e-06, 1.389533281326294e-06, 1.477077603340149e-06, 1.564621925354004e-06, 1.6521662473678589e-06, 1.7397105693817139e-06, 1.8272548913955688e-06, 1.914799213409424e-06, 2.002343535423279e-06, 2.089887857437134e-06, 2.1774321794509888e-06, 2.2649765014648438e-06]}, "gradients/decoder.bert.encoder.layer.21.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 3.0, 1.0, 5.0, 0.0, 3.0, 7.0, 5.0, 4.0, 11.0, 10.0, 22.0, 22.0, 25.0, 35.0, 42.0, 55.0, 62.0, 117.0, 192.0, 120.0, 71.0, 41.0, 37.0, 20.0, 28.0, 15.0, 18.0, 10.0, 5.0, 1.0, 3.0, 5.0, 4.0, 5.0, 4.0, 2.0, 4.0, 1.0, 0.0, 0.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.159246949100634e-05, -1.1211066521354951e-05, -1.082966264220886e-05, -1.044825967255747e-05, -1.006685670290608e-05, -9.685452823759988e-06, -9.304049854108598e-06, -8.922646884457208e-06, -8.541243005311117e-06, -8.159840035659727e-06, -7.778436156513635e-06, -7.397033186862245e-06, -7.015630217210855e-06, -6.634226792812115e-06, -6.252823368413374e-06, -5.871420398761984e-06, -5.490017429110594e-06, -5.108614004711853e-06, -4.7272110350604635e-06, -4.345807610661723e-06, -3.964404641010333e-06, -3.583001216611592e-06, -3.2015977922128513e-06, -2.820194595187786e-06, -2.4387913981627207e-06, -2.0573882011376554e-06, -1.6759848904257524e-06, -1.2945815797138494e-06, -9.13178382688784e-07, -5.317751856637187e-07, -1.5037176126497798e-07, 2.3103143576008733e-07, 6.124337232904509e-07, 9.938369203155162e-07, 1.3752402310274192e-06, 1.7566435417393222e-06, 2.1380467387643876e-06, 2.519449935789453e-06, 2.9008533601881936e-06, 3.282256557213259e-06, 3.6636597542383242e-06, 4.045063178637065e-06, 4.426466148288455e-06, 4.807869572687196e-06, 5.189272997085936e-06, 5.570675966737326e-06, 5.952079391136067e-06, 6.333482815534808e-06, 6.714885785186198e-06, 7.096289209584938e-06, 7.477692179236328e-06, 7.859095603635069e-06, 8.240498573286459e-06, 8.62190245243255e-06, 9.00330542208394e-06, 9.38470839173533e-06, 9.766112270881422e-06, 1.0147515240532812e-05, 1.0528919119678903e-05, 1.0910322089330293e-05, 1.1291725058981683e-05, 1.1673128028633073e-05, 1.2054531907779165e-05, 1.2435934877430554e-05, 1.2817337847081944e-05]}, "gradients/decoder.bert.encoder.layer.21.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 2.0, 3.0, 2.0, 2.0, 5.0, 4.0, 2.0, 6.0, 8.0, 8.0, 10.0, 24.0, 27.0, 26.0, 24.0, 26.0, 23.0, 36.0, 38.0, 44.0, 47.0, 34.0, 54.0, 42.0, 48.0, 43.0, 50.0, 38.0, 43.0, 36.0, 55.0, 34.0, 24.0, 20.0, 18.0, 19.0, 20.0, 12.0, 7.0, 15.0, 9.0, 7.0, 3.0, 6.0, 3.0, 2.0, 7.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-7.719577297393698e-06, -7.4871513788821176e-06, -7.254725460370537e-06, -7.022299996606307e-06, -6.7898740780947264e-06, -6.557448159583146e-06, -6.325022695818916e-06, -6.092596777307335e-06, -5.860170858795755e-06, -5.627744940284174e-06, -5.395319021772593e-06, -5.1628935580083635e-06, -4.930467639496783e-06, -4.698041720985202e-06, -4.465616257220972e-06, -4.233190338709392e-06, -4.000764420197811e-06, -3.7683385016862303e-06, -3.535912810548325e-06, -3.30348711941042e-06, -3.071061200898839e-06, -2.8386352823872585e-06, -2.6062095912493533e-06, -2.373783900111448e-06, -2.1413579815998673e-06, -1.9089320630882867e-06, -1.6765063719503814e-06, -1.4440805671256385e-06, -1.2116547623008955e-06, -9.792289574761526e-07, -7.468031526514096e-07, -5.143773478266667e-07, -2.819519977492746e-07, -4.952619292453164e-08, 1.828996119002113e-07, 4.1532541672495427e-07, 6.477512215496972e-07, 8.801770263744402e-07, 1.1126028311991831e-06, 1.345028636023926e-06, 1.577454440848669e-06, 1.809880245673412e-06, 2.042306050498155e-06, 2.27473174163606e-06, 2.507157660147641e-06, 2.7395835786592215e-06, 2.9720092697971268e-06, 3.204434960935032e-06, 3.4368608794466127e-06, 3.6692867979581933e-06, 3.901712261722423e-06, 4.134138180234004e-06, 4.3665640987455845e-06, 4.598990017257165e-06, 4.831415935768746e-06, 5.063841399532976e-06, 5.296267318044556e-06, 5.528693236556137e-06, 5.761118700320367e-06, 5.9935446188319474e-06, 6.225970537343528e-06, 6.458396455855109e-06, 6.6908223743666895e-06, 6.923247838130919e-06, 7.1556737566425e-06]}, "gradients/decoder.bert.encoder.layer.21.attention.output.dense.weight": {"_type": "histogram", "values": [1.0, 3.0, 1.0, 5.0, 1.0, 5.0, 6.0, 19.0, 13.0, 18.0, 34.0, 52.0, 74.0, 114.0, 130.0, 199.0, 405.0, 438.0, 653.0, 1196.0, 1529.0, 2293.0, 4102.0, 5784.0, 9044.0, 16786.0, 24846.0, 49917.0, 86254.0, 195279.0, 371890.0, 124124.0, 61849.0, 37795.0, 19451.0, 12107.0, 8249.0, 4600.0, 3360.0, 1891.0, 1320.0, 927.0, 539.0, 380.0, 309.0, 184.0, 107.0, 92.0, 61.0, 49.0, 32.0, 17.0, 10.0, 10.0, 6.0, 8.0, 3.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-1.5079975128173828e-05, -1.4581717550754547e-05, -1.4083459973335266e-05, -1.3585202395915985e-05, -1.3086944818496704e-05, -1.2588687241077423e-05, -1.2090429663658142e-05, -1.1592172086238861e-05, -1.109391450881958e-05, -1.0595656931400299e-05, -1.0097399353981018e-05, -9.599141776561737e-06, -9.100884199142456e-06, -8.602626621723175e-06, -8.104369044303894e-06, -7.606111466884613e-06, -7.107853889465332e-06, -6.609596312046051e-06, -6.11133873462677e-06, -5.613081157207489e-06, -5.114823579788208e-06, -4.616566002368927e-06, -4.118308424949646e-06, -3.620050847530365e-06, -3.121793270111084e-06, -2.623535692691803e-06, -2.125278115272522e-06, -1.627020537853241e-06, -1.12876296043396e-06, -6.30505383014679e-07, -1.3224780559539795e-07, 3.6600977182388306e-07, 8.642673492431641e-07, 1.362524926662445e-06, 1.860782504081726e-06, 2.359040081501007e-06, 2.857297658920288e-06, 3.355555236339569e-06, 3.85381281375885e-06, 4.352070391178131e-06, 4.850327968597412e-06, 5.348585546016693e-06, 5.846843123435974e-06, 6.345100700855255e-06, 6.843358278274536e-06, 7.341615855693817e-06, 7.839873433113098e-06, 8.338131010532379e-06, 8.83638858795166e-06, 9.334646165370941e-06, 9.832903742790222e-06, 1.0331161320209503e-05, 1.0829418897628784e-05, 1.1327676475048065e-05, 1.1825934052467346e-05, 1.2324191629886627e-05, 1.2822449207305908e-05, 1.332070678472519e-05, 1.381896436214447e-05, 1.4317221939563751e-05, 1.4815479516983032e-05, 1.5313737094402313e-05, 1.5811994671821594e-05, 1.6310252249240875e-05, 1.6808509826660156e-05]}, "gradients/decoder.bert.encoder.layer.21.attention.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 1.0, 2.0, 0.0, 7.0, 0.0, 3.0, 3.0, 5.0, 10.0, 6.0, 6.0, 12.0, 19.0, 12.0, 29.0, 15.0, 35.0, 22.0, 34.0, 24.0, 51.0, 37.0, 60.0, 38.0, 52.0, 24.0, 55.0, 33.0, 38.0, 49.0, 29.0, 38.0, 27.0, 27.0, 29.0, 43.0, 28.0, 20.0, 17.0, 18.0, 9.0, 7.0, 9.0, 8.0, 5.0, 9.0, 2.0, 4.0, 0.0, 5.0, 0.0, 3.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.470348358154297e-06, -4.322268068790436e-06, -4.174187779426575e-06, -4.026107490062714e-06, -3.8780272006988525e-06, -3.7299469113349915e-06, -3.5818666219711304e-06, -3.4337863326072693e-06, -3.285706043243408e-06, -3.137625753879547e-06, -2.989545464515686e-06, -2.841465175151825e-06, -2.693384885787964e-06, -2.5453045964241028e-06, -2.3972243070602417e-06, -2.2491440176963806e-06, -2.1010637283325195e-06, -1.9529834389686584e-06, -1.8049031496047974e-06, -1.6568228602409363e-06, -1.5087425708770752e-06, -1.3606622815132141e-06, -1.212581992149353e-06, -1.064501702785492e-06, -9.164214134216309e-07, -7.683411240577698e-07, -6.202608346939087e-07, -4.721805453300476e-07, -3.241002559661865e-07, -1.7601996660232544e-07, -2.7939677238464355e-08, 1.2014061212539673e-07, 2.682209014892578e-07, 4.163011908531189e-07, 5.6438148021698e-07, 7.124617695808411e-07, 8.605420589447021e-07, 1.0086223483085632e-06, 1.1567026376724243e-06, 1.3047829270362854e-06, 1.4528632164001465e-06, 1.6009435057640076e-06, 1.7490237951278687e-06, 1.8971040844917297e-06, 2.045184373855591e-06, 2.193264663219452e-06, 2.341344952583313e-06, 2.489425241947174e-06, 2.637505531311035e-06, 2.7855858206748962e-06, 2.9336661100387573e-06, 3.0817463994026184e-06, 3.2298266887664795e-06, 3.3779069781303406e-06, 3.5259872674942017e-06, 3.6740675568580627e-06, 3.822147846221924e-06, 3.970228135585785e-06, 4.118308424949646e-06, 4.266388714313507e-06, 4.414469003677368e-06, 4.562549293041229e-06, 4.71062958240509e-06, 4.858709871768951e-06, 5.0067901611328125e-06]}, "gradients/decoder.bert.encoder.layer.21.attention.self.value.weight": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 4.0, 3.0, 4.0, 12.0, 16.0, 28.0, 51.0, 56.0, 73.0, 102.0, 160.0, 232.0, 277.0, 492.0, 677.0, 997.0, 1462.0, 2203.0, 3127.0, 4781.0, 7110.0, 10693.0, 15519.0, 23595.0, 34922.0, 53807.0, 84786.0, 157493.0, 243194.0, 157325.0, 84919.0, 53355.0, 35299.0, 23657.0, 15826.0, 10488.0, 6983.0, 4663.0, 3276.0, 2211.0, 1458.0, 1067.0, 722.0, 447.0, 257.0, 244.0, 171.0, 108.0, 81.0, 50.0, 36.0, 23.0, 11.0, 7.0, 5.0, 2.0, 3.0, 1.0, 0.0, 1.0, 1.0], "bins": [-7.3909759521484375e-06, -7.156282663345337e-06, -6.921589374542236e-06, -6.686896085739136e-06, -6.452202796936035e-06, -6.2175095081329346e-06, -5.982816219329834e-06, -5.748122930526733e-06, -5.513429641723633e-06, -5.278736352920532e-06, -5.044043064117432e-06, -4.809349775314331e-06, -4.5746564865112305e-06, -4.33996319770813e-06, -4.105269908905029e-06, -3.870576620101929e-06, -3.635883331298828e-06, -3.4011900424957275e-06, -3.166496753692627e-06, -2.9318034648895264e-06, -2.6971101760864258e-06, -2.462416887283325e-06, -2.2277235984802246e-06, -1.993030309677124e-06, -1.7583370208740234e-06, -1.5236437320709229e-06, -1.2889504432678223e-06, -1.0542571544647217e-06, -8.195638656616211e-07, -5.848705768585205e-07, -3.501772880554199e-07, -1.1548399925231934e-07, 1.1920928955078125e-07, 3.5390257835388184e-07, 5.885958671569824e-07, 8.23289155960083e-07, 1.0579824447631836e-06, 1.2926757335662842e-06, 1.5273690223693848e-06, 1.7620623111724854e-06, 1.996755599975586e-06, 2.2314488887786865e-06, 2.466142177581787e-06, 2.7008354663848877e-06, 2.9355287551879883e-06, 3.170222043991089e-06, 3.4049153327941895e-06, 3.63960862159729e-06, 3.874301910400391e-06, 4.108995199203491e-06, 4.343688488006592e-06, 4.578381776809692e-06, 4.813075065612793e-06, 5.0477683544158936e-06, 5.282461643218994e-06, 5.517154932022095e-06, 5.751848220825195e-06, 5.986541509628296e-06, 6.2212347984313965e-06, 6.455928087234497e-06, 6.690621376037598e-06, 6.925314664840698e-06, 7.160007953643799e-06, 7.394701242446899e-06, 7.62939453125e-06]}, "gradients/decoder.bert.encoder.layer.21.attention.self.value.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 3.0, 2.0, 2.0, 4.0, 3.0, 4.0, 3.0, 9.0, 11.0, 14.0, 26.0, 14.0, 13.0, 31.0, 19.0, 15.0, 43.0, 24.0, 46.0, 26.0, 22.0, 67.0, 34.0, 32.0, 65.0, 43.0, 31.0, 53.0, 26.0, 55.0, 29.0, 26.0, 45.0, 19.0, 24.0, 32.0, 12.0, 13.0, 14.0, 9.0, 8.0, 10.0, 5.0, 7.0, 8.0, 2.0, 6.0, 0.0, 3.0, 2.0, 0.0, 1.0, 2.0, 2.0, 1.0], "bins": [-2.682209014892578e-06, -2.6011839509010315e-06, -2.520158886909485e-06, -2.4391338229179382e-06, -2.3581087589263916e-06, -2.277083694934845e-06, -2.1960586309432983e-06, -2.1150335669517517e-06, -2.034008502960205e-06, -1.9529834389686584e-06, -1.8719583749771118e-06, -1.7909333109855652e-06, -1.7099082469940186e-06, -1.628883183002472e-06, -1.5478581190109253e-06, -1.4668330550193787e-06, -1.385807991027832e-06, -1.3047829270362854e-06, -1.2237578630447388e-06, -1.1427327990531921e-06, -1.0617077350616455e-06, -9.806826710700989e-07, -8.996576070785522e-07, -8.186325430870056e-07, -7.37607479095459e-07, -6.565824151039124e-07, -5.755573511123657e-07, -4.945322871208191e-07, -4.1350722312927246e-07, -3.3248215913772583e-07, -2.514570951461792e-07, -1.7043203115463257e-07, -8.940696716308594e-08, -8.381903171539307e-09, 7.264316082000732e-08, 1.5366822481155396e-07, 2.3469328880310059e-07, 3.157183527946472e-07, 3.9674341678619385e-07, 4.777684807777405e-07, 5.587935447692871e-07, 6.398186087608337e-07, 7.208436727523804e-07, 8.01868736743927e-07, 8.828938007354736e-07, 9.639188647270203e-07, 1.044943928718567e-06, 1.1259689927101135e-06, 1.2069940567016602e-06, 1.2880191206932068e-06, 1.3690441846847534e-06, 1.4500692486763e-06, 1.5310943126678467e-06, 1.6121193766593933e-06, 1.69314444065094e-06, 1.7741695046424866e-06, 1.8551945686340332e-06, 1.93621963262558e-06, 2.0172446966171265e-06, 2.098269760608673e-06, 2.1792948246002197e-06, 2.2603198885917664e-06, 2.341344952583313e-06, 2.4223700165748596e-06, 2.5033950805664062e-06]}, "gradients/decoder.bert.encoder.layer.21.attention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.21.attention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.21.attention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.21.attention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.20.output.LayerNorm.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 0.0, 2.0, 0.0, 0.0, 3.0, 4.0, 6.0, 5.0, 11.0, 9.0, 15.0, 15.0, 16.0, 15.0, 21.0, 29.0, 43.0, 61.0, 87.0, 140.0, 160.0, 88.0, 75.0, 48.0, 30.0, 20.0, 18.0, 18.0, 11.0, 9.0, 8.0, 9.0, 7.0, 5.0, 4.0, 7.0, 2.0, 0.0, 2.0, 2.0, 6.0, 3.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-8.008629265532363e-06, -7.75963235355448e-06, -7.510634532081895e-06, -7.26163716535666e-06, -7.012639798631426e-06, -6.7636428866535425e-06, -6.514645519928308e-06, -6.265648153203074e-06, -6.0166507864778396e-06, -5.767653419752605e-06, -5.518656053027371e-06, -5.269658686302137e-06, -5.020661774324253e-06, -4.771663952851668e-06, -4.5226670408737846e-06, -4.27366967414855e-06, -4.024672307423316e-06, -3.7756749406980816e-06, -3.5266775739728473e-06, -3.2776804346212884e-06, -3.028683067896054e-06, -2.77968570117082e-06, -2.530688561819261e-06, -2.2816911950940266e-06, -2.0326938283687923e-06, -1.783696461643558e-06, -1.5346992086051614e-06, -1.2857019555667648e-06, -1.0367045888415305e-06, -7.877072221162962e-07, -5.387099690778996e-07, -2.89712716039503e-07, -4.071625880897045e-08, 2.08281051072845e-07, 4.5727836095466046e-07, 7.062756708364759e-07, 9.552729807182914e-07, 1.2042703474435257e-06, 1.4532676004819223e-06, 1.7022648535203189e-06, 1.951262220245553e-06, 2.2002595869707875e-06, 2.449256953696022e-06, 2.6982540930475807e-06, 2.947251459772815e-06, 3.1962488264980493e-06, 3.445245965849608e-06, 3.6942433325748425e-06, 3.943240699300077e-06, 4.192238066025311e-06, 4.4412354327505454e-06, 4.69023279947578e-06, 4.939230166201014e-06, 5.1882270781788975e-06, 5.437224444904132e-06, 5.686221811629366e-06, 5.9352191783546004e-06, 6.184216545079835e-06, 6.433213911805069e-06, 6.682211278530303e-06, 6.931208190508187e-06, 7.180206011980772e-06, 7.4292029239586554e-06, 7.678199835936539e-06, 7.927197657409124e-06]}, "gradients/decoder.bert.encoder.layer.20.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 3.0, 2.0, 3.0, 4.0, 8.0, 2.0, 5.0, 8.0, 12.0, 11.0, 14.0, 22.0, 20.0, 31.0, 23.0, 46.0, 39.0, 33.0, 29.0, 49.0, 44.0, 48.0, 43.0, 49.0, 55.0, 48.0, 43.0, 35.0, 48.0, 32.0, 29.0, 23.0, 24.0, 29.0, 19.0, 8.0, 12.0, 14.0, 12.0, 8.0, 8.0, 5.0, 2.0, 3.0, 4.0, 3.0, 2.0, 1.0, 1.0, 1.0, 0.0, 1.0], "bins": [-5.824761046824278e-06, -5.65844538868987e-06, -5.492129275808111e-06, -5.3258136176737025e-06, -5.159497959539294e-06, -4.993182301404886e-06, -4.826866188523127e-06, -4.6605505303887185e-06, -4.49423487225431e-06, -4.327919214119902e-06, -4.161603101238143e-06, -3.995287443103734e-06, -3.828971784969326e-06, -3.6626558994612424e-06, -3.4963400139531586e-06, -3.3300243558187503e-06, -3.1637084703106666e-06, -2.997392584802583e-06, -2.8310769266681746e-06, -2.664761041160091e-06, -2.4984453830256825e-06, -2.332129497517599e-06, -2.1658138393831905e-06, -1.9994979538751068e-06, -1.8331821820538607e-06, -1.6668664102326147e-06, -1.5005506384113687e-06, -1.3342348665901227e-06, -1.167918981082039e-06, -1.0016033229476307e-06, -8.352874374395469e-07, -6.689716656183009e-07, -5.026558937970549e-07, -3.3634012197580887e-07, -1.7002432173285342e-07, -3.7085214898979757e-09, 1.6260725033134804e-07, 3.2892302215259406e-07, 4.952388508172589e-07, 6.61554622638505e-07, 8.27870394459751e-07, 9.94186166280997e-07, 1.160501938102243e-06, 1.326817709923489e-06, 1.4931335954315728e-06, 1.659449253565981e-06, 1.8257651390740648e-06, 1.992080797208473e-06, 2.158396682716557e-06, 2.3247125682246406e-06, 2.491028226359049e-06, 2.6573441118671326e-06, 2.823659770001541e-06, 2.9899756555096246e-06, 3.156291313644033e-06, 3.3226071991521167e-06, 3.4889230846602004e-06, 3.655238970168284e-06, 3.821554855676368e-06, 3.987870513810776e-06, 4.1541861719451845e-06, 4.320501830079593e-06, 4.486817942961352e-06, 4.65313360109576e-06, 4.8194492592301685e-06]}, "gradients/decoder.bert.encoder.layer.20.output.dense.weight": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 4.0, 7.0, 3.0, 8.0, 10.0, 21.0, 28.0, 18.0, 57.0, 70.0, 128.0, 175.0, 262.0, 372.0, 592.0, 807.0, 1228.0, 1718.0, 1641.0, 3345.0, 4898.0, 7132.0, 10451.0, 15154.0, 22770.0, 34707.0, 55919.0, 100907.0, 125113.0, 1077103.0, 2254826.0, 231622.0, 92958.0, 52188.0, 32628.0, 21374.0, 14215.0, 9589.0, 6428.0, 3113.0, 3415.0, 2448.0, 1623.0, 1083.0, 748.0, 460.0, 328.0, 203.0, 148.0, 88.0, 42.0, 38.0, 31.0, 24.0, 12.0, 7.0, 4.0, 3.0, 2.0, 3.0, 1.0], "bins": [-5.7220458984375e-06, -5.548819899559021e-06, -5.375593900680542e-06, -5.202367901802063e-06, -5.029141902923584e-06, -4.855915904045105e-06, -4.682689905166626e-06, -4.509463906288147e-06, -4.336237907409668e-06, -4.163011908531189e-06, -3.98978590965271e-06, -3.816559910774231e-06, -3.643333911895752e-06, -3.470107913017273e-06, -3.296881914138794e-06, -3.123655915260315e-06, -2.950429916381836e-06, -2.777203917503357e-06, -2.603977918624878e-06, -2.430751919746399e-06, -2.25752592086792e-06, -2.084299921989441e-06, -1.911073923110962e-06, -1.737847924232483e-06, -1.564621925354004e-06, -1.391395926475525e-06, -1.218169927597046e-06, -1.044943928718567e-06, -8.717179298400879e-07, -6.984919309616089e-07, -5.252659320831299e-07, -3.520399332046509e-07, -1.7881393432617188e-07, -5.587935447692871e-09, 1.6763806343078613e-07, 3.4086406230926514e-07, 5.140900611877441e-07, 6.873160600662231e-07, 8.605420589447021e-07, 1.0337680578231812e-06, 1.2069940567016602e-06, 1.3802200555801392e-06, 1.5534460544586182e-06, 1.7266720533370972e-06, 1.8998980522155762e-06, 2.073124051094055e-06, 2.246350049972534e-06, 2.419576048851013e-06, 2.592802047729492e-06, 2.766028046607971e-06, 2.93925404548645e-06, 3.112480044364929e-06, 3.285706043243408e-06, 3.458932042121887e-06, 3.632158041000366e-06, 3.8053840398788452e-06, 3.978610038757324e-06, 4.151836037635803e-06, 4.325062036514282e-06, 4.498288035392761e-06, 4.67151403427124e-06, 4.844740033149719e-06, 5.017966032028198e-06, 5.191192030906677e-06, 5.364418029785156e-06]}, "gradients/decoder.bert.encoder.layer.20.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0, 2.0, 6.0, 4.0, 4.0, 1.0, 7.0, 11.0, 14.0, 14.0, 14.0, 17.0, 26.0, 24.0, 28.0, 33.0, 30.0, 38.0, 40.0, 48.0, 56.0, 57.0, 0.0, 32.0, 45.0, 36.0, 44.0, 48.0, 42.0, 38.0, 31.0, 29.0, 35.0, 32.0, 24.0, 21.0, 13.0, 13.0, 10.0, 10.0, 17.0, 4.0, 6.0, 3.0, 4.0, 2.0, 1.0, 3.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.9073486328125e-06, -1.8496066331863403e-06, -1.7918646335601807e-06, -1.734122633934021e-06, -1.6763806343078613e-06, -1.6186386346817017e-06, -1.560896635055542e-06, -1.5031546354293823e-06, -1.4454126358032227e-06, -1.387670636177063e-06, -1.3299286365509033e-06, -1.2721866369247437e-06, -1.214444637298584e-06, -1.1567026376724243e-06, -1.0989606380462646e-06, -1.041218638420105e-06, -9.834766387939453e-07, -9.257346391677856e-07, -8.67992639541626e-07, -8.102506399154663e-07, -7.525086402893066e-07, -6.94766640663147e-07, -6.370246410369873e-07, -5.792826414108276e-07, -5.21540641784668e-07, -4.637986421585083e-07, -4.0605664253234863e-07, -3.4831464290618896e-07, -2.905726432800293e-07, -2.3283064365386963e-07, -1.7508864402770996e-07, -1.1734664440155029e-07, -5.960464477539063e-08, -1.862645149230957e-09, 5.587935447692871e-08, 1.1362135410308838e-07, 1.7136335372924805e-07, 2.2910535335540771e-07, 2.868473529815674e-07, 3.4458935260772705e-07, 4.023313522338867e-07, 4.600733518600464e-07, 5.178153514862061e-07, 5.755573511123657e-07, 6.332993507385254e-07, 6.910413503646851e-07, 7.487833499908447e-07, 8.065253496170044e-07, 8.642673492431641e-07, 9.220093488693237e-07, 9.797513484954834e-07, 1.037493348121643e-06, 1.0952353477478027e-06, 1.1529773473739624e-06, 1.210719347000122e-06, 1.2684613466262817e-06, 1.3262033462524414e-06, 1.383945345878601e-06, 1.4416873455047607e-06, 1.4994293451309204e-06, 1.55717134475708e-06, 1.6149133443832397e-06, 1.6726553440093994e-06, 1.730397343635559e-06, 1.7881393432617188e-06]}, "gradients/decoder.bert.encoder.layer.20.intermediate.dense.weight": {"_type": "histogram", "values": [2.0, 0.0, 4.0, 3.0, 4.0, 7.0, 4.0, 7.0, 12.0, 19.0, 32.0, 53.0, 55.0, 88.0, 123.0, 158.0, 424.0, 502.0, 715.0, 1055.0, 1612.0, 4232.0, 4970.0, 7614.0, 12262.0, 19144.0, 51287.0, 62946.0, 107662.0, 200182.0, 495041.0, 2564494.0, 384015.0, 108066.0, 62687.0, 38502.0, 23915.0, 20570.0, 7663.0, 4927.0, 3149.0, 2086.0, 1752.0, 713.0, 504.0, 306.0, 220.0, 153.0, 141.0, 69.0, 50.0, 24.0, 24.0, 21.0, 8.0, 6.0, 6.0, 5.0, 4.0, 1.0, 2.0, 0.0, 0.0, 2.0], "bins": [-4.0531158447265625e-06, -3.9227306842803955e-06, -3.7923455238342285e-06, -3.6619603633880615e-06, -3.5315752029418945e-06, -3.4011900424957275e-06, -3.2708048820495605e-06, -3.1404197216033936e-06, -3.0100345611572266e-06, -2.8796494007110596e-06, -2.7492642402648926e-06, -2.6188790798187256e-06, -2.4884939193725586e-06, -2.3581087589263916e-06, -2.2277235984802246e-06, -2.0973384380340576e-06, -1.9669532775878906e-06, -1.8365681171417236e-06, -1.7061829566955566e-06, -1.5757977962493896e-06, -1.4454126358032227e-06, -1.3150274753570557e-06, -1.1846423149108887e-06, -1.0542571544647217e-06, -9.238719940185547e-07, -7.934868335723877e-07, -6.631016731262207e-07, -5.327165126800537e-07, -4.023313522338867e-07, -2.7194619178771973e-07, -1.4156103134155273e-07, -1.1175870895385742e-08, 1.1920928955078125e-07, 2.4959444999694824e-07, 3.7997961044311523e-07, 5.103647708892822e-07, 6.407499313354492e-07, 7.711350917816162e-07, 9.015202522277832e-07, 1.0319054126739502e-06, 1.1622905731201172e-06, 1.2926757335662842e-06, 1.4230608940124512e-06, 1.5534460544586182e-06, 1.6838312149047852e-06, 1.8142163753509521e-06, 1.944601535797119e-06, 2.074986696243286e-06, 2.205371856689453e-06, 2.33575701713562e-06, 2.466142177581787e-06, 2.596527338027954e-06, 2.726912498474121e-06, 2.857297658920288e-06, 2.987682819366455e-06, 3.118067979812622e-06, 3.248453140258789e-06, 3.378838300704956e-06, 3.509223461151123e-06, 3.63960862159729e-06, 3.769993782043457e-06, 3.900378942489624e-06, 4.030764102935791e-06, 4.161149263381958e-06, 4.291534423828125e-06]}, "gradients/decoder.bert.encoder.layer.20.intermediate.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 3.0, 3.0, 2.0, 0.0, 4.0, 2.0, 0.0, 7.0, 8.0, 25.0, 0.0, 22.0, 41.0, 0.0, 56.0, 62.0, 86.0, 0.0, 101.0, 122.0, 0.0, 175.0, 200.0, 255.0, 0.0, 1826.0, 283.0, 176.0, 0.0, 136.0, 120.0, 0.0, 101.0, 77.0, 55.0, 0.0, 41.0, 32.0, 0.0, 33.0, 13.0, 10.0, 0.0, 3.0, 4.0, 0.0, 6.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.5497207641601562e-06, -1.5068799257278442e-06, -1.4640390872955322e-06, -1.4211982488632202e-06, -1.3783574104309082e-06, -1.3355165719985962e-06, -1.2926757335662842e-06, -1.2498348951339722e-06, -1.2069940567016602e-06, -1.1641532182693481e-06, -1.1213123798370361e-06, -1.0784715414047241e-06, -1.0356307029724121e-06, -9.927898645401e-07, -9.499490261077881e-07, -9.071081876754761e-07, -8.642673492431641e-07, -8.21426510810852e-07, -7.7858567237854e-07, -7.35744833946228e-07, -6.92903995513916e-07, -6.50063157081604e-07, -6.07222318649292e-07, -5.6438148021698e-07, -5.21540641784668e-07, -4.78699803352356e-07, -4.3585896492004395e-07, -3.9301812648773193e-07, -3.501772880554199e-07, -3.073364496231079e-07, -2.644956111907959e-07, -2.2165477275848389e-07, -1.7881393432617188e-07, -1.3597309589385986e-07, -9.313225746154785e-08, -5.029141902923584e-08, -7.450580596923828e-09, 3.5390257835388184e-08, 7.82310962677002e-08, 1.210719347000122e-07, 1.6391277313232422e-07, 2.0675361156463623e-07, 2.4959444999694824e-07, 2.9243528842926025e-07, 3.3527612686157227e-07, 3.781169652938843e-07, 4.209578037261963e-07, 4.637986421585083e-07, 5.066394805908203e-07, 5.494803190231323e-07, 5.923211574554443e-07, 6.351619958877563e-07, 6.780028343200684e-07, 7.208436727523804e-07, 7.636845111846924e-07, 8.065253496170044e-07, 8.493661880493164e-07, 8.922070264816284e-07, 9.350478649139404e-07, 9.778887033462524e-07, 1.0207295417785645e-06, 1.0635703802108765e-06, 1.1064112186431885e-06, 1.1492520570755005e-06, 1.1920928955078125e-06]}, "gradients/decoder.bert.encoder.layer.20.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 2.0, 3.0, 12.0, 2.0, 2.0, 7.0, 7.0, 12.0, 26.0, 14.0, 23.0, 27.0, 36.0, 48.0, 53.0, 93.0, 203.0, 128.0, 74.0, 49.0, 44.0, 33.0, 20.0, 20.0, 13.0, 9.0, 8.0, 8.0, 3.0, 7.0, 5.0, 7.0, 3.0, 2.0, 3.0, 3.0, 1.0, 2.0, 0.0, 2.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-2.145038024536916e-06, -2.070423988698167e-06, -1.9958099528594175e-06, -1.9211961443943437e-06, -1.8465821085555945e-06, -1.7719680727168452e-06, -1.697354036878096e-06, -1.6227400010393467e-06, -1.5481260788874351e-06, -1.4735120430486859e-06, -1.3988981208967743e-06, -1.324284085058025e-06, -1.2496700492192758e-06, -1.1750561270673643e-06, -1.100442091228615e-06, -1.0258281690767035e-06, -9.512141332379542e-07, -8.766001542426238e-07, -8.019861752472934e-07, -7.273721394085442e-07, -6.527581604132138e-07, -5.781441814178834e-07, -5.035301455791341e-07, -4.289161665838037e-07, -3.543021875884733e-07, -2.796882085931429e-07, -2.050742011761031e-07, -1.3046020796991797e-07, -5.584621476373286e-08, 1.876776423159754e-08, 9.338177164863737e-08, 1.679957790656772e-07, 2.4260998543468304e-07, 3.1722396443001344e-07, 3.9183797184705327e-07, 4.664519792640931e-07, 5.410659582594235e-07, 6.156799372547539e-07, 6.902939730935032e-07, 7.649079520888336e-07, 8.39521931084164e-07, 9.141359100794944e-07, 9.887498890748248e-07, 1.063363924913574e-06, 1.1379779607523233e-06, 1.2125918829042348e-06, 1.287205918742984e-06, 1.3618198408948956e-06, 1.4364338767336449e-06, 1.5110479125723941e-06, 1.5856618347243057e-06, 1.660275870563055e-06, 1.7348897927149665e-06, 1.8095038285537157e-06, 1.884117864392465e-06, 1.9587319002312142e-06, 2.0333459360699635e-06, 2.1079599719087128e-06, 2.182574007747462e-06, 2.257187816212536e-06, 2.331801852051285e-06, 2.4064158878900344e-06, 2.4810299237287836e-06, 2.555643959567533e-06, 2.6302577680326067e-06]}, "gradients/decoder.bert.encoder.layer.20.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 1.0, 2.0, 4.0, 2.0, 6.0, 3.0, 6.0, 6.0, 6.0, 11.0, 15.0, 19.0, 20.0, 26.0, 25.0, 37.0, 46.0, 38.0, 34.0, 39.0, 45.0, 48.0, 41.0, 53.0, 57.0, 43.0, 49.0, 43.0, 38.0, 38.0, 31.0, 21.0, 30.0, 25.0, 23.0, 10.0, 9.0, 16.0, 11.0, 9.0, 7.0, 5.0, 3.0, 6.0, 5.0, 0.0, 2.0, 3.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-1.7574419644006412e-06, -1.706377588561736e-06, -1.6553130990359932e-06, -1.6042487231970881e-06, -1.5531842336713453e-06, -1.5021198578324402e-06, -1.4510553683066973e-06, -1.3999909924677922e-06, -1.3489266166288871e-06, -1.297862240789982e-06, -1.2467977512642392e-06, -1.195733375425334e-06, -1.1446688858995913e-06, -1.0936045100606862e-06, -1.042540134221781e-06, -9.914756446960382e-07, -9.404111551702954e-07, -8.893467224879714e-07, -8.382822898056475e-07, -7.872179139667423e-07, -7.361534244409995e-07, -6.850890486020944e-07, -6.340246159197704e-07, -5.829601832374465e-07, -5.318957505551225e-07, -4.808313178727985e-07, -4.2976688519047457e-07, -3.7870248092986003e-07, -3.2763804824753606e-07, -2.765736155652121e-07, -2.2550921130459756e-07, -1.744447786222736e-07, -1.233802322531119e-07, -7.231580667621529e-08, -2.1251381099318678e-08, 2.9813037372150575e-08, 8.087747005447454e-08, 1.319419027367985e-07, 1.8300630699741305e-07, 2.3407073967973702e-07, 2.85135172362061e-07, 3.3619960504438495e-07, 3.872640377267089e-07, 4.3832844198732346e-07, 4.89392846247938e-07, 5.404573357736808e-07, 5.915217116125859e-07, 6.425861442949099e-07, 6.936505769772339e-07, 7.447150096595578e-07, 7.957794423418818e-07, 8.468438181807869e-07, 8.979083077065297e-07, 9.489726835454348e-07, 1.0000371730711777e-06, 1.0511015489100828e-06, 1.1021659247489879e-06, 1.153230300587893e-06, 1.2042947901136358e-06, 1.255359165952541e-06, 1.3064236554782838e-06, 1.3574880313171889e-06, 1.408552407156094e-06, 1.4596168966818368e-06, 1.5106813862075796e-06]}, "gradients/decoder.bert.encoder.layer.20.crossattention.output.dense.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 4.0, 0.0, 5.0, 0.0, 0.0, 6.0, 0.0, 11.0, 0.0, 20.0, 0.0, 0.0, 27.0, 0.0, 42.0, 0.0, 64.0, 0.0, 81.0, 0.0, 0.0, 97.0, 0.0, 105.0, 0.0, 1047654.0, 0.0, 0.0, 121.0, 0.0, 99.0, 0.0, 86.0, 0.0, 51.0, 0.0, 0.0, 33.0, 0.0, 22.0, 0.0, 16.0, 0.0, 0.0, 13.0, 0.0, 7.0, 0.0, 2.0, 0.0, 3.0, 0.0, 0.0, 3.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-7.748603820800781e-07, -7.487833499908447e-07, -7.227063179016113e-07, -6.966292858123779e-07, -6.705522537231445e-07, -6.444752216339111e-07, -6.183981895446777e-07, -5.923211574554443e-07, -5.662441253662109e-07, -5.401670932769775e-07, -5.140900611877441e-07, -4.880130290985107e-07, -4.6193599700927734e-07, -4.3585896492004395e-07, -4.0978193283081055e-07, -3.8370490074157715e-07, -3.5762786865234375e-07, -3.3155083656311035e-07, -3.0547380447387695e-07, -2.7939677238464355e-07, -2.5331974029541016e-07, -2.2724270820617676e-07, -2.0116567611694336e-07, -1.7508864402770996e-07, -1.4901161193847656e-07, -1.2293457984924316e-07, -9.685754776000977e-08, -7.078051567077637e-08, -4.470348358154297e-08, -1.862645149230957e-08, 7.450580596923828e-09, 3.3527612686157227e-08, 5.960464477539063e-08, 8.568167686462402e-08, 1.1175870895385742e-07, 1.3783574104309082e-07, 1.6391277313232422e-07, 1.8998980522155762e-07, 2.1606683731079102e-07, 2.421438694000244e-07, 2.682209014892578e-07, 2.942979335784912e-07, 3.203749656677246e-07, 3.46451997756958e-07, 3.725290298461914e-07, 3.986060619354248e-07, 4.246830940246582e-07, 4.507601261138916e-07, 4.76837158203125e-07, 5.029141902923584e-07, 5.289912223815918e-07, 5.550682544708252e-07, 5.811452865600586e-07, 6.07222318649292e-07, 6.332993507385254e-07, 6.593763828277588e-07, 6.854534149169922e-07, 7.115304470062256e-07, 7.37607479095459e-07, 7.636845111846924e-07, 7.897615432739258e-07, 8.158385753631592e-07, 8.419156074523926e-07, 8.67992639541626e-07, 8.940696716308594e-07]}, "gradients/decoder.bert.encoder.layer.20.crossattention.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1023.0], "bins": [-5.960464477539063e-08, -5.8673322200775146e-08, -5.774199962615967e-08, -5.681067705154419e-08, -5.587935447692871e-08, -5.494803190231323e-08, -5.4016709327697754e-08, -5.3085386753082275e-08, -5.21540641784668e-08, -5.122274160385132e-08, -5.029141902923584e-08, -4.936009645462036e-08, -4.842877388000488e-08, -4.7497451305389404e-08, -4.6566128730773926e-08, -4.563480615615845e-08, -4.470348358154297e-08, -4.377216100692749e-08, -4.284083843231201e-08, -4.190951585769653e-08, -4.0978193283081055e-08, -4.0046870708465576e-08, -3.91155481338501e-08, -3.818422555923462e-08, -3.725290298461914e-08, -3.632158041000366e-08, -3.5390257835388184e-08, -3.4458935260772705e-08, -3.3527612686157227e-08, -3.259629011154175e-08, -3.166496753692627e-08, -3.073364496231079e-08, -2.9802322387695312e-08, -2.8870999813079834e-08, -2.7939677238464355e-08, -2.7008354663848877e-08, -2.60770320892334e-08, -2.514570951461792e-08, -2.421438694000244e-08, -2.3283064365386963e-08, -2.2351741790771484e-08, -2.1420419216156006e-08, -2.0489096641540527e-08, -1.955777406692505e-08, -1.862645149230957e-08, -1.7695128917694092e-08, -1.6763806343078613e-08, -1.5832483768463135e-08, -1.4901161193847656e-08, -1.3969838619232178e-08, -1.30385160446167e-08, -1.210719347000122e-08, -1.1175870895385742e-08, -1.0244548320770264e-08, -9.313225746154785e-09, -8.381903171539307e-09, -7.450580596923828e-09, -6.51925802230835e-09, -5.587935447692871e-09, -4.6566128730773926e-09, -3.725290298461914e-09, -2.7939677238464355e-09, -1.862645149230957e-09, -9.313225746154785e-10, 0.0]}, "gradients/decoder.bert.encoder.layer.20.crossattention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.20.crossattention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.20.crossattention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.20.crossattention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.20.crossattention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.20.crossattention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.20.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 4.0, 5.0, 1.0, 3.0, 5.0, 2.0, 4.0, 7.0, 6.0, 12.0, 12.0, 21.0, 15.0, 18.0, 29.0, 30.0, 50.0, 76.0, 109.0, 150.0, 120.0, 81.0, 63.0, 46.0, 39.0, 14.0, 16.0, 12.0, 10.0, 10.0, 9.0, 6.0, 8.0, 3.0, 2.0, 5.0, 4.0, 1.0, 3.0, 1.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0], "bins": [-3.508558563680708e-07, -3.404501853765396e-07, -3.3004451438500837e-07, -3.1963884339347715e-07, -3.0923320082365535e-07, -2.9882752983212413e-07, -2.884218588405929e-07, -2.780161878490617e-07, -2.6761051685753046e-07, -2.5720484586599923e-07, -2.46799174874468e-07, -2.363935180937915e-07, -2.25987861313115e-07, -2.1558219032158377e-07, -2.0517651933005254e-07, -1.9477084833852132e-07, -1.8436520576869952e-07, -1.739595347771683e-07, -1.635538779964918e-07, -1.5314820700496057e-07, -1.4274255022428406e-07, -1.3233687923275284e-07, -1.219312082412216e-07, -1.1152554435511774e-07, -1.0111988046901388e-07, -9.071421658291001e-08, -8.030855269680615e-08, -6.990288170527492e-08, -5.9497217819171055e-08, -4.909155393306719e-08, -3.8685882941535965e-08, -2.82802190554321e-08, -1.7874526747618802e-08, -7.468861085158096e-09, 2.9368045773026097e-09, 1.3342472016120155e-08, 2.374813590222402e-08, 3.415379978832789e-08, 4.455947077985911e-08, 5.496513466596298e-08, 6.537079855206684e-08, 7.577646243817071e-08, 8.618212632427458e-08, 9.65877973158058e-08, 1.0699346120190967e-07, 1.1739912508801353e-07, 1.2780479607954476e-07, 1.3821045286022127e-07, 1.486161238517525e-07, 1.5902179484328371e-07, 1.6942745162396022e-07, 1.7983312261549145e-07, 1.9023877939616796e-07, 2.0064445038769918e-07, 2.110501213792304e-07, 2.2145579237076163e-07, 2.3186144915143814e-07, 2.4226710593211465e-07, 2.5267277692364587e-07, 2.630784479151771e-07, 2.734841189067083e-07, 2.8388978989823954e-07, 2.9429543246806134e-07, 3.0470110345959256e-07, 3.151067744511238e-07]}, "gradients/decoder.bert.encoder.layer.20.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 2.0, 4.0, 2.0, 6.0, 5.0, 4.0, 7.0, 5.0, 12.0, 13.0, 16.0, 24.0, 30.0, 22.0, 33.0, 44.0, 40.0, 36.0, 36.0, 46.0, 47.0, 44.0, 48.0, 60.0, 44.0, 48.0, 42.0, 37.0, 40.0, 32.0, 24.0, 29.0, 23.0, 22.0, 14.0, 9.0, 14.0, 9.0, 11.0, 8.0, 5.0, 3.0, 6.0, 4.0, 1.0, 2.0, 3.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-2.522723150377715e-07, -2.449640419399657e-07, -2.376557830530146e-07, -2.303475099552088e-07, -2.2303925106825773e-07, -2.1573097797045193e-07, -2.0842270487264614e-07, -2.0111443177484034e-07, -1.9380617288788926e-07, -1.8649789979008347e-07, -1.7918964090313239e-07, -1.718813678053266e-07, -1.645730947075208e-07, -1.5726483582056971e-07, -1.4995656272276392e-07, -1.4264830383581284e-07, -1.3534003073800704e-07, -1.2803175764020125e-07, -1.2072349875325017e-07, -1.1341522565544437e-07, -1.0610695966306594e-07, -9.87986936706875e-08, -9.14904205728817e-08, -8.418215458050327e-08, -7.687388858812483e-08, -6.956562259574639e-08, -6.225735660336795e-08, -5.494908350556216e-08, -4.764081751318372e-08, -4.033255152080528e-08, -3.3024281975713166e-08, -2.571601243062105e-08, -1.8407760649097327e-08, -1.109949288036205e-08, -3.7912251116267726e-09, 3.5170426571085045e-09, 1.0825310425843782e-08, 1.813357641822222e-08, 2.5441845963314336e-08, 3.275011550840645e-08, 4.005838150078489e-08, 4.736664749316333e-08, 5.4674917038255444e-08, 6.198318658334756e-08, 6.9291452575726e-08, 7.659971856810444e-08, 8.390799166591023e-08, 9.121625765828867e-08, 9.85245236506671e-08, 1.0583278964304554e-07, 1.1314105563542398e-07, 1.2044932873322978e-07, 1.2775760183103557e-07, 1.3506586071798665e-07, 1.4237413381579245e-07, 1.4968239270274353e-07, 1.5699066580054932e-07, 1.6429893889835512e-07, 1.716071977853062e-07, 1.78915470883112e-07, 1.8622372977006307e-07, 1.9353200286786887e-07, 2.0084027596567466e-07, 2.0814854906348046e-07, 2.1545680795043154e-07]}, "gradients/decoder.bert.encoder.layer.20.attention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.20.attention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.20.attention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.20.attention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.20.attention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.20.attention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.20.attention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.20.attention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.19.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0, 2.0, 3.0, 2.0, 3.0, 3.0, 6.0, 3.0, 3.0, 5.0, 7.0, 9.0, 13.0, 11.0, 23.0, 16.0, 29.0, 22.0, 33.0, 44.0, 100.0, 94.0, 177.0, 88.0, 65.0, 60.0, 40.0, 30.0, 19.0, 20.0, 17.0, 9.0, 13.0, 9.0, 5.0, 2.0, 5.0, 5.0, 7.0, 4.0, 1.0, 2.0, 1.0, 3.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-2.4058672920546087e-07, -2.3362467516108154e-07, -2.266626211167022e-07, -2.1970056707232288e-07, -2.1273851302794355e-07, -2.0577645898356423e-07, -1.988144049391849e-07, -1.9185236510566028e-07, -1.8489029685042624e-07, -1.779282428060469e-07, -1.7096618876166758e-07, -1.6400413471728825e-07, -1.5704208067290892e-07, -1.500800266285296e-07, -1.4311797258415027e-07, -1.3615593275062565e-07, -1.2919387870624632e-07, -1.22231824661867e-07, -1.1526977061748767e-07, -1.0830771657310834e-07, -1.0134566252872901e-07, -9.438360848434968e-08, -8.742156154539771e-08, -8.045950750101838e-08, -7.349745345663905e-08, -6.653539941225972e-08, -5.957334536788039e-08, -5.261129487621474e-08, -4.5649240831835414e-08, -3.8687186787456085e-08, -3.1725136295790435e-08, -2.4763082251411106e-08, -1.7801042417886492e-08, -1.0838989261685583e-08, -3.876936105484674e-09, 3.0851161625378154e-09, 1.0047170206917144e-08, 1.7009224251296473e-08, 2.3971274742962123e-08, 3.093332878734145e-08, 3.789538283172078e-08, 4.485743687610011e-08, 5.181949092047944e-08, 5.878154141214509e-08, 6.574359190381074e-08, 7.270564594819007e-08, 7.96676999925694e-08, 8.662975403694873e-08, 9.359180808132805e-08, 1.0055386212570738e-07, 1.0751591617008671e-07, 1.1447797021446604e-07, 1.2144002425884537e-07, 1.284020783032247e-07, 1.3536413234760403e-07, 1.4232617218112864e-07, 1.4928824043636268e-07, 1.5625029448074201e-07, 1.6321234852512134e-07, 1.7017440256950067e-07, 1.7713645661388e-07, 1.8409851065825933e-07, 1.9106056470263866e-07, 1.9802260453616327e-07, 2.049846585805426e-07]}, "gradients/decoder.bert.encoder.layer.19.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 2.0, 4.0, 3.0, 5.0, 4.0, 7.0, 4.0, 6.0, 12.0, 12.0, 21.0, 19.0, 29.0, 27.0, 31.0, 46.0, 39.0, 33.0, 39.0, 48.0, 47.0, 42.0, 49.0, 62.0, 40.0, 52.0, 40.0, 33.0, 44.0, 31.0, 23.0, 31.0, 23.0, 22.0, 11.0, 8.0, 14.0, 12.0, 10.0, 7.0, 5.0, 3.0, 6.0, 4.0, 1.0, 2.0, 3.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-1.7724023848586512e-07, -1.721008686672576e-07, -1.669615130595048e-07, -1.6182214324089728e-07, -1.5668278763314447e-07, -1.5154341781453695e-07, -1.4640406220678415e-07, -1.4126469238817663e-07, -1.361253225695691e-07, -1.309859527509616e-07, -1.2584659714320878e-07, -1.2070722732460126e-07, -1.1556787171684846e-07, -1.1042850189824094e-07, -1.0528913918506078e-07, -1.0014977647188061e-07, -9.501042086412781e-08, -8.987105815094765e-08, -8.473169543776748e-08, -7.959232561915996e-08, -7.445297001140716e-08, -6.931360019279964e-08, -6.417423747961948e-08, -5.9034874766439316e-08, -5.3895512053259154e-08, -4.875614934007899e-08, -4.361678662689883e-08, -3.847742036100499e-08, -3.3338057647824826e-08, -2.8198694934644664e-08, -2.3059328668750823e-08, -1.791996595557066e-08, -1.2780617453245213e-08, -7.641253851886631e-09, -2.5018902505280494e-09, 2.6374742390089523e-09, 7.776836952189115e-09, 1.2916199665369277e-08, 1.8055565931263118e-08, 2.319492864444328e-08, 2.8334291357623442e-08, 3.3473654070803605e-08, 3.861301678398377e-08, 4.375238304987761e-08, 4.889174576305777e-08, 5.403110847623793e-08, 5.9170474742131773e-08, 6.430983745531194e-08, 6.94492001684921e-08, 7.458856288167226e-08, 7.972792559485242e-08, 8.486729541345994e-08, 9.000665102121275e-08, 9.514602083982027e-08, 1.0028538355300043e-07, 1.0542474626618059e-07, 1.1056410897936075e-07, 1.1570347169254092e-07, 1.2084284151114844e-07, 1.2598219711890124e-07, 1.3112156693750876e-07, 1.3626092254526156e-07, 1.4140029236386908e-07, 1.465396621824766e-07, 1.516790177902294e-07]}, "gradients/decoder.bert.encoder.layer.19.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.19.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.19.intermediate.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.19.intermediate.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.19.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 2.0, 2.0, 1.0, 1.0, 3.0, 2.0, 4.0, 2.0, 8.0, 10.0, 12.0, 8.0, 10.0, 20.0, 29.0, 31.0, 20.0, 60.0, 71.0, 111.0, 191.0, 108.0, 71.0, 45.0, 35.0, 34.0, 24.0, 18.0, 13.0, 6.0, 9.0, 9.0, 13.0, 3.0, 5.0, 4.0, 3.0, 6.0, 2.0, 1.0, 0.0, 3.0, 3.0, 0.0, 1.0, 0.0, 2.0, 2.0], "bins": [-5.147164827690176e-08, -5.0063576395587006e-08, -4.865550096155857e-08, -4.724742552753014e-08, -4.5839353646215386e-08, -4.443128176490063e-08, -4.30232063308722e-08, -4.1615130896843766e-08, -4.020705901552901e-08, -3.879898713421426e-08, -3.7390911700185825e-08, -3.598283626615739e-08, -3.457476438484264e-08, -3.3166692503527884e-08, -3.175861706949945e-08, -3.035054163547102e-08, -2.8942469754156264e-08, -2.753439609648467e-08, -2.6126322438813077e-08, -2.4718248781141483e-08, -2.331017512346989e-08, -2.1902101465798296e-08, -2.0494027808126702e-08, -1.908595415045511e-08, -1.7677880492783515e-08, -1.6269806835111922e-08, -1.4861733177440328e-08, -1.3453659519768735e-08, -1.2045585862097141e-08, -1.0637512204425548e-08, -9.229438546753954e-09, -7.82136488908236e-09, -6.413287678697088e-09, -5.005214021025495e-09, -3.597140363353901e-09, -2.1890667056823077e-09, -7.809930480107141e-10, 6.270806096608794e-10, 2.035154267332473e-09, 3.4432279250040665e-09, 4.85130158267566e-09, 6.2593752403472536e-09, 7.667448898018847e-09, 9.07552255569044e-09, 1.0483596213362034e-08, 1.1891669871033628e-08, 1.3299743528705221e-08, 1.4707817186376815e-08, 1.6115890844048408e-08, 1.7523964501720002e-08, 1.8932038159391595e-08, 2.034011181706319e-08, 2.1748185474734782e-08, 2.3156259132406376e-08, 2.456433279007797e-08, 2.5972406447749563e-08, 2.7380480105421157e-08, 2.878855376309275e-08, 3.0196627420764344e-08, 3.16046993020791e-08, 3.301277473610753e-08, 3.4420850170135964e-08, 3.582892205145072e-08, 3.723699393276547e-08, 3.8645069366793905e-08]}, "gradients/decoder.bert.encoder.layer.19.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 2.0, 1.0, 4.0, 4.0, 4.0, 6.0, 5.0, 4.0, 7.0, 11.0, 14.0, 18.0, 21.0, 28.0, 29.0, 29.0, 49.0, 38.0, 32.0, 39.0, 46.0, 51.0, 43.0, 47.0, 58.0, 46.0, 51.0, 36.0, 37.0, 42.0, 33.0, 22.0, 29.0, 23.0, 21.0, 12.0, 8.0, 15.0, 13.0, 9.0, 6.0, 5.0, 4.0, 4.0, 5.0, 1.0, 2.0, 3.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-3.2974845964872657e-08, -3.2017464235423176e-08, -3.1060086058687375e-08, -3.0102704329237895e-08, -2.9145324376145254e-08, -2.8187944423052613e-08, -2.7230562693603133e-08, -2.6273182740510492e-08, -2.531580278741785e-08, -2.435842283432521e-08, -2.340104288123257e-08, -2.244366115178309e-08, -2.148628119869045e-08, -2.0528901245597808e-08, -1.9571519516148328e-08, -1.8614139563055687e-08, -1.7656759609963046e-08, -1.6699379656870406e-08, -1.5741999703777765e-08, -1.4784617974328285e-08, -1.3827238021235644e-08, -1.2869858068143003e-08, -1.1912477226871943e-08, -1.0955096385600882e-08, -9.997716432508241e-09, -9.0403364794156e-09, -8.08295563814454e-09, -7.125575240962689e-09, -6.168194843780839e-09, -5.210814446598988e-09, -4.2534340494171374e-09, -3.2960536522352868e-09, -2.338673255053436e-09, -1.3812928578715855e-09, -4.2391246068973487e-10, 5.334679364921158e-10, 1.4908483336739664e-09, 2.448228730855817e-09, 3.4056091280376677e-09, 4.362989525219518e-09, 5.320369922401369e-09, 6.27775031958322e-09, 7.23513071676507e-09, 8.19251155803613e-09, 9.149891511128772e-09, 1.0107271464221412e-08, 1.1064652305492473e-08, 1.2022033146763533e-08, 1.2979413099856174e-08, 1.3936793052948815e-08, 1.4894173894219875e-08, 1.5851554735490936e-08, 1.6808934688583577e-08, 1.7766314641676217e-08, 1.8723696371125698e-08, 1.968107632421834e-08, 2.063845627731098e-08, 2.159583623040362e-08, 2.255321618349626e-08, 2.351059791294574e-08, 2.4467977866038382e-08, 2.5425357819131023e-08, 2.6382739548580503e-08, 2.7340119501673144e-08, 2.8297499454765784e-08]}, "gradients/decoder.bert.encoder.layer.19.crossattention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.19.crossattention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.19.crossattention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.19.crossattention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.19.crossattention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.19.crossattention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.19.crossattention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.19.crossattention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.19.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 3.0, 1.0, 3.0, 4.0, 4.0, 3.0, 6.0, 3.0, 11.0, 5.0, 5.0, 12.0, 19.0, 18.0, 15.0, 26.0, 23.0, 36.0, 42.0, 46.0, 69.0, 134.0, 130.0, 95.0, 63.0, 32.0, 38.0, 25.0, 26.0, 23.0, 16.0, 13.0, 18.0, 5.0, 5.0, 3.0, 2.0, 5.0, 0.0, 5.0, 7.0, 1.0, 3.0, 2.0, 3.0, 0.0, 2.0, 2.0, 2.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0], "bins": [-2.551486799617919e-09, -2.466790105515315e-09, -2.3820934114127112e-09, -2.2973967173101073e-09, -2.2127000232075034e-09, -2.1280033291048994e-09, -2.0433068570469004e-09, -1.9586101629442965e-09, -1.8739134688416925e-09, -1.7892167747390886e-09, -1.7045200806364846e-09, -1.6198233865338807e-09, -1.5351266924312768e-09, -1.4504299983286728e-09, -1.3657334152483713e-09, -1.2810367211457674e-09, -1.196339916020861e-09, -1.111643221918257e-09, -1.026946527815653e-09, -9.422498337130492e-10, -8.575531951215964e-10, -7.728565010189925e-10, -6.881598624275398e-10, -6.034631683249359e-10, -5.187664742223319e-10, -4.3406978011972797e-10, -3.4937311377269964e-10, -2.646764474256713e-10, -1.7997975332306737e-10, -9.528305922046343e-11, -1.0586420629010718e-11, 7.411027347359322e-11, 1.5880674553159224e-10, 2.435034396341962e-10, 3.282001059812245e-10, 4.1289677232825284e-10, 4.975934664308568e-10, 5.822901605334607e-10, 6.669867991249134e-10, 7.516834932275174e-10, 8.363801873301213e-10, 9.210768814327253e-10, 1.0057735755353292e-09, 1.0904701586156307e-09, 1.1751668527182346e-09, 1.2598635468208386e-09, 1.3445602409234425e-09, 1.4292569350260464e-09, 1.5139536291286504e-09, 1.5986503232312543e-09, 1.6833470173338583e-09, 1.7680437114364622e-09, 1.8527404055390662e-09, 1.93743709964167e-09, 2.022133571699669e-09, 2.106830265802273e-09, 2.191526959904877e-09, 2.276223654007481e-09, 2.360920348110085e-09, 2.445617042212689e-09, 2.5303137363152928e-09, 2.6150104304178967e-09, 2.6997071245205007e-09, 2.7844038186231046e-09, 2.8691005127257085e-09]}, "gradients/decoder.bert.encoder.layer.19.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 2.0, 3.0, 2.0, 4.0, 5.0, 6.0, 4.0, 5.0, 6.0, 14.0, 14.0, 18.0, 24.0, 26.0, 29.0, 34.0, 48.0, 35.0, 30.0, 40.0, 47.0, 46.0, 41.0, 49.0, 61.0, 40.0, 54.0, 39.0, 36.0, 41.0, 33.0, 21.0, 31.0, 22.0, 17.0, 15.0, 6.0, 19.0, 9.0, 9.0, 7.0, 6.0, 3.0, 5.0, 5.0, 1.0, 1.0, 3.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-2.3948487637426297e-09, -2.3252171299503743e-09, -2.255585496158119e-09, -2.1859540844104686e-09, -2.1163224506182132e-09, -2.046690816825958e-09, -1.9770591830337025e-09, -1.907427549241447e-09, -1.8377960264714943e-09, -1.768164392679239e-09, -1.698532869909286e-09, -1.6289012361170307e-09, -1.5592696023247754e-09, -1.4896380795548225e-09, -1.4200064457625672e-09, -1.3503749229926143e-09, -1.280743289200359e-09, -1.2111116554081036e-09, -1.1414801326381507e-09, -1.0718484988458954e-09, -1.0022169760759425e-09, -9.325853422836872e-10, -8.629537084914318e-10, -7.933221302103277e-10, -7.236905519292236e-10, -6.540589736481195e-10, -5.844273953670154e-10, -5.1479576157476e-10, -4.451641832936559e-10, -3.755326050125518e-10, -3.059009989758721e-10, -2.3626939293919236e-10, -1.6663759261348332e-10, -9.70060004545914e-11, -2.7374408295699482e-11, 4.225718386319244e-11, 1.1188877602208436e-10, 1.8152035430318847e-10, 2.511519603398682e-10, 3.207835663765479e-10, 3.9041514465765204e-10, 4.6004672293875615e-10, 5.296783012198603e-10, 5.993099350121156e-10, 6.689415132932197e-10, 7.385730915743238e-10, 8.082047253665792e-10, 8.778363036476833e-10, 9.474678819287874e-10, 1.0170995157210427e-09, 1.0867310384909956e-09, 1.156362672283251e-09, 1.2259941950532038e-09, 1.2956258288454592e-09, 1.3652574626377145e-09, 1.4348890964299699e-09, 1.5045206191999227e-09, 1.574152252992178e-09, 1.643783775762131e-09, 1.7134154095543863e-09, 1.7830470433466417e-09, 1.8526785661165945e-09, 1.9223100888865474e-09, 1.9919417226788028e-09, 2.061573356471058e-09]}, "gradients/decoder.bert.encoder.layer.19.attention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.19.attention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.19.attention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.19.attention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.19.attention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.19.attention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.19.attention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.19.attention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.18.output.LayerNorm.weight": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 3.0, 1.0, 2.0, 4.0, 2.0, 4.0, 4.0, 5.0, 4.0, 7.0, 8.0, 13.0, 10.0, 18.0, 16.0, 29.0, 27.0, 37.0, 35.0, 43.0, 79.0, 101.0, 159.0, 98.0, 58.0, 49.0, 41.0, 20.0, 18.0, 23.0, 16.0, 17.0, 7.0, 8.0, 7.0, 12.0, 5.0, 4.0, 4.0, 3.0, 0.0, 2.0, 2.0, 5.0, 2.0, 0.0, 0.0, 1.0, 2.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.618129741309815e-09, -1.5629199046074405e-09, -1.5077099568827634e-09, -1.4525001201803889e-09, -1.3972902834780143e-09, -1.3420804467756398e-09, -1.2868704990509627e-09, -1.2316606623485882e-09, -1.1764507146239112e-09, -1.1212408779215366e-09, -1.0660309301968596e-09, -1.010821093494485e-09, -9.556112567921105e-10, -9.004013645785847e-10, -8.451914723650589e-10, -7.899816356626843e-10, -7.347717989603098e-10, -6.79561906746784e-10, -6.243520700444094e-10, -5.691421778308836e-10, -5.13932341128509e-10, -4.5872244891498326e-10, -4.0351255670145747e-10, -3.483026922435073e-10, -2.930928277855571e-10, -2.3788296332760694e-10, -1.8267308499186896e-10, -1.2746320665613098e-10, -7.22533421981808e-11, -1.7043477740230628e-11, 3.816641447329516e-11, 9.337627893124534e-11, 1.4858625441149798e-10, 2.0379611886944815e-10, 2.5900598332739833e-10, 3.142158755409241e-10, 3.694257399988743e-10, 4.2463560445682447e-10, 4.798454966703503e-10, 5.350553333727248e-10, 5.902652255862506e-10, 6.454751177997764e-10, 7.00684954502151e-10, 7.558948467156767e-10, 8.111047389292025e-10, 8.663145756315771e-10, 9.215244678451029e-10, 9.767343600586287e-10, 1.0319441967610032e-09, 1.0871540334633778e-09, 1.1423639811880548e-09, 1.1975738178904294e-09, 1.252783654592804e-09, 1.3079934912951785e-09, 1.3632034390198555e-09, 1.41841327572223e-09, 1.4736232234469071e-09, 1.5288330601492817e-09, 1.5840430078739587e-09, 1.6392528445763332e-09, 1.6944626812787078e-09, 1.7496726290033848e-09, 1.8048824657057594e-09, 1.860092302408134e-09, 1.9153021391105085e-09]}, "gradients/decoder.bert.encoder.layer.18.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 2.0, 3.0, 2.0, 6.0, 3.0, 7.0, 5.0, 5.0, 5.0, 14.0, 14.0, 18.0, 26.0, 25.0, 31.0, 35.0, 45.0, 35.0, 29.0, 42.0, 47.0, 44.0, 46.0, 48.0, 60.0, 43.0, 46.0, 41.0, 44.0, 34.0, 31.0, 23.0, 32.0, 19.0, 18.0, 14.0, 9.0, 16.0, 9.0, 9.0, 7.0, 6.0, 3.0, 5.0, 5.0, 1.0, 2.0, 2.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-1.4708609885616397e-09, -1.4279787352577955e-09, -1.3850964819539513e-09, -1.3422143396724096e-09, -1.2993320863685653e-09, -1.2564498330647211e-09, -1.213567579760877e-09, -1.1706853264570327e-09, -1.127803184175491e-09, -1.0849209308716468e-09, -1.0420386775678026e-09, -9.991565352862608e-10, -9.562742819824166e-10, -9.133920286785724e-10, -8.705097753747282e-10, -8.27627522070884e-10, -7.847452687670398e-10, -7.418630154631956e-10, -6.989808176705026e-10, -6.560985643666584e-10, -6.132163665739654e-10, -5.703341132701212e-10, -5.27451859966277e-10, -4.845696066624328e-10, -4.416874088697398e-10, -3.988051833214712e-10, -3.559229577732026e-10, -3.130407044693584e-10, -2.701584789210898e-10, -2.272762533728212e-10, -1.84394000068977e-10, -1.415117745207084e-10, -9.862943795013734e-11, -5.574720546297485e-11, -1.286497297581235e-11, 3.001726645024405e-11, 7.289949199851264e-11, 1.1578171754678124e-10, 1.5866397085062545e-10, 2.0154619639889404e-10, 2.4442842194716263e-10, 2.8731064749543123e-10, 3.301928730436998e-10, 3.7307512634754403e-10, 4.159573518958126e-10, 4.588395774440812e-10, 5.017218307479254e-10, 5.446040285406184e-10, 5.874862818444626e-10, 6.303685351483068e-10, 6.732507329409998e-10, 7.16132986244844e-10, 7.59015184037537e-10, 8.018974373413812e-10, 8.447796906452254e-10, 8.876619439490696e-10, 9.305441417417626e-10, 9.734263395344556e-10, 1.0163085928382998e-09, 1.059190846142144e-09, 1.1020730994459882e-09, 1.14495524172753e-09, 1.1878376060536766e-09, 1.2307197483352184e-09, 1.2736020016390626e-09]}, "gradients/decoder.bert.encoder.layer.18.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.18.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.18.intermediate.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.18.intermediate.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.18.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 3.0, 0.0, 3.0, 3.0, 3.0, 5.0, 11.0, 11.0, 8.0, 9.0, 14.0, 14.0, 17.0, 22.0, 28.0, 24.0, 49.0, 65.0, 101.0, 174.0, 133.0, 70.0, 47.0, 38.0, 29.0, 21.0, 15.0, 20.0, 16.0, 9.0, 7.0, 5.0, 5.0, 8.0, 7.0, 0.0, 6.0, 4.0, 2.0, 3.0, 0.0, 1.0, 0.0, 1.0, 2.0, 0.0, 1.0, 3.0, 0.0, 1.0, 1.0, 0.0, 1.0], "bins": [-2.3100879542603536e-10, -2.2351305528633958e-10, -2.160173151466438e-10, -2.08521575006948e-10, -2.0102583486725223e-10, -1.9353009472755645e-10, -1.8603435458786066e-10, -1.7853862832595269e-10, -1.710428743084691e-10, -1.635471341687733e-10, -1.5605139402907753e-10, -1.4855565388938174e-10, -1.4105991374968596e-10, -1.3356417360999018e-10, -1.260684334702944e-10, -1.1857270720838642e-10, -1.1107696706869064e-10, -1.0358122692899485e-10, -9.608548678929907e-11, -8.858974664960328e-11, -8.10940065099075e-11, -7.359826637021172e-11, -6.610253316940984e-11, -5.860679302971405e-11, -5.111105289001827e-11, -4.361531275032249e-11, -3.6119572610626705e-11, -2.8623835940377873e-11, -2.112809580068209e-11, -1.3632355660986306e-11, -6.136618990737475e-12, 1.3591211489583088e-12, 8.854861288654092e-12, 1.6350601428349876e-11, 2.3846339833322183e-11, 3.134207823829449e-11, 3.8837818377990274e-11, 4.633355851768606e-11, 5.382929518793489e-11, 6.132503532763067e-11, 6.882077546732646e-11, 7.631651560702224e-11, 8.381225574671802e-11, 9.13079889475199e-11, 9.880372908721569e-11, 1.0629946922691147e-10, 1.1379520936660725e-10, 1.2129094950630304e-10, 1.2878668964599882e-10, 1.362824297856946e-10, 1.4377816992539039e-10, 1.5127391006508617e-10, 1.5876965020478195e-10, 1.6626539034447774e-10, 1.737611166063857e-10, 1.812568706238693e-10, 1.8875259688577728e-10, 1.9624833702547306e-10, 2.0374407716516885e-10, 2.1123981730486463e-10, 2.1873555744456041e-10, 2.262312975842562e-10, 2.33727037723952e-10, 2.4122276398585996e-10, 2.4871851800334355e-10]}, "gradients/decoder.bert.encoder.layer.18.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 4.0, 2.0, 1.0, 8.0, 2.0, 6.0, 5.0, 6.0, 6.0, 16.0, 13.0, 15.0, 30.0, 27.0, 29.0, 38.0, 43.0, 34.0, 30.0, 46.0, 43.0, 43.0, 52.0, 46.0, 58.0, 45.0, 44.0, 37.0, 46.0, 33.0, 29.0, 23.0, 32.0, 21.0, 19.0, 11.0, 9.0, 15.0, 9.0, 9.0, 8.0, 4.0, 5.0, 4.0, 5.0, 1.0, 2.0, 2.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-1.8596120476832567e-10, -1.8052107031429898e-10, -1.750809358602723e-10, -1.696408014062456e-10, -1.642006530744311e-10, -1.587605186204044e-10, -1.5332038416637772e-10, -1.4788024971235103e-10, -1.4244011525832434e-10, -1.3699998080429765e-10, -1.3155984635027096e-10, -1.2611969801845646e-10, -1.2067956356442977e-10, -1.1523942911040308e-10, -1.0979929465637639e-10, -1.043591602023497e-10, -9.89190118705352e-11, -9.347887741650851e-11, -8.803873602358792e-11, -8.259860156956123e-11, -7.715846017664063e-11, -7.171832572261394e-11, -6.627819126858725e-11, -6.083805681456056e-11, -5.5397915421639965e-11, -4.995777749816632e-11, -4.451763957469268e-11, -3.907750512066599e-11, -3.363736719719235e-11, -2.8197229273718705e-11, -2.2757094819692014e-11, -1.7316956896218372e-11, -1.1876832850532537e-11, -6.436695794420633e-12, -9.965587383087282e-13, 4.443577450441438e-12, 9.88371537391508e-12, 1.5323853297388723e-11, 2.0763987751415414e-11, 2.6204125674889056e-11, 3.16442635983627e-11, 3.708440152183634e-11, 4.2524539445309983e-11, 4.7964673899336674e-11, 5.3404811822810316e-11, 5.884494974628396e-11, 6.428508420031065e-11, 6.972522559323124e-11, 7.516536004725793e-11, 8.060549450128462e-11, 8.604563589420522e-11, 9.148577034823191e-11, 9.69259117411525e-11, 1.023660461951792e-10, 1.0780618064920588e-10, 1.1324631510323258e-10, 1.1868644955725927e-10, 1.2412658401128596e-10, 1.2956671846531265e-10, 1.3500686679712715e-10, 1.4044700125115384e-10, 1.4588713570518053e-10, 1.5132727015920722e-10, 1.567674046132339e-10, 1.622075529450484e-10]}, "gradients/decoder.bert.encoder.layer.18.crossattention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.18.crossattention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.18.crossattention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.18.crossattention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.18.crossattention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.18.crossattention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.18.crossattention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.18.crossattention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.18.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 7.0, 4.0, 4.0, 6.0, 8.0, 12.0, 11.0, 12.0, 13.0, 17.0, 29.0, 43.0, 57.0, 64.0, 116.0, 200.0, 129.0, 73.0, 61.0, 46.0, 22.0, 22.0, 14.0, 13.0, 7.0, 7.0, 3.0, 7.0, 2.0, 0.0, 1.0, 0.0, 3.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.4717478971637554e-11, -1.4219736499399005e-11, -1.3721993159798718e-11, -1.322424982019843e-11, -1.2726507347959881e-11, -1.2228764875721332e-11, -1.1731021536121045e-11, -1.1233278196520757e-11, -1.0735535724282208e-11, -1.0237793252043659e-11, -9.740049912443371e-12, -9.242306572843084e-12, -8.744564100604535e-12, -8.246821628365986e-12, -7.749078288765698e-12, -7.25133538284628e-12, -6.753592476926862e-12, -6.2558495710074435e-12, -5.758106665088025e-12, -5.260363759168607e-12, -4.762620853249189e-12, -4.2648779473297704e-12, -3.767135041410352e-12, -3.269392135490934e-12, -2.7716492295715156e-12, -2.2739063236520973e-12, -1.776163417732679e-12, -1.2784205118132608e-12, -7.806776058938425e-13, -2.829346999744242e-13, 2.1480820594499406e-13, 7.125511118644123e-13, 1.2102940177838306e-12, 1.7080369237032489e-12, 2.205779829622667e-12, 2.7035227355420854e-12, 3.2012656414615037e-12, 3.699008547380922e-12, 4.19675145330034e-12, 4.6944943592197586e-12, 5.192237265139177e-12, 5.689980171058595e-12, 6.187723076978013e-12, 6.685465982897432e-12, 7.18320888881685e-12, 7.6809513610554e-12, 8.178694700655686e-12, 8.676438040255974e-12, 9.174180512494523e-12, 9.671922984733072e-12, 1.016966632433336e-11, 1.0667409663933647e-11, 1.1165152136172196e-11, 1.1662894608410745e-11, 1.2160637948011033e-11, 1.265838128761132e-11, 1.315612375984987e-11, 1.3653866232088419e-11, 1.4151609571688706e-11, 1.4649352911288993e-11, 1.5147095383527542e-11, 1.5644837855766092e-11, 1.614258032800464e-11, 1.6640324534966666e-11, 1.7138067007205215e-11]}, "gradients/decoder.bert.encoder.layer.18.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 4.0, 0.0, 2.0, 7.0, 5.0, 4.0, 5.0, 6.0, 7.0, 17.0, 13.0, 16.0, 32.0, 26.0, 29.0, 40.0, 44.0, 29.0, 33.0, 44.0, 43.0, 42.0, 53.0, 44.0, 62.0, 48.0, 39.0, 35.0, 49.0, 34.0, 26.0, 21.0, 32.0, 20.0, 16.0, 14.0, 10.0, 14.0, 8.0, 11.0, 8.0, 4.0, 6.0, 5.0, 3.0, 1.0, 2.0, 2.0, 1.0, 0.0, 0.0, 1.0, 1.0], "bins": [-9.41450476604766e-12, -9.138286481691349e-12, -8.862068197335038e-12, -8.585849045616989e-12, -8.309630761260678e-12, -8.033412476904367e-12, -7.757194192548056e-12, -7.480975908191745e-12, -7.204757190154565e-12, -6.928538905798254e-12, -6.652320187761074e-12, -6.376101903404763e-12, -6.099883619048452e-12, -5.823664901011272e-12, -5.547446616654961e-12, -5.271227898617781e-12, -4.99500961426147e-12, -4.718791329905159e-12, -4.442572611867979e-12, -4.166354327511668e-12, -3.890135609474488e-12, -3.6139173251181766e-12, -3.3376990407618656e-12, -3.06148053956512e-12, -2.7852620383683746e-12, -2.509043537171629e-12, -2.2328250359748836e-12, -1.9566067516185726e-12, -1.680388250421827e-12, -1.4041697492250815e-12, -1.1279513564485533e-12, -8.51732963672025e-13, -5.755153298370175e-13, -2.992968828503806e-13, -2.3078435863743696e-14, 2.531400111228932e-13, 5.293584581095301e-13, 8.055769593062756e-13, 1.0817953520828039e-12, 1.3580137448593321e-12, 1.6342322460560776e-12, 1.910450747252823e-12, 2.1866692484495687e-12, 2.4628875328058797e-12, 2.739106034002625e-12, 3.0153245351993707e-12, 3.2915428195556817e-12, 3.5677613207524272e-12, 3.843979821949173e-12, 4.120198106305484e-12, 4.396416824342664e-12, 4.672635108698975e-12, 4.948853826736155e-12, 5.225072111092466e-12, 5.501290395448777e-12, 5.777508679805088e-12, 6.053727397842268e-12, 6.329945682198579e-12, 6.606164400235759e-12, 6.88238268459207e-12, 7.158600968948381e-12, 7.43482012066643e-12, 7.711038405022741e-12, 7.987256689379052e-12, 8.263474973735363e-12]}, "gradients/decoder.bert.encoder.layer.18.attention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.18.attention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.18.attention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.18.attention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.18.attention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.18.attention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.18.attention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.18.attention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.17.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 3.0, 2.0, 4.0, 11.0, 6.0, 8.0, 15.0, 16.0, 24.0, 32.0, 25.0, 43.0, 44.0, 79.0, 144.0, 165.0, 100.0, 74.0, 54.0, 40.0, 28.0, 23.0, 17.0, 7.0, 8.0, 6.0, 4.0, 9.0, 6.0, 4.0, 2.0, 4.0, 1.0, 1.0, 0.0, 0.0, 2.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.7061881261755154e-12, -5.523046863603609e-12, -5.3399056010317025e-12, -5.156764338459796e-12, -4.97362307588789e-12, -4.790481379635114e-12, -4.607340550744077e-12, -4.424198854491301e-12, -4.241057591919395e-12, -4.0579163293474885e-12, -3.874775066775582e-12, -3.6916338042036756e-12, -3.5084923247913347e-12, -3.3253510622194282e-12, -3.1422097996475218e-12, -2.959068320235181e-12, -2.775927274503709e-12, -2.5927860119318025e-12, -2.409644749359896e-12, -2.226503269947555e-12, -2.0433620073756487e-12, -1.8602207448037422e-12, -1.6770794822318358e-12, -1.493938111239712e-12, -1.3107968486678057e-12, -1.1276555860958992e-12, -9.445142151037755e-13, -7.613729525318691e-13, -5.78231635749854e-13, -3.9509031896783897e-13, -2.1194905639593253e-13, -2.880768540380885e-14, 1.543335771680976e-13, 3.3747489395011265e-13, 5.206162107321277e-13, 7.037574733040342e-13, 8.868987900860492e-13, 1.0700401068680643e-12, 1.2531813694399707e-12, 1.4363227404320944e-12, 1.6194640030040008e-12, 1.8026052655759073e-12, 1.985746636568031e-12, 2.1688878991399374e-12, 2.352029161711844e-12, 2.5351704242837503e-12, 2.7183116868556567e-12, 2.9014531662679977e-12, 3.084594428839904e-12, 3.2677356914118105e-12, 3.450876953983717e-12, 3.634018433396058e-12, 3.817159695967964e-12, 4.000300958539871e-12, 4.183442221111777e-12, 4.366583483683684e-12, 4.54972474625559e-12, 4.7328660088274965e-12, 4.916007271399403e-12, 5.0991485339713094e-12, 5.282289796543216e-12, 5.465431059115122e-12, 5.648572755367898e-12, 5.831714017939804e-12, 6.0148552805117106e-12]}, "gradients/decoder.bert.encoder.layer.17.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 3.0, 3.0, 3.0, 4.0, 6.0, 1.0, 7.0, 6.0, 6.0, 13.0, 16.0, 19.0, 27.0, 26.0, 30.0, 35.0, 53.0, 29.0, 30.0, 48.0, 40.0, 48.0, 41.0, 52.0, 53.0, 53.0, 42.0, 38.0, 45.0, 35.0, 30.0, 19.0, 34.0, 18.0, 21.0, 10.0, 9.0, 16.0, 8.0, 10.0, 7.0, 4.0, 4.0, 5.0, 4.0, 2.0, 1.0, 2.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-3.8276244153367944e-12, -3.715490155126178e-12, -3.6033561117559954e-12, -3.491222068385813e-12, -3.3790878081751963e-12, -3.266953764805014e-12, -3.1548197214348317e-12, -3.042685461224215e-12, -2.9305514178540326e-12, -2.8184173744838503e-12, -2.7062831142732335e-12, -2.5941490709030512e-12, -2.4820148106924345e-12, -2.369880767322252e-12, -2.2577465071116354e-12, -2.145612463741453e-12, -2.033478420371271e-12, -1.9213443770010885e-12, -1.8092101167904717e-12, -1.6970760734202894e-12, -1.5849419216298899e-12, -1.4728077698394904e-12, -1.3606736180490908e-12, -1.2485394662586913e-12, -1.1364052060480745e-12, -1.024271054257675e-12, -9.121369024672754e-13, -8.000028048869845e-13, -6.878687073066936e-13, -5.75734555516294e-13, -4.636004037258945e-13, -3.514663061456036e-13, -2.393322085653127e-13, -1.2719808387996745e-13, -1.5063945642095067e-14, 9.707019259577732e-14, 2.0920431728112254e-13, 3.2133844196646777e-13, 4.334725937568673e-13, 5.456066913371582e-13, 6.577408431275578e-13, 7.698749949179573e-13, 8.820090924982482e-13, 9.941432442886478e-13, 1.1062773960790473e-12, 1.2184114394492296e-12, 1.3305456996598464e-12, 1.4426797430300287e-12, 1.5548138948204282e-12, 1.6669480466108277e-12, 1.7790821984012273e-12, 1.891216350191627e-12, 2.003350393561809e-12, 2.1154844369319914e-12, 2.227618697142608e-12, 2.3397527405127905e-12, 2.4518870007234073e-12, 2.5640210440935896e-12, 2.6761553043042063e-12, 2.7882893476743886e-12, 2.9004236078850054e-12, 3.0125576512551877e-12, 3.1246919114658045e-12, 3.2368259548359868e-12, 3.348959998206169e-12]}, "gradients/decoder.bert.encoder.layer.17.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.17.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.17.intermediate.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.17.intermediate.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.17.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 2.0, 1.0, 1.0, 1.0, 2.0, 3.0, 5.0, 3.0, 5.0, 12.0, 7.0, 16.0, 12.0, 14.0, 17.0, 28.0, 44.0, 43.0, 87.0, 121.0, 192.0, 102.0, 79.0, 51.0, 43.0, 25.0, 17.0, 16.0, 11.0, 12.0, 11.0, 7.0, 5.0, 3.0, 2.0, 3.0, 1.0, 0.0, 2.0, 1.0, 4.0, 0.0, 0.0, 1.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-6.20989587876708e-13, -5.998799005278721e-13, -5.787702131790362e-13, -5.576605258302003e-13, -5.365508384813644e-13, -5.154411511325285e-13, -4.943314637836926e-13, -4.732217764348567e-13, -4.5211208908602085e-13, -4.3100240173718496e-13, -4.0989271438834907e-13, -3.8878302703951317e-13, -3.676733396906773e-13, -3.465636523418414e-13, -3.254539649930055e-13, -3.043442776441696e-13, -2.832345902953337e-13, -2.621249029464978e-13, -2.410152155976619e-13, -2.1990552824882603e-13, -1.9879584089999014e-13, -1.7768615355115425e-13, -1.5657646620231835e-13, -1.3546677885348246e-13, -1.1435709150464657e-13, -9.324740415581068e-14, -7.213771680697478e-14, -5.102802945813889e-14, -2.9918342109303e-14, -8.808654760467105e-15, 1.2301032588368788e-14, 3.341071993720468e-14, 5.452040728604057e-14, 7.563009463487647e-14, 9.673978198371236e-14, 1.1784946933254825e-13, 1.3895915668138414e-13, 1.6006884403022004e-13, 1.8117853137905593e-13, 2.0228821872789182e-13, 2.2339790607672771e-13, 2.445075934255636e-13, 2.656172807743995e-13, 2.867269681232354e-13, 3.078366554720713e-13, 3.289463428209072e-13, 3.5005603016974307e-13, 3.7116571751857896e-13, 3.9227540486741486e-13, 4.1338509221625075e-13, 4.3449477956508664e-13, 4.556044669139225e-13, 4.767141542627584e-13, 4.978238416115943e-13, 5.189335289604302e-13, 5.400432163092661e-13, 5.61152903658102e-13, 5.822625910069379e-13, 6.033722783557738e-13, 6.244819657046097e-13, 6.455916530534456e-13, 6.667013404022815e-13, 6.878110277511174e-13, 7.089207150999532e-13, 7.300304024487891e-13]}, "gradients/decoder.bert.encoder.layer.17.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 5.0, 1.0, 2.0, 7.0, 5.0, 3.0, 7.0, 4.0, 9.0, 12.0, 17.0, 22.0, 26.0, 25.0, 37.0, 39.0, 42.0, 29.0, 34.0, 42.0, 42.0, 47.0, 47.0, 53.0, 49.0, 55.0, 40.0, 31.0, 51.0, 38.0, 23.0, 21.0, 32.0, 20.0, 17.0, 10.0, 14.0, 11.0, 8.0, 10.0, 8.0, 2.0, 6.0, 5.0, 3.0, 2.0, 1.0, 2.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-4.4159465038655366e-13, -4.285891845416667e-13, -4.155836915917255e-13, -4.0257822574683855e-13, -3.895727327968973e-13, -3.7656726695201037e-13, -3.6356177400206913e-13, -3.505563081571822e-13, -3.3755084231229526e-13, -3.2454537646740833e-13, -3.115398835174671e-13, -2.9853441767258015e-13, -2.855289247226389e-13, -2.72523458877752e-13, -2.5951799303286505e-13, -2.465125000829238e-13, -2.3350700713298256e-13, -2.2050152773556847e-13, -2.0749604833815438e-13, -1.9449058249326745e-13, -1.814850895433262e-13, -1.6847962369843927e-13, -1.5547414430102519e-13, -1.424686649036111e-13, -1.29463185506197e-13, -1.1645770610878292e-13, -1.0345222671136883e-13, -9.044675409021832e-14, -7.744127469280424e-14, -6.443579529539015e-14, -5.143032267423964e-14, -3.842484327682555e-14, -2.5419390984465773e-14, -1.241391328111758e-14, 5.915644222306143e-16, 1.3597040431512913e-14, 2.6602519828927e-14, 3.960799922634109e-14, 5.26134718474916e-14, 6.561895124490569e-14, 7.862443064231978e-14, 9.162991003973386e-14, 1.0463538943714795e-13, 1.1764086883456204e-13, 1.3064633467944897e-13, 1.4365182762939022e-13, 1.5665729347427715e-13, 1.6966277287169124e-13, 1.8266825226910532e-13, 1.9567373166651941e-13, 2.086792110639335e-13, 2.2168467690882043e-13, 2.346901698587617e-13, 2.476956357036486e-13, 2.6070112865358985e-13, 2.737065944984768e-13, 2.867120603433637e-13, 2.9971752618825065e-13, 3.127230191381919e-13, 3.2572848498307883e-13, 3.3873397793302007e-13, 3.51739443777907e-13, 3.6474490962279393e-13, 3.777504025727352e-13, 3.907558955226764e-13]}, "gradients/decoder.bert.encoder.layer.17.crossattention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.17.crossattention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.17.crossattention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.17.crossattention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.17.crossattention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.17.crossattention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.17.crossattention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.17.crossattention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.17.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 5.0, 5.0, 4.0, 6.0, 7.0, 8.0, 10.0, 14.0, 17.0, 28.0, 26.0, 35.0, 50.0, 60.0, 98.0, 177.0, 146.0, 78.0, 72.0, 41.0, 35.0, 20.0, 21.0, 8.0, 14.0, 9.0, 3.0, 0.0, 6.0, 4.0, 4.0, 2.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.313169034372017e-14, -3.1940335115275206e-14, -3.074898327496203e-14, -2.955762804651707e-14, -2.8366274512138002e-14, -2.7174920977758935e-14, -2.5983565749313972e-14, -2.4792212214934904e-14, -2.3600858680555836e-14, -2.2409505146176768e-14, -2.12181516117977e-14, -2.0026796383352738e-14, -1.883544284897367e-14, -1.7644089314594602e-14, -1.645273408614964e-14, -1.5261380551770572e-14, -1.4070027017391504e-14, -1.2878673483012436e-14, -1.168731910160042e-14, -1.0495964720188405e-14, -9.304611185809337e-15, -8.11325765143027e-15, -6.921903270018254e-15, -5.730548888606239e-15, -4.539195354227171e-15, -3.3478413963316297e-15, -2.156487438436088e-15, -9.651334805405466e-16, 2.26220477354995e-16, 1.4175744352505366e-15, 2.608928393146078e-15, 3.800282774558093e-15, 4.991632920805372e-15, 6.182986878700914e-15, 7.374340836596455e-15, 8.56569521800847e-15, 9.757048752387538e-15, 1.0948402286766606e-14, 1.2139756668178622e-14, 1.3331111049590637e-14, 1.4522464583969705e-14, 1.5713818118348773e-14, 1.690517165272784e-14, 1.8096526881172803e-14, 1.928788041555187e-14, 2.047923394993094e-14, 2.16705891783759e-14, 2.286194271275497e-14, 2.4053296247134037e-14, 2.5244649781513105e-14, 2.6436003315892173e-14, 2.7627358544337136e-14, 2.881871038465031e-14, 3.001006561309527e-14, 3.1201420841540234e-14, 3.2392776069985196e-14, 3.358412791029837e-14, 3.477548313874333e-14, 3.5966834979056506e-14, 3.715819020750147e-14, 3.834954543594643e-14, 3.9540897276259604e-14, 4.0732252504704566e-14, 4.192360434501774e-14, 4.31149595734627e-14]}, "gradients/decoder.bert.encoder.layer.17.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 5.0, 1.0, 4.0, 6.0, 2.0, 7.0, 5.0, 6.0, 8.0, 11.0, 18.0, 25.0, 23.0, 26.0, 36.0, 41.0, 42.0, 30.0, 35.0, 41.0, 39.0, 51.0, 45.0, 53.0, 46.0, 56.0, 43.0, 30.0, 49.0, 39.0, 19.0, 27.0, 29.0, 17.0, 19.0, 10.0, 14.0, 11.0, 9.0, 8.0, 8.0, 4.0, 5.0, 5.0, 3.0, 2.0, 1.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-2.3434018600935157e-14, -2.2742402646974864e-14, -2.2050784998948678e-14, -2.1359169044988385e-14, -2.0667553091028093e-14, -1.99759371370678e-14, -1.9284319489041614e-14, -1.8592703535081322e-14, -1.790108758112103e-14, -1.7209471627160737e-14, -1.651785397913455e-14, -1.5826238025174258e-14, -1.5134622071213966e-14, -1.4443006117253673e-14, -1.3751388469227487e-14, -1.3059772515267194e-14, -1.2368155714273955e-14, -1.1676538913280715e-14, -1.0984922959320423e-14, -1.0293306158327183e-14, -9.601690204366891e-15, -8.910073403373651e-15, -8.218457449413359e-15, -7.52684064842012e-15, -6.835224270943354e-15, -6.143607893466588e-15, -5.451991515989822e-15, -4.760375138513056e-15, -4.068758337519816e-15, -3.3771421718012873e-15, -2.6855255825662845e-15, -1.9939092050895186e-15, -1.3022928276127527e-15, -6.106763971964275e-16, 8.094003321989758e-17, 7.725565165757819e-16, 1.4641728940525478e-15, 2.1557892715293138e-15, 2.8474058607643165e-15, 3.5390222382410824e-15, 4.230638615717848e-15, 4.922254993194614e-15, 5.61387137067138e-15, 6.305487748148146e-15, 6.997104549141386e-15, 7.688720503101678e-15, 8.380337304094918e-15, 9.07195325805521e-15, 9.76357005904845e-15, 1.0455186860041689e-14, 1.1146802814001981e-14, 1.183841961499522e-14, 1.2530035568955513e-14, 1.3221652369948753e-14, 1.3913268323909045e-14, 1.4604884277869337e-14, 1.5296501925895524e-14, 1.5988117879855816e-14, 1.6679735527882003e-14, 1.7371351481842295e-14, 1.8062967435802588e-14, 1.875458338976288e-14, 1.9446201037789067e-14, 2.013781699174936e-14, 2.082943294570965e-14]}, "gradients/decoder.bert.encoder.layer.17.attention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.17.attention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.17.attention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.17.attention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.17.attention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.17.attention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.17.attention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.17.attention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.16.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 4.0, 2.0, 2.0, 7.0, 6.0, 11.0, 18.0, 14.0, 16.0, 23.0, 15.0, 31.0, 37.0, 38.0, 48.0, 87.0, 160.0, 156.0, 86.0, 68.0, 38.0, 28.0, 22.0, 21.0, 18.0, 14.0, 9.0, 5.0, 8.0, 5.0, 3.0, 3.0, 1.0, 4.0, 2.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0], "bins": [-1.2175404049763819e-14, -1.1825421894419604e-14, -1.1475438892042441e-14, -1.1125456736698226e-14, -1.077547458135401e-14, -1.0425491578976848e-14, -1.0075509423632632e-14, -9.725527268288417e-15, -9.375545112944202e-15, -9.025562957599986e-15, -8.675579955222824e-15, -8.325597799878608e-15, -7.975615644534393e-15, -7.62563264215723e-15, -7.275650486813015e-15, -6.9256683314688e-15, -6.575685329091637e-15, -6.225702750230948e-15, -5.875720594886733e-15, -5.525738016026044e-15, -5.1757558606818285e-15, -4.8257732818211396e-15, -4.4757907029604506e-15, -4.125808547616235e-15, -3.775825968755546e-15, -3.425843601653094e-15, -3.075861234550642e-15, -2.725878655689953e-15, -2.375896288587501e-15, -2.0259139214850487e-15, -1.6759313426243597e-15, -1.3259489755219076e-15, -9.759657613865082e-16, -6.259833413444968e-16, -2.7600092130248546e-16, 7.39815516790851e-17, 4.2396391878153725e-16, 7.739462858839894e-16, 1.1239288647446784e-15, 1.4739112318471305e-15, 1.8238935989495827e-15, 2.173875966052035e-15, 2.523858333154487e-15, 2.873840912015176e-15, 3.223823279117628e-15, 3.57380564622008e-15, 3.923788225080769e-15, 4.273770803941458e-15, 4.6237529592856735e-15, 4.9737355381463625e-15, 5.323717693490578e-15, 5.673700272351267e-15, 6.023682427695482e-15, 6.373665006556171e-15, 6.72364758541686e-15, 7.0736297407610754e-15, 7.42361189610529e-15, 7.773594051449506e-15, 8.123577053826669e-15, 8.473559209170884e-15, 8.8235413645151e-15, 9.173524366892262e-15, 9.523506522236477e-15, 9.873488677580693e-15, 1.0223471679957855e-14]}, "gradients/decoder.bert.encoder.layer.16.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 5.0, 0.0, 4.0, 2.0, 6.0, 3.0, 9.0, 5.0, 7.0, 14.0, 15.0, 24.0, 27.0, 24.0, 34.0, 42.0, 40.0, 32.0, 39.0, 42.0, 43.0, 44.0, 43.0, 59.0, 48.0, 51.0, 41.0, 34.0, 46.0, 45.0, 16.0, 28.0, 31.0, 16.0, 19.0, 8.0, 10.0, 15.0, 8.0, 8.0, 7.0, 6.0, 3.0, 5.0, 2.0, 3.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-7.74958913772432e-15, -7.520811467901563e-15, -7.292033798078808e-15, -7.063255281223105e-15, -6.834477611400349e-15, -6.605699941577593e-15, -6.376921848238364e-15, -6.1481437548991345e-15, -5.919366085076379e-15, -5.690588415253623e-15, -5.461810321914394e-15, -5.233032228575164e-15, -5.0042545587524086e-15, -4.775476888929653e-15, -4.5466987955904235e-15, -4.317920702251194e-15, -4.089143032428438e-15, -3.860365362605683e-15, -3.631587269266453e-15, -3.4028093876854607e-15, -3.174031506104468e-15, -2.9452536245234756e-15, -2.716475742942483e-15, -2.4876978613614905e-15, -2.258919979780498e-15, -2.0301420981995054e-15, -1.8013642166185128e-15, -1.5725863350375202e-15, -1.3438084534565277e-15, -1.1150305718755351e-15, -8.862526902945426e-16, -6.5747480871355e-16, -4.286973506490311e-16, -1.9991946906803854e-16, 2.885841251295401e-17, 2.5763629409394657e-16, 4.864141756749391e-16, 7.151920572559317e-16, 9.439699388369242e-16, 1.1727478204179168e-15, 1.4015257019989093e-15, 1.6303035835799019e-15, 1.8590814651608945e-15, 2.087859346741887e-15, 2.3166372283228796e-15, 2.545415109903872e-15, 2.7741929914848647e-15, 3.0029708730658572e-15, 3.2317487546468498e-15, 3.4605266362278423e-15, 3.689304517808835e-15, 3.918082187631591e-15, 4.14686028097082e-15, 4.375638374310049e-15, 4.604416044132805e-15, 4.833193713955561e-15, 5.06197180729479e-15, 5.2907499006340196e-15, 5.519527570456775e-15, 5.748305240279531e-15, 5.9770833336187604e-15, 6.20586142695799e-15, 6.4346390967807456e-15, 6.663416766603501e-15, 6.892194859942731e-15]}, "gradients/decoder.bert.encoder.layer.16.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.16.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.16.intermediate.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.16.intermediate.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.16.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 2.0, 3.0, 2.0, 5.0, 3.0, 4.0, 12.0, 11.0, 20.0, 23.0, 34.0, 30.0, 39.0, 72.0, 112.0, 160.0, 138.0, 86.0, 51.0, 53.0, 32.0, 20.0, 22.0, 14.0, 14.0, 13.0, 14.0, 6.0, 4.0, 2.0, 3.0, 0.0, 4.0, 2.0, 1.0, 2.0, 0.0, 0.0, 1.0, 2.0], "bins": [-2.4653694375971567e-15, -2.4033340150896726e-15, -2.3412988043404253e-15, -2.2792633818329413e-15, -2.217227959325457e-15, -2.155192536817973e-15, -2.093157326068726e-15, -2.0311219035612418e-15, -1.9690864810537577e-15, -1.9070510585462736e-15, -1.8450158477970264e-15, -1.7829804252895423e-15, -1.7209450027820582e-15, -1.6589096861536925e-15, -1.5968743695253269e-15, -1.5348389470178428e-15, -1.4728036303894771e-15, -1.4107683137611115e-15, -1.3487328912536274e-15, -1.2866975746252617e-15, -1.2246621521177776e-15, -1.162626835489412e-15, -1.1005914129819279e-15, -1.0385560963535622e-15, -9.765207797251966e-16, -9.144854630968309e-16, -8.524500405893468e-16, -7.904147239609811e-16, -7.283793014534971e-16, -6.663439848251314e-16, -6.043086152572065e-16, -5.422732456892817e-16, -4.80237929060916e-16, -4.182025594929911e-16, -3.5616718992506624e-16, -2.9413184682692097e-16, -2.320964772589961e-16, -1.7006110769107123e-16, -1.0802576459292596e-16, -4.5990395025001084e-17, 1.6044974542923788e-17, 7.808033749340376e-17, 1.4011570044388373e-16, 2.021510567769188e-16, 2.6418642634484367e-16, 3.2622179591276855e-16, 3.882571390109138e-16, 4.502925085788387e-16, 5.123278781467636e-16, 5.743632477146884e-16, 6.363986172826133e-16, 6.98433933910979e-16, 7.60469356418463e-16, 8.225046730468287e-16, 8.845400426147536e-16, 9.465754121826785e-16, 1.0086108346901625e-15, 1.0706461513185282e-15, 1.1326815738260123e-15, 1.194716890454378e-15, 1.256752312961862e-15, 1.3187876295902277e-15, 1.3808229462185934e-15, 1.4428583687260774e-15, 1.5048936853544431e-15]}, "gradients/decoder.bert.encoder.layer.16.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 4.0, 3.0, 2.0, 4.0, 2.0, 6.0, 4.0, 7.0, 5.0, 7.0, 13.0, 14.0, 26.0, 24.0, 25.0, 33.0, 43.0, 41.0, 35.0, 36.0, 47.0, 36.0, 55.0, 41.0, 57.0, 45.0, 55.0, 38.0, 42.0, 43.0, 42.0, 18.0, 27.0, 29.0, 18.0, 17.0, 7.0, 15.0, 10.0, 9.0, 8.0, 6.0, 6.0, 5.0, 2.0, 3.0, 3.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.3020407294318261e-15, -1.2635585403304055e-15, -1.225076351228985e-15, -1.1865942680066828e-15, -1.1481120789052623e-15, -1.1096298898038417e-15, -1.0711477007024212e-15, -1.0326655116010006e-15, -9.9418332249958e-16, -9.557011333981595e-16, -9.17218944296739e-16, -8.787368081348776e-16, -8.402546719730162e-16, -8.017724828715956e-16, -7.632902937701751e-16, -7.248081046687545e-16, -6.863260214464524e-16, -6.478438323450318e-16, -6.093616961831705e-16, -5.708795070817499e-16, -5.323973709198885e-16, -4.93915181818468e-16, -4.554329927170474e-16, -4.1695083008540647e-16, -3.784686674537655e-16, -3.3998650482212455e-16, -3.015043421904836e-16, -2.6302215308906304e-16, -2.245399904574221e-16, -1.8605782782578112e-16, -1.4757563872436056e-16, -1.090934760927196e-16, -7.061131346107865e-17, -3.212914421199279e-17, 6.35302503709307e-18, 4.483520090362383e-17, 8.331736353526479e-17, 1.2179952616690574e-16, 1.602817152683263e-16, 1.9876387789996726e-16, 2.372460405316082e-16, 2.757282031632492e-16, 3.1421036579489013e-16, 3.526925548963107e-16, 3.9117471752795165e-16, 4.296568801595926e-16, 4.681390692610132e-16, 5.066212054228745e-16, 5.451033945242951e-16, 5.835855836257156e-16, 6.22067719787577e-16, 6.605499088889976e-16, 6.990320450508589e-16, 7.375142341522795e-16, 7.759964232537e-16, 8.144786123551206e-16, 8.5296074851698195e-16, 8.914428846788433e-16, 9.299250737802639e-16, 9.684072628816844e-16, 1.006889451983105e-15, 1.0453716410845255e-15, 1.0838538301859461e-15, 1.1223359134082483e-15, 1.1608181025096688e-15]}, "gradients/decoder.bert.encoder.layer.16.crossattention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.16.crossattention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.16.crossattention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.16.crossattention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.16.crossattention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.16.crossattention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.16.crossattention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.16.crossattention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.16.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 6.0, 4.0, 7.0, 5.0, 6.0, 5.0, 2.0, 10.0, 8.0, 10.0, 10.0, 16.0, 21.0, 23.0, 22.0, 31.0, 44.0, 44.0, 80.0, 134.0, 141.0, 78.0, 64.0, 54.0, 32.0, 32.0, 26.0, 23.0, 12.0, 10.0, 11.0, 2.0, 12.0, 5.0, 3.0, 4.0, 2.0, 4.0, 1.0, 1.0, 3.0, 0.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 2.0], "bins": [-8.915869464543255e-17, -8.654009890644079e-17, -8.392150978489392e-17, -8.130291404590215e-17, -7.868431830691038e-17, -7.606572256791861e-17, -7.344712682892684e-17, -7.082853770737997e-17, -6.82099419683882e-17, -6.559134622939643e-17, -6.297275710784956e-17, -6.03541613688578e-17, -5.773556562986603e-17, -5.511696989087426e-17, -5.249837746060494e-17, -4.987978503033562e-17, -4.726118929134385e-17, -4.464259355235208e-17, -4.202400112208276e-17, -3.9405408691813444e-17, -3.6786812952821675e-17, -3.4168217213829906e-17, -3.1549624783560587e-17, -2.893103235329127e-17, -2.63124366142995e-17, -2.3693842529668955e-17, -2.107524844503841e-17, -1.8456654360407867e-17, -1.5838060275777323e-17, -1.3219466191146779e-17, -1.0600872106516235e-17, -7.982278021885691e-18, -5.363677319810247e-18, -2.7450832351797027e-18, -1.2648915054915878e-19, 2.492104934081385e-18, 5.110699018711929e-18, 7.729293103342473e-18, 1.0347887187973017e-17, 1.2966481272603561e-17, 1.5585075357234105e-17, 1.820366944186465e-17, 2.0822263526495193e-17, 2.3440857611125737e-17, 2.605945169575628e-17, 2.867804743474805e-17, 3.129663986501737e-17, 3.391523229528669e-17, 3.6533828034278457e-17, 3.9152423773270226e-17, 4.1771016203539545e-17, 4.4389608633808864e-17, 4.700820437280063e-17, 4.96268001117924e-17, 5.224539254206172e-17, 5.486398497233104e-17, 5.748258071132281e-17, 6.010117645031458e-17, 6.271977218930635e-17, 6.533836131085322e-17, 6.795695704984498e-17, 7.057555278883675e-17, 7.319414191038362e-17, 7.581273764937539e-17, 7.843133338836716e-17]}, "gradients/decoder.bert.encoder.layer.16.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 4.0, 4.0, 1.0, 5.0, 2.0, 6.0, 3.0, 8.0, 7.0, 9.0, 13.0, 14.0, 24.0, 25.0, 26.0, 30.0, 44.0, 39.0, 35.0, 41.0, 42.0, 40.0, 54.0, 40.0, 50.0, 56.0, 49.0, 41.0, 38.0, 45.0, 35.0, 25.0, 28.0, 29.0, 10.0, 19.0, 9.0, 15.0, 9.0, 9.0, 10.0, 8.0, 3.0, 3.0, 6.0, 3.0, 1.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-7.057424915219137e-17, -6.848418873739648e-17, -6.63941217051567e-17, -6.430405467291691e-17, -6.221399425812202e-17, -6.012393384332714e-17, -5.803386681108735e-17, -5.594379977884756e-17, -5.3853739364052676e-17, -5.176367564053534e-17, -4.9673611917018e-17, -4.7583548193500666e-17, -4.549348446998333e-17, -4.340342074646599e-17, -4.1313357022948656e-17, -3.922329329943132e-17, -3.713322957591398e-17, -3.5043165852396646e-17, -3.295310212887931e-17, -3.086303840536197e-17, -2.8772974681844635e-17, -2.66829109583273e-17, -2.4592847234809962e-17, -2.2502783511292625e-17, -2.041271978777529e-17, -1.8322656064257952e-17, -1.6232592340740615e-17, -1.4142528617223278e-17, -1.2052464893705942e-17, -9.962401170188605e-18, -7.872337446671268e-18, -5.7822737231539315e-18, -3.692203382191694e-18, -1.6021396586743576e-18, 4.879240648429791e-19, 2.577987788360316e-18, 4.6680515118776526e-18, 6.758115235394989e-18, 8.848178958912326e-18, 1.0938242682429663e-17, 1.3028306405947e-17, 1.5118370129464336e-17, 1.7208433852981673e-17, 1.929849757649901e-17, 2.1388561300016346e-17, 2.3478625023533683e-17, 2.556868874705102e-17, 2.7658752470568357e-17, 2.9748816194085693e-17, 3.183887991760303e-17, 3.3928943641120367e-17, 3.6019007364637703e-17, 3.810907108815504e-17, 4.0199134811672377e-17, 4.2289198535189714e-17, 4.437926225870705e-17, 4.646932598222439e-17, 4.8559389705741724e-17, 5.064945342925906e-17, 5.27395171527764e-17, 5.4829580876293734e-17, 5.691964790853352e-17, 5.900970832332841e-17, 6.10997687381233e-17, 6.318983577036308e-17]}, "gradients/decoder.bert.encoder.layer.16.attention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.16.attention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.16.attention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.16.attention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.16.attention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.16.attention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.16.attention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.16.attention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.15.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 1.0, 3.0, 4.0, 3.0, 6.0, 5.0, 4.0, 11.0, 19.0, 5.0, 15.0, 18.0, 30.0, 50.0, 46.0, 45.0, 63.0, 148.0, 156.0, 88.0, 69.0, 51.0, 29.0, 28.0, 27.0, 23.0, 19.0, 17.0, 8.0, 7.0, 3.0, 3.0, 4.0, 3.0, 2.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.0863078110031375e-17, -2.9807327641895244e-17, -2.8751577173759114e-17, -2.7695825051261758e-17, -2.6640074583125628e-17, -2.5584324114989497e-17, -2.452857199249214e-17, -2.347282152435601e-17, -2.241707105621988e-17, -2.136132058808375e-17, -2.030557011994762e-17, -1.9249817997450264e-17, -1.8194067529314133e-17, -1.7138317061178003e-17, -1.6082564938680647e-17, -1.5026814470544517e-17, -1.3971064002408386e-17, -1.2915313534272256e-17, -1.1859562238955513e-17, -1.080381094363877e-17, -9.74806047550264e-18, -8.692310007366509e-18, -7.636558712049766e-18, -6.580807416733023e-18, -5.525056948596892e-18, -4.4693060668704554e-18, -3.4135551851440187e-18, -2.357804303417582e-18, -1.3020534216911451e-18, -2.4630253996470835e-19, 8.094483417617284e-19, 1.8651996370784715e-18, 2.920953413937052e-18, 3.976704295663489e-18, 5.032455177389926e-18, 6.0882060591163625e-18, 7.1439569408428e-18, 8.19970740897893e-18, 9.255458704295673e-18, 1.0311209999612416e-17, 1.1366960467748546e-17, 1.2422710935884677e-17, 1.347846223120142e-17, 1.4534213526518163e-17, 1.5589963994654293e-17, 1.6645714462790424e-17, 1.770146658528778e-17, 1.875721705342391e-17, 1.981296752156004e-17, 2.086871798969617e-17, 2.19244684578323e-17, 2.2980220580329657e-17, 2.4035971048465788e-17, 2.5091721516601918e-17, 2.6147473639099274e-17, 2.7203224107235404e-17, 2.8258974575371535e-17, 2.9314725043507665e-17, 3.0370475511643796e-17, 3.1426225979779926e-17, 3.2481979756638507e-17, 3.353773022477464e-17, 3.459348069291077e-17, 3.56492311610469e-17, 3.670498162918303e-17]}, "gradients/decoder.bert.encoder.layer.15.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 5.0, 1.0, 4.0, 1.0, 8.0, 2.0, 8.0, 6.0, 9.0, 11.0, 18.0, 16.0, 29.0, 28.0, 30.0, 44.0, 38.0, 39.0, 43.0, 39.0, 39.0, 52.0, 47.0, 48.0, 56.0, 49.0, 44.0, 35.0, 46.0, 37.0, 25.0, 24.0, 30.0, 16.0, 13.0, 8.0, 17.0, 8.0, 11.0, 9.0, 6.0, 3.0, 3.0, 5.0, 4.0, 0.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.372720603249567e-17, -2.302368561279687e-17, -2.2320166847459293e-17, -2.1616646427760493e-17, -2.0913127662422918e-17, -2.0209607242724118e-17, -1.9506086823025317e-17, -1.8802568057687742e-17, -1.8099047637988942e-17, -1.7395527218290142e-17, -1.6692008452952567e-17, -1.5988488033253766e-17, -1.528496926791619e-17, -1.458144884821739e-17, -1.3877930082879816e-17, -1.3174409663181016e-17, -1.2470890070662828e-17, -1.176737047814464e-17, -1.1063850885626453e-17, -1.0360331293108265e-17, -9.656810873409465e-18, -8.953291280891277e-18, -8.249771688373089e-18, -7.546251268674289e-18, -6.8427320897464075e-18, -6.13921249722822e-18, -5.435692491119726e-18, -4.732172898601538e-18, -4.0286533060833505e-18, -3.3251332999748565e-18, -2.6216137074566688e-18, -1.918093701348175e-18, -1.2145741088299871e-18, -5.110543612154346e-19, 1.9246538639911797e-19, 8.959850823148822e-19, 1.599504881628223e-18, 2.303024680941564e-18, 3.0065442734597516e-18, 3.7100642795682456e-18, 4.413583872086433e-18, 5.117103464604621e-18, 5.820623470713115e-18, 6.524143063231303e-18, 7.22766265574949e-18, 7.93118307544829e-18, 8.634701840785866e-18, 9.338222260484666e-18, 1.0041741853002854e-17, 1.0745261445521041e-17, 1.1448781038039229e-17, 1.2152300630557417e-17, 1.2855821050256217e-17, 1.3559340642774405e-17, 1.4262860235292592e-17, 1.4966380654991393e-17, 1.5669899420328968e-17, 1.6373419840027768e-17, 1.7076938605365343e-17, 1.7780459025064143e-17, 1.848397779040172e-17, 1.918749821010052e-17, 1.9891016975438094e-17, 2.0594537395136894e-17, 2.1298057814835694e-17]}, "gradients/decoder.bert.encoder.layer.15.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.15.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.15.intermediate.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.15.intermediate.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.15.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 3.0, 3.0, 9.0, 2.0, 5.0, 6.0, 7.0, 13.0, 14.0, 21.0, 26.0, 27.0, 32.0, 50.0, 69.0, 90.0, 193.0, 126.0, 62.0, 59.0, 45.0, 34.0, 24.0, 23.0, 20.0, 11.0, 8.0, 10.0, 1.0, 2.0, 6.0, 3.0, 3.0, 3.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-5.240513021733245e-18, -5.027823379549935e-18, -4.815133323776319e-18, -4.602443681593009e-18, -4.389754039409699e-18, -4.1770643972263896e-18, -3.96437475504308e-18, -3.751684699269464e-18, -3.538995057086154e-18, -3.326305414902844e-18, -3.1136155659243812e-18, -2.9009257169459183e-18, -2.6882360747626085e-18, -2.4755464325792987e-18, -2.2628565836008357e-18, -2.050166734622373e-18, -1.837477092439063e-18, -1.6247873468581767e-18, -1.4120976012772903e-18, -1.199407855696404e-18, -9.867181101155176e-19, -7.740283645346312e-19, -5.613386189537448e-19, -3.486488733728585e-19, -1.3595912779197212e-19, 7.673061778891425e-20, 2.894203633698006e-19, 5.02110108950687e-19, 7.147998545315733e-19, 9.274896001124597e-19, 1.140179345693346e-18, 1.3528690912742324e-18, 1.5655584232648125e-18, 1.7782480654481223e-18, 1.9909379144265852e-18, 2.203627763405048e-18, 2.416317405588358e-18, 2.6290070477716678e-18, 2.8416968967501307e-18, 3.0543867457285936e-18, 3.2670763879119034e-18, 3.479766030095213e-18, 3.692455672278523e-18, 3.905145728052139e-18, 4.117835370235449e-18, 4.330525012418759e-18, 4.543215068192375e-18, 4.7559047103756845e-18, 4.968594352558994e-18, 5.181283994742304e-18, 5.393973636925614e-18, 5.60666369269923e-18, 5.81935333488254e-18, 6.0320429770658496e-18, 6.244733032839466e-18, 6.4574226750227754e-18, 6.670112317206085e-18, 6.882801959389395e-18, 7.095491601572705e-18, 7.308181243756015e-18, 7.520871713119937e-18, 7.733561355303247e-18, 7.946250997486557e-18, 8.158940639669866e-18, 8.371630281853176e-18]}, "gradients/decoder.bert.encoder.layer.15.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 3.0, 4.0, 1.0, 4.0, 3.0, 6.0, 4.0, 7.0, 6.0, 8.0, 20.0, 12.0, 23.0, 26.0, 32.0, 31.0, 49.0, 33.0, 35.0, 49.0, 39.0, 45.0, 50.0, 50.0, 50.0, 41.0, 62.0, 37.0, 42.0, 34.0, 38.0, 28.0, 25.0, 20.0, 20.0, 10.0, 11.0, 10.0, 12.0, 10.0, 8.0, 4.0, 4.0, 5.0, 3.0, 2.0, 2.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.45116351449533e-18, -4.31782779001607e-18, -4.184491651946503e-18, -4.051155927467243e-18, -3.917820202987983e-18, -3.784484064918416e-18, -3.651148340439156e-18, -3.51781220236959e-18, -3.3844764778903295e-18, -3.2511405466159162e-18, -3.117804615341503e-18, -2.9844688908622427e-18, -2.8511329595878294e-18, -2.717797028313416e-18, -2.584461303834156e-18, -2.4511253725597425e-18, -2.317789441285329e-18, -2.184453510010916e-18, -2.0511175787365025e-18, -1.9177818542572423e-18, -1.784445922982829e-18, -1.6511099917084157e-18, -1.517774163831579e-18, -1.3844383359547422e-18, -1.2511024046803288e-18, -1.1177664734059155e-18, -9.844306455290787e-19, -8.510947659534537e-19, -7.177588863778287e-19, -5.844230068022036e-19, -4.510871272265786e-19, -3.177512993497418e-19, -1.844149544850222e-19, -5.107907490939716e-20, 8.225680466622789e-20, 2.1559268424185293e-19, 3.4892856381747797e-19, 4.82264443393103e-19, 6.156003229687281e-19, 7.489361508455648e-19, 8.822720821199781e-19, 1.0156080133943915e-18, 1.1489438412712282e-18, 1.282279669148065e-18, 1.4156156004224783e-18, 1.5489515316968917e-18, 1.6822873595737284e-18, 1.815623187450565e-18, 1.9489591187249785e-18, 2.082295049999392e-18, 2.215630981273805e-18, 2.3489667057530653e-18, 2.4823026370274787e-18, 2.615638568301892e-18, 2.748974292781152e-18, 2.8823102240555655e-18, 3.015646155329979e-18, 3.148982086604392e-18, 3.2823180178788055e-18, 3.4156537423580657e-18, 3.548989466837326e-18, 3.682325604906892e-18, 3.8156613293861525e-18, 3.948997467455719e-18, 4.082333191934979e-18]}, "gradients/decoder.bert.encoder.layer.15.crossattention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.15.crossattention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.15.crossattention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.15.crossattention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.15.crossattention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.15.crossattention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.15.crossattention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.15.crossattention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.15.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 6.0, 7.0, 7.0, 7.0, 2.0, 10.0, 11.0, 18.0, 13.0, 22.0, 37.0, 46.0, 63.0, 74.0, 152.0, 190.0, 93.0, 74.0, 45.0, 38.0, 31.0, 18.0, 14.0, 9.0, 3.0, 5.0, 6.0, 3.0, 1.0, 3.0, 1.0, 1.0, 3.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-4.472465793412831e-19, -4.328806751491333e-19, -4.1851477095698343e-19, -4.041488926142277e-19, -3.8978298842207787e-19, -3.75417084229928e-19, -3.610512058871723e-19, -3.4668530169502245e-19, -3.323193975028726e-19, -3.1795349331072274e-19, -3.035875891185729e-19, -2.8922171077581717e-19, -2.748558065836673e-19, -2.6048990239151746e-19, -2.4612402404876175e-19, -2.317581198566119e-19, -2.1739221566446204e-19, -2.0302631147231219e-19, -1.886604202048594e-19, -1.7429452893740662e-19, -1.5992862474525677e-19, -1.455627205531069e-19, -1.3119682928565413e-19, -1.1683093801820134e-19, -1.0246503382605149e-19, -8.809913609625017e-20, -7.373323836644885e-20, -5.936734063664753e-20, -4.5001442906846214e-20, -3.0635545177044895e-20, -1.6269647447243577e-20, -1.9037497174422576e-21, 1.2462148012359061e-20, 2.682804574216038e-20, 4.11939434719617e-20, 5.555984120176302e-20, 6.992573893156434e-20, 8.429163666136566e-20, 9.865753439116697e-20, 1.1302342565861976e-19, 1.2738932985076961e-19, 1.4175523404291947e-19, 1.5612112531037225e-19, 1.7048701657782503e-19, 1.8485292076997489e-19, 1.9921882496212474e-19, 2.1358471622957753e-19, 2.279506074970303e-19, 2.4231651168918016e-19, 2.5668241588133e-19, 2.7104832007347987e-19, 2.854141984162356e-19, 2.9978010260838544e-19, 3.141460068005353e-19, 3.28511885143291e-19, 3.4287778933544086e-19, 3.572436935275907e-19, 3.7160959771974057e-19, 3.859755019118904e-19, 4.0034138025464614e-19, 4.14707284446796e-19, 4.2907318863894584e-19, 4.434390669817016e-19, 4.578049711738514e-19, 4.721708753660013e-19]}, "gradients/decoder.bert.encoder.layer.15.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 6.0, 1.0, 4.0, 3.0, 4.0, 4.0, 6.0, 9.0, 4.0, 11.0, 17.0, 13.0, 27.0, 24.0, 37.0, 32.0, 45.0, 37.0, 42.0, 43.0, 34.0, 47.0, 47.0, 52.0, 45.0, 49.0, 53.0, 41.0, 40.0, 43.0, 27.0, 25.0, 31.0, 13.0, 19.0, 14.0, 10.0, 13.0, 8.0, 10.0, 11.0, 1.0, 4.0, 4.0, 3.0, 3.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.7994102864630777e-19, -2.715013048564292e-19, -2.630615810665507e-19, -2.5462185727667214e-19, -2.461821334867936e-19, -2.3774240969691506e-19, -2.293026859070365e-19, -2.2086293626776383e-19, -2.124232124778853e-19, -2.0398348868800675e-19, -1.955437648981282e-19, -1.8710404110824967e-19, -1.7866430439367406e-19, -1.7022458060379551e-19, -1.6178485681391697e-19, -1.5334512009934136e-19, -1.449054092341599e-19, -1.3646568544428135e-19, -1.280259616544028e-19, -1.195862249398272e-19, -1.1114650114994865e-19, -1.0270677736007011e-19, -9.426705357019157e-20, -8.582732331796449e-20, -7.738759952808595e-20, -6.894787573820741e-20, -6.050814548598033e-20, -5.206842169610179e-20, -4.3628694675048984e-20, -3.5188967653996174e-20, -2.6749243864117633e-20, -1.8309513611890556e-20, -9.869789822012015e-21, -1.4300636087527726e-21, 7.00966260450647e-21, 1.5449388009972145e-20, 2.3889115031024954e-20, 3.2328842052077763e-20, 4.0768565841956305e-20, 4.920829609418338e-20, 5.764801988406192e-20, 6.608774367394046e-20, 7.452747392616754e-20, 8.296719771604608e-20, 9.140692150592462e-20, 9.98466517581517e-20, 1.0828637554803024e-19, 1.1672610580025732e-19, 1.2516582959013586e-19, 1.336055533800144e-19, 1.4204527716989294e-19, 1.5048501388446856e-19, 1.589247376743471e-19, 1.6736446146422564e-19, 1.7580418525410418e-19, 1.8424390904398272e-19, 1.9268363283386126e-19, 2.011233566237398e-19, 2.0956308041361835e-19, 2.180028042034969e-19, 2.2644252799337543e-19, 2.348822776326481e-19, 2.4332200142252665e-19, 2.517617252124052e-19, 2.6020144900228374e-19]}, "gradients/decoder.bert.encoder.layer.15.attention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.15.attention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.15.attention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.15.attention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.15.attention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.15.attention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.15.attention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.15.attention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.14.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 0.0, 1.0, 3.0, 4.0, 2.0, 4.0, 7.0, 5.0, 8.0, 15.0, 15.0, 11.0, 15.0, 30.0, 29.0, 37.0, 58.0, 85.0, 121.0, 164.0, 102.0, 70.0, 40.0, 42.0, 38.0, 21.0, 23.0, 17.0, 9.0, 7.0, 4.0, 3.0, 5.0, 7.0, 3.0, 1.0, 2.0, 3.0, 0.0, 1.0, 2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-1.1211616362301394e-19, -1.0816547793162679e-19, -1.042147857778911e-19, -1.0026410008650395e-19, -9.631340793276826e-20, -9.236272224138111e-20, -8.841203654999396e-20, -8.446134439625827e-20, -8.051065870487112e-20, -7.655997301348397e-20, -7.260928085974828e-20, -6.865859516836113e-20, -6.470790947697398e-20, -6.075721732323829e-20, -5.680653163185114e-20, -5.285584270928972e-20, -4.8905153786728304e-20, -4.4954464864166884e-20, -4.1003775941605465e-20, -3.7053090250218314e-20, -3.3102401327656894e-20, -2.9151712405095475e-20, -2.520102509812119e-20, -2.1250337791146904e-20, -1.7299648868585485e-20, -1.3348960753817633e-20, -9.39827263904978e-21, -5.447584524281928e-21, -1.496896409514076e-21, 2.453792513047343e-21, 6.4044798200216285e-21, 1.0355167126995914e-20, 1.4305868974254404e-20, 1.8256557896815823e-20, 2.220724520379011e-20, 2.6157932510764394e-20, 3.0108621433325813e-20, 3.405931035588723e-20, 3.8009996047274384e-20, 4.1960684969835803e-20, 4.591137389239722e-20, 4.986206281495864e-20, 5.381275173752006e-20, 5.776343742890721e-20, 6.171412312029436e-20, 6.566481527403005e-20, 6.96155009654172e-20, 7.356618665680435e-20, 7.751687881054004e-20, 8.146756450192719e-20, 8.541825665566288e-20, 8.936894234705003e-20, 9.331963450078572e-20, 9.727032019217287e-20, 1.0122100588356002e-19, 1.0517169803729571e-19, 1.091223901910314e-19, 1.1307308234476708e-19, 1.170237615738057e-19, 1.2097445372754138e-19, 1.2492514588127707e-19, 1.2887582511031569e-19, 1.3282651726405137e-19, 1.3677720941778706e-19, 1.4072788864682568e-19]}, "gradients/decoder.bert.encoder.layer.14.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 3.0, 3.0, 5.0, 2.0, 4.0, 4.0, 5.0, 9.0, 5.0, 14.0, 16.0, 12.0, 31.0, 20.0, 39.0, 34.0, 42.0, 39.0, 45.0, 39.0, 42.0, 48.0, 43.0, 51.0, 54.0, 44.0, 55.0, 36.0, 43.0, 42.0, 26.0, 26.0, 26.0, 15.0, 19.0, 8.0, 13.0, 10.0, 11.0, 10.0, 7.0, 2.0, 4.0, 5.0, 4.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.076553341376925e-20, -8.801201071329361e-20, -8.525848801281797e-20, -8.250497177469086e-20, -7.975144907421523e-20, -7.699792637373959e-20, -7.424440367326395e-20, -7.14908809727883e-20, -6.87373647346612e-20, -6.598384203418556e-20, -6.323031933370992e-20, -6.047680309558282e-20, -5.772328039510718e-20, -5.496975769463154e-20, -5.22162349941559e-20, -4.946271229368026e-20, -4.670918959320462e-20, -4.395566689272898e-20, -4.1202147423427606e-20, -3.8448624722951966e-20, -3.5695105253650594e-20, -3.2941582553174954e-20, -3.0188059852699314e-20, -2.7434537152223674e-20, -2.4681017682922302e-20, -2.1927496598033796e-20, -1.917397551314529e-20, -1.642045281266965e-20, -1.3666931727781144e-20, -1.0913410642892638e-20, -8.159887942416999e-21, -5.4063668575284926e-21, -2.652839310291451e-21, 1.0068217849383842e-22, 2.854203667279128e-21, 5.607725559961201e-21, 8.361246644849707e-21, 1.1114767729738213e-20, 1.3868290430213853e-20, 1.662181151510236e-20, 1.9375332599990865e-20, 2.212885368487937e-20, 2.4882374769767876e-20, 2.7635897470243516e-20, 3.0389420170719156e-20, 3.314293964002053e-20, 3.589646234049617e-20, 3.864998180979754e-20, 4.140350451027318e-20, 4.415702721074882e-20, 4.691054668005019e-20, 4.966406938052583e-20, 5.2417588849827204e-20, 5.517111155030284e-20, 5.792463425077848e-20, 6.067815695125412e-20, 6.343167318938123e-20, 6.618519588985687e-20, 6.893871859033251e-20, 7.169223482845961e-20, 7.444575752893525e-20, 7.719928022941089e-20, 7.995280292988653e-20, 8.270632563036217e-20, 8.545984833083781e-20]}, "gradients/decoder.bert.encoder.layer.14.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.14.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.14.intermediate.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.14.intermediate.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.14.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 2.0, 4.0, 2.0, 6.0, 6.0, 8.0, 8.0, 8.0, 8.0, 13.0, 14.0, 17.0, 30.0, 29.0, 29.0, 42.0, 72.0, 77.0, 126.0, 162.0, 68.0, 44.0, 55.0, 40.0, 21.0, 18.0, 15.0, 17.0, 11.0, 7.0, 9.0, 3.0, 5.0, 6.0, 4.0, 7.0, 5.0, 2.0, 5.0, 1.0, 1.0, 4.0, 3.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-2.5346784984928117e-20, -2.4504196517879155e-20, -2.3661608050830194e-20, -2.2819021199368366e-20, -2.1976432732319404e-20, -2.1133844265270442e-20, -2.029125579822148e-20, -1.944866733117252e-20, -1.860608047971069e-20, -1.776349201266173e-20, -1.6920903545612768e-20, -1.607831669415094e-20, -1.5235728227101978e-20, -1.4393139760053016e-20, -1.3550551293004055e-20, -1.2707962825955093e-20, -1.1865374358906131e-20, -1.102278589185717e-20, -1.0180198232601775e-20, -9.337609765552813e-21, -8.495022106297418e-21, -7.652433639248457e-21, -6.809845172199495e-21, -5.967257109047317e-21, -5.1246690458951385e-21, -4.28208098274296e-21, -3.439492919590782e-21, -2.5969044525418203e-21, -1.754316389389642e-21, -9.117283262374638e-22, -6.913985918850214e-23, 7.734482039636761e-22, 1.6160362671158543e-21, 2.4586243302680326e-21, 3.3012125953686025e-21, 4.1438008604691725e-21, 4.986388923621351e-21, 5.828976986773529e-21, 6.671565453822491e-21, 7.514153920871452e-21, 8.356741580126847e-21, 9.199330047175809e-21, 1.0041917706431204e-20, 1.0884506173480165e-20, 1.1727094640529127e-20, 1.2569682299784522e-20, 1.3412270766833484e-20, 1.4254858426088878e-20, 1.509744689313784e-20, 1.5940035360186802e-20, 1.6782623827235763e-20, 1.7625212294284725e-20, 1.8467799145746553e-20, 1.9310387612795515e-20, 2.0152976079844476e-20, 2.0995564546893438e-20, 2.18381530139424e-20, 2.268074148099136e-20, 2.3523329948040323e-20, 2.436591679950215e-20, 2.5208505266551113e-20, 2.6051093733600074e-20, 2.6893682200649036e-20, 2.7736270667698e-20, 2.8578857519159826e-20]}, "gradients/decoder.bert.encoder.layer.14.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 4.0, 2.0, 5.0, 3.0, 2.0, 5.0, 6.0, 10.0, 3.0, 14.0, 17.0, 16.0, 28.0, 21.0, 39.0, 38.0, 45.0, 38.0, 47.0, 37.0, 43.0, 49.0, 49.0, 44.0, 55.0, 48.0, 48.0, 43.0, 40.0, 37.0, 28.0, 26.0, 21.0, 19.0, 18.0, 8.0, 11.0, 11.0, 7.0, 11.0, 4.0, 5.0, 4.0, 3.0, 4.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.161702921851365e-20, -2.095631062630125e-20, -2.0295592034088848e-20, -1.9634873441876448e-20, -1.8974154849664048e-20, -1.8313436257451647e-20, -1.7652716049652113e-20, -1.6991999073026847e-20, -1.6331278865227313e-20, -1.5670560273014912e-20, -1.5009841680802512e-20, -1.4349123088590112e-20, -1.368840449637771e-20, -1.3027685904165311e-20, -1.2366966504159344e-20, -1.1706247911946943e-20, -1.104553012752811e-20, -1.038481153531571e-20, -9.72409294310331e-21, -9.063374350890909e-21, -8.402655758678509e-21, -7.741937166466108e-21, -7.081217766460141e-21, -6.420499174247741e-21, -5.7597805820353406e-21, -5.09906198982294e-21, -4.43834339761054e-21, -3.777624401501356e-21, -3.116905809288956e-21, -2.4561872170765555e-21, -1.7954682209673717e-21, -1.1347496287549714e-21, -4.74032652129705e-22, 1.866860410568912e-22, 8.474047342434874e-22, 1.5081235284042794e-21, 2.1688421206166798e-21, 2.82956071282908e-21, 3.490279708938264e-21, 4.150998301150664e-21, 4.8117168933630645e-21, 5.472435485575465e-21, 6.133154077787865e-21, 6.793873477793832e-21, 7.454592070006233e-21, 8.115310662218633e-21, 8.776029254431033e-21, 9.436747846643434e-21, 1.0097466438855834e-20, 1.0758185031068234e-20, 1.1418903623280635e-20, 1.2079622215493035e-20, 1.2740340807705435e-20, 1.3401059399917836e-20, 1.406177960771737e-20, 1.4722496584342636e-20, 1.538321679214217e-20, 1.604393538435457e-20, 1.670465397656697e-20, 1.736537256877937e-20, 1.8026091160991772e-20, 1.8686809753204172e-20, 1.9347528345416572e-20, 2.0008248553216107e-20, 2.0668965529841373e-20]}, "gradients/decoder.bert.encoder.layer.14.crossattention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.14.crossattention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.14.crossattention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.14.crossattention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.14.crossattention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.14.crossattention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.14.crossattention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.14.crossattention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.14.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 5.0, 3.0, 1.0, 1.0, 0.0, 2.0, 3.0, 0.0, 3.0, 3.0, 7.0, 10.0, 13.0, 9.0, 16.0, 21.0, 25.0, 38.0, 44.0, 45.0, 88.0, 125.0, 142.0, 77.0, 90.0, 51.0, 45.0, 34.0, 26.0, 14.0, 17.0, 17.0, 11.0, 5.0, 4.0, 4.0, 4.0, 3.0, 2.0, 1.0, 4.0, 2.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 2.0], "bins": [-2.0088396215341386e-21, -1.95228054130565e-21, -1.8957214610771617e-21, -1.839162582797065e-21, -1.7826035025685764e-21, -1.726044422340088e-21, -1.6694853421115995e-21, -1.6129263628573069e-21, -1.5563673836030143e-21, -1.4998083033745258e-21, -1.4432493241202332e-21, -1.3866902438917447e-21, -1.3301312646374521e-21, -1.2735721844089636e-21, -1.2170131041804751e-21, -1.1604541249261825e-21, -1.103895044697694e-21, -1.0473359644692056e-21, -9.90776985214913e-22, -9.342179049864245e-22, -8.776589257321319e-22, -8.210998455036434e-22, -7.645408157622529e-22, -7.079817860208623e-22, -6.514227562794718e-22, -5.948637265380812e-22, -5.383046967966907e-22, -4.817456670553002e-22, -4.251865868268117e-22, -3.686275823289701e-22, -3.120685273440306e-22, -2.5550949760264005e-22, -1.9895056883544537e-22, -1.4239153909405483e-22, -8.58324967308898e-23, -2.927345436772478e-23, 2.7285575373665764e-23, 8.384460511505631e-23, 1.4040366009999582e-22, 1.9696268984138636e-22, 2.535217195827769e-22, 3.1008074932416745e-22, 3.66639779065558e-22, 4.231988340504975e-22, 4.79757889035437e-22, 5.363168682897296e-22, 5.928759485182181e-22, 6.494349782596086e-22, 7.059940080009992e-22, 7.625530377423897e-22, 8.191120674837803e-22, 8.756711477122687e-22, 9.322301269665614e-22, 9.887892071950498e-22, 1.0453482874235383e-21, 1.101907266677831e-21, 1.1584662459321235e-21, 1.215025326160612e-21, 1.2715843054149046e-21, 1.328143385643393e-21, 1.3847023648976857e-21, 1.4412614451261742e-21, 1.4978205253546626e-21, 1.5543795046089553e-21, 1.6109385848374437e-21]}, "gradients/decoder.bert.encoder.layer.14.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 5.0, 2.0, 4.0, 3.0, 4.0, 4.0, 7.0, 11.0, 3.0, 18.0, 11.0, 26.0, 20.0, 27.0, 41.0, 43.0, 42.0, 32.0, 48.0, 40.0, 47.0, 46.0, 50.0, 47.0, 47.0, 57.0, 40.0, 45.0, 43.0, 34.0, 24.0, 26.0, 19.0, 18.0, 14.0, 12.0, 10.0, 11.0, 9.0, 9.0, 1.0, 6.0, 5.0, 3.0, 2.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.3209227208968517e-21, -1.2801953848385523e-21, -1.2394681497544488e-21, -1.1987408136961495e-21, -1.158013578612046e-21, -1.1172862425537466e-21, -1.0765590074696431e-21, -1.0358316714113438e-21, -9.951043353530444e-22, -9.54376999294745e-22, -9.136497642106415e-22, -8.729224281523422e-22, -8.321951930682387e-22, -7.914678570099393e-22, -7.507405714387379e-22, -7.100132858675364e-22, -6.692860507834329e-22, -6.285587652122315e-22, -5.878314796410301e-22, -5.471041435827307e-22, -5.063769084986272e-22, -4.656495724403279e-22, -4.249222868691264e-22, -3.84195001297925e-22, -3.4346771572672357e-22, -3.0274043015552214e-22, -2.620131445843207e-22, -2.212858337695703e-22, -1.8055854819836888e-22, -1.3983126262716745e-22, -9.910395181241705e-23, -5.837666624121562e-23, -1.7649380670014192e-23, 2.307791121207448e-23, 6.380520309416315e-23, 1.0453250128713907e-22, 1.452597868583405e-22, 1.8598707242954193e-22, 2.2671438324429232e-22, 2.6744166881549376e-22, 3.081689543866952e-22, 3.488962399578966e-22, 3.8962352552909805e-22, 4.303508111002995e-22, 4.710781471585988e-22, 5.118053822427023e-22, 5.525327183010017e-22, 5.932600038722031e-22, 6.339872894434046e-22, 6.74714575014606e-22, 7.154418605858074e-22, 7.561691966441068e-22, 7.968964317282103e-22, 8.3762376778650965e-22, 8.78351103844809e-22, 9.190783389289125e-22, 9.59805574013016e-22, 1.0005329100713154e-21, 1.0412601451554189e-21, 1.0819874812137182e-21, 1.1227147162978217e-21, 1.163442052356121e-21, 1.2041693884144205e-21, 1.244896623498524e-21, 1.2856239595568233e-21]}, "gradients/decoder.bert.encoder.layer.14.attention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.14.attention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.14.attention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.14.attention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.14.attention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.14.attention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.14.attention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.14.attention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.13.output.LayerNorm.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 1.0, 2.0, 3.0, 9.0, 2.0, 1.0, 5.0, 3.0, 7.0, 6.0, 2.0, 8.0, 18.0, 13.0, 24.0, 22.0, 29.0, 38.0, 47.0, 54.0, 78.0, 121.0, 110.0, 88.0, 59.0, 43.0, 44.0, 38.0, 26.0, 20.0, 16.0, 10.0, 14.0, 9.0, 6.0, 7.0, 4.0, 2.0, 4.0, 4.0, 3.0, 3.0, 3.0, 2.0, 1.0, 0.0, 2.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-9.311262770573292e-22, -8.990976660246912e-22, -8.670691559662492e-22, -8.350405954207091e-22, -8.030120348751691e-22, -7.709834743296291e-22, -7.389549137840891e-22, -7.06926353238549e-22, -6.74897792693009e-22, -6.42869232147469e-22, -6.10840671601929e-22, -5.788121110563889e-22, -5.467835505108489e-22, -5.147549899653089e-22, -4.8272642941976885e-22, -4.506978688742288e-22, -4.186693083286888e-22, -3.8664074778314877e-22, -3.5461218723760875e-22, -3.225836266920687e-22, -2.905550661465287e-22, -2.5852650560098867e-22, -2.2649794505544865e-22, -1.9446938450990862e-22, -1.624408239643686e-22, -1.3041226341882857e-22, -9.838370287328854e-23, -6.635514232774852e-23, -3.432658178220849e-23, -2.298021236668467e-24, 2.973053930887156e-23, 6.175909985441158e-23, 9.378766039995161e-23, 1.2581622094549164e-22, 1.5784478149103166e-22, 1.8987334203657169e-22, 2.219019025821117e-22, 2.5393046312765174e-22, 2.8595902367319176e-22, 3.179875842187318e-22, 3.500161447642718e-22, 3.8204470530981184e-22, 4.1407326585535187e-22, 4.461018264008919e-22, 4.781303869464319e-22, 5.101589474919719e-22, 5.42187508037512e-22, 5.74216068583052e-22, 6.06244629128592e-22, 6.38273189674132e-22, 6.703017502196721e-22, 7.023303107652121e-22, 7.343588713107521e-22, 7.6638743185629215e-22, 7.984159924018322e-22, 8.304445529473722e-22, 8.624731134929122e-22, 8.945017245255502e-22, 9.265302345839923e-22, 9.585587446424344e-22, 9.905873556750723e-22, 1.0226159667077103e-21, 1.0546444767661524e-21, 1.0866729868245945e-21, 1.1187015978572324e-21]}, "gradients/decoder.bert.encoder.layer.13.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 3.0, 4.0, 5.0, 3.0, 5.0, 2.0, 8.0, 10.0, 7.0, 16.0, 13.0, 25.0, 20.0, 35.0, 37.0, 45.0, 36.0, 43.0, 41.0, 39.0, 46.0, 51.0, 48.0, 44.0, 51.0, 51.0, 43.0, 47.0, 41.0, 28.0, 26.0, 27.0, 17.0, 24.0, 10.0, 11.0, 10.0, 9.0, 10.0, 8.0, 3.0, 5.0, 3.0, 3.0, 3.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-8.580773028499821e-22, -8.314903426939801e-22, -8.049033320508801e-22, -7.783163718948781e-22, -7.51729411738876e-22, -7.25142451582874e-22, -6.98555440939774e-22, -6.71968480783772e-22, -6.4538152062777e-22, -6.187945604717679e-22, -5.9220754982866795e-22, -5.656205896726659e-22, -5.390336295166639e-22, -5.124466693606618e-22, -4.858596587175619e-22, -4.592726985615598e-22, -4.326856879184599e-22, -4.0609870251890887e-22, -3.7951174236290683e-22, -3.5292475696335583e-22, -3.263377968073538e-22, -2.997508114078028e-22, -2.731638260082518e-22, -2.4657686585224975e-22, -2.1998988045269875e-22, -1.9340290767492223e-22, -1.668159348971457e-22, -1.402289494975947e-22, -1.136419767198182e-22, -8.705500394204167e-23, -6.046801854249067e-23, -3.388104576471415e-23, -7.294123474035564e-24, 1.9292852459184576e-23, 4.5879828392404716e-23, 7.246680748106848e-23, 9.9053780258845e-23, 1.2564075303662152e-22, 1.5222773843617252e-22, 1.7881471121394904e-22, 2.0540168399172556e-22, 2.3198866939127656e-22, 2.585756295472786e-22, 2.851626149468296e-22, 3.117496003463806e-22, 3.3833656050238264e-22, 3.6492354590193364e-22, 3.9151053130148464e-22, 4.1809749145748668e-22, 4.446844516134887e-22, 4.712714622565887e-22, 4.978584224125907e-22, 5.2444538256859275e-22, 5.510323427245948e-22, 5.776193533676948e-22, 6.042063135236968e-22, 6.307932736796988e-22, 6.573802338357009e-22, 6.839672444788008e-22, 7.105542046348029e-22, 7.371411647908049e-22, 7.637281249468069e-22, 7.903151355899069e-22, 8.169020957459089e-22, 8.434891063890089e-22]}, "gradients/decoder.bert.encoder.layer.13.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.13.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.13.intermediate.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.13.intermediate.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.13.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 2.0, 2.0, 3.0, 0.0, 5.0, 6.0, 6.0, 7.0, 5.0, 11.0, 7.0, 12.0, 13.0, 22.0, 31.0, 35.0, 33.0, 57.0, 80.0, 100.0, 157.0, 106.0, 66.0, 58.0, 41.0, 25.0, 18.0, 22.0, 17.0, 9.0, 8.0, 8.0, 7.0, 9.0, 5.0, 5.0, 1.0, 4.0, 6.0, 0.0, 2.0, 2.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 1.0], "bins": [-3.780323694192405e-22, -3.670481692007473e-22, -3.5606396898225405e-22, -3.450797687637608e-22, -3.3409556854526757e-22, -3.2311136832677434e-22, -3.1212719335183007e-22, -3.0114299313333683e-22, -2.901587929148436e-22, -2.7917459269635036e-22, -2.681903924778571e-22, -2.572061922593639e-22, -2.4622199204087065e-22, -2.352378170659264e-22, -2.2425359160388418e-22, -2.132694166289399e-22, -2.0228520378867219e-22, -1.9130100357017895e-22, -1.8031680335168571e-22, -1.6933261575496696e-22, -1.5834841553647372e-22, -1.4736421531798049e-22, -1.3638001509948725e-22, -1.2539581488099401e-22, -1.1441161466250078e-22, -1.0342741444400754e-22, -9.244322053640154e-23, -8.145902031790831e-23, -7.047482641030231e-23, -5.949062619180908e-23, -4.850642597331584e-23, -3.7522232065709844e-23, -2.653803815810385e-23, -1.5553841095054234e-23, -4.569642454282807e-24, 6.414556186488619e-24, 1.7398753249538235e-23, 2.838295031258785e-23, 3.936715053108109e-23, 5.035134443868708e-23, 6.133554465718032e-23, 7.231974487567356e-23, 8.330393878327955e-23, 9.428813900177279e-23, 1.0527233922026602e-22, 1.1625653943875926e-22, 1.272407396572525e-22, 1.3822492725397125e-22, 1.4920912747246449e-22, 1.6019332769095772e-22, 1.7117752790945096e-22, 1.8216171550616971e-22, 1.9314591572466295e-22, 2.0413011594315619e-22, 2.151143161616494e-22, 2.2609851638014266e-22, 2.370827165986359e-22, 2.4806691681712913e-22, 2.5905111703562237e-22, 2.700353172541156e-22, 2.8101951747260884e-22, 2.920036924475531e-22, 3.029879179095953e-22, 3.139720928845396e-22, 3.249562931030328e-22]}, "gradients/decoder.bert.encoder.layer.13.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 6.0, 2.0, 5.0, 1.0, 5.0, 5.0, 11.0, 5.0, 13.0, 15.0, 17.0, 28.0, 17.0, 44.0, 36.0, 42.0, 37.0, 50.0, 38.0, 44.0, 42.0, 53.0, 41.0, 54.0, 50.0, 47.0, 51.0, 38.0, 37.0, 24.0, 25.0, 25.0, 19.0, 20.0, 10.0, 7.0, 12.0, 11.0, 4.0, 9.0, 4.0, 2.0, 5.0, 4.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.689794300879209e-22, -2.6052092267423016e-22, -2.520624152605394e-22, -2.4360390784684867e-22, -2.3514540043315793e-22, -2.266868930194672e-22, -2.1822838560577644e-22, -2.0976989081386018e-22, -2.0131138340016943e-22, -1.928528759864787e-22, -1.8439436857278795e-22, -1.759358611590972e-22, -1.6747736636718094e-22, -1.590188589534902e-22, -1.5056035153979945e-22, -1.421018441261087e-22, -1.3364333671241797e-22, -1.2518482929872722e-22, -1.1672632188503648e-22, -1.0826781447134573e-22, -9.980931336854223e-23, -9.135080595485149e-23, -8.289230485204798e-23, -7.443379743835724e-23, -6.59752900246665e-23, -5.751678261097575e-23, -4.905827835272863e-23, -4.0599774094481506e-23, -3.214126668079076e-23, -2.3682759267100018e-23, -1.5224255008852895e-23, -6.765750750605772e-24, 1.6927819066339395e-24, 1.0151287742602873e-23, 1.8609793578571807e-23, 2.706829783681893e-23, 3.5526805250509674e-23, 4.398531266420042e-23, 5.244381692244754e-23, 6.090232118069466e-23, 6.936082859438541e-23, 7.781933600807615e-23, 8.62778434217669e-23, 9.47363445245704e-23, 1.0319485193826114e-22, 1.1165335304106465e-22, 1.201118604547554e-22, 1.2857036786844613e-22, 1.3702887528213688e-22, 1.4548738269582762e-22, 1.5394589010951837e-22, 1.624043975232091e-22, 1.7086290493689985e-22, 1.793214123505906e-22, 1.8777990714250686e-22, 1.962384145561976e-22, 2.0469692196988835e-22, 2.131554167618046e-22, 2.2161392417549535e-22, 2.300724315891861e-22, 2.3853093900287684e-22, 2.469894464165676e-22, 2.5544795383025833e-22, 2.6390646124394907e-22, 2.723649686576398e-22]}, "gradients/decoder.bert.encoder.layer.13.crossattention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.13.crossattention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.13.crossattention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.13.crossattention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.13.crossattention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.13.crossattention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.13.crossattention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.13.crossattention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.13.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 2.0, 3.0, 3.0, 5.0, 10.0, 12.0, 14.0, 14.0, 44.0, 45.0, 72.0, 92.0, 160.0, 214.0, 104.0, 64.0, 46.0, 22.0, 29.0, 20.0, 11.0, 10.0, 2.0, 3.0, 6.0, 0.0, 1.0, 2.0, 3.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-3.81566213839141e-23, -3.712596198946836e-23, -3.609530259502263e-23, -3.506464320057689e-23, -3.4033983806131157e-23, -3.300332756712904e-23, -3.1972668172683306e-23, -3.094200877823757e-23, -2.9911349383791836e-23, -2.88806899893461e-23, -2.7850030594900365e-23, -2.681937120045463e-23, -2.5788713383730704e-23, -2.475805398928497e-23, -2.3727396172561044e-23, -2.2696736778115308e-23, -2.1666077383669573e-23, -2.0635417989223837e-23, -1.9604758594778102e-23, -1.8574100778054177e-23, -1.754344138360844e-23, -1.6512781989162706e-23, -1.548212417243878e-23, -1.4451464777993045e-23, -1.342080538354731e-23, -1.2390145989101575e-23, -1.1359487383516744e-23, -1.0328828777931914e-23, -9.298169383486179e-24, -8.267509989040443e-24, -7.236851383455613e-24, -6.206192777870783e-24, -5.175530227981426e-24, -4.1448712279661434e-24, -3.1142122279508606e-24, -2.0835532279355777e-24, -1.0528942279202949e-24, -2.223522790501205e-26, 1.0084237721102708e-24, 2.039082377695101e-24, 3.0697417721408365e-24, 4.100400772156119e-24, 5.131059772171402e-24, 6.161718772186685e-24, 7.192377772201968e-24, 8.223037166647703e-24, 9.253695772232534e-24, 1.0284354377817364e-23, 1.13150137722631e-23, 1.2345673166708835e-23, 1.337633256115457e-23, 1.4406990377878495e-23, 1.543764977232423e-23, 1.6468309166769966e-23, 1.749896698349389e-23, 1.8529626377939627e-23, 1.9560285772385362e-23, 2.0590945166831098e-23, 2.1621604561276833e-23, 2.2652262378000758e-23, 2.3682921772446493e-23, 2.471358116689223e-23, 2.5744238983616154e-23, 2.677489837806189e-23, 2.7805557772507625e-23]}, "gradients/decoder.bert.encoder.layer.13.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 6.0, 5.0, 2.0, 3.0, 3.0, 7.0, 10.0, 6.0, 16.0, 12.0, 20.0, 28.0, 28.0, 32.0, 45.0, 40.0, 36.0, 46.0, 39.0, 46.0, 54.0, 44.0, 44.0, 51.0, 54.0, 45.0, 51.0, 32.0, 34.0, 28.0, 25.0, 19.0, 22.0, 15.0, 9.0, 13.0, 9.0, 9.0, 5.0, 7.0, 4.0, 4.0, 3.0, 3.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.6111455314518758e-23, -1.5600210339063125e-23, -1.508896536360749e-23, -1.4577720388151858e-23, -1.4066475412696225e-23, -1.355523043724059e-23, -1.3043984672924053e-23, -1.2532738908607514e-23, -1.2021493933151881e-23, -1.1510248957696248e-23, -1.0999003982240614e-23, -1.0487759006784981e-23, -9.976513242468442e-24, -9.465268267012809e-24, -8.954023291557176e-24, -8.442777527240637e-24, -7.931533340645909e-24, -7.420288365190276e-24, -6.909043389734642e-24, -6.397798019848556e-24, -5.8865526499624704e-24, -5.375307674506837e-24, -4.864062699051204e-24, -4.352817329165118e-24, -3.8415723537094845e-24, -3.330327378253851e-24, -2.8190820083677652e-24, -2.307837032912132e-24, -1.7965918602412723e-24, -1.2853466875704126e-24, -7.741017121147793e-25, -2.6285634222869334e-25, 2.4838863322694e-25, 7.5963375659399305e-25, 1.2708788799610461e-24, 1.7821239540242926e-24, 2.2933691266951522e-24, 2.804614299366012e-24, 3.315859274821645e-24, 3.827104644707731e-24, 4.3383496201633645e-24, 4.849594595618998e-24, 5.360839965505084e-24, 5.872084940960717e-24, 6.3833299164163504e-24, 6.894574891871984e-24, 7.405819867327617e-24, 7.917065631644156e-24, 8.428310607099789e-24, 8.939555582555422e-24, 9.450800558011056e-24, 9.962046322327594e-24, 1.0473291297783227e-23, 1.0984536273238861e-23, 1.1495781248694494e-23, 1.2007026224150127e-23, 1.2518271199605761e-23, 1.3029516175061394e-23, 1.3540761150517027e-23, 1.405200612597266e-23, 1.4563251101428294e-23, 1.5074497654605738e-23, 1.558574263006137e-23, 1.6096987605517005e-23, 1.6608232580972638e-23]}, "gradients/decoder.bert.encoder.layer.13.attention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.13.attention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.13.attention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.13.attention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.13.attention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.13.attention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.13.attention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.13.attention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.12.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 0.0, 0.0, 3.0, 3.0, 1.0, 4.0, 4.0, 2.0, 3.0, 2.0, 9.0, 8.0, 8.0, 16.0, 14.0, 21.0, 33.0, 28.0, 41.0, 58.0, 94.0, 143.0, 145.0, 91.0, 53.0, 40.0, 48.0, 20.0, 27.0, 19.0, 20.0, 13.0, 9.0, 10.0, 5.0, 3.0, 5.0, 0.0, 2.0, 3.0, 3.0, 2.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.0262850818401944e-23, -9.908402203050755e-24, -9.553953587699566e-24, -9.199504972348376e-24, -8.845055568136282e-24, -8.490606952785092e-24, -8.136158337433903e-24, -7.781709722082714e-24, -7.427261106731524e-24, -7.072812491380335e-24, -6.718363876029145e-24, -6.3639148662475035e-24, -6.0094658564658615e-24, -5.655017241114672e-24, -5.300568625763483e-24, -4.9461200104122934e-24, -4.591670606200199e-24, -4.2372219908490095e-24, -3.8827729810673675e-24, -3.528324365716178e-24, -3.1738755531497625e-24, -2.8194267405833468e-24, -2.4649781252321574e-24, -2.1105293126657418e-24, -1.756080500099326e-24, -1.4016316875329104e-24, -1.047182973574108e-24, -6.927342596153054e-25, -3.3828544704888975e-25, 1.616336551752592e-26, 3.706119808687153e-25, 7.2506079343513095e-25, 1.0795088171406414e-24, 1.433957629707057e-24, 1.7884064422734727e-24, 2.142855057624662e-24, 2.4973038701910778e-24, 2.8517526827574934e-24, 3.2062012981086828e-24, 3.560649913459872e-24, 3.915098923241514e-24, 4.2695475385927035e-24, 4.6239965483743455e-24, 4.978445163725535e-24, 5.332893779076724e-24, 5.687342788858366e-24, 6.0417914042095555e-24, 6.3962404139911975e-24, 6.750689029342387e-24, 7.105137644693576e-24, 7.459586260044766e-24, 7.814034875395955e-24, 8.16848427960805e-24, 8.522932894959239e-24, 8.877381510310428e-24, 9.231830125661618e-24, 9.586278741012807e-24, 9.940727356363996e-24, 1.0295175971715186e-23, 1.064962537592728e-23, 1.100407399127847e-23, 1.1358522606629659e-23, 1.1712971221980848e-23, 1.2067419837332038e-23, 1.2421869241544132e-23]}, "gradients/decoder.bert.encoder.layer.12.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 4.0, 5.0, 4.0, 2.0, 3.0, 5.0, 5.0, 12.0, 6.0, 18.0, 12.0, 25.0, 23.0, 37.0, 31.0, 46.0, 42.0, 38.0, 41.0, 44.0, 47.0, 48.0, 49.0, 43.0, 53.0, 50.0, 46.0, 46.0, 36.0, 29.0, 25.0, 26.0, 18.0, 23.0, 14.0, 9.0, 13.0, 4.0, 9.0, 8.0, 4.0, 4.0, 5.0, 2.0, 2.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-8.099120529072871e-24, -7.839586868976969e-24, -7.580052420020161e-24, -7.320518759924259e-24, -7.060985099828356e-24, -6.801451439732454e-24, -6.541916990775646e-24, -6.2823833306797436e-24, -6.0228492761533886e-24, -5.7633152216270335e-24, -5.503781561531131e-24, -5.244247507004776e-24, -4.984713452478421e-24, -4.7251797923825185e-24, -4.4656457378561635e-24, -4.2061116833298084e-24, -3.946578023233906e-24, -3.687043968707551e-24, -3.4275103086116485e-24, -3.1679762540852934e-24, -2.9084423967741647e-24, -2.648908539463036e-24, -2.389374484936681e-24, -2.129840627625552e-24, -1.8703067703144234e-24, -1.6107729130032946e-24, -1.3512389570845527e-24, -1.0917050011658108e-24, -8.321711438546821e-25, -5.7263728654355335e-25, -3.1310333062481145e-25, -5.356937470606955e-26, 2.0596369374415397e-25, 4.654976003590893e-25, 7.250315069740246e-25, 9.845654628927665e-25, 1.2440993202038953e-24, 1.503633177515024e-24, 1.763167232041379e-24, 2.0227010893525078e-24, 2.2822349466636366e-24, 2.5417688039747653e-24, 2.801302661285894e-24, 3.060836715812249e-24, 3.320370770338604e-24, 3.5799044304345066e-24, 3.839438484960862e-24, 4.098972539487217e-24, 4.358506199583119e-24, 4.618040254109474e-24, 4.877573914205377e-24, 5.137107968731732e-24, 5.396641628827634e-24, 5.656175683353989e-24, 5.915709737880344e-24, 6.175243397976247e-24, 6.434777452502602e-24, 6.694311507028957e-24, 6.953845167124859e-24, 7.213378827220762e-24, 7.47291327617757e-24, 7.732446936273472e-24, 7.991980596369374e-24, 8.251515045326182e-24, 8.511048705422084e-24]}, "gradients/decoder.bert.encoder.layer.12.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.12.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.12.intermediate.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.12.intermediate.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.12.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 2.0, 2.0, 3.0, 3.0, 5.0, 3.0, 5.0, 12.0, 11.0, 14.0, 18.0, 27.0, 35.0, 39.0, 54.0, 64.0, 106.0, 161.0, 122.0, 74.0, 51.0, 44.0, 39.0, 20.0, 19.0, 18.0, 16.0, 14.0, 4.0, 5.0, 8.0, 5.0, 2.0, 2.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.112000577336942e-24, -3.9737972743381044e-24, -3.8355935769088144e-24, -3.697390273909977e-24, -3.55918697091114e-24, -3.4209836679123024e-24, -3.2827799704830125e-24, -3.144576667484175e-24, -3.0063731672701115e-24, -2.868169667056048e-24, -2.7299663640572106e-24, -2.591762863843147e-24, -2.4535593636290833e-24, -2.315356060630246e-24, -2.1771525604161823e-24, -2.0389490602021187e-24, -1.9007457572032814e-24, -1.7625422569892177e-24, -1.6243389539903804e-24, -1.4861354537763168e-24, -1.3479320521698663e-24, -1.2097286505634158e-24, -1.0715251503493521e-24, -9.333217487429017e-25, -7.951183471364512e-25, -6.569149455300007e-25, -5.187114946197436e-25, -3.8050804370948657e-25, -2.423046421030361e-25, -1.041012404965856e-25, 3.4102259717478035e-26, 1.7230566132392852e-25, 3.105086684999264e-25, 4.487120701063769e-25, 5.869155210166339e-25, 7.25118971926891e-25, 8.633223735333415e-25, 1.001525775139792e-24, 1.1397292753538556e-24, 1.277932676960306e-24, 1.4161360785667566e-24, 1.554339480173207e-24, 1.6925428817796575e-24, 1.830746381993721e-24, 1.9689498822077848e-24, 2.107153185206622e-24, 2.2453566854206858e-24, 2.3835601856347494e-24, 2.5217634886335868e-24, 2.6599669888476504e-24, 2.7981702918464877e-24, 2.9363737920605514e-24, 3.0745770950593887e-24, 3.2127805952734523e-24, 3.350984095487516e-24, 3.489187398486353e-24, 3.6273907014851906e-24, 3.765594004484028e-24, 3.903797701913318e-24, 4.042001004912155e-24, 4.1802043079109926e-24, 4.31840761090983e-24, 4.45661130833912e-24, 4.594814611337957e-24, 4.733018308767247e-24]}, "gradients/decoder.bert.encoder.layer.12.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 4.0, 3.0, 4.0, 4.0, 2.0, 5.0, 4.0, 9.0, 7.0, 12.0, 19.0, 16.0, 24.0, 30.0, 33.0, 42.0, 39.0, 42.0, 44.0, 35.0, 45.0, 51.0, 47.0, 42.0, 48.0, 53.0, 47.0, 49.0, 38.0, 34.0, 27.0, 23.0, 26.0, 21.0, 17.0, 11.0, 9.0, 14.0, 7.0, 5.0, 8.0, 2.0, 6.0, 2.0, 5.0, 2.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.942710120066513e-24, -2.8469828352940746e-24, -2.75125535330641e-24, -2.6555280685339718e-24, -2.5598005865463072e-24, -2.464073301773869e-24, -2.3683458197862044e-24, -2.272618535013766e-24, -2.1768910530261016e-24, -2.0811637682536633e-24, -1.9854362862659987e-24, -1.8897090014935605e-24, -1.793981519505896e-24, -1.6982542347334577e-24, -1.6025267527457931e-24, -1.5067994679733548e-24, -1.4110720845933034e-24, -1.315344701213252e-24, -1.2196173178332006e-24, -1.1238899344531492e-24, -1.0281625510730978e-24, -9.324351676930464e-25, -8.367078829206081e-25, -7.409804502367502e-25, -6.452530668566987e-25, -5.495256834766473e-25, -4.537983000965959e-25, -3.580709413684478e-25, -2.623435579883964e-25, -1.6661619926024828e-25, -7.088881588019687e-26, 2.483856749985454e-26, 1.2056595087990595e-25, 2.1629333425995736e-25, 3.1202071764000877e-25, 4.077480763681569e-25, 5.034754844001116e-25, 5.992028184763564e-25, 6.949302018564078e-25, 7.906575852364592e-25, 8.863850179203172e-25, 9.821124013003686e-25, 1.07783978468042e-24, 1.1735671680604714e-24, 1.2692945514405229e-24, 1.3650218362129611e-24, 1.4607493182006257e-24, 1.556476602973064e-24, 1.6522039863531153e-24, 1.7479313697331667e-24, 1.843658654505605e-24, 1.9393861364932696e-24, 2.035113421265708e-24, 2.1308409032533724e-24, 2.2265681880258106e-24, 2.3222956700134752e-24, 2.4180229547859135e-24, 2.5137502395583517e-24, 2.6094777215460163e-24, 2.7052050063184545e-24, 2.800932488306119e-24, 2.8966597730785574e-24, 2.992387255066222e-24, 3.08811453983866e-24, 3.1838420218263247e-24]}, "gradients/decoder.bert.encoder.layer.12.crossattention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.12.crossattention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.12.crossattention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.12.crossattention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.12.crossattention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.12.crossattention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.12.crossattention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.12.crossattention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.12.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 2.0, 1.0, 1.0, 1.0, 2.0, 2.0, 4.0, 3.0, 3.0, 10.0, 14.0, 14.0, 13.0, 15.0, 21.0, 16.0, 34.0, 59.0, 60.0, 88.0, 127.0, 129.0, 108.0, 68.0, 50.0, 45.0, 24.0, 23.0, 24.0, 12.0, 11.0, 6.0, 4.0, 4.0, 7.0, 4.0, 3.0, 1.0, 2.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.5473250471530764e-25, -2.4414017351806565e-25, -2.3354784232082367e-25, -2.229555111235817e-25, -2.123631799263397e-25, -2.0177084872909772e-25, -1.911785052059041e-25, -1.805861740086621e-25, -1.6999384281142012e-25, -1.5940151161417814e-25, -1.4880918041693616e-25, -1.3821683689374253e-25, -1.2762450569650055e-25, -1.1703217449925856e-25, -1.0643984330201658e-25, -9.58475121047746e-26, -8.525518090753261e-26, -7.466284971029063e-26, -6.407051851304865e-26, -5.347818115283084e-26, -4.288584995558886e-26, -3.2293518758346874e-26, -2.1701181398129068e-26, -1.1108850200887085e-26, -5.165190036451016e-28, 1.0075813734340837e-26, 2.0668146472326776e-26, 3.126048075105667e-26, 4.1852811948298654e-26, 5.244514314554064e-26, 6.303748050575844e-26, 7.362981170300043e-26, 8.422214290024241e-26, 9.481447409748439e-26, 1.0540680529472638e-25, 1.1599913649196836e-25, 1.2659146768921034e-25, 1.3718379888645233e-25, 1.4777614240964595e-25, 1.5836847360688794e-25, 1.6896080480412992e-25, 1.795531360013719e-25, 1.9014546719861389e-25, 2.0073781072180752e-25, 2.113301419190495e-25, 2.219224731162915e-25, 2.3251480431353347e-25, 2.4310713551077545e-25, 2.5369946670801743e-25, 2.642917979052594e-25, 2.748841291025014e-25, 2.854764602997434e-25, 2.9606879149698537e-25, 3.0666112269422735e-25, 3.172534785433726e-25, 3.278458097406146e-25, 3.384381409378566e-25, 3.4903047213509857e-25, 3.5962280333234055e-25, 3.7021513452958254e-25, 3.808074657268245e-25, 3.913997969240665e-25, 4.019921281213085e-25, 4.1258445931855047e-25, 4.231767905157925e-25]}, "gradients/decoder.bert.encoder.layer.12.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 4.0, 4.0, 5.0, 2.0, 2.0, 6.0, 5.0, 9.0, 8.0, 13.0, 18.0, 15.0, 23.0, 31.0, 36.0, 39.0, 39.0, 45.0, 42.0, 39.0, 43.0, 49.0, 49.0, 46.0, 46.0, 51.0, 44.0, 51.0, 37.0, 32.0, 30.0, 25.0, 22.0, 23.0, 15.0, 10.0, 8.0, 14.0, 6.0, 8.0, 7.0, 3.0, 4.0, 2.0, 5.0, 2.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.2436387435843407e-25, -2.170370082264512e-25, -2.097101420944683e-25, -2.023832759624854e-25, -1.950564098305025e-25, -1.877295436985196e-25, -1.8040267756653671e-25, -1.7307581143455382e-25, -1.6574894530257093e-25, -1.5842207917058803e-25, -1.5109521303860514e-25, -1.4376834690662225e-25, -1.3644148077463935e-25, -1.2911461464265646e-25, -1.2178774851067357e-25, -1.1446088237869067e-25, -1.0713402857265943e-25, -9.980716244067653e-26, -9.248029630869364e-26, -8.515343017671075e-26, -7.782656404472785e-26, -7.049969791274496e-26, -6.317283794373789e-26, -5.5845971811755e-26, -4.85191056797721e-26, -4.119223954778921e-26, -3.3865373415806316e-26, -2.6538510365311334e-26, -1.921164423332844e-26, -1.1884778101345548e-26, -4.5579150508505654e-27, 2.7689510811323278e-27, 1.0095817213115221e-26, 1.7422683345098114e-26, 2.4749547936337052e-26, 3.207641252757599e-26, 3.940327865955888e-26, 4.6730144791541776e-26, 5.405700784203676e-26, 6.138387397401965e-26, 6.871074010600254e-26, 7.603760623798544e-26, 8.336447236996833e-26, 9.06913323389754e-26, 9.80181984709583e-26, 1.0534506460294119e-25, 1.1267193073492408e-25, 1.1999879686690697e-25, 1.2732566299888987e-25, 1.3465252913087276e-25, 1.4197939526285565e-25, 1.4930626139483855e-25, 1.5663312752682144e-25, 1.6395999365880433e-25, 1.7128684746483558e-25, 1.7861371359681848e-25, 1.8594057972880137e-25, 1.9326744586078426e-25, 2.0059431199276716e-25, 2.0792117812475005e-25, 2.1524804425673294e-25, 2.2257491038871583e-25, 2.2990177652069873e-25, 2.372286426526816e-25, 2.445555087846645e-25]}, "gradients/decoder.bert.encoder.layer.12.attention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.12.attention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.12.attention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.12.attention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.12.attention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.12.attention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.12.attention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.12.attention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.11.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 2.0, 2.0, 2.0, 1.0, 0.0, 2.0, 6.0, 4.0, 7.0, 2.0, 12.0, 6.0, 12.0, 19.0, 17.0, 27.0, 26.0, 67.0, 81.0, 114.0, 139.0, 129.0, 95.0, 55.0, 45.0, 42.0, 25.0, 16.0, 14.0, 8.0, 11.0, 3.0, 7.0, 3.0, 6.0, 6.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-1.5103593753714877e-25, -1.4464744610382956e-25, -1.38258966996462e-25, -1.3187047556314278e-25, -1.2548198412982357e-25, -1.1909349269650435e-25, -1.1270500126318514e-25, -1.0631652215581758e-25, -9.992803072249836e-26, -9.353953928917915e-26, -8.715105401883576e-26, -8.076256874849237e-26, -7.437407731517316e-26, -6.798558588185395e-26, -6.159710061151056e-26, -5.520861534116717e-26, -4.882012390784796e-26, -4.243163555601666e-26, -3.604314720418536e-26, -2.965465885235406e-26, -2.326617050052276e-26, -1.687768214869146e-26, -1.0489193796860158e-26, -4.100705445028858e-27, 2.2877829068024428e-27, 8.676271258633743e-27, 1.5064759610465044e-26, 2.1453247962296344e-26, 2.7841736314127645e-26, 3.4230224665958945e-26, 4.0618713017790246e-26, 4.7007201369621546e-26, 5.33956773955012e-26, 5.978416882882041e-26, 6.61726540991638e-26, 7.256113936950719e-26, 7.89496308028264e-26, 8.533812223614562e-26, 9.1726607506489e-26, 9.81150927768324e-26, 1.045035842101516e-25, 1.1089207564347082e-25, 1.1728056707679003e-25, 1.236690461841576e-25, 1.300575376174768e-25, 1.3644602905079602e-25, 1.4283450815816359e-25, 1.492229995914828e-25, 1.55611491024802e-25, 1.6199998245812122e-25, 1.6838847389144043e-25, 1.74776952998808e-25, 1.8116544443212721e-25, 1.8755393586544642e-25, 1.93942414972814e-25, 2.003309064061332e-25, 2.0671939783945241e-25, 2.1310788927277162e-25, 2.1949638070609084e-25, 2.2588487213941005e-25, 2.3227333892082597e-25, 2.386618303541452e-25, 2.450503217874644e-25, 2.514388132207836e-25, 2.578273046541028e-25]}, "gradients/decoder.bert.encoder.layer.11.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 4.0, 4.0, 3.0, 4.0, 2.0, 7.0, 4.0, 7.0, 9.0, 13.0, 17.0, 16.0, 25.0, 29.0, 33.0, 45.0, 35.0, 45.0, 39.0, 36.0, 52.0, 49.0, 41.0, 47.0, 53.0, 49.0, 43.0, 51.0, 38.0, 31.0, 29.0, 26.0, 21.0, 24.0, 14.0, 12.0, 7.0, 15.0, 8.0, 5.0, 9.0, 2.0, 4.0, 3.0, 5.0, 2.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.284542024795184e-25, -1.2426879001330351e-25, -1.20083365221137e-25, -1.1589795275492212e-25, -1.1171254028870725e-25, -1.0752711549654073e-25, -1.0334170303032585e-25, -9.915628440113516e-26, -9.497086577194446e-26, -9.078544714275376e-26, -8.660002851356306e-26, -8.241461604734819e-26, -7.822919741815749e-26, -7.40437787889668e-26, -6.985836632275192e-26, -6.567294769356122e-26, -6.148752906437053e-26, -5.730211043517983e-26, -5.311669180598913e-26, -4.893127933977426e-26, -4.474586071058356e-26, -4.0560442081392865e-26, -3.637502653369008e-26, -3.2189610985987294e-26, -2.8004192356796597e-26, -2.3818775268349855e-26, -1.9633358179903114e-26, -1.5447941091456373e-26, -1.1262524003009631e-26, -7.07710691456289e-27, -2.8916898261161485e-27, 1.2937257215866373e-27, 5.47913202482569e-27, 9.664549113272431e-27, 1.3849966201719173e-26, 1.8035383290165914e-26, 2.2220800378612656e-26, 2.640621900780335e-26, 3.059163455550614e-26, 3.4777050103208924e-26, 3.896246873239962e-26, 4.314788736159032e-26, 4.7333302909293104e-26, 5.151871845699589e-26, 5.570413708618659e-26, 5.988955571537728e-26, 6.407496818159216e-26, 6.826038681078286e-26, 7.244580543997355e-26, 7.663122406916425e-26, 8.081664269835495e-26, 8.500205516456982e-26, 8.918747379376052e-26, 9.337289242295121e-26, 9.755830488916609e-26, 1.0174372351835679e-25, 1.0592914214754748e-25, 1.1011455461376236e-25, 1.1429997940592888e-25, 1.1848539187214375e-25, 1.2267080433835863e-25, 1.2685622913052515e-25, 1.3104164159674002e-25, 1.352270540629549e-25, 1.3941247885512141e-25]}, "gradients/decoder.bert.encoder.layer.11.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.11.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.11.intermediate.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.11.intermediate.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.11.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 3.0, 1.0, 5.0, 4.0, 5.0, 4.0, 4.0, 9.0, 7.0, 2.0, 9.0, 14.0, 15.0, 15.0, 24.0, 36.0, 37.0, 58.0, 74.0, 119.0, 167.0, 96.0, 60.0, 46.0, 37.0, 24.0, 23.0, 20.0, 26.0, 12.0, 5.0, 14.0, 13.0, 4.0, 7.0, 5.0, 3.0, 3.0, 1.0, 3.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0], "bins": [-8.205794614759932e-26, -7.986514702416614e-26, -7.767234173775715e-26, -7.547954261432397e-26, -7.32867434908908e-26, -7.109394436745762e-26, -6.890114524402444e-26, -6.670833995761545e-26, -6.451554083418227e-26, -6.23227417107491e-26, -6.01299364243401e-26, -5.793713730090692e-26, -5.574433817747375e-26, -5.355153905404057e-26, -5.1358736849119486e-26, -4.91659346441984e-26, -4.6973135520765225e-26, -4.478033639733205e-26, -4.2587534192410963e-26, -4.0394731987489877e-26, -3.82019328640567e-26, -3.6009133740623526e-26, -3.381633153570244e-26, -3.1623529330781353e-26, -2.943073020734818e-26, -2.7237931083915e-26, -2.5045128878993916e-26, -2.2852328214816785e-26, -2.0659527550639654e-26, -1.8466726886462524e-26, -1.6273926222285393e-26, -1.4081125558108262e-26, -1.1888318730955309e-26, -9.695518066778178e-27, -7.502717402601047e-27, -5.3099167384239166e-27, -3.1171160742467857e-27, -9.243154100696549e-28, 1.268485254107476e-27, 3.461285918284607e-27, 5.654086582461738e-27, 7.846887246638868e-27, 1.0039687910816e-26, 1.223248857499313e-26, 1.442528923917026e-26, 1.6618089903347392e-26, 1.8810890567524523e-26, 2.1003691231701654e-26, 2.3196491895878784e-26, 2.5389292560055915e-26, 2.7582093224233046e-26, 2.977489542915413e-26, 3.196769455258731e-26, 3.4160493676020483e-26, 3.635329588094157e-26, 3.8546098085862656e-26, 4.073889720929583e-26, 4.2931696332729006e-26, 4.512449853765009e-26, 4.731730074257118e-26, 4.9510099866004354e-26, 5.170289898943753e-26, 5.389570427584653e-26, 5.60885033992797e-26, 5.828130252271288e-26]}, "gradients/decoder.bert.encoder.layer.11.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 4.0, 3.0, 5.0, 3.0, 2.0, 7.0, 4.0, 8.0, 10.0, 13.0, 16.0, 19.0, 22.0, 31.0, 34.0, 41.0, 42.0, 40.0, 40.0, 34.0, 47.0, 53.0, 48.0, 43.0, 52.0, 46.0, 52.0, 40.0, 42.0, 33.0, 25.0, 30.0, 21.0, 18.0, 19.0, 9.0, 9.0, 13.0, 10.0, 5.0, 8.0, 1.0, 6.0, 3.0, 4.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.057409450084866e-26, -4.8923948480033944e-26, -4.7273802459219227e-26, -4.562365643840451e-26, -4.3973510417589793e-26, -4.2323364396775077e-26, -4.067321837596036e-26, -3.9023072355145643e-26, -3.7372926334330926e-26, -3.572278031351621e-26, -3.4072634292701493e-26, -3.2422488271886776e-26, -3.077234225107206e-26, -2.912219623025734e-26, -2.7472050209442626e-26, -2.582190418862791e-26, -2.4171758167813192e-26, -2.2521612146998476e-26, -2.087146612618376e-26, -1.9221320105369042e-26, -1.7571174084554326e-26, -1.592102806373961e-26, -1.4270882042924892e-26, -1.2620736022110175e-26, -1.0970590001295459e-26, -9.320443980480742e-27, -7.670297959666025e-27, -6.020151938851308e-27, -4.3700059180365916e-27, -2.719859897221875e-27, -1.0697138764071581e-27, 5.804321444075586e-28, 2.2305720022464533e-27, 3.88071802306117e-27, 5.530864043875887e-27, 7.181010064690604e-27, 8.83115608550532e-27, 1.0481302106320037e-26, 1.2131448127134754e-26, 1.378159414794947e-26, 1.5431740168764187e-26, 1.7081886189578904e-26, 1.873203221039362e-26, 2.0382178231208337e-26, 2.2032324252023054e-26, 2.368247027283777e-26, 2.5332616293652488e-26, 2.6982762314467204e-26, 2.863290833528192e-26, 3.028305435609664e-26, 3.1933200376911355e-26, 3.358334639772607e-26, 3.523349241854079e-26, 3.6883638439355505e-26, 3.853378446017022e-26, 4.018393048098494e-26, 4.1834076501799655e-26, 4.348422252261437e-26, 4.513436854342909e-26, 4.6784514564243805e-26, 4.843466058505852e-26, 5.008480660587324e-26, 5.173495262668796e-26, 5.338510172899058e-26, 5.503524466831739e-26]}, "gradients/decoder.bert.encoder.layer.11.crossattention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.11.crossattention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.11.crossattention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.11.crossattention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.11.crossattention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.11.crossattention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.11.crossattention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.11.crossattention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.11.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 4.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 4.0, 1.0, 1.0, 1.0, 5.0, 5.0, 5.0, 12.0, 9.0, 16.0, 18.0, 14.0, 19.0, 24.0, 22.0, 32.0, 39.0, 55.0, 48.0, 73.0, 134.0, 115.0, 74.0, 58.0, 40.0, 29.0, 33.0, 18.0, 18.0, 20.0, 9.0, 14.0, 9.0, 7.0, 8.0, 2.0, 3.0, 7.0, 4.0, 1.0, 2.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0], "bins": [-5.1544159991561245e-27, -5.014582314799934e-27, -4.874748245257754e-27, -4.734914560901563e-27, -4.595080491359384e-27, -4.455246807003193e-27, -4.315412737461013e-27, -4.1755790531048225e-27, -4.035745368748632e-27, -3.895911684392441e-27, -3.756077614850261e-27, -3.6162439304940705e-27, -3.476409860951891e-27, -3.3365761765957e-27, -3.196742299646515e-27, -3.0569084226973297e-27, -2.91707435315515e-27, -2.777240476205965e-27, -2.6374065992567796e-27, -2.497572914900589e-27, -2.3577388453584092e-27, -2.2179051610022185e-27, -2.0780712840530333e-27, -1.938237407103848e-27, -1.798403530154663e-27, -1.6585696532054776e-27, -1.5187357762562924e-27, -1.3789019956036044e-27, -1.2390681186544192e-27, -1.099234241705234e-27, -9.59400461052546e-28, -8.195665841033608e-28, -6.797327071541756e-28, -5.398988302049904e-28, -4.000650014040538e-28, -2.602311726031172e-28, -1.20397295653932e-28, 1.9436581295253204e-29, 1.592703619479412e-28, 2.991042388971264e-28, 4.389381158463116e-28, 5.787719927954968e-28, 7.186058215964334e-28, 8.5843965039737e-28, 9.982735273465552e-28, 1.1381074042957404e-27, 1.2779411849484284e-27, 1.4177750618976136e-27, 1.5576089388467988e-27, 1.697442815795984e-27, 1.8372766927451692e-27, 1.97711037710136e-27, 2.1169444466435397e-27, 2.2567781309997304e-27, 2.3966120079489156e-27, 2.536445884898101e-27, 2.676279761847286e-27, 2.8161136387964713e-27, 2.9559475157456565e-27, 3.0957813926948417e-27, 3.2356150770510324e-27, 3.375449146593212e-27, 3.515282830949403e-27, 3.6551169004915825e-27, 3.794950584847773e-27]}, "gradients/decoder.bert.encoder.layer.11.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 5.0, 2.0, 6.0, 2.0, 2.0, 7.0, 4.0, 8.0, 10.0, 12.0, 22.0, 15.0, 22.0, 29.0, 35.0, 41.0, 46.0, 37.0, 40.0, 37.0, 47.0, 53.0, 42.0, 47.0, 53.0, 48.0, 51.0, 37.0, 41.0, 34.0, 23.0, 33.0, 20.0, 18.0, 15.0, 10.0, 11.0, 13.0, 12.0, 5.0, 5.0, 2.0, 5.0, 4.0, 4.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.57332843354329e-27, -3.4566351826549005e-27, -3.339941931766511e-27, -3.223248680878122e-27, -3.1065554299897327e-27, -2.9898621791013435e-27, -2.8731691208059487e-27, -2.7564758699175594e-27, -2.63978261902917e-27, -2.523089368140781e-27, -2.4063961172523917e-27, -2.2897028663640024e-27, -2.1730098080686076e-27, -2.0563165571802184e-27, -1.939623306291829e-27, -1.82293005540344e-27, -1.7062368045150506e-27, -1.5895435536266613e-27, -1.472850302738272e-27, -1.35615714814638e-27, -1.2394638972579908e-27, -1.1227706463696016e-27, -1.0060774917777095e-27, -8.893842408893203e-28, -7.72690990000931e-28, -6.559977391125418e-28, -5.393045363724011e-28, -4.226113336322605e-28, -3.059180827438712e-28, -1.8922483185548197e-28, -7.253162911534132e-29, 4.416157362479932e-29, 1.608544393271997e-28, 2.7754766614146464e-28, 3.942408929557296e-28, 5.109340956958702e-28, 6.276273465842595e-28, 7.443205974726487e-28, 8.610137520645408e-28, 9.7770700295293e-28, 1.0944002538413193e-27, 1.2110935047297085e-27, 1.3277867556180978e-27, 1.4444799102099898e-27, 1.561173161098379e-27, 1.677866315690271e-27, 1.7945595665786604e-27, 1.9112528174670496e-27, 2.027946068355439e-27, 2.144639319243828e-27, 2.2613325701322174e-27, 2.3780258210206066e-27, 2.494719071908996e-27, 2.611412322797385e-27, 2.72810538109278e-27, 2.8447986319811692e-27, 2.9614918828695584e-27, 3.0781851337579477e-27, 3.194878384646337e-27, 3.311571442941732e-27, 3.428264693830121e-27, 3.54495794471851e-27, 3.6616511956068995e-27, 3.778344446495289e-27, 3.895037697383678e-27]}, "gradients/decoder.bert.encoder.layer.11.attention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.11.attention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.11.attention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.11.attention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.11.attention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.11.attention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.11.attention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.11.attention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.10.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 2.0, 3.0, 4.0, 4.0, 3.0, 6.0, 14.0, 2.0, 5.0, 9.0, 14.0, 11.0, 21.0, 15.0, 40.0, 39.0, 52.0, 71.0, 112.0, 165.0, 121.0, 58.0, 62.0, 40.0, 34.0, 16.0, 19.0, 16.0, 14.0, 10.0, 5.0, 4.0, 5.0, 4.0, 1.0, 4.0, 3.0, 2.0, 1.0, 3.0, 0.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-1.9720472998705604e-27, -1.9095219842260288e-27, -1.8469968611744916e-27, -1.78447154552996e-27, -1.721946422478423e-27, -1.6594211068338912e-27, -1.5968958874858568e-27, -1.5343706681378224e-27, -1.4718453524932908e-27, -1.4093201331452564e-27, -1.346794913797222e-27, -1.2842695981526904e-27, -1.221744378804656e-27, -1.1592191594566216e-27, -1.0966939401085873e-27, -1.0341687207605529e-27, -9.716435014125185e-28, -9.09118282064484e-28, -8.465930627164497e-28, -7.840677952201667e-28, -7.215425277238837e-28, -6.590173083758493e-28, -5.964920890278149e-28, -5.339668215315319e-28, -4.714416021834975e-28, -4.089163828354631e-28, -3.463911153391801e-28, -2.838658959911457e-28, -2.21340652568987e-28, -1.5881540914682832e-28, -9.629018979879392e-29, -3.376492230251092e-29, 2.876029704552347e-29, 9.128553444915109e-29, 1.5381077185277871e-28, 2.1633600323787526e-28, 2.7886124666003396e-28, 3.4138649008219265e-28, 4.0391170943022705e-28, 4.6643697692651005e-28, 5.289621962745444e-28, 5.914874156225788e-28, 6.540126831188618e-28, 7.165379024668962e-28, 7.790631218149306e-28, 8.415884374594622e-28, 9.041135605109994e-28, 9.66638876155531e-28, 1.0291640955035654e-27, 1.0916893148515998e-27, 1.1542145341996342e-27, 1.2167397535476686e-27, 1.2792650691922002e-27, 1.3417902885402346e-27, 1.404315507888269e-27, 1.4668408235328006e-27, 1.5293659465843378e-27, 1.5918911659323722e-27, 1.6544163852804066e-27, 1.716941700924938e-27, 1.7794668239764753e-27, 1.841992139621007e-27, 1.9045174552655386e-27, 1.9670425783170757e-27, 2.0295678939616074e-27]}, "gradients/decoder.bert.encoder.layer.10.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 4.0, 3.0, 3.0, 5.0, 2.0, 4.0, 4.0, 4.0, 16.0, 4.0, 16.0, 20.0, 24.0, 21.0, 30.0, 38.0, 35.0, 41.0, 39.0, 41.0, 46.0, 47.0, 47.0, 40.0, 52.0, 55.0, 48.0, 50.0, 41.0, 36.0, 26.0, 28.0, 27.0, 22.0, 13.0, 17.0, 12.0, 8.0, 15.0, 8.0, 6.0, 4.0, 4.0, 3.0, 4.0, 4.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.331701304526562e-27, -1.28776284988582e-27, -1.2438242989485807e-27, -1.1998857480113414e-27, -1.1559472933705994e-27, -1.1120088387298573e-27, -1.068070287792618e-27, -1.0241317368553788e-27, -9.801932822146367e-28, -9.362548275738947e-28, -8.923162766366554e-28, -8.483777256994161e-28, -8.044392710586741e-28, -7.605007682696834e-28, -7.165622654806927e-28, -6.726237626917021e-28, -6.286852599027114e-28, -5.847467571137207e-28, -5.408082543247301e-28, -4.968697515357394e-28, -4.529312487467487e-28, -4.089927459577581e-28, -3.650542431687674e-28, -3.2111574037977673e-28, -2.7717723759078606e-28, -2.332387348017954e-28, -1.8930023201280473e-28, -1.4536172922381406e-28, -1.014232264348234e-28, -5.748472364583273e-29, -1.3546220856842062e-29, 3.0392281932148604e-29, 7.433078472113927e-29, 1.1826928751012994e-28, 1.622077902991206e-28, 2.0614629308811127e-28, 2.5008479587710194e-28, 2.940232986660926e-28, 3.3796180145508327e-28, 3.8190030424407394e-28, 4.258388070330646e-28, 4.697773098220553e-28, 5.137158126110459e-28, 5.576543154000366e-28, 6.015928181890273e-28, 6.455313209780179e-28, 6.894698237670086e-28, 7.334083265559993e-28, 7.773468293449899e-28, 8.21285283985732e-28, 8.652238349229713e-28, 9.091623858602105e-28, 9.531008405009526e-28, 9.970392951416947e-28, 1.040977846078934e-27, 1.0849163970161732e-27, 1.1288548516569153e-27, 1.1727933062976573e-27, 1.2167318572348966e-27, 1.2606704081721359e-27, 1.304608862812878e-27, 1.34854731745362e-27, 1.3924858683908593e-27, 1.4364244193280985e-27, 1.4803628739688406e-27]}, "gradients/decoder.bert.encoder.layer.10.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.10.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.10.intermediate.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.10.intermediate.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.10.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 2.0, 1.0, 0.0, 2.0, 3.0, 5.0, 0.0, 4.0, 4.0, 7.0, 11.0, 13.0, 15.0, 25.0, 24.0, 34.0, 47.0, 64.0, 87.0, 173.0, 181.0, 80.0, 64.0, 34.0, 25.0, 21.0, 18.0, 12.0, 16.0, 11.0, 7.0, 3.0, 3.0, 6.0, 3.0, 5.0, 1.0, 0.0, 1.0, 1.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.363852475567777e-28, -4.2267984859003205e-28, -4.08974497771535e-28, -3.9526909880478932e-28, -3.8156369983804366e-28, -3.678583249454223e-28, -3.5415295005280093e-28, -3.4044755108605527e-28, -3.267421761934339e-28, -3.1303680130081254e-28, -2.9933140233406687e-28, -2.856260274414455e-28, -2.7192065254882415e-28, -2.582152535820785e-28, -2.445098786894571e-28, -2.3080450379683576e-28, -2.170991048300901e-28, -2.0339372993746873e-28, -1.8968833097072306e-28, -1.759829560781017e-28, -1.6227756914841818e-28, -1.4857218221873467e-28, -1.348668073261133e-28, -1.211614203964298e-28, -1.0745603346674628e-28, -9.375064653706276e-29, -8.004526562591032e-29, -6.633988471475789e-29, -5.263449778507437e-29, -3.8929110855390856e-29, -2.5223729944238418e-29, -1.151834903308598e-29, 2.1870378965975354e-30, 1.5892421817015512e-29, 2.959780573743349e-29, 4.3303189657851465e-29, 5.700857357826944e-29, 7.071396050795296e-29, 8.44193414191054e-29, 9.812472233025783e-29, 1.1183010925994135e-28, 1.2553549618962486e-28, 1.3924088311930838e-28, 1.5294625801192974e-28, 1.6665164494161325e-28, 1.8035703187129677e-28, 1.9406240676391813e-28, 2.077677816565395e-28, 2.2147318062328516e-28, 2.3517855551590652e-28, 2.488839544826522e-28, 2.6258932937527355e-28, 2.762947283420192e-28, 2.900001032346406e-28, 3.0370547812726194e-28, 3.174108770940076e-28, 3.3111625198662897e-28, 3.4482162687925034e-28, 3.58527025845996e-28, 3.7223240073861737e-28, 3.8593777563123873e-28, 3.996431745979844e-28, 4.133485735647301e-28, 4.270539243832271e-28, 4.407593233499728e-28]}, "gradients/decoder.bert.encoder.layer.10.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 3.0, 1.0, 6.0, 4.0, 1.0, 5.0, 4.0, 6.0, 15.0, 8.0, 16.0, 18.0, 26.0, 25.0, 34.0, 33.0, 36.0, 44.0, 39.0, 42.0, 44.0, 53.0, 40.0, 48.0, 47.0, 54.0, 49.0, 54.0, 31.0, 34.0, 30.0, 25.0, 29.0, 19.0, 11.0, 18.0, 10.0, 11.0, 13.0, 7.0, 6.0, 4.0, 3.0, 1.0, 4.0, 4.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.5198484613786147e-28, -2.435823026799916e-28, -2.3517978329624607e-28, -2.267772398383762e-28, -2.1837469638050637e-28, -2.099721529226365e-28, -2.0156962150182881e-28, -1.9316709008102112e-28, -1.8476454662315126e-28, -1.7636200316528141e-28, -1.6795947174447371e-28, -1.5955694032366601e-28, -1.5115439686579616e-28, -1.427518534079263e-28, -1.343493219871186e-28, -1.259467905663109e-28, -1.1754424710844106e-28, -1.091417036505712e-28, -1.0073917222976351e-28, -9.233663479042473e-29, -8.393409735108595e-29, -7.553155991174718e-29, -6.71290224724084e-29, -5.872648503306963e-29, -5.032394759373085e-29, -4.1921410154392076e-29, -3.35188727150533e-29, -2.5116335275714525e-29, -1.671379783637575e-29, -8.311260397036973e-30, 9.127704230180256e-32, 8.493814481640578e-30, 1.689632784685505e-29, 2.5298865286193825e-29, 3.37014027255326e-29, 4.2103940164871376e-29, 5.050647760421015e-29, 5.890901504354893e-29, 6.73115524828877e-29, 7.571408992222648e-29, 8.411662736156526e-29, 9.251916480090403e-29, 1.0092170224024281e-28, 1.093242336610505e-28, 1.1772677711892036e-28, 1.261293205767902e-28, 1.345318519975979e-28, 1.429343834184056e-28, 1.5133692687627546e-28, 1.5973947033414531e-28, 1.6814200175495301e-28, 1.7654453317576071e-28, 1.8494707663363056e-28, 1.9334962009150042e-28, 2.0175215151230812e-28, 2.101546829331158e-28, 2.1855722639098567e-28, 2.269597698488555e-28, 2.3536231330672537e-28, 2.437648326904709e-28, 2.5216737614834077e-28, 2.605699196062106e-28, 2.6897243898995617e-28, 2.77374982447826e-28, 2.8577752590569587e-28]}, "gradients/decoder.bert.encoder.layer.10.crossattention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.10.crossattention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.10.crossattention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.10.crossattention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.10.crossattention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.10.crossattention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.10.crossattention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.10.crossattention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.10.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 3.0, 1.0, 3.0, 0.0, 2.0, 3.0, 2.0, 4.0, 3.0, 10.0, 11.0, 9.0, 16.0, 20.0, 27.0, 28.0, 43.0, 61.0, 66.0, 90.0, 124.0, 128.0, 86.0, 59.0, 44.0, 45.0, 28.0, 19.0, 21.0, 13.0, 8.0, 7.0, 9.0, 2.0, 5.0, 3.0, 1.0, 3.0, 3.0, 3.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0], "bins": [-2.0647643660103124e-29, -1.993120223468938e-29, -1.9214760809275635e-29, -1.849831787922912e-29, -1.7781876453815376e-29, -1.7065435028401632e-29, -1.6348993602987887e-29, -1.5632550672941374e-29, -1.491610924752763e-29, -1.4199667822113884e-29, -1.348322639670014e-29, -1.2766783466653626e-29, -1.2050342041239882e-29, -1.1333900615826137e-29, -1.0617459190412393e-29, -9.901017012682263e-30, -9.184575587268519e-30, -8.468134161854774e-30, -7.751691984124645e-30, -7.0352505587109e-30, -6.318808380980771e-30, -5.602366955567027e-30, -4.88592515399509e-30, -4.169483352423153e-30, -3.4530415508512164e-30, -2.7365997492792795e-30, -2.0201579477073427e-30, -1.303716334214502e-30, -5.872745326425651e-31, 1.2916708085027558e-31, 8.456088824222124e-31, 1.5620506839941493e-30, 2.278492485566086e-30, 2.994934287138023e-30, 3.71137608870996e-30, 4.4278175141237044e-30, 5.1442596918538335e-30, 5.860701117267578e-30, 6.577142542681323e-30, 7.293584720411452e-30, 8.010026898141581e-30, 8.726468323555325e-30, 9.442910501285455e-30, 1.0159351926699199e-29, 1.0875794104429328e-29, 1.1592235529843073e-29, 1.2308676955256817e-29, 1.3025118380670562e-29, 1.3741561310717076e-29, 1.445800273613082e-29, 1.5174444161544565e-29, 1.5890887091591078e-29, 1.6607328517004823e-29, 1.7323769942418568e-29, 1.8040211367832312e-29, 1.8756652793246057e-29, 1.94730942186598e-29, 2.0189535644073546e-29, 2.090597706948729e-29, 2.1622419999533804e-29, 2.233886142494755e-29, 2.3055302850361293e-29, 2.3771744275775038e-29, 2.4488187205821551e-29, 2.5204628631235296e-29]}, "gradients/decoder.bert.encoder.layer.10.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 3.0, 3.0, 4.0, 5.0, 1.0, 6.0, 3.0, 7.0, 13.0, 9.0, 17.0, 17.0, 31.0, 21.0, 36.0, 38.0, 32.0, 45.0, 38.0, 40.0, 46.0, 55.0, 35.0, 51.0, 50.0, 54.0, 50.0, 49.0, 36.0, 29.0, 29.0, 24.0, 31.0, 16.0, 12.0, 16.0, 11.0, 10.0, 13.0, 8.0, 6.0, 3.0, 3.0, 3.0, 3.0, 4.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.5643681946166824e-29, -1.511955214886399e-29, -1.4595422351561157e-29, -1.4071291049625554e-29, -1.354716125232272e-29, -1.3023031455019886e-29, -1.2498901657717052e-29, -1.1974771860414218e-29, -1.1450641310795e-29, -1.0926511513492166e-29, -1.0402380963872948e-29, -9.878251166570114e-30, -9.35412136926728e-30, -8.829990819648062e-30, -8.305861022345228e-30, -7.78173047272601e-30, -7.257600675423176e-30, -6.733470878120342e-30, -6.209340328501124e-30, -5.68521053119829e-30, -5.161080357737264e-30, -4.636950184276238e-30, -4.112820386973404e-30, -3.588690213512378e-30, -3.064560040051352e-30, -2.5404298665903258e-30, -2.016299881208396e-30, -1.4921698017869179e-30, -9.680397223654398e-31, -4.439095489044138e-31, 8.022043647751619e-32, 6.043504218594461e-31, 1.1284805953204722e-30, 1.6526107687814983e-30, 2.1767407541634282e-30, 2.7008707395453582e-30, 3.225000913006384e-30, 3.7491310864674104e-30, 4.273260883770244e-30, 4.79739105723127e-30, 5.321521230692296e-30, 5.8456514041533224e-30, 6.369781577614348e-30, 6.893911374917182e-30, 7.418041172220016e-30, 7.942171721839234e-30, 8.466301519142068e-30, 8.990432068761287e-30, 9.51456186606412e-30, 1.0038691663366954e-29, 1.0562822212986173e-29, 1.1086952010289006e-29, 1.1611082559908225e-29, 1.2135212357211059e-29, 1.2659342154513892e-29, 1.3183471951816726e-29, 1.370760174911956e-29, 1.4231731546422394e-29, 1.4755861343725228e-29, 1.527999264566083e-29, 1.5804122442963664e-29, 1.6328252240266498e-29, 1.6852382037569332e-29, 1.7376511834872166e-29, 1.790064313680777e-29]}, "gradients/decoder.bert.encoder.layer.10.attention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.10.attention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.10.attention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.10.attention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.10.attention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.10.attention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.10.attention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.10.attention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.9.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 2.0, 0.0, 6.0, 4.0, 2.0, 3.0, 2.0, 6.0, 5.0, 8.0, 8.0, 10.0, 12.0, 17.0, 18.0, 22.0, 29.0, 63.0, 50.0, 81.0, 133.0, 145.0, 95.0, 72.0, 65.0, 40.0, 19.0, 16.0, 16.0, 13.0, 8.0, 10.0, 8.0, 10.0, 5.0, 7.0, 1.0, 2.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-7.077895612967772e-30, -6.794911804928218e-30, -6.511927244572279e-30, -6.2289430603745325e-30, -5.945958876176786e-30, -5.6629746919790395e-30, -5.379990507781293e-30, -5.097006699741739e-30, -4.8140221393858e-30, -4.5310379551880536e-30, -4.248053770990307e-30, -3.965069586792561e-30, -3.682085402594814e-30, -3.399101218397068e-30, -3.1161172222784174e-30, -2.833133038080671e-30, -2.5501490419620206e-30, -2.267164857764274e-30, -1.9841806735665277e-30, -1.7011964893687812e-30, -1.4182123992105828e-30, -1.1352282150128363e-30, -8.52244124854638e-31, -5.692599406568915e-31, -2.86275756459145e-31, -3.291595771285553e-33, 2.796925649165739e-31, 5.626767020945463e-31, 8.456608862922928e-31, 1.1286450704900393e-30, 1.4116291606482377e-30, 1.694613344845984e-30, 1.9775975290437306e-30, 2.260581713241477e-30, 2.5435658974392235e-30, 2.82655008163697e-30, 3.1095342658347165e-30, 3.392518450032463e-30, 3.6755026342302094e-30, 3.9584864422697636e-30, 4.2414710026257024e-30, 4.524455186823449e-30, 4.807439371021195e-30, 5.090423555218942e-30, 5.373407739416688e-30, 5.656391923614435e-30, 5.939376107812181e-30, 6.2223599158517354e-30, 6.505344476207674e-30, 6.788328284247228e-30, 7.071312844603167e-30, 7.354296652642721e-30, 7.63728121299866e-30, 7.920265021038214e-30, 8.203249581394153e-30, 8.486233389433707e-30, 8.769217197473261e-30, 9.052201005512816e-30, 9.335185565868754e-30, 9.618169373908308e-30, 9.901153934264247e-30, 1.0184137742303801e-29, 1.046712230265974e-29, 1.0750106110699294e-29, 1.1033090671055233e-29]}, "gradients/decoder.bert.encoder.layer.9.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 4.0, 2.0, 4.0, 4.0, 3.0, 3.0, 4.0, 5.0, 9.0, 12.0, 10.0, 15.0, 21.0, 29.0, 23.0, 34.0, 40.0, 30.0, 46.0, 38.0, 46.0, 48.0, 47.0, 38.0, 55.0, 46.0, 56.0, 53.0, 41.0, 38.0, 27.0, 33.0, 23.0, 27.0, 14.0, 15.0, 14.0, 12.0, 11.0, 11.0, 7.0, 5.0, 3.0, 3.0, 3.0, 3.0, 5.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.736852913255903e-30, -5.5436407624327145e-30, -5.350428611609526e-30, -5.157216460786337e-30, -4.9640046861213406e-30, -4.770792535298152e-30, -4.577580384474963e-30, -4.3843682336517745e-30, -4.191156082828586e-30, -3.997943932005397e-30, -3.8047317811822084e-30, -3.61151963035902e-30, -3.418307479535831e-30, -3.225095328712642e-30, -3.031883554047646e-30, -2.8386714032244572e-30, -2.6454592524012685e-30, -2.4522471015780798e-30, -2.259034950754891e-30, -2.0658229880107985e-30, -1.8726108371876098e-30, -1.679398686364421e-30, -1.4861866295807805e-30, -1.2929745727971398e-30, -1.0997624219739511e-30, -9.065502711507624e-31, -7.133382143671218e-31, -5.201261105637071e-31, -3.2691400676029247e-31, -1.3370185593710377e-31, 5.951020084653686e-32, 2.527222576301775e-31, 4.459347846115585e-31, 6.391468884149731e-31, 8.323589922183878e-31, 1.0255710490020284e-30, 1.2187831998252171e-30, 1.4119953506484058e-30, 1.6052073133924984e-30, 1.798419464215687e-30, 1.9916316150388758e-30, 2.1848437658620645e-30, 2.3780559166852532e-30, 2.5712678794293458e-30, 2.7644800302525345e-30, 2.9576921810757232e-30, 3.1509041438198157e-30, 3.3441162946430044e-30, 3.537328445466193e-30, 3.730540596289382e-30, 3.9237527471125705e-30, 4.116964897935759e-30, 4.310177048758948e-30, 4.5033891995821366e-30, 4.696600974247133e-30, 4.889813125070322e-30, 5.0830252758935105e-30, 5.276237426716699e-30, 5.469449577539888e-30, 5.6626617283630766e-30, 5.855873503028073e-30, 6.049085653851262e-30, 6.2422978046744504e-30, 6.435509955497639e-30, 6.628722106320828e-30]}, "gradients/decoder.bert.encoder.layer.9.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.9.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.9.intermediate.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.9.intermediate.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.9.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 2.0, 1.0, 3.0, 3.0, 6.0, 1.0, 3.0, 2.0, 4.0, 7.0, 11.0, 22.0, 21.0, 28.0, 40.0, 45.0, 66.0, 128.0, 204.0, 128.0, 65.0, 68.0, 42.0, 26.0, 21.0, 8.0, 17.0, 10.0, 9.0, 2.0, 9.0, 4.0, 1.0, 5.0, 0.0, 1.0, 0.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.6064296426093343e-30, -2.5040519839747506e-30, -2.4016741372610707e-30, -2.299296290547391e-30, -2.196918631912807e-30, -2.0945409732782235e-30, -1.9921631265645436e-30, -1.8897852798508638e-30, -1.78740762121628e-30, -1.6850299625816963e-30, -1.5826521158680165e-30, -1.4802743631938847e-30, -1.377896610519753e-30, -1.2755188578456211e-30, -1.1731411051714894e-30, -1.0707633524973576e-30, -9.683855998232258e-31, -8.66007847149094e-31, -7.636300944749622e-31, -6.6125234180083044e-31, -5.588745891266987e-31, -4.564968364525669e-31, -3.541190837784351e-31, -2.517413311043033e-31, -1.4936357843017153e-31, -4.698582575603975e-32, 5.539192691809203e-32, 1.5776967959222381e-31, 2.601474322663556e-31, 3.6252518494048738e-31, 4.649029376146192e-31, 5.672806902887509e-31, 6.696582548837866e-31, 7.720360075579184e-31, 8.744137602320502e-31, 9.76791512906182e-31, 1.0791692655803137e-30, 1.1815470182544455e-30, 1.2839247709285773e-30, 1.386302523602709e-30, 1.4886802762768408e-30, 1.5910581229905207e-30, 1.6934357816251044e-30, 1.795813440259688e-30, 1.898191286973368e-30, 2.0005691336870478e-30, 2.1029467923216315e-30, 2.2053244509562153e-30, 2.307702297669895e-30, 2.410080144383575e-30, 2.5124578030181587e-30, 2.6148354616527424e-30, 2.7172133083664222e-30, 2.819591155080102e-30, 2.9219688137146858e-30, 3.0243464723492695e-30, 3.1267243190629494e-30, 3.229102165776629e-30, 3.331479636332117e-30, 3.4338574830457966e-30, 3.5362353297594765e-30, 3.638613176473156e-30, 3.740991023186836e-30, 3.843368493742324e-30, 3.9457463404560036e-30]}, "gradients/decoder.bert.encoder.layer.9.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 5.0, 1.0, 3.0, 5.0, 2.0, 4.0, 4.0, 6.0, 8.0, 10.0, 12.0, 12.0, 17.0, 33.0, 24.0, 37.0, 31.0, 37.0, 40.0, 42.0, 43.0, 44.0, 50.0, 39.0, 47.0, 49.0, 56.0, 50.0, 49.0, 41.0, 26.0, 26.0, 26.0, 30.0, 16.0, 14.0, 15.0, 13.0, 8.0, 13.0, 9.0, 5.0, 4.0, 2.0, 2.0, 4.0, 5.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.7704908469147263e-30, -1.711194397960943e-30, -1.6518979490071597e-30, -1.5926015000533763e-30, -1.533305145139141e-30, -1.4740086961853577e-30, -1.4147123412711224e-30, -1.3554158923173391e-30, -1.2961194433635558e-30, -1.2368229944097724e-30, -1.177526545455989e-30, -1.1182301905417538e-30, -1.0589337415879705e-30, -9.996372926341871e-31, -9.403409377199519e-31, -8.810444887661685e-31, -8.217480398123852e-31, -7.624515908586018e-31, -7.031551889245925e-31, -6.438587869905832e-31, -5.845623380367999e-31, -5.252658890830165e-31, -4.659694871490072e-31, -4.066730852149979e-31, -3.473766362612146e-31, -2.8808021081731827e-31, -2.2878378537342194e-31, -1.6948735992952562e-31, -1.101909344856293e-31, -5.089450904173297e-32, 8.401916402163349e-33, 6.769831833617266e-32, 1.26994767289956e-31, 1.8629119273385232e-31, 2.4558761817774864e-31, 3.0488404362164496e-31, 3.641804690655413e-31, 4.234769180193246e-31, 4.827733199533339e-31, 5.420697218873432e-31, 6.013661708411266e-31, 6.606626197949099e-31, 7.199590217289192e-31, 7.792554236629285e-31, 8.385518726167119e-31, 8.978483215704952e-31, 9.571446764847305e-31, 1.0164411254385138e-30, 1.0757375743922972e-30, 1.1350340233460805e-30, 1.1943304722998638e-30, 1.2536268272140991e-30, 1.3129232761678825e-30, 1.3722197251216658e-30, 1.431516080035901e-30, 1.4908125289896844e-30, 1.5501089779434677e-30, 1.609405426897251e-30, 1.6687018758510344e-30, 1.7279983248048178e-30, 1.787294585679505e-30, 1.8465910346332883e-30, 1.9058874835870717e-30, 1.965183932540855e-30, 2.0244803814946383e-30]}, "gradients/decoder.bert.encoder.layer.9.crossattention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.9.crossattention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.9.crossattention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.9.crossattention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.9.crossattention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.9.crossattention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.9.crossattention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.9.crossattention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.9.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 2.0, 2.0, 2.0, 3.0, 5.0, 2.0, 7.0, 5.0, 5.0, 10.0, 7.0, 11.0, 8.0, 16.0, 20.0, 25.0, 25.0, 41.0, 39.0, 65.0, 87.0, 116.0, 119.0, 81.0, 53.0, 56.0, 39.0, 32.0, 20.0, 23.0, 18.0, 14.0, 13.0, 10.0, 4.0, 5.0, 4.0, 1.0, 6.0, 0.0, 4.0, 1.0, 4.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 1.0], "bins": [-2.0962865823891946e-31, -2.0363170923899044e-31, -1.9763476023906143e-31, -1.916377994841889e-31, -1.8564085048425989e-31, -1.7964390148433087e-31, -1.7364694072945835e-31, -1.6764999172952934e-31, -1.6165304272960032e-31, -1.556560937296713e-31, -1.496591447297423e-31, -1.4366218397486977e-31, -1.3766523497494075e-31, -1.3166828597501174e-31, -1.2567132522013921e-31, -1.196743762202102e-31, -1.1367742722028119e-31, -1.0768047822035217e-31, -1.0168352922042316e-31, -9.568656846555063e-32, -8.968961946562162e-32, -8.36926704656926e-32, -7.769571558829183e-32, -7.169876071089106e-32, -6.570181171096205e-32, -5.970486271103304e-32, -5.370790783363227e-32, -4.7710955894967374e-32, -4.171400395630248e-32, -3.571705201763759e-32, -2.97201000789727e-32, -2.3723148140307807e-32, -1.7726184446699406e-32, -1.1729232508034515e-32, -5.732280569369623e-33, 2.646713692952692e-34, 6.261623307960161e-33, 1.2258575246625053e-32, 1.8255527185289945e-32, 2.4252479123954837e-32, 3.024943106261973e-32, 3.624638300128462e-32, 4.224333493994951e-32, 4.8240286878614404e-32, 5.42372388172793e-32, 6.023418781720831e-32, 6.623114269460908e-32, 7.222809757200985e-32, 7.822504657193886e-32, 8.422199557186788e-32, 9.021895044926865e-32, 9.621590532666942e-32, 1.0221285432659843e-31, 1.0820980332652745e-31, 1.1420675232645646e-31, 1.2020371308132898e-31, 1.26200662081258e-31, 1.3219761108118701e-31, 1.3819457183605954e-31, 1.4419152083598855e-31, 1.5018846983591757e-31, 1.5618541883584658e-31, 1.621823678357756e-31, 1.6817932859064812e-31, 1.7417627759057713e-31]}, "gradients/decoder.bert.encoder.layer.9.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 4.0, 2.0, 2.0, 4.0, 4.0, 1.0, 6.0, 4.0, 6.0, 11.0, 6.0, 14.0, 20.0, 17.0, 24.0, 24.0, 43.0, 30.0, 40.0, 42.0, 41.0, 40.0, 47.0, 51.0, 37.0, 49.0, 50.0, 54.0, 49.0, 50.0, 36.0, 30.0, 20.0, 32.0, 22.0, 16.0, 16.0, 12.0, 12.0, 11.0, 12.0, 8.0, 5.0, 3.0, 2.0, 4.0, 3.0, 4.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.4477938556083478e-31, -1.3989132740181046e-31, -1.3500325748784263e-31, -1.3011519932881832e-31, -1.2522712941485049e-31, -1.2033907125582617e-31, -1.1545101309680185e-31, -1.1056294318283403e-31, -1.056748732688662e-31, -1.0078681510984188e-31, -9.589874519587406e-32, -9.101068703684974e-32, -8.612261712288191e-32, -8.123455896385759e-32, -7.634649492736152e-32, -7.145843089086545e-32, -6.657037273184113e-32, -6.168230869534506e-32, -5.679424465884899e-32, -5.190618649982467e-32, -4.701811952459272e-32, -4.2130055488096646e-32, -3.724199439033645e-32, -3.235393035384038e-32, -2.7465866317344306e-32, -2.2577802280848234e-32, -1.76897397137201e-32, -1.2801677146591966e-32, -7.913613110095894e-33, -3.0255490735998218e-33, 1.8625120241603734e-33, 6.750576060656446e-33, 1.1638651852096026e-32, 1.6526715888592098e-32, 2.1414778455720232e-32, 2.6302841022848366e-32, 3.119090505934444e-32, 3.607896909584051e-32, 4.0967030193600706e-32, 4.585509423009678e-32, 5.074315826659285e-32, 5.563122230308892e-32, 6.0519286339585e-32, 6.540735037608107e-32, 7.029540853510539e-32, 7.518347844907321e-32, 8.007153660809753e-32, 8.49596006445936e-32, 8.984766468108967e-32, 9.473572871758575e-32, 9.962379275408182e-32, 1.0451185091310614e-31, 1.0939992082707396e-31, 1.1428797898609828e-31, 1.191760371451226e-31, 1.2406410705909043e-31, 1.2895217697305825e-31, 1.3384023513208257e-31, 1.387283050460504e-31, 1.4361636320507471e-31, 1.4850443311904254e-31, 1.5339249127806686e-31, 1.5828054943709118e-31, 1.63168619351059e-31, 1.6805667751008332e-31]}, "gradients/decoder.bert.encoder.layer.9.attention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.9.attention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.9.attention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.9.attention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.9.attention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.9.attention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.9.attention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.9.attention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.8.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 3.0, 1.0, 5.0, 3.0, 4.0, 2.0, 2.0, 5.0, 8.0, 7.0, 12.0, 15.0, 21.0, 33.0, 37.0, 44.0, 48.0, 86.0, 166.0, 158.0, 92.0, 46.0, 44.0, 34.0, 32.0, 25.0, 15.0, 13.0, 13.0, 6.0, 7.0, 8.0, 4.0, 6.0, 2.0, 3.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-6.146138040957976e-32, -5.900915813444237e-32, -5.655693585930498e-32, -5.410471358416759e-32, -5.16524913090302e-32, -4.920027197262869e-32, -4.67480496974913e-32, -4.4295830361089784e-32, -4.1843608085952394e-32, -3.9391385810815003e-32, -3.6939163535677613e-32, -3.448694126054022e-32, -3.203472192413871e-32, -2.958249964900132e-32, -2.713027737386393e-32, -2.4678058037462415e-32, -2.2225832823589147e-32, -1.9773610548451757e-32, -1.7321389742682305e-32, -1.4869167467544915e-32, -1.2416946661775463e-32, -9.964724386638072e-33, -7.512502111500682e-33, -5.06028130573123e-33, -2.6080590305938396e-33, -1.5583730646942613e-34, 2.2963844176549873e-33, 4.748606325450393e-33, 7.200827865903814e-33, 9.653049406357235e-33, 1.2105271681494626e-32, 1.4557492487264078e-32, 1.7009714762401468e-32, 1.9461937037538859e-32, 2.191415784330831e-32, 2.43663801184457e-32, 2.6818600924215153e-32, 2.9270823199352543e-32, 3.1723045474489934e-32, 3.4175264810891447e-32, 3.662748708602884e-32, 3.907970936116623e-32, 4.153193163630362e-32, 4.398415391144101e-32, 4.643637324784252e-32, 4.888859552297991e-32, 5.134082073685318e-32, 5.379303713451882e-32, 5.624526528712796e-32, 5.869748756226535e-32, 6.114970983740274e-32, 6.360193211254013e-32, 6.605415438767752e-32, 6.850637666281491e-32, 7.09585989379523e-32, 7.341081533561794e-32, 7.586303761075533e-32, 7.831525988589272e-32, 8.076748216103011e-32, 8.32197044361675e-32, 8.567192671130489e-32, 8.812414310897053e-32, 9.057636538410792e-32, 9.302858765924531e-32, 9.54808099343827e-32]}, "gradients/decoder.bert.encoder.layer.8.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 3.0, 3.0, 2.0, 3.0, 5.0, 1.0, 6.0, 4.0, 5.0, 13.0, 6.0, 12.0, 20.0, 21.0, 22.0, 27.0, 35.0, 34.0, 46.0, 38.0, 40.0, 45.0, 47.0, 45.0, 40.0, 54.0, 49.0, 57.0, 49.0, 46.0, 34.0, 29.0, 22.0, 29.0, 26.0, 16.0, 15.0, 12.0, 10.0, 11.0, 13.0, 4.0, 5.0, 4.0, 2.0, 4.0, 3.0, 4.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.720494378050478e-32, -4.5606095139233847e-32, -4.400724943669879e-32, -4.240840373416373e-32, -4.08095550928928e-32, -3.9210706451621864e-32, -3.7611860749086806e-32, -3.601301504655175e-32, -3.4414166405280815e-32, -3.281531776400988e-32, -3.1216472061474823e-32, -2.9617626358939766e-32, -2.801877771766883e-32, -2.6419929076397897e-32, -2.482108337386284e-32, -2.3222236201959844e-32, -2.1623389030056848e-32, -2.0024541858153852e-32, -1.8425694686250856e-32, -1.682684751434786e-32, -1.5228000342444865e-32, -1.362915317054187e-32, -1.2030305998638873e-32, -1.0431458826735877e-32, -8.832611654832881e-33, -7.233764482929886e-33, -5.63491731102689e-33, -4.036070139123894e-33, -2.437222967220898e-33, -8.383757953179022e-34, 7.604713765850936e-34, 2.3593185484880895e-33, 3.958165720391085e-33, 5.557012892294081e-33, 7.155860064197077e-33, 8.754707236100073e-33, 1.0353554408003069e-32, 1.1952401579906064e-32, 1.355124875180906e-32, 1.5150095923712056e-32, 1.6748943095615052e-32, 1.8347790267518048e-32, 1.9946637439421044e-32, 2.154548461132404e-32, 2.3144331783227035e-32, 2.474318042449797e-32, 2.6342026127033027e-32, 2.7940871829568084e-32, 2.953972047083902e-32, 3.1138569112109953e-32, 3.273741481464501e-32, 3.433626051718007e-32, 3.5935109158451e-32, 3.7533957799721936e-32, 3.9132803502256993e-32, 4.073164920479205e-32, 4.2330497846062985e-32, 4.392934648733392e-32, 4.5528192189868977e-32, 4.7127037892404034e-32, 4.872588653367497e-32, 5.03247351749459e-32, 5.192358381621684e-32, 5.352242658001602e-32, 5.512127522128695e-32]}, "gradients/decoder.bert.encoder.layer.8.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.8.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.8.intermediate.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.8.intermediate.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.8.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 3.0, 2.0, 2.0, 3.0, 1.0, 5.0, 1.0, 0.0, 2.0, 1.0, 4.0, 2.0, 3.0, 7.0, 5.0, 6.0, 9.0, 15.0, 14.0, 11.0, 23.0, 33.0, 43.0, 46.0, 63.0, 94.0, 135.0, 119.0, 78.0, 66.0, 37.0, 28.0, 26.0, 24.0, 20.0, 16.0, 17.0, 8.0, 6.0, 5.0, 7.0, 8.0, 5.0, 2.0, 1.0, 7.0, 1.0, 1.0, 2.0, 0.0, 1.0, 2.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.776172257966064e-32, -1.7187652281021315e-32, -1.6613581982381988e-32, -1.60395131531106e-32, -1.5465442854471274e-32, -1.4891372555831948e-32, -1.431730372656056e-32, -1.3743233427921233e-32, -1.3169163129281907e-32, -1.259509283064258e-32, -1.2021023266687223e-32, -1.1446953702731866e-32, -1.087288340409254e-32, -1.0298813105453213e-32, -9.724743541497856e-33, -9.150673977542499e-33, -8.576603678903172e-33, -8.002533380263846e-33, -7.428463816308489e-33, -6.854394252353132e-33, -6.280323953713805e-33, -5.7062540224164634e-33, -5.1321840911191216e-33, -4.55811415982178e-33, -3.984044228524438e-33, -3.409974297227096e-33, -2.8359043659297543e-33, -2.2618344346324125e-33, -1.6877645033350707e-33, -1.1136945720377289e-33, -5.396246407403871e-34, 3.444529055695471e-35, 6.08513752486358e-34, 1.1825836837836998e-33, 1.7566536150810416e-33, 2.3307235463783834e-33, 2.9047934776757252e-33, 3.478863408973067e-33, 4.052933340270409e-33, 4.6270032715677506e-33, 5.2010732028650924e-33, 5.775143134162434e-33, 6.349213065459776e-33, 6.923282629415133e-33, 7.49735292805446e-33, 8.071423226693786e-33, 8.645492790649143e-33, 9.2195623546045e-33, 9.793632653243827e-33, 1.0367702951883153e-32, 1.094177251583851e-32, 1.1515842079793868e-32, 1.2089912378433194e-32, 1.266398267707252e-32, 1.3238052975711847e-32, 1.3812121804983235e-32, 1.438619210362256e-32, 1.4960262402261888e-32, 1.5534331231533276e-32, 1.6108401530172602e-32, 1.6682471828811929e-32, 1.7256542127451255e-32, 1.7830612426090581e-32, 1.840468125536197e-32, 1.8978751554001296e-32]}, "gradients/decoder.bert.encoder.layer.8.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 3.0, 3.0, 1.0, 4.0, 4.0, 1.0, 6.0, 6.0, 5.0, 10.0, 6.0, 16.0, 19.0, 19.0, 24.0, 30.0, 37.0, 34.0, 42.0, 38.0, 43.0, 37.0, 54.0, 45.0, 41.0, 52.0, 49.0, 53.0, 54.0, 43.0, 33.0, 29.0, 22.0, 27.0, 28.0, 14.0, 17.0, 10.0, 11.0, 13.0, 11.0, 4.0, 5.0, 4.0, 2.0, 4.0, 4.0, 3.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.3771188152951726e-32, -1.3303453073287783e-32, -1.283571946299178e-32, -1.2367984383327837e-32, -1.1900250773031834e-32, -1.143251642805186e-32, -1.0964782083071888e-32, -1.0497047003407945e-32, -1.0029313393111941e-32, -9.561579048131968e-33, -9.093844703151995e-33, -8.626110358172022e-33, -8.158376013192049e-33, -7.690641668212076e-33, -7.222907323232103e-33, -6.755172243568161e-33, -6.287437898588188e-33, -5.819703553608215e-33, -5.351969208628242e-33, -4.8842348636482687e-33, -4.4165005186682956e-33, -3.9487661736883226e-33, -3.481031461366365e-33, -3.013297116386392e-33, -2.5455627714064188e-33, -2.0778284264264457e-33, -1.6100940814464727e-33, -1.1423595527955073e-33, -6.746252078155343e-34, -2.0689086283556124e-34, 2.6084366581540413e-34, 7.285780107953772e-34, 1.1963123557753502e-33, 1.6640467007553233e-33, 2.1317810457352963e-33, 2.5995155743862617e-33, 3.0672499193662347e-33, 3.5349840806752155e-33, 4.002718792997173e-33, 4.470453137977146e-33, 4.938187482957119e-33, 5.405921827937092e-33, 5.873656172917065e-33, 6.341390885239023e-33, 6.809125230218996e-33, 7.276859575198969e-33, 7.744593920178942e-33, 8.212328265158915e-33, 8.680062610138888e-33, 9.147796955118861e-33, 9.615531300098834e-33, 1.0083265645078807e-32, 1.055099999005878e-32, 1.1018734335038753e-32, 1.1486469414702696e-32, 1.19542030249987e-32, 1.2421938104662642e-32, 1.2889673184326584e-32, 1.3357406794622588e-32, 1.382514187428653e-32, 1.4292875484582534e-32, 1.4760610564246476e-32, 1.522834417454248e-32, 1.5696079254206422e-32, 1.6163812864502426e-32]}, "gradients/decoder.bert.encoder.layer.8.crossattention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.8.crossattention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.8.crossattention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.8.crossattention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.8.crossattention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.8.crossattention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.8.crossattention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.8.crossattention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.8.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [6.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 3.0, 2.0, 1.0, 3.0, 2.0, 3.0, 7.0, 8.0, 6.0, 21.0, 22.0, 19.0, 27.0, 30.0, 66.0, 98.0, 120.0, 160.0, 111.0, 80.0, 50.0, 44.0, 20.0, 20.0, 16.0, 17.0, 15.0, 8.0, 7.0, 6.0, 1.0, 4.0, 8.0, 1.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-1.3158837329764895e-33, -1.2616999637238092e-33, -1.207516194471129e-33, -1.1533324252184488e-33, -1.0991487478012647e-33, -1.0449649785485844e-33, -9.907812092959042e-34, -9.36597440043224e-34, -8.824136707905437e-34, -8.282299015378635e-34, -7.740461322851833e-34, -7.198624089502511e-34, -6.656786856153189e-34, -6.114949163626387e-34, -5.573111471099585e-34, -5.031273778572782e-34, -4.4894370044009415e-34, -3.947599311874139e-34, -3.4057620785248175e-34, -2.863924385998015e-34, -2.322086923059953e-34, -1.7802494601218912e-34, -1.2384117675950889e-34, -6.965743046570269e-35, -1.5473684171896492e-35, 3.8710067861628215e-35, 9.289381989515292e-35, 1.4707757766839614e-34, 2.0126132396220234e-34, 2.5544507025600853e-34, 3.0962883950868877e-34, 3.6381258580249497e-34, 4.179964239317973e-34, 4.721801931844776e-34, 5.263639165194097e-34, 5.8054768577208995e-34, 6.347314091070221e-34, 6.8891517835970235e-34, 7.430989476123826e-34, 7.972827168650628e-34, 8.514663942822469e-34, 9.056501635349271e-34, 9.598339327876074e-34, 1.0140176102047915e-33, 1.0682013794574717e-33, 1.122385148710152e-33, 1.1765689179628322e-33, 1.2307526872155124e-33, 1.2849364564681926e-33, 1.3391202257208729e-33, 1.3933039949735531e-33, 1.4474877642262333e-33, 1.5016714416434174e-33, 1.5558553027315938e-33, 1.610038980148778e-33, 1.664222657565962e-33, 1.7184065186541384e-33, 1.7725901960713225e-33, 1.826774057159499e-33, 1.880957734576683e-33, 1.9351415956648593e-33, 1.9893252730820434e-33, 2.0435091341702198e-33, 2.097692811587404e-33, 2.151876489004588e-33]}, "gradients/decoder.bert.encoder.layer.8.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 4.0, 1.0, 4.0, 4.0, 1.0, 6.0, 6.0, 5.0, 10.0, 7.0, 15.0, 19.0, 18.0, 25.0, 31.0, 37.0, 34.0, 39.0, 41.0, 41.0, 37.0, 54.0, 46.0, 41.0, 51.0, 50.0, 51.0, 56.0, 44.0, 32.0, 30.0, 21.0, 27.0, 28.0, 14.0, 18.0, 10.0, 10.0, 13.0, 9.0, 6.0, 5.0, 4.0, 1.0, 5.0, 4.0, 3.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.0031324406806809e-33, -9.690577981862199e-34, -9.34983247527255e-34, -9.009086050327939e-34, -8.668339625383328e-34, -8.327593200438718e-34, -7.986847693849069e-34, -7.646101268904458e-34, -7.305355303137328e-34, -6.9646093373701985e-34, -6.623862912425588e-34, -6.283116946658458e-34, -5.942370980891328e-34, -5.601624555946718e-34, -5.260878590179588e-34, -4.920132624412458e-34, -4.5793861994678476e-34, -4.238640233700718e-34, -3.897893808756107e-34, -3.5571478429889774e-34, -3.216401647633107e-34, -2.875655452277237e-34, -2.534909486510107e-34, -2.194163291154237e-34, -1.8534170957983668e-34, -1.5126709004424966e-34, -1.1719248198809966e-34, -8.311787393194966e-35, -4.904325439636264e-35, -1.496863486077562e-35, 1.910596171593736e-35, 5.318058125152438e-35, 8.72552007871114e-35, 1.2132982032269842e-34, 1.5540442837884842e-34, 1.8947903643499842e-34, 2.2355365597058544e-34, 2.5762827550617246e-34, 2.9170287208288544e-34, 3.2577749161847246e-34, 3.5985211115405948e-34, 3.939267077307725e-34, 4.280013502252335e-34, 4.620759468019465e-34, 4.961505433786595e-34, 5.302251858731205e-34, 5.642997824498335e-34, 5.983743790265465e-34, 6.3244902152100756e-34, 6.665236180977205e-34, 7.005982605921816e-34, 7.346728571688946e-34, 7.687474996633556e-34, 8.028220503223205e-34, 8.368966928167816e-34, 8.709713353112427e-34, 9.050459778057037e-34, 9.391206203001648e-34, 9.731951709591297e-34, 1.0072698134535907e-33, 1.0413444559480518e-33, 1.0754190066070167e-33, 1.1094936491014778e-33, 1.1435682915959388e-33, 1.1776428422549037e-33]}, "gradients/decoder.bert.encoder.layer.8.attention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.8.attention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.8.attention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.8.attention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.8.attention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.8.attention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.8.attention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.8.attention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.7.output.LayerNorm.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 3.0, 0.0, 0.0, 5.0, 2.0, 6.0, 11.0, 9.0, 17.0, 18.0, 18.0, 25.0, 45.0, 41.0, 54.0, 105.0, 171.0, 152.0, 91.0, 66.0, 41.0, 25.0, 20.0, 22.0, 15.0, 18.0, 9.0, 8.0, 5.0, 7.0, 0.0, 1.0, 3.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.381317169970947e-34, -5.164683203841496e-34, -4.948049696889526e-34, -4.731415730760075e-34, -4.514781764630624e-34, -4.298148257678654e-34, -4.081514291549203e-34, -3.864880325419752e-34, -3.6482468184677815e-34, -3.431613081927071e-34, -3.2149793453863603e-34, -2.9983453792569093e-34, -2.7817116427161987e-34, -2.565077906175488e-34, -2.348443940046037e-34, -2.1318102035053265e-34, -1.9151764669646159e-34, -1.6985427304239053e-34, -1.4819088790888245e-34, -1.2652750277537437e-34, -1.048641291213033e-34, -8.320075546723225e-35, -6.153737033372417e-35, -3.9873985200216086e-35, -1.8210611546145025e-35, 3.452767847644545e-36, 2.5116147241434115e-35, 4.6779526635223685e-35, 6.844290602901326e-35, 9.010627968308432e-35, 1.117696648165924e-34, 1.3343304995010048e-34, 1.5509637768642346e-34, 1.7675975134049452e-34, 1.9842312499456558e-34, 2.2008652160751068e-34, 2.4174989526158174e-34, 2.634132689156528e-34, 2.850766655285979e-34, 3.0674003918266896e-34, 3.2840341283674e-34, 3.500667864908111e-34, 3.7173016014488214e-34, 3.933935567578272e-34, 4.150569533707723e-34, 4.367203040659694e-34, 4.583837006789145e-34, 4.800470972918596e-34, 5.017104479870566e-34, 5.233738446000017e-34, 5.450371952951987e-34, 5.667005919081438e-34, 5.883639426033408e-34, 6.100273392162859e-34, 6.31690735829231e-34, 6.5335408652442804e-34, 6.7501748313737314e-34, 6.9668087975031824e-34, 7.183442304455153e-34, 7.400076270584604e-34, 7.616710236714055e-34, 7.833343743666025e-34, 8.049977250617995e-34, 8.266611675924927e-34, 8.483245182876897e-34]}, "gradients/decoder.bert.encoder.layer.7.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 4.0, 1.0, 4.0, 3.0, 2.0, 5.0, 4.0, 6.0, 6.0, 8.0, 10.0, 13.0, 21.0, 18.0, 28.0, 37.0, 32.0, 30.0, 45.0, 39.0, 36.0, 44.0, 57.0, 41.0, 42.0, 44.0, 56.0, 44.0, 53.0, 42.0, 41.0, 21.0, 27.0, 22.0, 28.0, 16.0, 18.0, 8.0, 10.0, 14.0, 10.0, 6.0, 5.0, 4.0, 2.0, 4.0, 3.0, 4.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.778534755222085e-34, -3.6497267474883675e-34, -3.52091873975465e-34, -3.392110732020932e-34, -3.2633027242872145e-34, -3.134494716553497e-34, -3.0056864792310387e-34, -2.876878471497321e-34, -2.7480704637636033e-34, -2.6192624560298857e-34, -2.490454448296168e-34, -2.3616464405624503e-34, -2.232838203239992e-34, -2.1040301955062745e-34, -1.975222187772557e-34, -1.8464141800388392e-34, -1.7176061723051215e-34, -1.5887981645714038e-34, -1.4599901568376861e-34, -1.3311820343095982e-34, -1.2023740265758805e-34, -1.0735660188421629e-34, -9.447579537112601e-35, -8.159498885803573e-35, -6.871418808466396e-35, -5.583338731129219e-35, -4.2952580798201915e-35, -3.007177715497089e-35, -1.7190973511739869e-35, -4.3101727383681e-36, 8.570633774722178e-36, 2.1451440287812456e-35, 3.4332195143436145e-35, 4.721299878666717e-35, 6.009380242989819e-35, 7.297460894298847e-35, 8.585540971636024e-35, 9.8736210489732e-35, 1.116170227425408e-34, 1.2449782351591256e-34, 1.3737862428928433e-34, 1.502594250626561e-34, 1.6314022583602787e-34, 1.7602103808883666e-34, 1.8890183886220842e-34, 2.017826511150172e-34, 2.14663451888389e-34, 2.2754425266176075e-34, 2.404250534351325e-34, 2.533058542085043e-34, 2.6618665498187605e-34, 2.7906745575524782e-34, 2.919482565286196e-34, 3.0482905730199136e-34, 3.1770988103423717e-34, 3.3059068180760894e-34, 3.434714825809807e-34, 3.5635228335435247e-34, 3.6923308412772424e-34, 3.82113884901096e-34, 3.949947086333418e-34, 4.078755094067136e-34, 4.2075631018008535e-34, 4.336371109534571e-34, 4.465179117268289e-34]}, "gradients/decoder.bert.encoder.layer.7.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.7.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.7.intermediate.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.7.intermediate.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.7.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 1.0, 2.0, 1.0, 3.0, 2.0, 3.0, 4.0, 5.0, 3.0, 8.0, 17.0, 12.0, 18.0, 21.0, 22.0, 29.0, 50.0, 67.0, 111.0, 197.0, 137.0, 68.0, 53.0, 41.0, 37.0, 22.0, 19.0, 21.0, 6.0, 6.0, 5.0, 11.0, 3.0, 3.0, 2.0, 2.0, 0.0, 1.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.0258970145525364e-34, -1.9575408701085184e-34, -1.8891846108701302e-34, -1.820828351631742e-34, -1.752472207187724e-34, -1.6841159479493358e-34, -1.6157596887109476e-34, -1.5474035442669297e-34, -1.4790473998229117e-34, -1.4106911405845235e-34, -1.3423349961405055e-34, -1.2739787369021173e-34, -1.2056225924580993e-34, -1.137266333219711e-34, -1.068910073981323e-34, -1.000553929537305e-34, -9.321976702989167e-35, -8.638414684577136e-35, -7.954852666165105e-35, -7.271290073781223e-35, -6.587728629341044e-35, -5.904166036957162e-35, -5.220604018545131e-35, -4.5370420001331e-35, -3.853479981721069e-35, -3.169917963309038e-35, -2.486355944897007e-35, -1.8027936394990506e-35, -1.1192316210870197e-35, -4.3566960267498876e-36, 2.4789270272296765e-36, 9.314547211349986e-36, 1.6150167395470295e-35, 2.2985787579590604e-35, 2.9821407763710913e-35, 3.665703081769048e-35, 4.3492651001810787e-35, 5.032827405579035e-35, 5.716389423991066e-35, 6.399951442403097e-35, 7.083513460815128e-35, 7.767075479227159e-35, 8.45063749763919e-35, 9.134199516051221e-35, 9.817762108435103e-35, 1.0501323552875282e-34, 1.1184886145259164e-34, 1.1868447589699344e-34, 1.2552010182083226e-34, 1.3235572774467108e-34, 1.3919134218907288e-34, 1.460269681129117e-34, 1.528625825573135e-34, 1.5969820848115232e-34, 1.6653382292555412e-34, 1.7336944884939294e-34, 1.8020507477323176e-34, 1.8704070069707057e-34, 1.938763266209094e-34, 2.007119410653112e-34, 2.07547555509713e-34, 2.143831699541148e-34, 2.2121880735739063e-34, 2.2805442180179243e-34, 2.3489003624619423e-34]}, "gradients/decoder.bert.encoder.layer.7.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 4.0, 2.0, 3.0, 3.0, 2.0, 5.0, 5.0, 3.0, 8.0, 9.0, 11.0, 14.0, 18.0, 20.0, 24.0, 42.0, 28.0, 29.0, 46.0, 37.0, 38.0, 39.0, 56.0, 47.0, 40.0, 43.0, 56.0, 43.0, 47.0, 46.0, 42.0, 22.0, 27.0, 21.0, 27.0, 20.0, 16.0, 10.0, 11.0, 12.0, 12.0, 5.0, 7.0, 5.0, 3.0, 1.0, 3.0, 5.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.1823579062163954e-34, -1.1421799914416444e-34, -1.1020019618725233e-34, -1.0618240470977723e-34, -1.0216461323230213e-34, -9.814682175482704e-35, -9.412901879791492e-35, -9.011122732043983e-35, -8.609343010324622e-35, -8.207563288605262e-35, -7.805784140857752e-35, -7.404004419138392e-35, -7.002224697419031e-35, -6.600445549671521e-35, -6.198665827952161e-35, -5.7968861062328e-35, -5.395106958485291e-35, -4.99332723676593e-35, -4.5915480890184205e-35, -4.18976836729906e-35, -3.787988932565625e-35, -3.38620949783219e-35, -2.9844297761128293e-35, -2.582650341379394e-35, -2.180870906645959e-35, -1.779091471912524e-35, -1.3773118936861262e-35, -9.755323154597284e-36, -5.7375288072629336e-36, -1.719734459928583e-36, 2.2980627572650227e-36, 6.315857104599373e-36, 1.0333639972496704e-35, 1.4351434319831055e-35, 1.8369230102095033e-35, 2.2387025884359011e-35, 2.640482023169336e-35, 3.0422614579027713e-35, 3.444041179622132e-35, 3.845820614355567e-35, 4.247600049089002e-35, 4.649379483822437e-35, 5.051158918555872e-35, 5.452938640275233e-35, 5.854718361994593e-35, 6.256497509742103e-35, 6.658277231461463e-35, 7.060056953180824e-35, 7.461836100928334e-35, 7.863615822647694e-35, 8.265394970395204e-35, 8.667174692114564e-35, 9.068953839862074e-35, 9.470733561581434e-35, 9.872513283300795e-35, 1.0274292431048304e-34, 1.0676071578795814e-34, 1.1077850726543324e-34, 1.1479631022234535e-34, 1.1881410169982045e-34, 1.2283189317729554e-34, 1.2684968465477064e-34, 1.3086748761168275e-34, 1.3488527908915785e-34, 1.3890308204606997e-34]}, "gradients/decoder.bert.encoder.layer.7.crossattention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.7.crossattention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.7.crossattention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.7.crossattention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.7.crossattention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.7.crossattention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.7.crossattention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.7.crossattention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.7.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 2.0, 2.0, 4.0, 2.0, 6.0, 2.0, 5.0, 5.0, 6.0, 7.0, 11.0, 15.0, 13.0, 18.0, 22.0, 30.0, 34.0, 50.0, 58.0, 121.0, 160.0, 125.0, 70.0, 43.0, 45.0, 27.0, 20.0, 23.0, 11.0, 16.0, 11.0, 6.0, 7.0, 4.0, 10.0, 3.0, 6.0, 3.0, 4.0, 3.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.674709668556761e-35, -1.619949740620341e-35, -1.5651898126839211e-35, -1.5104298847475012e-35, -1.4556699568110813e-35, -1.4009100288746613e-35, -1.3461499574452786e-35, -1.2913901730018214e-35, -1.2366301015724387e-35, -1.1818701736360188e-35, -1.1271102456995989e-35, -1.0723503177631789e-35, -1.017590389826759e-35, -9.62830461890339e-36, -9.080704622074377e-36, -8.533105342710178e-36, -7.985506780810792e-36, -7.437907501446592e-36, -6.890308222082393e-36, -6.342708942718194e-36, -5.795109304621587e-36, -5.247510025257388e-36, -4.6999103871607815e-36, -4.152311107796582e-36, -3.6047118284323826e-36, -3.057112549068183e-36, -2.5095130903377803e-36, -1.9619136316073774e-36, -1.414314352243178e-36, -8.667150728789785e-37, -3.1911543478237224e-37, 2.284838445818272e-37, 7.760845588756541e-37, 1.3236839279229553e-36, 1.8712832969702564e-36, 2.4188827557006593e-36, 2.9664820350648587e-36, 3.514081314429058e-36, 4.0616809525256645e-36, 4.609280231889864e-36, 5.1568795112540634e-36, 5.704478790618263e-36, 6.252078069982462e-36, 6.799678066811475e-36, 7.347277346175675e-36, 7.894876625539874e-36, 8.442475904904074e-36, 8.990075184268273e-36, 9.537674463632473e-36, 1.0085273742996672e-35, 1.0632873022360871e-35, 1.1180472301725071e-35, 1.172807158108927e-35, 1.227567086045347e-35, 1.2823271574747297e-35, 1.337086941918187e-35, 1.3918470133475696e-35, 1.4466069412839895e-35, 1.5013668692204094e-35, 1.5561267971568294e-35, 1.6108867250932493e-35, 1.6656466530296693e-35, 1.7204065809660892e-35, 1.775166652395472e-35, 1.829926436838929e-35]}, "gradients/decoder.bert.encoder.layer.7.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 2.0, 4.0, 2.0, 4.0, 2.0, 4.0, 6.0, 1.0, 9.0, 9.0, 10.0, 10.0, 21.0, 20.0, 26.0, 34.0, 34.0, 29.0, 46.0, 33.0, 40.0, 40.0, 55.0, 48.0, 42.0, 42.0, 53.0, 45.0, 48.0, 49.0, 38.0, 25.0, 26.0, 23.0, 27.0, 21.0, 13.0, 11.0, 12.0, 11.0, 13.0, 5.0, 7.0, 4.0, 4.0, 2.0, 3.0, 4.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.144832918035501e-35, -1.1060624109379637e-35, -1.0672919038404266e-35, -1.0285214684893707e-35, -9.897509613918335e-36, -9.509804542942963e-36, -9.122100189432405e-36, -8.734395118457033e-36, -8.346690047481661e-36, -7.95898497650629e-36, -7.571279905530918e-36, -7.18357555202036e-36, -6.795870481044987e-36, -6.408165410069616e-36, -6.020461056559057e-36, -5.6327559855836854e-36, -5.2450509146083135e-36, -4.8573458436329415e-36, -4.4696411313899765e-36, -4.0819364191470114e-36, -3.6942313481716395e-36, -3.3065262771962676e-36, -2.9188215649533025e-36, -2.531116673344134e-36, -2.1434117817349655e-36, -1.755706890125797e-36, -1.3680019985166285e-36, -9.8029710690746e-37, -5.925922152982915e-37, -2.0488732368912303e-37, 1.8281756792004547e-37, 5.70522459529214e-37, 9.58225916208755e-37, 1.3459308078179235e-36, 1.733635699427092e-36, 2.1213405910362605e-36, 2.509045482645429e-36, 2.8967503742545975e-36, 3.284455265863766e-36, 3.672159978106731e-36, 4.059865049082103e-36, 4.447570120057475e-36, 4.83527483230044e-36, 5.222979544543405e-36, 5.610684615518777e-36, 5.998389686494149e-36, 6.386094040004707e-36, 6.773799110980079e-36, 7.161504181955451e-36, 7.549209252930823e-36, 7.936914323906195e-36, 8.324618677416753e-36, 8.712323748392125e-36, 9.100028819367497e-36, 9.487733172878055e-36, 9.875438243853427e-36, 1.0263143314828799e-35, 1.0650848385804171e-35, 1.1038553456779543e-35, 1.1426257810290101e-35, 1.1813962881265473e-35, 1.220166723477603e-35, 1.2589372305751403e-35, 1.2977077376726775e-35, 1.3364782447702147e-35]}, "gradients/decoder.bert.encoder.layer.7.attention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.7.attention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.7.attention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.7.attention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.7.attention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.7.attention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.7.attention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.7.attention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.6.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 2.0, 2.0, 1.0, 2.0, 4.0, 1.0, 3.0, 7.0, 8.0, 5.0, 13.0, 13.0, 17.0, 20.0, 23.0, 35.0, 41.0, 66.0, 100.0, 184.0, 145.0, 100.0, 57.0, 40.0, 22.0, 28.0, 15.0, 14.0, 14.0, 10.0, 7.0, 2.0, 7.0, 1.0, 0.0, 0.0, 0.0, 3.0, 1.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.827533118240387e-36, -9.49661825713134e-36, -9.16570267855748e-36, -8.834787817448434e-36, -8.503872956339387e-36, -8.172957377765527e-36, -7.84204251665648e-36, -7.511127655547433e-36, -7.180212076973573e-36, -6.849297215864526e-36, -6.518381637290666e-36, -6.187466776181619e-36, -5.856551556340166e-36, -5.525636336498712e-36, -5.1947214753896656e-36, -4.863806255548212e-36, -4.5328913944391655e-36, -4.201976174597712e-36, -3.871061313488665e-36, -3.540146093647212e-36, -3.209230873805758e-36, -2.8783158333305082e-36, -2.547400792855258e-36, -2.2164855730138046e-36, -1.8855705325385545e-36, -1.5546554920633044e-36, -1.223740272221851e-36, -8.928252317466009e-37, -5.619101015882491e-37, -2.3099497142989727e-37, 9.99200690453528e-38, 4.308352888868063e-37, 7.617503293620564e-37, 1.0926654595204082e-36, 1.42358058967876e-36, 1.75449563015401e-36, 2.0854108499954636e-36, 2.4163258904707137e-36, 2.7472409309459637e-36, 3.078156150787417e-36, 3.409071370628871e-36, 3.739986590470324e-36, 4.070901451579371e-36, 4.4018166714208244e-36, 4.732731891262278e-36, 5.0636471111037315e-36, 5.394561972212778e-36, 5.7254771920542316e-36, 6.056391694430871e-36, 6.387306555539918e-36, 6.718222134113778e-36, 7.049136995222825e-36, 7.380051856331872e-36, 7.710967434905732e-36, 8.041882296014779e-36, 8.372797157123825e-36, 8.703712735697686e-36, 9.034627596806732e-36, 9.365543175380593e-36, 9.69645803648964e-36, 1.0027372897598686e-35, 1.0358288476172546e-35, 1.0689203337281593e-35, 1.1020118915855453e-35, 1.13510337769645e-35]}, "gradients/decoder.bert.encoder.layer.6.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 2.0, 4.0, 2.0, 4.0, 2.0, 4.0, 6.0, 2.0, 7.0, 10.0, 9.0, 11.0, 17.0, 23.0, 25.0, 33.0, 33.0, 30.0, 44.0, 38.0, 35.0, 43.0, 49.0, 49.0, 44.0, 40.0, 54.0, 50.0, 45.0, 46.0, 43.0, 26.0, 24.0, 25.0, 26.0, 22.0, 13.0, 11.0, 11.0, 10.0, 16.0, 4.0, 7.0, 5.0, 4.0, 1.0, 3.0, 5.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.8066360943190426e-36, -5.6105482972041674e-36, -5.4144601413568853e-36, -5.21837234424201e-36, -5.022284547127135e-36, -4.826196391279853e-36, -4.630108594164978e-36, -4.4340207970501025e-36, -4.2379326412028204e-36, -4.041844844087945e-36, -3.845756688240663e-36, -3.649668891125788e-36, -3.453581094010913e-36, -3.2574932968960376e-36, -3.0614051410487555e-36, -2.8653173439338803e-36, -2.669229546819005e-36, -2.4731415703379265e-36, -2.2770537732230513e-36, -2.0809657967419727e-36, -1.8848779996270975e-36, -1.688790023146019e-36, -1.4927020466649402e-36, -1.2966141598669633e-36, -1.1005262730689864e-36, -9.044383862710095e-37, -7.083504546314817e-37, -5.1226252299195395e-37, -3.1617463619397704e-37, -1.2008674939600013e-37, 7.60012270850785e-38, 2.720891138830554e-37, 4.681766419486255e-37, 6.642645287466024e-37, 8.603524155445793e-37, 1.056440392025658e-36, 1.2525282788236348e-36, 1.4486161656216117e-36, 1.6447041421026904e-36, 1.8407919392175656e-36, 2.0368799156986442e-36, 2.2329678921797228e-36, 2.429055689294598e-36, 2.6251436657756767e-36, 2.8212316422567553e-36, 3.0173194393716305e-36, 3.213407236486506e-36, 3.409495392333788e-36, 3.605583189448663e-36, 3.801670986563538e-36, 3.99775914241082e-36, 4.1938469395256954e-36, 4.3899347366405706e-36, 4.5860228924878526e-36, 4.782110689602728e-36, 4.978198486717603e-36, 5.174286642564885e-36, 5.37037443967976e-36, 5.5664625955270424e-36, 5.7625503926419176e-36, 5.958638189756793e-36, 6.154725986871668e-36, 6.35081414271895e-36, 6.546902298566232e-36, 6.7429897369487e-36]}, "gradients/decoder.bert.encoder.layer.6.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.6.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.6.intermediate.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.6.intermediate.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.6.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 3.0, 1.0, 7.0, 6.0, 7.0, 8.0, 11.0, 12.0, 6.0, 12.0, 11.0, 21.0, 20.0, 24.0, 34.0, 48.0, 56.0, 72.0, 169.0, 126.0, 76.0, 69.0, 44.0, 36.0, 24.0, 28.0, 10.0, 6.0, 15.0, 19.0, 4.0, 3.0, 5.0, 5.0, 4.0, 4.0, 1.0, 1.0, 1.0, 0.0, 3.0, 2.0, 0.0, 1.0], "bins": [-3.801337365425152e-36, -3.7034392915911056e-36, -3.6055412177570595e-36, -3.5076431439230134e-36, -3.409745070088967e-36, -3.311846996254921e-36, -3.213948922420875e-36, -3.116050848586829e-36, -3.018152774752783e-36, -2.9202547009187368e-36, -2.8223566270846907e-36, -2.7244585532506446e-36, -2.6265604794165985e-36, -2.5286624055825524e-36, -2.4307643317485063e-36, -2.3328662579144602e-36, -2.2349680047142106e-36, -2.1370699308801645e-36, -2.0391718570461184e-36, -1.9412737832120723e-36, -1.8433757093780262e-36, -1.74547763554398e-36, -1.6475793823437306e-36, -1.5496813085096845e-36, -1.4517833243587401e-36, -1.353885250524694e-36, -1.255987176690648e-36, -1.1580890131735001e-36, -1.060190939339454e-36, -9.622928655054079e-37, -8.643947916713618e-37, -7.664967178373157e-37, -6.685986440032696e-37, -5.707005701692235e-37, -4.728024963351774e-37, -3.7490437765958044e-37, -2.7700630382553434e-37, -1.7910822999148824e-37, -8.121011131589129e-38, 1.6687962518154815e-38, 1.1458603635220092e-37, 2.12484110186247e-37, 3.1038220644106854e-37, 4.082803026958901e-37, 5.061783765299362e-37, 6.040764503639823e-37, 7.019745690395792e-37, 7.998726428736253e-37, 8.977707167076714e-37, 9.956687905417175e-37, 1.0935668643757636e-36, 1.1914649382098097e-36, 1.2893630120438558e-36, 1.387261085877902e-36, 1.4851592493950498e-36, 1.5830574129121976e-36, 1.6809554867462437e-36, 1.7788535605802898e-36, 1.876751634414336e-36, 1.974649708248382e-36, 2.072547782082428e-36, 2.1704458559164742e-36, 2.2683439297505203e-36, 2.3662420035845664e-36, 2.4641400774186125e-36]}, "gradients/decoder.bert.encoder.layer.6.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 5.0, 2.0, 4.0, 1.0, 5.0, 6.0, 1.0, 9.0, 8.0, 9.0, 13.0, 15.0, 23.0, 24.0, 33.0, 33.0, 28.0, 44.0, 37.0, 37.0, 44.0, 46.0, 49.0, 45.0, 41.0, 52.0, 50.0, 44.0, 48.0, 46.0, 23.0, 27.0, 24.0, 27.0, 22.0, 12.0, 12.0, 10.0, 12.0, 15.0, 5.0, 7.0, 4.0, 4.0, 1.0, 5.0, 5.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.15410218682581e-36, -2.081572413241985e-36, -2.0090428190243634e-36, -1.9365132248067418e-36, -1.8639834512229167e-36, -1.7914536776390917e-36, -1.71892408342147e-36, -1.6463944892038484e-36, -1.5738647156200233e-36, -1.5013350317193e-36, -1.4288053478185766e-36, -1.3562756639178533e-36, -1.28374598001713e-36, -1.2112162961164066e-36, -1.1386866122156833e-36, -1.0661569283149599e-36, -9.936272444142366e-37, -9.210975605135132e-37, -8.485678766127899e-37, -7.760381927120665e-37, -7.035085088113432e-37, -6.309788249106198e-37, -5.584491410098965e-37, -4.859194571091731e-37, -4.133897732084498e-37, -3.4086008930772645e-37, -2.683304054070031e-37, -1.9580072150627976e-37, -1.232710376055564e-37, -5.074135370483306e-38, 2.1788330195890282e-38, 9.431801409661363e-38, 1.6684751863113354e-37, 2.393772025318569e-37, 3.1190688643258023e-37, 3.844365703333036e-37, 4.569662542340269e-37, 5.294959381347503e-37, 6.020256220354736e-37, 6.74555305936197e-37, 7.470849898369203e-37, 8.196146737376437e-37, 8.92144357638367e-37, 9.646740415390903e-37, 1.0372037254398137e-36, 1.109733409340537e-36, 1.1822630932412604e-36, 1.2547927771419837e-36, 1.327322461042707e-36, 1.3998521449434304e-36, 1.4723818288441538e-36, 1.544911602427979e-36, 1.6174411966456005e-36, 1.689970790863222e-36, 1.762500564447047e-36, 1.8350303380308722e-36, 1.907559932248494e-36, 1.9800895264661155e-36, 2.0526193000499405e-36, 2.1251490736337656e-36, 2.1976786678513872e-36, 2.270208262069009e-36, 2.342738035652834e-36, 2.415267809236659e-36, 2.4877974034542806e-36]}, "gradients/decoder.bert.encoder.layer.6.crossattention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.6.crossattention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.6.crossattention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.6.crossattention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.6.crossattention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.6.crossattention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.6.crossattention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.6.crossattention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.6.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 3.0, 1.0, 2.0, 2.0, 1.0, 0.0, 1.0, 1.0, 3.0, 2.0, 1.0, 1.0, 5.0, 2.0, 2.0, 6.0, 6.0, 4.0, 5.0, 6.0, 5.0, 8.0, 13.0, 21.0, 19.0, 25.0, 29.0, 43.0, 59.0, 119.0, 137.0, 124.0, 90.0, 57.0, 43.0, 36.0, 24.0, 21.0, 17.0, 13.0, 12.0, 7.0, 7.0, 7.0, 8.0, 4.0, 3.0, 5.0, 6.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 2.0], "bins": [-3.963885476159982e-37, -3.846493434921267e-37, -3.729101393682551e-37, -3.611709352443835e-37, -3.4943173112051192e-37, -3.3769252699664034e-37, -3.259533452935442e-37, -3.142141411696726e-37, -3.0247493704580104e-37, -2.9073573292192946e-37, -2.789965287980579e-37, -2.672573246741863e-37, -2.5551814297109015e-37, -2.4377893884721857e-37, -2.32039734723347e-37, -2.203005305994754e-37, -2.0856132647560384e-37, -1.9682212235173226e-37, -1.8508291822786068e-37, -1.7334372531437682e-37, -1.6160452119050524e-37, -1.4986531706663366e-37, -1.381261241531498e-37, -1.2638692002927822e-37, -1.1464771590540664e-37, -1.0290851178153506e-37, -9.116931326285734e-38, -7.943011474417961e-38, -6.769091062030804e-38, -5.595170649643646e-38, -4.4212507977758736e-38, -3.2473309459081014e-38, -2.0734082914434007e-38, -8.994881593159356e-39, 2.7443197281152936e-39, 1.4483521049389944e-38, 2.6222722370664594e-38, 3.796192649453617e-38, 4.970112501321389e-38, 6.144032353189162e-38, 7.317952765576319e-38, 8.491873177963477e-38, 9.665793590350635e-38, 1.0839712881699022e-37, 1.201363329408618e-37, 1.3187553706473337e-37, 1.4361472997821724e-37, 1.5535393410208882e-37, 1.670931382259604e-37, 1.7883234234983197e-37, 1.9057154647370355e-37, 2.0231075059757513e-37, 2.140499323006713e-37, 2.2578913642454286e-37, 2.3752834054841444e-37, 2.49267544672286e-37, 2.610067487961576e-37, 2.7274595292002917e-37, 2.8448515704390075e-37, 2.9622436116777233e-37, 3.079635652916439e-37, 3.197027694155155e-37, 3.3144195111861164e-37, 3.431811552424832e-37, 3.549203593663548e-37]}, "gradients/decoder.bert.encoder.layer.6.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 2.0, 4.0, 2.0, 2.0, 3.0, 3.0, 7.0, 4.0, 7.0, 9.0, 9.0, 12.0, 17.0, 21.0, 24.0, 32.0, 32.0, 31.0, 43.0, 39.0, 41.0, 38.0, 45.0, 54.0, 45.0, 42.0, 51.0, 47.0, 43.0, 53.0, 43.0, 24.0, 23.0, 22.0, 33.0, 21.0, 11.0, 13.0, 9.0, 14.0, 14.0, 4.0, 7.0, 4.0, 3.0, 3.0, 2.0, 6.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.62808123577241e-37, -2.539480160677835e-37, -2.450879309791014e-37, -2.3622782346964386e-37, -2.2736773838096177e-37, -2.1850763087150424e-37, -2.096475233620467e-37, -2.0078743827336462e-37, -1.9192735318468253e-37, -1.8306725688561272e-37, -1.742071605865429e-37, -1.6534705307708539e-37, -1.564869679884033e-37, -1.4762686047894577e-37, -1.3876676417987596e-37, -1.2990666788080615e-37, -1.2104656037134862e-37, -1.1218646407227881e-37, -1.03326367773209e-37, -9.446626026375148e-38, -8.560616956987553e-38, -7.674607327080572e-38, -6.788597136654205e-38, -5.902587506747224e-38, -5.016577876840243e-38, -4.130568246933262e-38, -3.2445583367665884e-38, -2.3585484265999145e-38, -1.4725387966929336e-38, -5.865291667859526e-39, 2.9948102364041406e-39, 1.185490653547395e-38, 2.071500283454376e-38, 2.957509913361357e-38, 3.843519823528031e-38, 4.729529733694705e-38, 5.615539363601686e-38, 6.501548993508667e-38, 7.387559183935033e-38, 8.273568813842014e-38, 9.159578443748995e-38, 1.0045588073655976e-37, 1.0931597703562957e-37, 1.1817607333469938e-37, 1.270361808441569e-37, 1.35896265932839e-37, 1.4475637344229652e-37, 1.5361646974136633e-37, 1.6247656604043614e-37, 1.7133666233950595e-37, 1.8019675863857576e-37, 1.890568661480333e-37, 1.979169512367154e-37, 2.067770587461729e-37, 2.15637143834855e-37, 2.2449725134431252e-37, 2.3335735885377005e-37, 2.4221746636322757e-37, 2.5107755145190967e-37, 2.599376589613672e-37, 2.687977440500493e-37, 2.776578515595068e-37, 2.8651795906896433e-37, 2.9537804415764643e-37, 3.0423812924632852e-37]}, "gradients/decoder.bert.encoder.layer.6.attention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.6.attention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.6.attention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.6.attention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.6.attention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.6.attention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.6.attention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.6.attention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.5.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 2.0, 0.0, 1.0, 1.0, 3.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 4.0, 2.0, 3.0, 2.0, 10.0, 7.0, 6.0, 9.0, 17.0, 9.0, 13.0, 15.0, 18.0, 38.0, 37.0, 58.0, 78.0, 137.0, 161.0, 101.0, 57.0, 45.0, 55.0, 30.0, 15.0, 16.0, 14.0, 10.0, 7.0, 4.0, 10.0, 4.0, 4.0, 2.0, 1.0, 1.0, 4.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0], "bins": [-2.6080704694940974e-37, -2.5295170407003625e-37, -2.4509636119066276e-37, -2.3724101831128928e-37, -2.293856978526912e-37, -2.2153035497331773e-37, -2.1367501209394425e-37, -2.0581966921457076e-37, -1.9796432633519727e-37, -1.901089834558238e-37, -1.822536405764503e-37, -1.7439830890746453e-37, -1.6654296602809104e-37, -1.5868762314871756e-37, -1.5083229147973178e-37, -1.429769486003583e-37, -1.3512160572098481e-37, -1.2726626284161132e-37, -1.1941091996223784e-37, -1.1155558829325207e-37, -1.0370024541387858e-37, -9.58449025345051e-38, -8.798956526032546e-38, -8.013422798614583e-38, -7.227888510677235e-38, -6.442354222739886e-38, -5.656820495321923e-38, -4.87128676790396e-38, -4.0857524799666116e-38, -3.300218472288956e-38, -2.5146844646113e-38, -1.729150737193337e-38, -9.436186913335314e-39, -1.580846836558756e-39, 6.274493240217802e-39, 1.412983331699436e-38, 2.1985173393770918e-38, 2.9840513470547476e-38, 3.7695853547324034e-38, 4.5551190821503663e-38, 5.340653370087715e-38, 6.126187658025064e-38, 6.911721385443027e-38, 7.697255112860989e-38, 8.482789400798338e-38, 9.268323688735687e-38, 1.0053856855634264e-37, 1.0839391143571613e-37, 1.1624925431508961e-37, 1.241045971944631e-37, 1.3195994007383659e-37, 1.3981527174282236e-37, 1.4767061462219584e-37, 1.5552595750156933e-37, 1.633812891705551e-37, 1.7123663204992859e-37, 1.7909197492930208e-37, 1.8694731780867556e-37, 1.9480266068804905e-37, 2.0265800356742254e-37, 2.105133240260206e-37, 2.183686669053941e-37, 2.2622400978476757e-37, 2.3407935266414105e-37, 2.4193469554351454e-37]}, "gradients/decoder.bert.encoder.layer.5.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 3.0, 3.0, 3.0, 2.0, 2.0, 4.0, 8.0, 2.0, 3.0, 13.0, 9.0, 11.0, 17.0, 21.0, 21.0, 27.0, 42.0, 26.0, 46.0, 37.0, 39.0, 40.0, 47.0, 49.0, 46.0, 45.0, 42.0, 56.0, 38.0, 58.0, 39.0, 29.0, 18.0, 29.0, 32.0, 21.0, 12.0, 11.0, 10.0, 14.0, 14.0, 5.0, 5.0, 6.0, 3.0, 3.0, 2.0, 6.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.6615404404710848e-37, -1.6057358030510761e-37, -1.5499311656310675e-37, -1.4941265282110588e-37, -1.4383218907910502e-37, -1.3825172533710416e-37, -1.326712615951033e-37, -1.2709079785310243e-37, -1.2151033411110156e-37, -1.159298703691007e-37, -1.1034940662709984e-37, -1.0476894288509897e-37, -9.91884791430981e-38, -9.360801540109724e-38, -8.802755165909638e-38, -8.244708791709552e-38, -7.686662417509465e-38, -7.128616043309379e-38, -6.570569669109293e-38, -6.012523294909206e-38, -5.45447692070912e-38, -4.896430546509033e-38, -4.338384172308947e-38, -3.7803377981088605e-38, -3.222291423908774e-38, -2.664245049708688e-38, -2.1061986755086014e-38, -1.548152301308515e-38, -9.901059271084286e-39, -4.320595529083422e-39, 1.259868212917442e-39, 6.840331954918306e-39, 1.2420840538470028e-38, 1.8001304280470892e-38, 2.3581768022471756e-38, 2.916223176447262e-38, 3.4742695506473484e-38, 4.032315924847435e-38, 4.590362299047521e-38, 5.148408673247608e-38, 5.706455047447694e-38, 6.26450142164778e-38, 6.822547795847867e-38, 7.380594170047953e-38, 7.93864054424804e-38, 8.496686918448126e-38, 9.054733292648212e-38, 9.612779666848299e-38, 1.0170826041048385e-37, 1.0728872415248471e-37, 1.1286918789448558e-37, 1.1844965163648644e-37, 1.240301153784873e-37, 1.2961057912048817e-37, 1.3519104286248903e-37, 1.407715066044899e-37, 1.4635197034649076e-37, 1.5193243408849163e-37, 1.575128978304925e-37, 1.6309336157249335e-37, 1.6867382531449422e-37, 1.7425428905649508e-37, 1.7983475279849595e-37, 1.854152165404968e-37, 1.9099568028249767e-37]}, "gradients/decoder.bert.encoder.layer.5.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.5.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.5.intermediate.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.5.intermediate.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.5.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 2.0, 1.0, 1.0, 3.0, 1.0, 1.0, 1.0, 0.0, 3.0, 6.0, 6.0, 6.0, 6.0, 12.0, 8.0, 12.0, 17.0, 17.0, 20.0, 23.0, 35.0, 51.0, 90.0, 127.0, 165.0, 104.0, 79.0, 41.0, 39.0, 24.0, 26.0, 18.0, 18.0, 12.0, 8.0, 8.0, 6.0, 2.0, 1.0, 2.0, 3.0, 1.0, 1.0, 3.0, 3.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.3557981910843131e-37, -1.3193647673234993e-37, -1.2829313435626855e-37, -1.2464980319057488e-37, -1.210064608144935e-37, -1.1736311843841212e-37, -1.1371978727271846e-37, -1.1007644489663708e-37, -1.064331025205557e-37, -1.0278976014447432e-37, -9.914641776839293e-38, -9.550308660269927e-38, -9.185974422661789e-38, -8.821640185053651e-38, -8.457306507964898e-38, -8.092972830876146e-38, -7.728638593268008e-38, -7.36430435565987e-38, -6.999970678571118e-38, -6.635637001482365e-38, -6.271302763874227e-38, -5.906968526266089e-38, -5.542634849177337e-38, -5.178301172088585e-38, -4.813966934480446e-38, -4.4496329771320013e-38, -4.085299019783556e-38, -3.720965062435111e-38, -3.3566311050866657e-38, -2.9922971477382205e-38, -2.6279631903897753e-38, -2.2636292330413301e-38, -1.8992986388091993e-38, -1.534964681460754e-38, -1.1706307241123089e-38, -8.062967667638637e-39, -4.4196280941541855e-39, -7.762885206697335e-40, 2.8670510528147184e-39, 6.51039062629917e-39, 1.0153730199783622e-38, 1.3797069773268074e-38, 1.7440409346752526e-38, 2.1083748920236978e-38, 2.472708849372143e-38, 2.837042806720588e-38, 3.2013767640690334e-38, 3.5657107214174786e-38, 3.930044678765924e-38, 4.294378636114369e-38, 4.658712593462814e-38, 5.023046270551566e-38, 5.387380508159705e-38, 5.751714745767843e-38, 6.116048422856595e-38, 6.480382099945347e-38, 6.844716337553485e-38, 7.209050575161623e-38, 7.573384252250376e-38, 7.937717929339128e-38, 8.302052166947266e-38, 8.666386404555404e-38, 9.030720081644156e-38, 9.395053758732909e-38, 9.759387996341047e-38]}, "gradients/decoder.bert.encoder.layer.5.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 4.0, 3.0, 2.0, 3.0, 1.0, 5.0, 6.0, 3.0, 4.0, 6.0, 12.0, 13.0, 14.0, 15.0, 29.0, 17.0, 42.0, 30.0, 45.0, 31.0, 46.0, 37.0, 39.0, 49.0, 52.0, 36.0, 49.0, 54.0, 37.0, 56.0, 44.0, 38.0, 20.0, 22.0, 29.0, 28.0, 15.0, 9.0, 15.0, 12.0, 13.0, 10.0, 3.0, 5.0, 4.0, 4.0, 2.0, 4.0, 4.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-7.837150662190236e-38, -7.577099935258379e-38, -7.317048647807137e-38, -7.056997360355895e-38, -6.796946633424038e-38, -6.536895906492181e-38, -6.276844619040939e-38, -6.016793331589697e-38, -5.75674260465784e-38, -5.496691877725983e-38, -5.236640590274741e-38, -4.976589302823499e-38, -4.716538575891642e-38, -4.4564875687000926e-38, -4.196436561508543e-38, -3.9363855543169936e-38, -3.676334547125444e-38, -3.4162835399338946e-38, -3.156232532742345e-38, -2.8961815255507956e-38, -2.636130518359246e-38, -2.3760795111676966e-38, -2.116028503976147e-38, -1.8559774967845976e-38, -1.595926489593048e-38, -1.3358754824014986e-38, -1.0758244752099491e-38, -8.157734680183996e-39, -5.557224608268501e-39, -2.956714536353006e-39, -3.562044644375112e-40, 2.2443056074779838e-39, 4.844821284587336e-39, 7.445331356502831e-39, 1.0045841428418326e-38, 1.264635150033382e-38, 1.5246861572249316e-38, 1.784737164416481e-38, 2.0447881716080306e-38, 2.30483917879958e-38, 2.5648901859911296e-38, 2.824941193182679e-38, 3.0849922003742286e-38, 3.345043207565778e-38, 3.6050942147573276e-38, 3.865145221948877e-38, 4.1251962291404266e-38, 4.385247236331976e-38, 4.6452982435235256e-38, 4.905349530974768e-38, 5.165400257906625e-38, 5.425450984838481e-38, 5.685502272289724e-38, 5.945553559740966e-38, 6.205604286672823e-38, 6.465655013604679e-38, 6.725706301055922e-38, 6.985757588507164e-38, 7.245808315439021e-38, 7.505859042370877e-38, 7.76591032982212e-38, 8.025961617273362e-38, 8.286012344205219e-38, 8.546063071137075e-38, 8.806114358588318e-38]}, "gradients/decoder.bert.encoder.layer.5.crossattention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.5.crossattention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.5.crossattention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.5.crossattention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.5.crossattention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.5.crossattention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.5.crossattention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.5.crossattention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.5.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 3.0, 3.0, 1.0, 10.0, 6.0, 8.0, 17.0, 10.0, 12.0, 12.0, 25.0, 30.0, 38.0, 52.0, 75.0, 129.0, 140.0, 99.0, 76.0, 57.0, 44.0, 28.0, 30.0, 29.0, 17.0, 14.0, 5.0, 7.0, 5.0, 8.0, 10.0, 4.0, 3.0, 1.0, 2.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.0678023969368692e-38, -2.0057444931457804e-38, -1.9436865893546915e-38, -1.8816286855636027e-38, -1.8195707817725138e-38, -1.757512877981425e-38, -1.695454974190336e-38, -1.6333970703992473e-38, -1.5713391666081584e-38, -1.5092812628170696e-38, -1.4472233590259807e-38, -1.385165455234892e-38, -1.323107551443803e-38, -1.2610496476527142e-38, -1.1989917438616253e-38, -1.1369338400705365e-38, -1.0748759362794476e-38, -1.0128180324883588e-38, -9.5076012869727e-39, -8.887022249061811e-39, -8.266443211150922e-39, -7.645864173240034e-39, -7.025285135329145e-39, -6.404706097418257e-39, -5.7841270595073685e-39, -5.16354802159648e-39, -4.5429689836855915e-39, -3.922389945774703e-39, -3.3018109078638145e-39, -2.681231869952926e-39, -2.0606528320420376e-39, -1.4400737941311491e-39, -8.19539597771119e-40, -1.989605598602305e-40, 4.21618478050658e-40, 1.0421975159615465e-39, 1.662776553872435e-39, 2.2833555917833234e-39, 2.903934629694212e-39, 3.5245136676051004e-39, 4.145092705515989e-39, 4.7656717434268774e-39, 5.386250781337766e-39, 6.006829819248654e-39, 6.627408857159543e-39, 7.247987895070431e-39, 7.86856693298132e-39, 8.489145970892208e-39, 9.109725008803097e-39, 9.730304046713985e-39, 1.0350883084624874e-38, 1.0971462122535762e-38, 1.1592041160446651e-38, 1.221262019835754e-38, 1.2833199236268428e-38, 1.3453778274179316e-38, 1.4074357312090205e-38, 1.4694936350001093e-38, 1.5315515387911982e-38, 1.593609442582287e-38, 1.6556673463733759e-38, 1.7177252501644647e-38, 1.7797831539555536e-38, 1.8418410577466424e-38, 1.9038989615377313e-38]}, "gradients/decoder.bert.encoder.layer.5.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 5.0, 2.0, 3.0, 0.0, 3.0, 8.0, 4.0, 4.0, 5.0, 8.0, 15.0, 15.0, 17.0, 20.0, 23.0, 33.0, 32.0, 44.0, 33.0, 41.0, 45.0, 36.0, 46.0, 46.0, 49.0, 45.0, 44.0, 50.0, 48.0, 45.0, 39.0, 29.0, 19.0, 28.0, 27.0, 19.0, 11.0, 17.0, 10.0, 11.0, 12.0, 5.0, 4.0, 4.0, 6.0, 2.0, 1.0, 6.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.3041813341249392e-38, -1.2612322368426157e-38, -1.2182831395602922e-38, -1.1753340422779687e-38, -1.1323849449956453e-38, -1.0894358477133218e-38, -1.0464867504309983e-38, -1.0035376531486748e-38, -9.605885558663513e-39, -9.176394585840279e-39, -8.746903613017044e-39, -8.317412640193809e-39, -7.887921667370574e-39, -7.45843069454734e-39, -7.028939721724105e-39, -6.59944874890087e-39, -6.169957776077635e-39, -5.7404668032544e-39, -5.3109758304311654e-39, -4.8814848576079306e-39, -4.451993884784696e-39, -4.022502911961461e-39, -3.593011939138226e-39, -3.163520966314991e-39, -2.7340299934917565e-39, -2.3045390206685217e-39, -1.875048047845287e-39, -1.4455570750220521e-39, -1.0160661021988173e-39, -5.865751293755825e-40, -1.5708415655234767e-40, 2.7240681627088714e-40, 7.019384267495874e-40, 1.1314293995728222e-39, 1.560920372396057e-39, 1.9904113452192918e-39, 2.4199023180425266e-39, 2.8493932908657614e-39, 3.278884263688996e-39, 3.708375236512231e-39, 4.137866209335466e-39, 4.5673571821587006e-39, 4.9968481549819354e-39, 5.42633912780517e-39, 5.855830100628405e-39, 6.28532107345164e-39, 6.714812046274875e-39, 7.14430301909811e-39, 7.573793991921344e-39, 8.003284964744579e-39, 8.432775937567814e-39, 8.862266910391049e-39, 9.291757883214284e-39, 9.721248856037518e-39, 1.0150739828860753e-38, 1.0580230801683988e-38, 1.1009721774507223e-38, 1.1439212747330458e-38, 1.1868703720153692e-38, 1.2298194692976927e-38, 1.2727685665800162e-38, 1.3157176638623397e-38, 1.3586667611446632e-38, 1.4016158584269866e-38, 1.44456495570931e-38]}, "gradients/decoder.bert.encoder.layer.5.attention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.5.attention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.5.attention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.5.attention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.5.attention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.5.attention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.5.attention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.5.attention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.4.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 0.0, 0.0, 0.0, 3.0, 0.0, 1.0, 4.0, 6.0, 7.0, 10.0, 11.0, 18.0, 13.0, 29.0, 30.0, 36.0, 62.0, 100.0, 153.0, 176.0, 93.0, 80.0, 48.0, 36.0, 25.0, 25.0, 13.0, 10.0, 7.0, 5.0, 5.0, 5.0, 1.0, 1.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.0596185336455194e-38, -2.0025271118716906e-38, -1.9454356900978618e-38, -1.888344268324033e-38, -1.831252846550204e-38, -1.7741614247763753e-38, -1.7170700030025464e-38, -1.6599785812287176e-38, -1.6028871594548888e-38, -1.54579573768106e-38, -1.488704315907231e-38, -1.4316128941334023e-38, -1.3745214723595734e-38, -1.3174300505857446e-38, -1.2603386288119158e-38, -1.203247207038087e-38, -1.1461557852642581e-38, -1.0890643634904293e-38, -1.0319729417166004e-38, -9.748815199427716e-39, -9.177900981689428e-39, -8.60698676395114e-39, -8.036072546212851e-39, -7.465158328474563e-39, -6.894244110736275e-39, -6.323329892997986e-39, -5.752415675259698e-39, -5.1815014575214096e-39, -4.610587239783121e-39, -4.039673022044833e-39, -3.4687588043065446e-39, -2.8978445865682563e-39, -2.3269766116792907e-39, -1.7560623939410024e-39, -1.185148176202714e-39, -6.142339584644257e-40, -4.3319740726137395e-41, 5.275944770121509e-40, 1.0985086947504392e-39, 1.6694229124887276e-39, 2.240337130227016e-39, 2.8112513479653042e-39, 3.3821655657035925e-39, 3.953079783441881e-39, 4.523994001180169e-39, 5.0949082189184575e-39, 5.665822436656746e-39, 6.236736654395034e-39, 6.807650872133322e-39, 7.378565089871611e-39, 7.949479307609899e-39, 8.520393525348187e-39, 9.091307743086476e-39, 9.662221960824764e-39, 1.0233136178563052e-38, 1.0804050396301341e-38, 1.1374964614039629e-38, 1.1945878831777917e-38, 1.2516793049516206e-38, 1.3087707267254494e-38, 1.3658621484992782e-38, 1.422953570273107e-38, 1.480044992046936e-38, 1.5371364138207647e-38, 1.5942278355945936e-38]}, "gradients/decoder.bert.encoder.layer.4.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 3.0, 1.0, 4.0, 3.0, 1.0, 2.0, 7.0, 5.0, 3.0, 8.0, 7.0, 14.0, 13.0, 18.0, 22.0, 21.0, 38.0, 34.0, 32.0, 39.0, 42.0, 40.0, 32.0, 48.0, 57.0, 38.0, 44.0, 49.0, 49.0, 50.0, 47.0, 39.0, 23.0, 20.0, 30.0, 27.0, 21.0, 11.0, 9.0, 15.0, 15.0, 9.0, 6.0, 5.0, 4.0, 4.0, 3.0, 3.0, 4.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.346537442781669e-39, -9.039326576552347e-39, -8.732115710323024e-39, -8.424904844093701e-39, -8.117693977864379e-39, -7.810483111635056e-39, -7.503272245405734e-39, -7.196061379176411e-39, -6.888850512947088e-39, -6.581639646717766e-39, -6.274428780488443e-39, -5.96721791425912e-39, -5.660007048029798e-39, -5.352796181800475e-39, -5.0455853155711526e-39, -4.73837444934183e-39, -4.4311635831125073e-39, -4.123952716883185e-39, -3.816741850653862e-39, -3.5095309844245395e-39, -3.202320118195217e-39, -2.8951092519658942e-39, -2.5878983857365716e-39, -2.280687519507249e-39, -1.9734766532779264e-39, -1.6662657870486038e-39, -1.3590549208192811e-39, -1.0518440545899585e-39, -7.446331883606359e-40, -4.374223221313133e-40, -1.3021145590199065e-40, 1.7699941032733197e-40, 4.841724414981178e-40, 7.913833077274404e-40, 1.098594173956763e-39, 1.4058050401860857e-39, 1.7130159064154083e-39, 2.020226772644731e-39, 2.3274376388740535e-39, 2.6346485051033762e-39, 2.941859371332699e-39, 3.2490702375620214e-39, 3.556281103791344e-39, 3.8634919700206666e-39, 4.170702836249989e-39, 4.477913702479312e-39, 4.7851245687086345e-39, 5.092335434937957e-39, 5.39954630116728e-39, 5.7067571673966024e-39, 6.013968033625925e-39, 6.321178899855248e-39, 6.62838976608457e-39, 6.935600632313893e-39, 7.242811498543215e-39, 7.550022364772538e-39, 7.857233231001861e-39, 8.164444097231183e-39, 8.471654963460506e-39, 8.778865829689829e-39, 9.086076695919151e-39, 9.393287562148474e-39, 9.700498428377796e-39, 1.0007709294607119e-38, 1.0314920160836442e-38]}, "gradients/decoder.bert.encoder.layer.4.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.4.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.4.intermediate.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.4.intermediate.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.4.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 2.0, 0.0, 2.0, 2.0, 3.0, 1.0, 2.0, 3.0, 4.0, 7.0, 10.0, 12.0, 10.0, 19.0, 22.0, 31.0, 43.0, 43.0, 92.0, 173.0, 182.0, 97.0, 63.0, 55.0, 28.0, 25.0, 21.0, 15.0, 14.0, 7.0, 4.0, 8.0, 7.0, 3.0, 2.0, 1.0, 1.0, 1.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 2.0], "bins": [-1.2332036050890372e-38, -1.2016920460023793e-38, -1.1701804869157214e-38, -1.1386689278290635e-38, -1.1071573687424056e-38, -1.0756458096557477e-38, -1.0441342505690898e-38, -1.0126226914824319e-38, -9.81111132395774e-39, -9.495995733091161e-39, -9.180880142224582e-39, -8.865764551358003e-39, -8.550648960491425e-39, -8.235533369624846e-39, -7.920417778758267e-39, -7.605302187891688e-39, -7.290186597025109e-39, -6.97507100615853e-39, -6.659955415291951e-39, -6.344839824425372e-39, -6.029724233558793e-39, -5.714608642692214e-39, -5.3994930518256354e-39, -5.0843774609590565e-39, -4.7692618700924776e-39, -4.4541462792258987e-39, -4.13903068835932e-39, -3.823915097492741e-39, -3.508799506626162e-39, -3.193683915759583e-39, -2.878568324893004e-39, -2.5634527340264252e-39, -2.2483259327721317e-39, -1.9332103419055528e-39, -1.618094751038974e-39, -1.302979160172395e-39, -9.87863569305816e-40, -6.727479784392371e-40, -3.576323875726582e-40, -4.2516796706079275e-41, 2.7259879416049964e-40, 5.8771438502707855e-40, 9.028299758936575e-40, 1.2179455667602364e-39, 1.5330611576268153e-39, 1.8481767484933942e-39, 2.163292339359973e-39, 2.478407930226552e-39, 2.793523521093131e-39, 3.10863911195971e-39, 3.423754702826289e-39, 3.738870293692868e-39, 4.0539858845594466e-39, 4.3691014754260255e-39, 4.6842170662926044e-39, 4.9993326571591833e-39, 5.314448248025762e-39, 5.629563838892341e-39, 5.94467942975892e-39, 6.259795020625499e-39, 6.574910611492078e-39, 6.890026202358657e-39, 7.205141793225236e-39, 7.520257384091815e-39, 7.835372974958394e-39]}, "gradients/decoder.bert.encoder.layer.4.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 3.0, 1.0, 4.0, 4.0, 1.0, 2.0, 6.0, 5.0, 4.0, 8.0, 7.0, 13.0, 13.0, 19.0, 22.0, 21.0, 34.0, 34.0, 34.0, 41.0, 40.0, 44.0, 30.0, 48.0, 50.0, 50.0, 39.0, 50.0, 51.0, 49.0, 41.0, 42.0, 23.0, 20.0, 29.0, 33.0, 17.0, 12.0, 10.0, 12.0, 19.0, 6.0, 6.0, 7.0, 2.0, 4.0, 3.0, 4.0, 3.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.565964506790495e-39, -5.383111872777678e-39, -5.2002592387648616e-39, -5.017406604752045e-39, -4.834553970739228e-39, -4.6517013367264114e-39, -4.4688487027135947e-39, -4.285996068700778e-39, -4.103143434687961e-39, -3.9202908006751445e-39, -3.737438166662328e-39, -3.554585532649511e-39, -3.371732898636694e-39, -3.1888802646238775e-39, -3.006027630611061e-39, -2.823174996598244e-39, -2.6403223625854274e-39, -2.4574697285726106e-39, -2.274617094559794e-39, -2.091764460546977e-39, -1.9089118265341604e-39, -1.7260591925213437e-39, -1.543206558508527e-39, -1.3603539244957102e-39, -1.1775012904828935e-39, -9.946486564700768e-40, -8.1179602245726e-40, -6.289433884444433e-40, -4.460907544316266e-40, -2.6323812041880986e-40, -8.038548640599313e-41, 1.024671476068236e-40, 2.852847491580322e-40, 4.681373831708489e-40, 6.509900171836657e-40, 8.338426511964824e-40, 1.0166952852092991e-39, 1.1995479192221159e-39, 1.3824005532349326e-39, 1.5652531872477493e-39, 1.748105821260566e-39, 1.9309584552733828e-39, 2.1138110892861995e-39, 2.2966637232990162e-39, 2.479516357311833e-39, 2.6623689913246497e-39, 2.8452216253374664e-39, 3.028074259350283e-39, 3.2109268933631e-39, 3.3937795273759166e-39, 3.5766321613887333e-39, 3.75948479540155e-39, 3.942337429414367e-39, 4.1251900634271835e-39, 4.30804269744e-39, 4.490895331452817e-39, 4.673747965465634e-39, 4.8566005994784505e-39, 5.039453233491267e-39, 5.222305867504084e-39, 5.4051585015169006e-39, 5.5880111355297174e-39, 5.770863769542534e-39, 5.953716403555351e-39, 6.136569037568168e-39]}, "gradients/decoder.bert.encoder.layer.4.crossattention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.4.crossattention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.4.crossattention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.4.crossattention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.4.crossattention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.4.crossattention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.4.crossattention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.4.crossattention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.4.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 3.0, 4.0, 1.0, 3.0, 5.0, 10.0, 13.0, 9.0, 13.0, 10.0, 12.0, 15.0, 26.0, 43.0, 50.0, 87.0, 113.0, 136.0, 123.0, 86.0, 55.0, 57.0, 38.0, 19.0, 15.0, 11.0, 9.0, 12.0, 3.0, 9.0, 3.0, 7.0, 4.0, 2.0, 1.0, 1.0, 5.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 1.0], "bins": [-2.3456096773594178e-39, -2.281476450542664e-39, -2.21734322372591e-39, -2.153209996909156e-39, -2.089076770092402e-39, -2.0249435432756483e-39, -1.9608103164588944e-39, -1.8966770896421405e-39, -1.8325438628253866e-39, -1.7684106360086326e-39, -1.7042774091918787e-39, -1.640144182375125e-39, -1.576010955558371e-39, -1.511877728741617e-39, -1.4477445019248631e-39, -1.3836112751081092e-39, -1.3194780482913553e-39, -1.2553448214746014e-39, -1.1912115946578475e-39, -1.1270783678410936e-39, -1.0629451410243397e-39, -9.988119142075858e-40, -9.346786873908319e-40, -8.70545460574078e-40, -8.064122337573241e-40, -7.422790069405702e-40, -6.781457801238163e-40, -6.140125533070624e-40, -5.498793264903085e-40, -4.857460996735546e-40, -4.216128728568007e-40, -3.574796460400468e-40, -2.933029789708988e-40, -2.291697521541449e-40, -1.65036525337391e-40, -1.009032985206371e-40, -3.67700717038832e-41, 2.7363155112870703e-41, 9.149638192962461e-41, 1.556296087463785e-40, 2.197628355631324e-40, 2.838960623798863e-40, 3.480292891966402e-40, 4.121625160133941e-40, 4.76295742830148e-40, 5.404289696469019e-40, 6.045621964636558e-40, 6.686954232804097e-40, 7.328286500971636e-40, 7.969618769139175e-40, 8.610951037306714e-40, 9.252283305474253e-40, 9.893615573641792e-40, 1.0534947841809331e-39, 1.117628010997687e-39, 1.181761237814441e-39, 1.2458944646311949e-39, 1.3100276914479488e-39, 1.3741609182647027e-39, 1.4382941450814566e-39, 1.5024273718982105e-39, 1.5665605987149644e-39, 1.6306938255317183e-39, 1.6948270523484722e-39, 1.758960279165226e-39]}, "gradients/decoder.bert.encoder.layer.4.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 3.0, 0.0, 4.0, 4.0, 1.0, 2.0, 7.0, 5.0, 3.0, 8.0, 9.0, 13.0, 12.0, 19.0, 21.0, 21.0, 37.0, 37.0, 30.0, 40.0, 39.0, 43.0, 33.0, 50.0, 50.0, 47.0, 40.0, 50.0, 50.0, 48.0, 44.0, 41.0, 25.0, 19.0, 31.0, 26.0, 19.0, 12.0, 11.0, 11.0, 17.0, 8.0, 7.0, 6.0, 3.0, 3.0, 3.0, 4.0, 2.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.3078472710374593e-39, -1.2648260068842231e-39, -1.221804742730987e-39, -1.1787834785777507e-39, -1.1357622144245145e-39, -1.0927409502712783e-39, -1.0497196861180421e-39, -1.0066984219648059e-39, -9.636771578115697e-40, -9.206558936583335e-40, -8.776346295050973e-40, -8.34613365351861e-40, -7.915921011986248e-40, -7.485708370453886e-40, -7.055495728921524e-40, -6.625283087389162e-40, -6.1950704458568e-40, -5.764857804324438e-40, -5.334645162792076e-40, -4.904432521259714e-40, -4.474219879727352e-40, -4.0440072381949896e-40, -3.6137945966626275e-40, -3.1835819551302654e-40, -2.7533693135979033e-40, -2.3231566720655412e-40, -1.892944030533179e-40, -1.462731389000817e-40, -1.032518747468455e-40, -6.023061059360929e-41, -1.7209346440373078e-41, 2.581191771286313e-41, 6.885560264152854e-41, 1.1187686679476475e-40, 1.5489813094800095e-40, 1.9791939510123716e-40, 2.4094065925447337e-40, 2.839619234077096e-40, 3.269831875609458e-40, 3.70004451714182e-40, 4.130257158674182e-40, 4.560469800206544e-40, 4.990682441738906e-40, 5.420895083271268e-40, 5.8511077248036304e-40, 6.2813203663359925e-40, 6.711533007868355e-40, 7.141745649400717e-40, 7.571958290933079e-40, 8.002170932465441e-40, 8.432383573997803e-40, 8.862596215530165e-40, 9.292808857062527e-40, 9.72302149859489e-40, 1.0153234140127251e-39, 1.0583446781659613e-39, 1.1013659423191975e-39, 1.1443872064724338e-39, 1.18740847062567e-39, 1.2304297347789062e-39, 1.2734509989321424e-39, 1.3164722630853786e-39, 1.3594935272386148e-39, 1.402514791391851e-39, 1.4455360555450872e-39]}, "gradients/decoder.bert.encoder.layer.4.attention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.4.attention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.4.attention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.4.attention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.4.attention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.4.attention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.4.attention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.4.attention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.3.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 2.0, 3.0, 2.0, 7.0, 6.0, 3.0, 7.0, 7.0, 6.0, 8.0, 12.0, 23.0, 18.0, 37.0, 34.0, 46.0, 57.0, 91.0, 118.0, 131.0, 93.0, 67.0, 48.0, 53.0, 32.0, 22.0, 13.0, 9.0, 10.0, 8.0, 6.0, 9.0, 3.0, 2.0, 6.0, 4.0, 2.0, 3.0, 4.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0], "bins": [-1.566175241637275e-39, -1.5215831219055307e-39, -1.4769910021737864e-39, -1.432398882442042e-39, -1.3878067627102977e-39, -1.3432146429785534e-39, -1.298622523246809e-39, -1.2540304035150647e-39, -1.2094382837833204e-39, -1.1648461640515761e-39, -1.1202540443198318e-39, -1.0756619245880874e-39, -1.0310698048563431e-39, -9.864776851245988e-40, -9.418855653928544e-40, -8.972934456611101e-40, -8.527013259293658e-40, -8.081092061976215e-40, -7.635170864658771e-40, -7.189249667341328e-40, -6.743328470023885e-40, -6.2974072727064414e-40, -5.851486075388998e-40, -5.405564878071555e-40, -4.9596436807541116e-40, -4.513722483436668e-40, -4.067801286119225e-40, -3.6218800888017817e-40, -3.1759588914843384e-40, -2.730037694166895e-40, -2.284116496849452e-40, -1.8381952995320085e-40, -1.392204037291349e-40, -9.462828399739057e-41, -5.003616426564624e-41, -5.4440445339019143e-42, 3.9148075197842415e-41, 8.374019492958674e-41, 1.2833231466133107e-40, 1.729244343930754e-40, 2.1751655412481973e-40, 2.6210867385656406e-40, 3.067007935883084e-40, 3.512929133200527e-40, 3.9588503305179705e-40, 4.404771527835414e-40, 4.850692725152857e-40, 5.2966139224703e-40, 5.742535119787744e-40, 6.188456317105187e-40, 6.63437751442263e-40, 7.0802987117400735e-40, 7.526219909057517e-40, 7.97214110637496e-40, 8.418062303692403e-40, 8.863983501009847e-40, 9.30990469832729e-40, 9.755825895644733e-40, 1.0201747092962176e-39, 1.064766829027962e-39, 1.1093589487597063e-39, 1.1539510684914506e-39, 1.198543188223195e-39, 1.2431353079549393e-39, 1.2877274276866836e-39]}, "gradients/decoder.bert.encoder.layer.3.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 3.0, 1.0, 3.0, 4.0, 1.0, 2.0, 6.0, 5.0, 4.0, 9.0, 6.0, 15.0, 11.0, 18.0, 21.0, 26.0, 36.0, 35.0, 28.0, 44.0, 36.0, 44.0, 35.0, 47.0, 50.0, 48.0, 41.0, 49.0, 53.0, 46.0, 44.0, 39.0, 26.0, 23.0, 29.0, 22.0, 20.0, 13.0, 10.0, 12.0, 20.0, 5.0, 6.0, 7.0, 3.0, 2.0, 4.0, 4.0, 4.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.0042671691292023e-39, -9.712231500419588e-40, -9.381791309547153e-40, -9.051351118674718e-40, -8.720910927802283e-40, -8.390470736929848e-40, -8.060030546057413e-40, -7.729590355184977e-40, -7.399150164312542e-40, -7.068709973440107e-40, -6.738269782567672e-40, -6.407829591695237e-40, -6.077389400822802e-40, -5.746949209950367e-40, -5.416509019077932e-40, -5.0860688282054966e-40, -4.7556286373330614e-40, -4.425188446460626e-40, -4.094748255588191e-40, -3.764308064715756e-40, -3.433867873843321e-40, -3.103427682970886e-40, -2.7729874920984508e-40, -2.4425473012260156e-40, -2.1121071103535805e-40, -1.7816669194811454e-40, -1.4512267286087103e-40, -1.1207865377362752e-40, -7.903463468638401e-41, -4.59906155991405e-41, -1.2946596511896985e-41, 2.0097422575346526e-41, 5.315545464723329e-41, 8.61994737344768e-41, 1.192434928217203e-40, 1.5228751190896382e-40, 1.8533153099620733e-40, 2.1837555008345084e-40, 2.5141956917069435e-40, 2.8446358825793787e-40, 3.1750760734518138e-40, 3.505516264324249e-40, 3.835956455196684e-40, 4.166396646069119e-40, 4.496836836941554e-40, 4.827277027813989e-40, 5.1577172186864244e-40, 5.4881574095588596e-40, 5.818597600431295e-40, 6.14903779130373e-40, 6.479477982176165e-40, 6.8099181730486e-40, 7.140358363921035e-40, 7.47079855479347e-40, 7.801238745665905e-40, 8.13167893653834e-40, 8.462119127410776e-40, 8.79255931828321e-40, 9.122999509155646e-40, 9.453439700028081e-40, 9.783879890900516e-40, 1.0114320081772951e-39, 1.0444760272645386e-39, 1.0775200463517821e-39, 1.1105640654390256e-39]}, "gradients/decoder.bert.encoder.layer.3.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.3.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.3.intermediate.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.3.intermediate.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.3.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 2.0, 0.0, 0.0, 4.0, 4.0, 3.0, 1.0, 2.0, 4.0, 2.0, 3.0, 9.0, 6.0, 8.0, 8.0, 15.0, 17.0, 38.0, 40.0, 43.0, 65.0, 74.0, 123.0, 176.0, 84.0, 54.0, 52.0, 37.0, 34.0, 30.0, 14.0, 6.0, 7.0, 7.0, 7.0, 4.0, 10.0, 6.0, 2.0, 3.0, 3.0, 3.0, 4.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.0014239345450873e-39, -9.713296487252475e-40, -9.412353629054077e-40, -9.11141077085568e-40, -8.810467912657282e-40, -8.509525054458884e-40, -8.208582196260486e-40, -7.907639338062089e-40, -7.606696479863691e-40, -7.305753621665293e-40, -7.0048107634668956e-40, -6.703867905268498e-40, -6.4029250470701e-40, -6.1019821888717024e-40, -5.801039330673305e-40, -5.500096472474907e-40, -5.199153614276509e-40, -4.8982107560781116e-40, -4.597267897879714e-40, -4.296325039681316e-40, -3.9953821814829184e-40, -3.694439323284521e-40, -3.393496465086123e-40, -3.0925536068877253e-40, -2.7916107486893276e-40, -2.49066789049093e-40, -2.189725032292532e-40, -1.8887821740941344e-40, -1.5878393158957367e-40, -1.286896457697339e-40, -9.859535994989413e-41, -6.850107413005436e-41, -3.8426406488715134e-41, -8.332120668875362e-42, 2.176216515096441e-41, 5.185645097080418e-41, 8.195073679064395e-41, 1.1204502261048372e-40, 1.421393084303235e-40, 1.7223359425016327e-40, 2.0232788007000304e-40, 2.324221658898428e-40, 2.625164517096826e-40, 2.9261073752952235e-40, 3.2270502334936212e-40, 3.527993091692019e-40, 3.828935949890417e-40, 4.129878808088814e-40, 4.430821666287212e-40, 4.73176452448561e-40, 5.0327073826840075e-40, 5.333650240882405e-40, 5.634593099080803e-40, 5.935535957279201e-40, 6.236478815477598e-40, 6.537421673675996e-40, 6.838364531874394e-40, 7.1393073900727915e-40, 7.44025024827119e-40, 7.741193106469587e-40, 8.042135964667985e-40, 8.343078822866382e-40, 8.64402168106478e-40, 8.944964539263178e-40, 9.245907397461576e-40]}, "gradients/decoder.bert.encoder.layer.3.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 3.0, 4.0, 2.0, 1.0, 8.0, 4.0, 3.0, 9.0, 8.0, 14.0, 14.0, 16.0, 23.0, 20.0, 34.0, 40.0, 33.0, 42.0, 37.0, 42.0, 34.0, 50.0, 47.0, 52.0, 36.0, 51.0, 49.0, 51.0, 42.0, 39.0, 25.0, 21.0, 33.0, 22.0, 20.0, 11.0, 13.0, 9.0, 21.0, 2.0, 7.0, 7.0, 4.0, 3.0, 2.0, 5.0, 2.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-6.519358936470849e-40, -6.304315674135563e-40, -6.089272411800276e-40, -5.87422914946499e-40, -5.6591858871297035e-40, -5.444142624794417e-40, -5.229099362459131e-40, -5.014056100123844e-40, -4.799012837788558e-40, -4.583969575453271e-40, -4.368926313117985e-40, -4.1538830507826985e-40, -3.938839788447412e-40, -3.723796526112126e-40, -3.5087532637768392e-40, -3.2937100014415528e-40, -3.0786667391062664e-40, -2.86362347677098e-40, -2.6485802144356935e-40, -2.433536952100407e-40, -2.2184936897651206e-40, -2.0034504274298342e-40, -1.7884071650945478e-40, -1.5733639027592614e-40, -1.358320640423975e-40, -1.1432773780886885e-40, -9.28234115753402e-41, -7.131908534181156e-41, -4.981475910828292e-41, -2.831043287475428e-41, -6.806106641225637e-42, 1.4698219592303006e-41, 3.621515751201057e-41, 5.771948374553922e-41, 7.922380997906786e-41, 1.007281362125965e-40, 1.2223246244612514e-40, 1.4373678867965379e-40, 1.6524111491318243e-40, 1.8674544114671107e-40, 2.082497673802397e-40, 2.2975409361376836e-40, 2.51258419847297e-40, 2.7276274608082564e-40, 2.942670723143543e-40, 3.1577139854788293e-40, 3.3727572478141157e-40, 3.587800510149402e-40, 3.8028437724846886e-40, 4.017887034819975e-40, 4.2329302971552614e-40, 4.447973559490548e-40, 4.663016821825834e-40, 4.878060084161121e-40, 5.093103346496407e-40, 5.3081466088316936e-40, 5.52318987116698e-40, 5.7382331335022664e-40, 5.953276395837553e-40, 6.168319658172839e-40, 6.383362920508126e-40, 6.598406182843412e-40, 6.8134494451786986e-40, 7.028492707513985e-40, 7.2435359698492714e-40]}, "gradients/decoder.bert.encoder.layer.3.crossattention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.3.crossattention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.3.crossattention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.3.crossattention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.3.crossattention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.3.crossattention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.3.crossattention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.3.crossattention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.3.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 2.0, 3.0, 0.0, 2.0, 4.0, 2.0, 4.0, 6.0, 4.0, 11.0, 14.0, 16.0, 21.0, 28.0, 38.0, 55.0, 82.0, 114.0, 163.0, 136.0, 85.0, 71.0, 38.0, 25.0, 25.0, 22.0, 8.0, 6.0, 7.0, 6.0, 4.0, 5.0, 3.0, 2.0, 0.0, 1.0, 3.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.5871052508057638e-40, -2.485987553620085e-40, -2.384869856434406e-40, -2.2837521592487274e-40, -2.1826344620630486e-40, -2.0815167648773698e-40, -1.980399067691691e-40, -1.879281370506012e-40, -1.7781636733203334e-40, -1.6770459761346546e-40, -1.5759282789489758e-40, -1.474810581763297e-40, -1.3736928845776182e-40, -1.2725751873919394e-40, -1.1714574902062606e-40, -1.0703397930205818e-40, -9.69222095834903e-41, -8.681043986492242e-41, -7.669867014635454e-41, -6.658690042778666e-41, -5.647513070921878e-41, -4.63633609906509e-41, -3.625159127208302e-41, -2.613982155351514e-41, -1.6028051834947258e-41, -5.916282116379378e-42, 4.195487602188502e-42, 1.4307257320756382e-41, 2.441902703932426e-41, 3.453079675789214e-41, 4.464256647646002e-41, 5.47543361950279e-41, 6.490814486752553e-41, 7.501991458609341e-41, 8.513168430466129e-41, 9.524345402322917e-41, 1.0535522374179705e-40, 1.1546699346036493e-40, 1.255787631789328e-40, 1.3569053289750069e-40, 1.4580230261606857e-40, 1.5591407233463645e-40, 1.6602584205320433e-40, 1.761376117717722e-40, 1.862493814903401e-40, 1.9636115120890797e-40, 2.0647292092747585e-40, 2.1658469064604373e-40, 2.266964603646116e-40, 2.368082300831795e-40, 2.4691999980174737e-40, 2.5703176952031525e-40, 2.6714353923888313e-40, 2.77255308957451e-40, 2.873670786760189e-40, 2.9747884839458677e-40, 3.0759061811315465e-40, 3.1770238783172253e-40, 3.278141575502904e-40, 3.379259272688583e-40, 3.4803769698742617e-40, 3.5814946670599405e-40, 3.682612364245619e-40, 3.783730061431298e-40, 3.884847758616977e-40]}, "gradients/decoder.bert.encoder.layer.3.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 3.0, 3.0, 3.0, 2.0, 1.0, 8.0, 4.0, 4.0, 8.0, 9.0, 13.0, 15.0, 19.0, 17.0, 22.0, 33.0, 44.0, 30.0, 40.0, 37.0, 45.0, 34.0, 51.0, 47.0, 45.0, 38.0, 55.0, 48.0, 46.0, 47.0, 42.0, 22.0, 20.0, 34.0, 22.0, 21.0, 10.0, 13.0, 8.0, 21.0, 4.0, 5.0, 8.0, 3.0, 4.0, 2.0, 4.0, 3.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.7738196480809264e-40, -1.715301424210722e-40, -1.6567832003405177e-40, -1.5982649764703134e-40, -1.539746752600109e-40, -1.4812285287299046e-40, -1.4227103048597003e-40, -1.364192080989496e-40, -1.3056738571192916e-40, -1.2471556332490872e-40, -1.1886374093788828e-40, -1.1301191855086785e-40, -1.0716009616384741e-40, -1.0130827377682697e-40, -9.545645138980654e-41, -8.96046290027861e-41, -8.375280661576567e-41, -7.790098422874523e-41, -7.204916184172479e-41, -6.619733945470436e-41, -6.034551706768392e-41, -5.449369468066349e-41, -4.864187229364305e-41, -4.2790049906622614e-41, -3.693822751960218e-41, -3.108640513258174e-41, -2.5234582745561306e-41, -1.938276035854087e-41, -1.3530937971520434e-41, -7.679115584499998e-42, -1.8272931974795615e-42, 4.0245291895408746e-42, 9.832911324167241e-42, 1.5684733711187677e-41, 2.1536556098208114e-41, 2.738837848522855e-41, 3.3240200872248986e-41, 3.909202325926942e-41, 4.494384564628986e-41, 5.079566803331029e-41, 5.664749042033073e-41, 6.249931280735117e-41, 6.83511351943716e-41, 7.420295758139204e-41, 8.005477996841247e-41, 8.590660235543291e-41, 9.175842474245335e-41, 9.761024712947378e-41, 1.0346206951649422e-40, 1.0931389190351465e-40, 1.151657142905351e-40, 1.2101753667755553e-40, 1.2686935906457596e-40, 1.327211814515964e-40, 1.3857300383861684e-40, 1.4442482622563727e-40, 1.502766486126577e-40, 1.5612847099967814e-40, 1.6198029338669858e-40, 1.6783211577371902e-40, 1.7368393816073945e-40, 1.7953576054775989e-40, 1.8538758293478032e-40, 1.9123940532180076e-40, 1.970912277088212e-40]}, "gradients/decoder.bert.encoder.layer.3.attention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.3.attention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.3.attention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.3.attention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.3.attention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.3.attention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.3.attention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.3.attention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.2.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 2.0, 1.0, 1.0, 0.0, 3.0, 0.0, 2.0, 1.0, 3.0, 5.0, 6.0, 3.0, 10.0, 9.0, 10.0, 17.0, 24.0, 31.0, 46.0, 42.0, 87.0, 120.0, 163.0, 125.0, 71.0, 59.0, 43.0, 19.0, 25.0, 16.0, 16.0, 18.0, 6.0, 8.0, 6.0, 3.0, 5.0, 2.0, 2.0, 3.0, 3.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.0040249598002074e-40, -1.9283828686959538e-40, -1.8527407775917e-40, -1.7770986864874465e-40, -1.7014565953831929e-40, -1.6258145042789393e-40, -1.5501724131746856e-40, -1.474530322070432e-40, -1.3988882309661784e-40, -1.3232461398619248e-40, -1.2476040487576711e-40, -1.1719619576534175e-40, -1.0963198665491639e-40, -1.0206777754449103e-40, -9.450356843406566e-41, -8.69393593236403e-41, -7.937515021321494e-41, -7.181094110278958e-41, -6.424673199236421e-41, -5.668252288193885e-41, -4.911831377151349e-41, -4.1554104661088125e-41, -3.3989895550662763e-41, -2.64256864402374e-41, -1.8861477329812038e-41, -1.1297268219386675e-41, -3.7330591089613127e-42, 3.83115000146405e-42, 1.1395359111889412e-41, 1.8959568222314775e-41, 2.652377733274014e-41, 3.40879864431655e-41, 4.167741892594871e-41, 4.924162803637407e-41, 5.680583714679943e-41, 6.43700462572248e-41, 7.193425536765016e-41, 7.949846447807552e-41, 8.706267358850088e-41, 9.462688269892625e-41, 1.021910918093516e-40, 1.0975530091977697e-40, 1.1731951003020233e-40, 1.248837191406277e-40, 1.3244792825105306e-40, 1.4001213736147842e-40, 1.4757634647190379e-40, 1.5514055558232915e-40, 1.627047646927545e-40, 1.7026897380317987e-40, 1.7783318291360524e-40, 1.853973920240306e-40, 1.9296160113445596e-40, 2.0052581024488132e-40, 2.080900193553067e-40, 2.1565422846573205e-40, 2.232184375761574e-40, 2.3078264668658277e-40, 2.3834685579700814e-40, 2.459110649074335e-40, 2.5347527401785886e-40, 2.6103948312828422e-40, 2.686036922387096e-40, 2.7616790134913495e-40, 2.837321104595603e-40]}, "gradients/decoder.bert.encoder.layer.2.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 3.0, 1.0, 4.0, 3.0, 0.0, 9.0, 4.0, 4.0, 8.0, 8.0, 13.0, 14.0, 20.0, 17.0, 21.0, 32.0, 43.0, 32.0, 37.0, 42.0, 39.0, 36.0, 47.0, 52.0, 45.0, 40.0, 50.0, 50.0, 50.0, 41.0, 46.0, 20.0, 20.0, 30.0, 26.0, 23.0, 12.0, 11.0, 10.0, 20.0, 4.0, 6.0, 7.0, 2.0, 6.0, 2.0, 3.0, 3.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.4246300837558253e-40, -1.3777986890780899e-40, -1.3309672944003545e-40, -1.2841358997226191e-40, -1.2373045050448837e-40, -1.1904731103671483e-40, -1.143641715689413e-40, -1.0968103210116776e-40, -1.0499789263339422e-40, -1.0031475316562068e-40, -9.563161369784714e-41, -9.09484742300736e-41, -8.626533476230006e-41, -8.158219529452653e-41, -7.689905582675299e-41, -7.221591635897945e-41, -6.753277689120591e-41, -6.284963742343237e-41, -5.816649795565883e-41, -5.348335848788529e-41, -4.880021902011175e-41, -4.4117079552338216e-41, -3.9433940084564677e-41, -3.475080061679114e-41, -3.00676611490176e-41, -2.538452168124406e-41, -2.0701382213470523e-41, -1.6018242745696984e-41, -1.1335103277923445e-41, -6.651963810149907e-42, -1.968824342376368e-42, 2.7143151253971707e-42, 7.42968445785018e-42, 1.211282392562372e-41, 1.6795963393397257e-41, 2.1479102861170796e-41, 2.6162242328944335e-41, 3.0845381796717873e-41, 3.552852126449141e-41, 4.021166073226495e-41, 4.489480020003849e-41, 4.957793966781203e-41, 5.426107913558557e-41, 5.894421860335911e-41, 6.362735807113264e-41, 6.831049753890618e-41, 7.299363700667972e-41, 7.767677647445326e-41, 8.23599159422268e-41, 8.704305541000034e-41, 9.172619487777388e-41, 9.640933434554741e-41, 1.0109247381332095e-40, 1.057756132810945e-40, 1.1045875274886803e-40, 1.1514189221664157e-40, 1.198250316844151e-40, 1.2450817115218865e-40, 1.2919131061996219e-40, 1.3387445008773572e-40, 1.3855758955550926e-40, 1.432407290232828e-40, 1.4792386849105634e-40, 1.5260700795882988e-40, 1.5729014742660342e-40]}, "gradients/decoder.bert.encoder.layer.2.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.2.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.2.intermediate.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.2.intermediate.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.2.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 4.0, 0.0, 2.0, 3.0, 2.0, 3.0, 12.0, 11.0, 11.0, 8.0, 15.0, 26.0, 22.0, 48.0, 46.0, 67.0, 115.0, 207.0, 106.0, 82.0, 68.0, 31.0, 28.0, 19.0, 8.0, 15.0, 10.0, 11.0, 11.0, 2.0, 10.0, 1.0, 2.0, 1.0, 1.0, 0.0, 2.0, 2.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.5123373546379156e-40, -1.4573223769285233e-40, -1.402307399219131e-40, -1.3472924215097386e-40, -1.2922774438003463e-40, -1.237262466090954e-40, -1.1822474883815617e-40, -1.1272325106721693e-40, -1.072217532962777e-40, -1.0172025552533847e-40, -9.621875775439924e-41, -9.071725998346001e-41, -8.521576221252078e-41, -7.971426444158154e-41, -7.421276667064231e-41, -6.871126889970308e-41, -6.320977112876385e-41, -5.770827335782462e-41, -5.220677558688538e-41, -4.670527781594615e-41, -4.120378004500692e-41, -3.570228227406769e-41, -3.020078450312846e-41, -2.4699286732189226e-41, -1.9197788961249994e-41, -1.3696291190310762e-41, -8.19479341937153e-42, -2.6932956484322984e-42, 2.8082021225069334e-42, 8.309699893446165e-42, 1.3811197664385397e-41, 1.931269543532463e-41, 2.4847824369407656e-41, 3.034932214034689e-41, 3.585081991128612e-41, 4.135231768222535e-41, 4.685381545316458e-41, 5.235531322410382e-41, 5.785681099504305e-41, 6.335830876598228e-41, 6.885980653692151e-41, 7.436130430786074e-41, 7.986280207879997e-41, 8.536429984973921e-41, 9.086579762067844e-41, 9.636729539161767e-41, 1.018687931625569e-40, 1.0737029093349613e-40, 1.1287178870443537e-40, 1.183732864753746e-40, 1.2387478424631383e-40, 1.2937628201725306e-40, 1.348777797881923e-40, 1.4037927755913152e-40, 1.4588077533007076e-40, 1.5138227310100999e-40, 1.5688377087194922e-40, 1.6238526864288845e-40, 1.6788676641382768e-40, 1.7338826418476692e-40, 1.7888976195570615e-40, 1.8439125972664538e-40, 1.898927574975846e-40, 1.9539425526852384e-40, 2.0089575303946307e-40]}, "gradients/decoder.bert.encoder.layer.2.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 2.0, 6.0, 1.0, 3.0, 4.0, 6.0, 3.0, 9.0, 9.0, 10.0, 17.0, 16.0, 19.0, 22.0, 28.0, 38.0, 33.0, 38.0, 41.0, 47.0, 36.0, 41.0, 49.0, 50.0, 39.0, 48.0, 55.0, 46.0, 45.0, 48.0, 17.0, 22.0, 27.0, 26.0, 27.0, 11.0, 10.0, 13.0, 14.0, 10.0, 6.0, 7.0, 2.0, 6.0, 2.0, 4.0, 1.0, 3.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.0529496790783108e-40, -1.018463723871277e-40, -9.839777686642433e-41, -9.494918134572096e-41, -9.150058582501758e-41, -8.805199030431421e-41, -8.460339478361083e-41, -8.115479926290746e-41, -7.770620374220408e-41, -7.425760822150071e-41, -7.080901270079733e-41, -6.736041718009396e-41, -6.391182165939058e-41, -6.046322613868721e-41, -5.701463061798383e-41, -5.356603509728046e-41, -5.011743957657708e-41, -4.666884405587371e-41, -4.3220248535170333e-41, -3.977165301446696e-41, -3.6323057493763583e-41, -3.287446197306021e-41, -2.9425866452356834e-41, -2.597727093165346e-41, -2.2528675410950084e-41, -1.908007989024671e-41, -1.5631484369543334e-41, -1.218288884883996e-41, -8.734293328136585e-42, -5.28569780743321e-42, -1.8371022867298352e-42, 1.6114932339735396e-42, 5.0586874562125896e-42, 8.507282976915964e-42, 1.195587849761934e-41, 1.5404474018322714e-41, 1.885306953902609e-41, 2.2301665059729464e-41, 2.575026058043284e-41, 2.9198856101136213e-41, 3.264745162183959e-41, 3.6096047142542963e-41, 3.954464266324634e-41, 4.2993238183949713e-41, 4.644183370465309e-41, 4.989042922535646e-41, 5.333902474605984e-41, 5.678762026676321e-41, 6.023621578746659e-41, 6.368481130816996e-41, 6.713340682887334e-41, 7.058200234957671e-41, 7.403059787028009e-41, 7.747919339098346e-41, 8.092778891168684e-41, 8.437638443239021e-41, 8.782497995309359e-41, 9.127357547379696e-41, 9.472217099450033e-41, 9.81707665152037e-41, 1.0161936203590708e-40, 1.0506795755661046e-40, 1.0851655307731383e-40, 1.119651485980172e-40, 1.1541374411872058e-40]}, "gradients/decoder.bert.encoder.layer.2.crossattention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.2.crossattention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.2.crossattention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.2.crossattention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.2.crossattention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.2.crossattention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.2.crossattention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.2.crossattention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.2.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 2.0, 1.0, 2.0, 2.0, 2.0, 0.0, 9.0, 2.0, 4.0, 4.0, 4.0, 7.0, 8.0, 10.0, 19.0, 20.0, 24.0, 29.0, 47.0, 53.0, 96.0, 119.0, 136.0, 103.0, 63.0, 66.0, 45.0, 18.0, 25.0, 22.0, 14.0, 15.0, 10.0, 7.0, 5.0, 5.0, 5.0, 1.0, 4.0, 3.0, 2.0, 0.0, 1.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.0245291895408746e-41, -3.886221031112015e-41, -3.7479128726831557e-41, -3.6096047142542963e-41, -3.471296555825437e-41, -3.3329883973965774e-41, -3.194680238967718e-41, -3.0563720805388585e-41, -2.918063922109999e-41, -2.7797557636811396e-41, -2.64144760525228e-41, -2.5031394468234207e-41, -2.3648312883945613e-41, -2.2265231299657018e-41, -2.0882149715368424e-41, -1.949906813107983e-41, -1.8115986546791235e-41, -1.673290496250264e-41, -1.5349823378214046e-41, -1.3966741793925452e-41, -1.2583660209636857e-41, -1.1200578625348263e-41, -9.817497041059668e-42, -8.434415456771074e-42, -7.05133387248248e-42, -5.668252288193885e-42, -4.2851707039052906e-42, -2.902089119616696e-42, -1.5190075353281017e-42, -1.3592595103950726e-43, 1.2471556332490872e-42, 2.6302372175376816e-42, 3.9951019217900535e-42, 5.378183506078648e-42, 6.761265090367242e-42, 8.144346674655837e-42, 9.527428258944431e-42, 1.0910509843233026e-41, 1.229359142752162e-41, 1.3676673011810215e-41, 1.505975459609881e-41, 1.6442836180387404e-41, 1.7825917764675998e-41, 1.9208999348964592e-41, 2.0592080933253187e-41, 2.1975162517541781e-41, 2.3358244101830376e-41, 2.474132568611897e-41, 2.6124407270407565e-41, 2.750748885469616e-41, 2.8890570438984754e-41, 3.027365202327335e-41, 3.165673360756194e-41, 3.3039815191850537e-41, 3.442289677613913e-41, 3.5805978360427726e-41, 3.718905994471632e-41, 3.8572141529004915e-41, 3.995522311329351e-41, 4.1338304697582104e-41, 4.27213862818707e-41, 4.410446786615929e-41, 4.5487549450447887e-41, 4.687063103473648e-41, 4.825371261902508e-41]}, "gradients/decoder.bert.encoder.layer.2.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 2.0, 6.0, 0.0, 3.0, 5.0, 6.0, 3.0, 5.0, 14.0, 8.0, 19.0, 16.0, 20.0, 18.0, 29.0, 36.0, 38.0, 35.0, 41.0, 46.0, 36.0, 44.0, 47.0, 52.0, 36.0, 50.0, 55.0, 44.0, 48.0, 46.0, 18.0, 24.0, 30.0, 23.0, 24.0, 11.0, 13.0, 10.0, 15.0, 10.0, 6.0, 7.0, 2.0, 5.0, 4.0, 3.0, 2.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.9790204053081286e-41, -2.8814900321911213e-41, -2.783959659074114e-41, -2.686429285957107e-41, -2.5888989128400995e-41, -2.4913685397230923e-41, -2.393838166606085e-41, -2.2963077934890777e-41, -2.1987774203720705e-41, -2.1012470472550632e-41, -2.003716674138056e-41, -1.9061863010210487e-41, -1.8086559279040414e-41, -1.711125554787034e-41, -1.6135951816700269e-41, -1.5160648085530196e-41, -1.4185344354360123e-41, -1.321004062319005e-41, -1.2234736892019978e-41, -1.1259433160849905e-41, -1.0284129429679832e-41, -9.30882569850976e-42, -8.333521967339687e-42, -7.358218236169614e-42, -6.382914504999542e-42, -5.407610773829469e-42, -4.4323070426593964e-42, -3.457003311489324e-42, -2.481699580319251e-42, -1.5063958491491784e-42, -5.310921179791057e-43, 4.44211613190967e-43, 1.4377322243972623e-42, 2.413035955567335e-42, 3.3883396867374077e-42, 4.3636434179074804e-42, 5.338947149077553e-42, 6.314250880247626e-42, 7.289554611417698e-42, 8.264858342587771e-42, 9.240162073757844e-42, 1.0215465804927916e-41, 1.1190769536097989e-41, 1.2166073267268062e-41, 1.3141376998438134e-41, 1.4116680729608207e-41, 1.509198446077828e-41, 1.6067288191948353e-41, 1.7042591923118425e-41, 1.8017895654288498e-41, 1.899319938545857e-41, 1.9968503116628643e-41, 2.0943806847798716e-41, 2.1919110578968789e-41, 2.2894414310138861e-41, 2.3869718041308934e-41, 2.4845021772479007e-41, 2.582032550364908e-41, 2.679562923481915e-41, 2.7770932965989225e-41, 2.8746236697159297e-41, 2.972154042832937e-41, 3.0696844159499443e-41, 3.1672147890669515e-41, 3.264745162183959e-41]}, "gradients/decoder.bert.encoder.layer.2.attention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.2.attention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.2.attention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.2.attention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.2.attention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.2.attention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.2.attention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.2.attention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.1.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 2.0, 0.0, 2.0, 1.0, 1.0, 1.0, 1.0, 2.0, 3.0, 3.0, 7.0, 7.0, 7.0, 11.0, 16.0, 12.0, 18.0, 21.0, 40.0, 44.0, 56.0, 97.0, 117.0, 132.0, 121.0, 68.0, 54.0, 39.0, 30.0, 26.0, 15.0, 18.0, 8.0, 10.0, 8.0, 5.0, 5.0, 0.0, 1.0, 5.0, 2.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0], "bins": [-4.039242823416285e-41, -3.921393622566568e-41, -3.803544421716851e-41, -3.685695220867134e-41, -3.5678460200174167e-41, -3.4499968191676996e-41, -3.3321476183179825e-41, -3.2142984174682654e-41, -3.0964492166185483e-41, -2.978600015768831e-41, -2.860750814919114e-41, -2.742901614069397e-41, -2.62505241321968e-41, -2.5072032123699627e-41, -2.3893540115202456e-41, -2.2715048106705285e-41, -2.1536556098208114e-41, -2.0358064089710942e-41, -1.917957208121377e-41, -1.80010800727166e-41, -1.682258806421943e-41, -1.5644096055722258e-41, -1.4465604047225087e-41, -1.3287112038727915e-41, -1.2108620030230744e-41, -1.0930128021733573e-41, -9.751636013236402e-42, -8.573144004739231e-42, -7.39465199624206e-42, -6.216159987744889e-42, -5.0376679792477174e-42, -3.859175970750546e-42, -2.651256694502554e-42, -1.4727646860053827e-42, -2.942726775082116e-43, 8.842193309889596e-43, 2.0627113394861307e-42, 3.241203347983302e-42, 4.419695356480473e-42, 5.598187364977644e-42, 6.776679373474815e-42, 7.955171381971987e-42, 9.133663390469158e-42, 1.0312155398966329e-41, 1.14906474074635e-41, 1.266913941596067e-41, 1.3847631424457842e-41, 1.5026123432955013e-41, 1.6204615441452185e-41, 1.7383107449949356e-41, 1.8561599458446527e-41, 1.9740091466943698e-41, 2.091858347544087e-41, 2.209707548393804e-41, 2.327556749243521e-41, 2.4454059500932383e-41, 2.5632551509429554e-41, 2.6811043517926725e-41, 2.7989535526423896e-41, 2.9168027534921067e-41, 3.034651954341824e-41, 3.152501155191541e-41, 3.270350356041258e-41, 3.388199556890975e-41, 3.5060487577406923e-41]}, "gradients/decoder.bert.encoder.layer.1.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 6.0, 2.0, 2.0, 2.0, 7.0, 4.0, 6.0, 3.0, 15.0, 10.0, 17.0, 16.0, 22.0, 18.0, 27.0, 41.0, 34.0, 32.0, 49.0, 43.0, 34.0, 41.0, 44.0, 56.0, 46.0, 37.0, 56.0, 46.0, 55.0, 36.0, 23.0, 22.0, 23.0, 25.0, 27.0, 12.0, 12.0, 6.0, 16.0, 12.0, 9.0, 4.0, 3.0, 4.0, 4.0, 4.0, 2.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.4361573802286945e-41, -2.3561432379157474e-41, -2.2761290956028004e-41, -2.1961149532898533e-41, -2.1161008109769063e-41, -2.0360866686639592e-41, -1.9560725263510121e-41, -1.876058384038065e-41, -1.796044241725118e-41, -1.716030099412171e-41, -1.636015957099224e-41, -1.556001814786277e-41, -1.4759876724733298e-41, -1.3959735301603828e-41, -1.3159593878474357e-41, -1.2359452455344887e-41, -1.1559311032215416e-41, -1.0759169609085945e-41, -9.959028185956475e-42, -9.158886762827004e-42, -8.358745339697534e-42, -7.558603916568063e-42, -6.758462493438593e-42, -5.958321070309122e-42, -5.1581796471796516e-42, -4.358038224050181e-42, -3.5578968009207105e-42, -2.75775537779124e-42, -1.9576139546617694e-42, -1.1574725315322989e-42, -3.5733110840282835e-43, 4.428103147266422e-43, 1.2121231716409668e-42, 2.0122645947704373e-42, 2.812406017899908e-42, 3.6125474410293784e-42, 4.412688864158849e-42, 5.2128302872883195e-42, 6.01297171041779e-42, 6.81311313354726e-42, 7.613254556676731e-42, 8.413395979806202e-42, 9.213537402935672e-42, 1.0013678826065143e-41, 1.0813820249194613e-41, 1.1613961672324084e-41, 1.2414103095453554e-41, 1.3214244518583025e-41, 1.4014385941712496e-41, 1.4814527364841966e-41, 1.5614668787971437e-41, 1.6414810211100907e-41, 1.7214951634230378e-41, 1.8015093057359848e-41, 1.881523448048932e-41, 1.961537590361879e-41, 2.041551732674826e-41, 2.121565874987773e-41, 2.20158001730072e-41, 2.2815941596136672e-41, 2.361608301926614e-41, 2.4416224442395613e-41, 2.5216365865525083e-41, 2.6016507288654554e-41, 2.6816648711784024e-41]}, "gradients/decoder.bert.encoder.layer.1.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.1.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.1.intermediate.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.1.intermediate.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.1.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 3.0, 2.0, 3.0, 4.0, 2.0, 5.0, 7.0, 8.0, 6.0, 6.0, 7.0, 10.0, 15.0, 17.0, 26.0, 39.0, 39.0, 43.0, 67.0, 78.0, 135.0, 119.0, 84.0, 60.0, 42.0, 31.0, 29.0, 18.0, 20.0, 11.0, 12.0, 12.0, 4.0, 5.0, 10.0, 9.0, 5.0, 3.0, 5.0, 1.0, 3.0, 2.0, 0.0, 2.0, 0.0, 1.0, 3.0], "bins": [-2.9179237922635666e-41, -2.840712246879269e-41, -2.763500701494972e-41, -2.6862891561106743e-41, -2.609077610726377e-41, -2.5318660653420795e-41, -2.454654519957782e-41, -2.3774429745734846e-41, -2.300231429189187e-41, -2.2230198838048898e-41, -2.1458083384205924e-41, -2.068596793036295e-41, -1.9913852476519975e-41, -1.9141737022677e-41, -1.8369621568834027e-41, -1.7597506114991053e-41, -1.6825390661148079e-41, -1.6053275207305104e-41, -1.528115975346213e-41, -1.4509044299619156e-41, -1.3736928845776182e-41, -1.2964813391933208e-41, -1.2192697938090233e-41, -1.1420582484247259e-41, -1.0648467030404285e-41, -9.876351576561311e-42, -9.104236122718337e-42, -8.332120668875362e-42, -7.560005215032388e-42, -6.787889761189414e-42, -6.01577430734644e-42, -5.2436588535034655e-42, -4.4309057441950716e-42, -3.6587902903520974e-42, -2.886674836509123e-42, -2.114559382666149e-42, -1.3424439288231748e-42, -5.7032847498020055e-43, 2.0178697886277366e-43, 9.739024327057479e-43, 1.746017886548722e-42, 2.5181333403916963e-42, 3.2902487942346705e-42, 4.062364248077645e-42, 4.834479701920619e-42, 5.606595155763593e-42, 6.378710609606567e-42, 7.150826063449542e-42, 7.922941517292516e-42, 8.69505697113549e-42, 9.467172424978464e-42, 1.0239287878821438e-41, 1.1011403332664413e-41, 1.1783518786507387e-41, 1.255563424035036e-41, 1.3327749694193335e-41, 1.409986514803631e-41, 1.4871980601879284e-41, 1.5644096055722258e-41, 1.6416211509565232e-41, 1.7188326963408206e-41, 1.796044241725118e-41, 1.8732557871094155e-41, 1.950467332493713e-41, 2.0276788778780103e-41]}, "gradients/decoder.bert.encoder.layer.1.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 4.0, 4.0, 2.0, 3.0, 6.0, 4.0, 6.0, 5.0, 13.0, 14.0, 16.0, 15.0, 19.0, 21.0, 31.0, 37.0, 35.0, 38.0, 46.0, 40.0, 32.0, 44.0, 50.0, 50.0, 40.0, 44.0, 57.0, 42.0, 52.0, 37.0, 25.0, 21.0, 23.0, 26.0, 26.0, 12.0, 12.0, 5.0, 16.0, 12.0, 9.0, 4.0, 3.0, 4.0, 4.0, 3.0, 3.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.9817162882481563e-41, -1.9165559096570523e-41, -1.8513955310659483e-41, -1.7862351524748443e-41, -1.7210747738837403e-41, -1.6559143952926363e-41, -1.5907540167015323e-41, -1.5255936381104283e-41, -1.4604332595193244e-41, -1.3952728809282204e-41, -1.3301125023371164e-41, -1.2649521237460124e-41, -1.1997917451549084e-41, -1.1346313665638044e-41, -1.0694709879727004e-41, -1.0043106093815964e-41, -9.391502307904924e-42, -8.739898521993884e-42, -8.088294736082844e-42, -7.436690950171804e-42, -6.785087164260764e-42, -6.133483378349724e-42, -5.4818795924386844e-42, -4.8302758065276444e-42, -4.1786720206166045e-42, -3.5270682347055646e-42, -2.8754644487945246e-42, -2.2238606628834847e-42, -1.5722568769724448e-42, -9.206530910614048e-43, -2.6904930515036488e-43, 3.825544807606751e-43, 1.0677894298155106e-42, 1.7193932157265505e-42, 2.3709970016375905e-42, 3.0226007875486304e-42, 3.6742045734596704e-42, 4.32580835937071e-42, 4.97741214528175e-42, 5.62901593119279e-42, 6.28061971710383e-42, 6.93222350301487e-42, 7.58382728892591e-42, 8.23543107483695e-42, 8.88703486074799e-42, 9.53863864665903e-42, 1.019024243257007e-41, 1.084184621848111e-41, 1.149345000439215e-41, 1.214505379030319e-41, 1.279665757621423e-41, 1.344826136212527e-41, 1.409986514803631e-41, 1.475146893394735e-41, 1.540307271985839e-41, 1.605467650576943e-41, 1.670628029168047e-41, 1.735788407759151e-41, 1.800948786350255e-41, 1.866109164941359e-41, 1.931269543532463e-41, 1.996429922123567e-41, 2.061590300714671e-41, 2.1267506793057749e-41, 2.1919110578968789e-41]}, "gradients/decoder.bert.encoder.layer.1.crossattention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.1.crossattention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.1.crossattention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.1.crossattention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.1.crossattention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.1.crossattention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.1.crossattention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.1.crossattention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.1.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [3.0, 4.0, 0.0, 1.0, 2.0, 0.0, 1.0, 3.0, 3.0, 3.0, 1.0, 1.0, 3.0, 8.0, 5.0, 6.0, 9.0, 6.0, 11.0, 15.0, 18.0, 23.0, 22.0, 30.0, 31.0, 43.0, 40.0, 40.0, 58.0, 93.0, 80.0, 70.0, 81.0, 59.0, 48.0, 38.0, 27.0, 26.0, 19.0, 14.0, 12.0, 8.0, 13.0, 9.0, 4.0, 3.0, 3.0, 5.0, 1.0, 9.0, 1.0, 1.0, 2.0, 0.0, 1.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-6.16711454149352e-42, -5.962524965702097e-42, -5.757935389910673e-42, -5.55334581411925e-42, -5.348756238327827e-42, -5.1441666625364035e-42, -4.93957708674498e-42, -4.734987510953557e-42, -4.5303979351621336e-42, -4.32580835937071e-42, -4.121218783579287e-42, -3.916629207787864e-42, -3.7120396319964404e-42, -3.507450056205017e-42, -3.302860480413594e-42, -3.0982709046221705e-42, -2.893681328830747e-42, -2.689091753039324e-42, -2.4845021772479007e-42, -2.2799126014564774e-42, -2.075323025665054e-42, -1.8707334498736308e-42, -1.6661438740822075e-42, -1.4615542982907842e-42, -1.2569647224993609e-42, -1.0523751467079376e-42, -8.477855709165143e-43, -6.43195995125091e-43, -4.3860641933366774e-43, -2.3401684354224445e-43, -2.942726775082116e-44, 1.7516230804060213e-43, 3.923635700109488e-43, 5.969531458023721e-43, 8.015427215937954e-43, 1.0061322973852187e-42, 1.210721873176642e-42, 1.4153114489680652e-42, 1.6199010247594885e-42, 1.8244906005509118e-42, 2.029080176342335e-42, 2.2336697521337584e-42, 2.4382593279251817e-42, 2.642848903716605e-42, 2.8474384795080283e-42, 3.0520280552994516e-42, 3.256617631090875e-42, 3.461207206882298e-42, 3.6657967826737215e-42, 3.870386358465145e-42, 4.074975934256568e-42, 4.2795655100479913e-42, 4.4841550858394146e-42, 4.688744661630838e-42, 4.893334237422261e-42, 5.0979238132136845e-42, 5.302513389005108e-42, 5.507102964796531e-42, 5.7116925405879544e-42, 5.916282116379378e-42, 6.120871692170801e-42, 6.325461267962224e-42, 6.530050843753648e-42, 6.734640419545071e-42, 6.939229995336494e-42]}, "gradients/decoder.bert.encoder.layer.1.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 4.0, 4.0, 2.0, 3.0, 6.0, 4.0, 6.0, 6.0, 13.0, 12.0, 17.0, 14.0, 20.0, 21.0, 29.0, 41.0, 35.0, 36.0, 46.0, 41.0, 32.0, 45.0, 45.0, 54.0, 41.0, 44.0, 59.0, 41.0, 54.0, 31.0, 28.0, 20.0, 23.0, 28.0, 25.0, 10.0, 13.0, 7.0, 15.0, 11.0, 8.0, 4.0, 3.0, 4.0, 6.0, 2.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.875644460913958e-42, -5.682265272837133e-42, -5.4888860847603085e-42, -5.295506896683484e-42, -5.102127708606659e-42, -4.908748520529834e-42, -4.7153693324530094e-42, -4.521990144376185e-42, -4.32861095629936e-42, -4.135231768222535e-42, -3.9418525801457104e-42, -3.7484733920688857e-42, -3.555094203992061e-42, -3.361715015915236e-42, -3.1683358278384114e-42, -2.9749566397615866e-42, -2.781577451684762e-42, -2.588198263607937e-42, -2.3948190755311124e-42, -2.2014398874542876e-42, -2.008060699377463e-42, -1.814681511300638e-42, -1.6213023232238134e-42, -1.4279231351469886e-42, -1.2345439470701638e-42, -1.0411647589933391e-42, -8.477855709165143e-43, -6.544063828396896e-43, -4.610271947628648e-43, -2.6764800668604006e-43, -7.42688186092153e-44, 1.1911036946760945e-43, 3.2510124372335756e-43, 5.184804318001823e-43, 7.118596198770071e-43, 9.052388079538318e-43, 1.0986179960306566e-42, 1.2919971841074813e-42, 1.485376372184306e-42, 1.678755560261131e-42, 1.8721347483379556e-42, 2.0655139364147804e-42, 2.258893124491605e-42, 2.45227231256843e-42, 2.6456515006452546e-42, 2.8390306887220794e-42, 3.032409876798904e-42, 3.225789064875729e-42, 3.4191682529525537e-42, 3.6125474410293784e-42, 3.805926629106203e-42, 3.999305817183028e-42, 4.1926850052598527e-42, 4.3860641933366774e-42, 4.579443381413502e-42, 4.772822569490327e-42, 4.966201757567152e-42, 5.1595809456439765e-42, 5.352960133720801e-42, 5.546339321797626e-42, 5.739718509874451e-42, 5.933097697951275e-42, 6.1264768860281e-42, 6.319856074104925e-42, 6.51323526218175e-42]}, "gradients/decoder.bert.encoder.layer.1.attention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.1.attention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.1.attention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.1.attention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.1.attention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.1.attention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.1.attention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.1.attention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.0.output.LayerNorm.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 2.0, 0.0, 2.0, 2.0, 1.0, 3.0, 2.0, 2.0, 2.0, 2.0, 2.0, 1.0, 6.0, 5.0, 3.0, 6.0, 8.0, 14.0, 19.0, 22.0, 10.0, 26.0, 30.0, 40.0, 48.0, 51.0, 72.0, 88.0, 83.0, 92.0, 81.0, 71.0, 41.0, 44.0, 29.0, 19.0, 21.0, 10.0, 8.0, 5.0, 8.0, 5.0, 7.0, 5.0, 2.0, 4.0, 1.0, 3.0, 3.0, 3.0, 0.0, 2.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-6.509031366788775e-42, -6.307244387926002e-42, -6.105457409063228e-42, -5.903670430200454e-42, -5.7018834513376807e-42, -5.500096472474907e-42, -5.2983094936121333e-42, -5.09652251474936e-42, -4.894735535886586e-42, -4.6929485570238124e-42, -4.491161578161039e-42, -4.289374599298265e-42, -4.0875876204354914e-42, -3.885800641572718e-42, -3.684013662709944e-42, -3.4822266838471704e-42, -3.280439704984397e-42, -3.078652726121623e-42, -2.8768657472588494e-42, -2.6750787683960758e-42, -2.473291789533302e-42, -2.2715048106705285e-42, -2.0697178318077548e-42, -1.867930852944981e-42, -1.6661438740822075e-42, -1.4643568952194338e-42, -1.2625699163566602e-42, -1.0607829374938865e-42, -8.589959586311129e-43, -6.572089797683392e-43, -4.5542200090556555e-43, -2.536350220427919e-43, -6.025583396596713e-44, 1.4153114489680652e-43, 3.433181237595802e-43, 5.4510510262235384e-43, 7.468920814851275e-43, 9.486790603479012e-43, 1.1504660392106748e-42, 1.3522530180734485e-42, 1.554039996936222e-42, 1.7558269757989958e-42, 1.9576139546617694e-42, 2.159400933524543e-42, 2.3611879123873168e-42, 2.5629748912500904e-42, 2.764761870112864e-42, 2.966548848975638e-42, 3.1683358278384114e-42, 3.370122806701185e-42, 3.571909785563959e-42, 3.7736967644267324e-42, 3.975483743289506e-42, 4.17727072215228e-42, 4.3790577010150533e-42, 4.580844679877827e-42, 4.7826316587406007e-42, 4.9844186376033743e-42, 5.186205616466148e-42, 5.3879925953289216e-42, 5.589779574191695e-42, 5.791566553054469e-42, 5.993353531917243e-42, 6.195140510780016e-42, 6.39692748964279e-42]}, "gradients/decoder.bert.encoder.layer.0.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 4.0, 4.0, 3.0, 3.0, 5.0, 5.0, 5.0, 7.0, 12.0, 14.0, 14.0, 15.0, 18.0, 23.0, 30.0, 37.0, 37.0, 36.0, 47.0, 44.0, 28.0, 45.0, 48.0, 53.0, 41.0, 47.0, 52.0, 46.0, 50.0, 33.0, 27.0, 22.0, 23.0, 27.0, 25.0, 10.0, 13.0, 5.0, 17.0, 11.0, 9.0, 3.0, 3.0, 4.0, 5.0, 3.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.21002769035967e-42, -5.0376679792477174e-42, -4.865308268135765e-42, -4.6929485570238124e-42, -4.52058884591186e-42, -4.3482291347999074e-42, -4.175869423687955e-42, -4.0035097125760024e-42, -3.83115000146405e-42, -3.6587902903520974e-42, -3.486430579240145e-42, -3.3140708681281924e-42, -3.14171115701624e-42, -2.9693514459042874e-42, -2.796991734792335e-42, -2.6246320236803824e-42, -2.45227231256843e-42, -2.2799126014564774e-42, -2.107552890344525e-42, -1.9351931792325724e-42, -1.76283346812062e-42, -1.5904737570086674e-42, -1.4181140458967149e-42, -1.2457543347847624e-42, -1.0733946236728099e-42, -9.010349125608574e-43, -7.286752014489049e-43, -5.563154903369524e-43, -3.839557792249999e-43, -2.1159606811304738e-43, -3.923635700109488e-44, 1.3312335411085762e-43, 2.6484540975739043e-43, 4.372051208693429e-43, 6.095648319812954e-43, 7.81924543093248e-43, 9.542842542052004e-43, 1.126643965317153e-42, 1.2990036764291054e-42, 1.471363387541058e-42, 1.6437230986530104e-42, 1.816082809764963e-42, 1.9884425208769154e-42, 2.160802231988868e-42, 2.3331619431008204e-42, 2.505521654212773e-42, 2.6778813653247254e-42, 2.850241076436678e-42, 3.0226007875486304e-42, 3.194960498660583e-42, 3.3673202097725354e-42, 3.539679920884488e-42, 3.7120396319964404e-42, 3.884399343108393e-42, 4.0567590542203454e-42, 4.229118765332298e-42, 4.4014784764442504e-42, 4.573838187556203e-42, 4.7461978986681554e-42, 4.918557609780108e-42, 5.0909173208920604e-42, 5.263277032004013e-42, 5.4356367431159654e-42, 5.607996454227918e-42, 5.78035616533987e-42]}, "gradients/decoder.bert.encoder.layer.0.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.0.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.0.intermediate.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.0.intermediate.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.0.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 2.0, 2.0, 0.0, 1.0, 1.0, 6.0, 3.0, 2.0, 4.0, 6.0, 3.0, 4.0, 13.0, 10.0, 22.0, 20.0, 19.0, 30.0, 29.0, 42.0, 54.0, 82.0, 105.0, 117.0, 102.0, 70.0, 77.0, 43.0, 36.0, 23.0, 16.0, 16.0, 5.0, 8.0, 6.0, 9.0, 8.0, 5.0, 4.0, 6.0, 2.0, 0.0, 1.0, 3.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.713093839052279e-42, -5.529523740225728e-42, -5.345953641399177e-42, -5.162383542572626e-42, -4.978813443746075e-42, -4.795243344919524e-42, -4.611673246092973e-42, -4.428103147266422e-42, -4.244533048439871e-42, -4.06096294961332e-42, -3.877392850786769e-42, -3.693822751960218e-42, -3.510252653133667e-42, -3.326682554307116e-42, -3.143112455480565e-42, -2.9595423566540137e-42, -2.7759722578274626e-42, -2.5924021590009116e-42, -2.4088320601743605e-42, -2.2252619613478095e-42, -2.0416918625212585e-42, -1.8581217636947074e-42, -1.6745516648681564e-42, -1.4909815660416054e-42, -1.3074114672150543e-42, -1.1238413683885033e-42, -9.402712695619523e-43, -7.567011707354012e-43, -5.731310719088502e-43, -3.8956097308229915e-43, -2.059908742557481e-43, -2.2420775429197073e-44, 1.4433374182545616e-43, 3.279038406520072e-43, 5.114739394785582e-43, 6.950440383051093e-43, 8.786141371316603e-43, 1.0621842359582113e-42, 1.2457543347847624e-42, 1.4293244336113134e-42, 1.6128945324378644e-42, 1.7964646312644155e-42, 1.9800347300909665e-42, 2.1636048289175176e-42, 2.3471749277440686e-42, 2.5307450265706196e-42, 2.7143151253971707e-42, 2.897885224223722e-42, 3.081455323050273e-42, 3.265025421876824e-42, 3.448595520703375e-42, 3.632165619529926e-42, 3.815735718356477e-42, 3.999305817183028e-42, 4.182875916009579e-42, 4.36644601483613e-42, 4.550016113662681e-42, 4.733586212489232e-42, 4.917156311315783e-42, 5.100726410142334e-42, 5.284296508968885e-42, 5.467866607795436e-42, 5.651436706621987e-42, 5.835006805448538e-42, 6.018576904275089e-42]}, "gradients/decoder.bert.encoder.layer.0.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 4.0, 4.0, 3.0, 2.0, 6.0, 5.0, 7.0, 4.0, 12.0, 17.0, 15.0, 16.0, 13.0, 27.0, 32.0, 35.0, 35.0, 36.0, 48.0, 46.0, 27.0, 43.0, 55.0, 49.0, 35.0, 53.0, 47.0, 50.0, 46.0, 35.0, 27.0, 26.0, 17.0, 28.0, 24.0, 14.0, 11.0, 9.0, 17.0, 5.0, 10.0, 3.0, 3.0, 5.0, 4.0, 3.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.268355122333393e-42, -4.126823977436586e-42, -3.98529283253978e-42, -3.843761687642973e-42, -3.702230542746167e-42, -3.56069939784936e-42, -3.4191682529525537e-42, -3.277637108055747e-42, -3.1361059631589406e-42, -2.994574818262134e-42, -2.8530436733653276e-42, -2.711512528468521e-42, -2.5699813835717145e-42, -2.428450238674908e-42, -2.2869190937781015e-42, -2.145387948881295e-42, -2.0038568039844884e-42, -1.862325659087682e-42, -1.7207945141908754e-42, -1.5792633692940688e-42, -1.4377322243972623e-42, -1.2962010795004558e-42, -1.1546699346036493e-42, -1.0131387897068427e-42, -8.716076448100362e-43, -7.300764999132297e-43, -5.885453550164232e-43, -4.4701421011961665e-43, -3.0548306522281012e-43, -1.639519203260036e-43, -2.2420775429197073e-44, 1.1911036946760945e-43, 2.1860256043467146e-43, 3.60133705331478e-43, 5.016648502282845e-43, 6.43195995125091e-43, 7.847271400218976e-43, 9.262582849187041e-43, 1.0677894298155106e-42, 1.2093205747123171e-42, 1.3508517196091237e-42, 1.4923828645059302e-42, 1.6339140094027367e-42, 1.7754451542995432e-42, 1.9169762991963498e-42, 2.0585074440931563e-42, 2.2000385889899628e-42, 2.3415697338867693e-42, 2.483100878783576e-42, 2.6246320236803824e-42, 2.766163168577189e-42, 2.9076943134739954e-42, 3.049225458370802e-42, 3.1907566032676085e-42, 3.332287748164415e-42, 3.4738188930612215e-42, 3.615350037958028e-42, 3.7568811828548346e-42, 3.898412327751641e-42, 4.0399434726484476e-42, 4.181474617545254e-42, 4.3230057624420607e-42, 4.464536907338867e-42, 4.606068052235674e-42, 4.74759919713248e-42]}, "gradients/decoder.bert.encoder.layer.0.crossattention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.0.crossattention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.0.crossattention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.0.crossattention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.0.crossattention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.0.crossattention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.0.crossattention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.0.crossattention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.0.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 5.0, 0.0, 1.0, 4.0, 5.0, 4.0, 8.0, 6.0, 11.0, 19.0, 20.0, 13.0, 25.0, 26.0, 32.0, 35.0, 44.0, 35.0, 41.0, 56.0, 39.0, 53.0, 65.0, 52.0, 56.0, 43.0, 57.0, 39.0, 44.0, 30.0, 28.0, 24.0, 24.0, 14.0, 13.0, 11.0, 6.0, 4.0, 3.0, 12.0, 2.0, 2.0, 1.0, 1.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.286391990250182e-42, -1.2429517378561127e-42, -1.1995114854620434e-42, -1.1560712330679741e-42, -1.1126309806739048e-42, -1.0691907282798354e-42, -1.0257504758857661e-42, -9.823102234916968e-43, -9.388699710976274e-43, -8.954297187035581e-43, -8.519894663094888e-43, -8.085492139154194e-43, -7.651089615213501e-43, -7.216687091272808e-43, -6.782284567332115e-43, -6.347882043391421e-43, -5.913479519450728e-43, -5.479076995510035e-43, -5.0446744715693415e-43, -4.610271947628648e-43, -4.175869423687955e-43, -3.7414668997472616e-43, -3.3070643758065683e-43, -2.872661851865875e-43, -2.4382593279251817e-43, -2.0038568039844884e-43, -1.5694542800437951e-43, -1.1350517561031018e-43, -7.006492321624085e-44, -2.6624670822171524e-44, 1.6815581571897805e-44, 6.025583396596713e-44, 1.401298464324817e-43, 1.8357009882655104e-43, 2.2701035122062037e-43, 2.704506036146897e-43, 3.1389085600875902e-43, 3.5733110840282835e-43, 4.007713607968977e-43, 4.44211613190967e-43, 4.8765186558503634e-43, 5.310921179791057e-43, 5.74532370373175e-43, 6.179726227672443e-43, 6.6141287516131366e-43, 7.04853127555383e-43, 7.482933799494523e-43, 7.917336323435216e-43, 8.35173884737591e-43, 8.786141371316603e-43, 9.220543895257296e-43, 9.65494641919799e-43, 1.0089348943138683e-42, 1.0523751467079376e-42, 1.095815399102007e-42, 1.1392556514960763e-42, 1.1826959038901456e-42, 1.226136156284215e-42, 1.2695764086782843e-42, 1.3130166610723536e-42, 1.356456913466423e-42, 1.3998971658604923e-42, 1.4433374182545616e-42, 1.486777670648631e-42, 1.5302179230427002e-42]}, "gradients/decoder.bert.encoder.layer.0.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 3.0, 7.0, 1.0, 4.0, 4.0, 6.0, 7.0, 7.0, 11.0, 16.0, 14.0, 15.0, 15.0, 29.0, 33.0, 31.0, 36.0, 37.0, 50.0, 40.0, 32.0, 42.0, 53.0, 52.0, 36.0, 42.0, 52.0, 54.0, 39.0, 39.0, 28.0, 23.0, 21.0, 24.0, 21.0, 18.0, 11.0, 6.0, 18.0, 7.0, 10.0, 4.0, 2.0, 6.0, 4.0, 2.0, 2.0, 3.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.3032075718220799e-42, -1.2597673194280105e-42, -1.2163270670339412e-42, -1.1728868146398719e-42, -1.1294465622458026e-42, -1.0860063098517332e-42, -1.0425660574576639e-42, -9.991258050635946e-43, -9.556855526695252e-43, -9.122453002754559e-43, -8.688050478813866e-43, -8.253647954873173e-43, -7.81924543093248e-43, -7.384842906991786e-43, -6.950440383051093e-43, -6.516037859110399e-43, -6.081635335169706e-43, -5.647232811229013e-43, -5.2128302872883195e-43, -4.778427763347626e-43, -4.344025239406933e-43, -3.90962271546624e-43, -3.4752201915255463e-43, -3.040817667584853e-43, -2.6064151436441598e-43, -2.1720126197034665e-43, -1.7376100957627732e-43, -1.3032075718220799e-43, -8.688050478813866e-44, -4.344025239406933e-44, 0.0, 4.344025239406933e-44, 6.305843089461677e-44, 1.064986832886861e-43, 1.4993893568275543e-43, 1.9337918807682476e-43, 2.368194404708941e-43, 2.802596928649634e-43, 3.2369994525903274e-43, 3.671401976531021e-43, 4.105804500471714e-43, 4.540207024412407e-43, 4.974609548353101e-43, 5.409012072293794e-43, 5.843414596234487e-43, 6.2778171201751805e-43, 6.712219644115874e-43, 7.146622168056567e-43, 7.58102469199726e-43, 8.015427215937954e-43, 8.449829739878647e-43, 8.88423226381934e-43, 9.318634787760034e-43, 9.753037311700727e-43, 1.018743983564142e-42, 1.0621842359582113e-42, 1.1056244883522807e-42, 1.14906474074635e-42, 1.1925049931404193e-42, 1.2359452455344887e-42, 1.279385497928558e-42, 1.3228257503226273e-42, 1.3662660027166966e-42, 1.409706255110766e-42, 1.4531465075048353e-42]}, "gradients/decoder.bert.encoder.layer.0.attention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.0.attention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.0.attention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.0.attention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.0.attention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.0.attention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.0.attention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.0.attention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.embeddings.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 3.0, 0.0, 0.0, 3.0, 1.0, 6.0, 7.0, 10.0, 8.0, 11.0, 12.0, 17.0, 10.0, 19.0, 12.0, 32.0, 31.0, 30.0, 37.0, 46.0, 33.0, 60.0, 45.0, 45.0, 56.0, 50.0, 48.0, 43.0, 44.0, 36.0, 36.0, 38.0, 30.0, 26.0, 24.0, 17.0, 17.0, 9.0, 13.0, 4.0, 9.0, 12.0, 8.0, 6.0, 6.0, 2.0, 2.0, 1.0, 2.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.2373465439988135e-42, -1.1967088885333938e-42, -1.1560712330679741e-42, -1.1154335776025544e-42, -1.0747959221371347e-42, -1.034158266671715e-42, -9.935206112062953e-43, -9.528829557408756e-43, -9.122453002754559e-43, -8.716076448100362e-43, -8.309699893446165e-43, -7.903323338791968e-43, -7.496946784137771e-43, -7.090570229483574e-43, -6.6841936748293774e-43, -6.2778171201751805e-43, -5.8714405655209835e-43, -5.4650640108667866e-43, -5.05868745621259e-43, -4.652310901558393e-43, -4.245934346904196e-43, -3.839557792249999e-43, -3.433181237595802e-43, -3.026804682941605e-43, -2.620428128287408e-43, -2.214051573633211e-43, -1.807675018979014e-43, -1.401298464324817e-43, -9.949219096706201e-44, -5.885453550164232e-44, -1.8216880036222622e-44, 2.2420775429197073e-44, 6.445972935894159e-44, 1.0509738482436128e-43, 1.4573504028978098e-43, 1.8637269575520067e-43, 2.2701035122062037e-43, 2.6764800668604006e-43, 3.0828566215145976e-43, 3.4892331761687945e-43, 3.8956097308229915e-43, 4.3019862854771884e-43, 4.708362840131385e-43, 5.114739394785582e-43, 5.521115949439779e-43, 5.927492504093976e-43, 6.333869058748173e-43, 6.74024561340237e-43, 7.146622168056567e-43, 7.552998722710764e-43, 7.959375277364961e-43, 8.365751832019158e-43, 8.772128386673355e-43, 9.178504941327552e-43, 9.584881495981749e-43, 9.991258050635946e-43, 1.0397634605290143e-42, 1.080401115994434e-42, 1.1210387714598537e-42, 1.1616764269252734e-42, 1.202314082390693e-42, 1.2429517378561127e-42, 1.2835893933215324e-42, 1.3242270487869521e-42, 1.3648647042523718e-42]}, "gradients/decoder.bert.embeddings.LayerNorm.bias": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 1.0, 2.0, 4.0, 5.0, 3.0, 5.0, 6.0, 2.0, 5.0, 10.0, 9.0, 16.0, 13.0, 22.0, 24.0, 28.0, 22.0, 32.0, 35.0, 40.0, 46.0, 39.0, 49.0, 39.0, 48.0, 37.0, 41.0, 43.0, 52.0, 47.0, 46.0, 39.0, 29.0, 23.0, 23.0, 22.0, 23.0, 15.0, 10.0, 13.0, 8.0, 8.0, 12.0, 7.0, 4.0, 0.0, 2.0, 3.0, 4.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.1476634422820252e-42, -1.1070257868166055e-42, -1.0663881313511858e-42, -1.0257504758857661e-42, -9.851128204203464e-43, -9.444751649549267e-43, -9.03837509489507e-43, -8.631998540240873e-43, -8.225621985586676e-43, -7.81924543093248e-43, -7.412868876278282e-43, -7.006492321624085e-43, -6.6001157669698884e-43, -6.1937392123156915e-43, -5.7873626576614945e-43, -5.3809861030072976e-43, -4.974609548353101e-43, -4.568232993698904e-43, -4.161856439044707e-43, -3.75547988439051e-43, -3.3491033297363128e-43, -2.942726775082116e-43, -2.536350220427919e-43, -2.129973665773722e-43, -1.723597111119525e-43, -1.317220556465328e-43, -9.10844001811131e-44, -5.044674471569341e-44, -9.80908925027372e-45, 3.0828566215145976e-44, 7.146622168056567e-44, 1.1210387714598537e-43, 1.7095841264762768e-43, 2.1159606811304738e-43, 2.5223372357846707e-43, 2.9287137904388677e-43, 3.3350903450930646e-43, 3.7414668997472616e-43, 4.1478434544014585e-43, 4.5542200090556555e-43, 4.9605965637098524e-43, 5.366973118364049e-43, 5.773349673018246e-43, 6.179726227672443e-43, 6.58610278232664e-43, 6.992479336980837e-43, 7.398855891635034e-43, 7.805232446289231e-43, 8.211609000943428e-43, 8.617985555597625e-43, 9.024362110251822e-43, 9.430738664906019e-43, 9.837115219560216e-43, 1.0243491774214413e-42, 1.064986832886861e-42, 1.1056244883522807e-42, 1.1462621438177004e-42, 1.18689979928312e-42, 1.2275374547485398e-42, 1.2681751102139594e-42, 1.3088127656793791e-42, 1.3494504211447988e-42, 1.3900880766102185e-42, 1.4307257320756382e-42, 1.471363387541058e-42]}, "gradients/decoder.bert.embeddings.position_embeddings.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 2.0, 1.0, 6.0, 7.0, 4.0, 3.0, 11.0, 14.0, 26.0, 23.0, 41.0, 51.0, 82.0, 110.0, 163.0, 245.0, 300.0, 434.0, 578.0, 787.0, 998.0, 1304.0, 1576.0, 1962.0, 2323.0, 2826.0, 3196.0, 3504.0, 485775.0, 3326.0, 2744.0, 2500.0, 2090.0, 1764.0, 1379.0, 1059.0, 836.0, 577.0, 444.0, 355.0, 252.0, 181.0, 125.0, 88.0, 56.0, 41.0, 29.0, 16.0, 19.0, 16.0, 10.0, 9.0, 2.0, 2.0, 3.0, 2.0, 3.0, 4.0, 0.0, 0.0, 2.0], "bins": [-8.411994681341877e-42, -8.141544077727187e-42, -7.871093474112497e-42, -7.600642870497808e-42, -7.330192266883118e-42, -7.059741663268428e-42, -6.789291059653739e-42, -6.518840456039049e-42, -6.248389852424359e-42, -5.97793924880967e-42, -5.70748864519498e-42, -5.43703804158029e-42, -5.1665874379656005e-42, -4.896136834350911e-42, -4.625686230736221e-42, -4.3552356271215315e-42, -4.084785023506842e-42, -3.814334419892152e-42, -3.5438838162774624e-42, -3.2734332126627727e-42, -3.002982609048083e-42, -2.7325320054333933e-42, -2.4620814018187036e-42, -2.191630798204014e-42, -1.9211801945893242e-42, -1.6507295909746345e-42, -1.3802789873599448e-42, -1.1098283837452551e-42, -8.393777801305654e-43, -5.689271765158757e-43, -2.9847657290118604e-43, -2.802596928649634e-44, 2.284116496849452e-43, 4.988622532996349e-43, 7.693128569143246e-43, 1.0397634605290143e-42, 1.310214064143704e-42, 1.5806646677583937e-42, 1.8511152713730834e-42, 2.121565874987773e-42, 2.3920164786024627e-42, 2.6624670822171524e-42, 2.932917685831842e-42, 3.203368289446532e-42, 3.4738188930612215e-42, 3.744269496675911e-42, 4.014720100290601e-42, 4.2851707039052906e-42, 4.55562130751998e-42, 4.82607191113467e-42, 5.09652251474936e-42, 5.3669731183640494e-42, 5.637423721978739e-42, 5.907874325593429e-42, 6.178324929208118e-42, 6.448775532822808e-42, 6.719226136437498e-42, 6.989676740052188e-42, 7.260127343666877e-42, 7.530577947281567e-42, 7.801028550896257e-42, 8.071479154510946e-42, 8.341929758125636e-42, 8.612380361740326e-42, 8.882830965355015e-42]}, "gradients/decoder.bert.embeddings.token_type_embeddings.weight": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 1.0, 2.0, 5.0, 3.0, 5.0, 3.0, 4.0, 5.0, 3.0, 13.0, 6.0, 17.0, 15.0, 22.0, 26.0, 21.0, 28.0, 30.0, 40.0, 39.0, 43.0, 42.0, 54.0, 37.0, 45.0, 1062.0, 41.0, 44.0, 49.0, 42.0, 56.0, 34.0, 25.0, 25.0, 22.0, 27.0, 18.0, 14.0, 12.0, 13.0, 7.0, 10.0, 9.0, 10.0, 2.0, 0.0, 2.0, 5.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.2744141215878e-41, -3.1575458296631103e-41, -3.0406775377384206e-41, -2.923809245813731e-41, -2.806940953889041e-41, -2.6900726619643513e-41, -2.5732043700396616e-41, -2.456336078114972e-41, -2.339467786190282e-41, -2.2225994942655924e-41, -2.1057312023409026e-41, -1.9888629104162129e-41, -1.871994618491523e-41, -1.7551263265668334e-41, -1.6382580346421436e-41, -1.521389742717454e-41, -1.4045214507927642e-41, -1.2876531588680744e-41, -1.1707848669433847e-41, -1.0539165750186949e-41, -9.370482830940052e-42, -8.201799911693154e-42, -7.033116992446257e-42, -5.86443407319936e-42, -4.695751153952462e-42, -3.5270682347055646e-42, -2.358385315458667e-42, -1.1897023962117697e-42, -2.1019476964872256e-44, 1.1476634422820252e-42, 2.3163463615289226e-42, 3.48502928077582e-42, 4.655113498487042e-42, 5.82379641773394e-42, 6.992479336980837e-42, 8.161162256227735e-42, 9.329845175474632e-42, 1.049852809472153e-41, 1.1667211013968427e-41, 1.2835893933215324e-41, 1.4004576852462222e-41, 1.517325977170912e-41, 1.6341942690956017e-41, 1.7510625610202914e-41, 1.8679308529449812e-41, 1.984799144869671e-41, 2.1016674367943606e-41, 2.2185357287190504e-41, 2.33540402064374e-41, 2.45227231256843e-41, 2.5691406044931196e-41, 2.6860088964178094e-41, 2.802877188342499e-41, 2.919745480267189e-41, 3.0366137721918786e-41, 3.1534820641165683e-41, 3.270350356041258e-41, 3.387218647965948e-41, 3.5040869398906376e-41, 3.6209552318153273e-41, 3.737823523740017e-41, 3.854691815664707e-41, 3.9715601075893965e-41, 4.0884283995140863e-41, 4.205296691438776e-41]}, "gradients/decoder.bert.embeddings.word_embeddings.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 2.0, 1.0, 1.0, 2.0, 0.0, 2.0, 2.0, 4.0, 9.0, 14.0, 11.0, 12.0, 8.0, 23.0, 80.0, 174.0, 154.0, 241.0, 245.0, 309.0, 1010.0, 449669.0, 30801602.0, 605.0, 162.0, 56.0, 40.0, 19.0, 18.0, 15.0, 9.0, 5.0, 4.0, 3.0, 3.0, 1.0, 0.0, 2.0, 1.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-1959.0, -1907.453125, -1855.90625, -1804.359375, -1752.8125, -1701.265625, -1649.71875, -1598.171875, -1546.625, -1495.078125, -1443.53125, -1391.984375, -1340.4375, -1288.890625, -1237.34375, -1185.796875, -1134.25, -1082.703125, -1031.15625, -979.609375, -928.0625, -876.515625, -824.96875, -773.421875, -721.875, -670.328125, -618.78125, -567.234375, -515.6875, -464.140625, -412.59375, -361.046875, -309.5, -257.953125, -206.40625, -154.859375, -103.3125, -51.765625, -0.21875, 51.328125, 102.875, 154.421875, 205.96875, 257.515625, 309.0625, 360.609375, 412.15625, 463.703125, 515.25, 566.796875, 618.34375, 669.890625, 721.4375, 772.984375, 824.53125, 876.078125, 927.625, 979.171875, 1030.71875, 1082.265625, 1133.8125, 1185.359375, 1236.90625, 1288.453125, 1340.0]}, "gradients/encoder.adapter.layers.2.conv.weight": {"_type": "histogram", "values": [6.0, 2.0, 2.0, 0.0, 7.0, 7.0, 12.0, 12.0, 11.0, 19.0, 24.0, 18.0, 51.0, 51.0, 78.0, 134.0, 194.0, 277.0, 468.0, 666.0, 1107.0, 1772.0, 2718.0, 4317.0, 7129.0, 10921.0, 17670.0, 28375.0, 47511.0, 88672.0, 5202951.0, 667279.0, 87169.0, 47004.0, 27955.0, 17263.0, 10725.0, 6793.0, 4462.0, 2756.0, 1751.0, 1095.0, 689.0, 449.0, 303.0, 175.0, 117.0, 93.0, 54.0, 20.0, 24.0, 19.0, 20.0, 9.0, 10.0, 10.0, 5.0, 10.0, 4.0, 6.0, 2.0, 0.0, 0.0, 3.0], "bins": [-0.0123748779296875, -0.011975526809692383, -0.011576175689697266, -0.011176824569702148, -0.010777473449707031, -0.010378122329711914, -0.009978771209716797, -0.00957942008972168, -0.009180068969726562, -0.008780717849731445, -0.008381366729736328, -0.007982015609741211, -0.007582664489746094, -0.0071833133697509766, -0.006783962249755859, -0.006384611129760742, -0.005985260009765625, -0.005585908889770508, -0.005186557769775391, -0.0047872066497802734, -0.004387855529785156, -0.003988504409790039, -0.003589153289794922, -0.0031898021697998047, -0.0027904510498046875, -0.0023910999298095703, -0.001991748809814453, -0.001592397689819336, -0.0011930465698242188, -0.0007936954498291016, -0.0003943443298339844, 5.0067901611328125e-06, 0.00040435791015625, 0.0008037090301513672, 0.0012030601501464844, 0.0016024112701416016, 0.0020017623901367188, 0.002401113510131836, 0.002800464630126953, 0.0031998157501220703, 0.0035991668701171875, 0.003998517990112305, 0.004397869110107422, 0.004797220230102539, 0.005196571350097656, 0.0055959224700927734, 0.005995273590087891, 0.006394624710083008, 0.006793975830078125, 0.007193326950073242, 0.007592678070068359, 0.007992029190063477, 0.008391380310058594, 0.008790731430053711, 0.009190082550048828, 0.009589433670043945, 0.009988784790039062, 0.01038813591003418, 0.010787487030029297, 0.011186838150024414, 0.011586189270019531, 0.011985540390014648, 0.012384891510009766, 0.012784242630004883, 0.01318359375]}, "gradients/encoder.adapter.layers.2.conv.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 2.0, 4.0, 0.0, 6.0, 4.0, 9.0, 4.0, 14.0, 16.0, 13.0, 16.0, 11.0, 14.0, 18.0, 25.0, 17.0, 37.0, 80.0, 1494.0, 65.0, 29.0, 25.0, 16.0, 23.0, 13.0, 16.0, 10.0, 4.0, 6.0, 9.0, 8.0, 10.0, 6.0, 6.0, 2.0, 4.0, 0.0, 3.0, 1.0, 1.0, 2.0, 0.0, 0.0, 1.0], "bins": [-0.0036563873291015625, -0.0035614073276519775, -0.0034664273262023926, -0.0033714473247528076, -0.0032764673233032227, -0.0031814873218536377, -0.0030865073204040527, -0.0029915273189544678, -0.002896547317504883, -0.002801567316055298, -0.002706587314605713, -0.002611607313156128, -0.002516627311706543, -0.002421647310256958, -0.002326667308807373, -0.002231687307357788, -0.002136707305908203, -0.002041727304458618, -0.0019467473030090332, -0.0018517673015594482, -0.0017567873001098633, -0.0016618072986602783, -0.0015668272972106934, -0.0014718472957611084, -0.0013768672943115234, -0.0012818872928619385, -0.0011869072914123535, -0.0010919272899627686, -0.0009969472885131836, -0.0009019672870635986, -0.0008069872856140137, -0.0007120072841644287, -0.0006170272827148438, -0.0005220472812652588, -0.00042706727981567383, -0.00033208727836608887, -0.0002371072769165039, -0.00014212727546691895, -4.7147274017333984e-05, 4.7832727432250977e-05, 0.00014281272888183594, 0.0002377927303314209, 0.00033277273178100586, 0.0004277527332305908, 0.0005227327346801758, 0.0006177127361297607, 0.0007126927375793457, 0.0008076727390289307, 0.0009026527404785156, 0.0009976327419281006, 0.0010926127433776855, 0.0011875927448272705, 0.0012825727462768555, 0.0013775527477264404, 0.0014725327491760254, 0.0015675127506256104, 0.0016624927520751953, 0.0017574727535247803, 0.0018524527549743652, 0.0019474327564239502, 0.002042412757873535, 0.00213739275932312, 0.002232372760772705, 0.00232735276222229, 0.002422332763671875]}, "gradients/encoder.adapter.layers.1.conv.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 6.0, 7.0, 4.0, 2.0, 18.0, 12.0, 20.0, 33.0, 44.0, 62.0, 76.0, 119.0, 157.0, 220.0, 339.0, 464.0, 710.0, 1032.0, 1479.0, 2319.0, 3625.0, 5535.0, 9185.0, 15120.0, 27113.0, 52712.0, 117485.0, 360561.0, 4746408.0, 639163.0, 160830.0, 66279.0, 32690.0, 18113.0, 10668.0, 6512.0, 4062.0, 2636.0, 1826.0, 1213.0, 779.0, 561.0, 385.0, 263.0, 171.0, 129.0, 90.0, 65.0, 43.0, 31.0, 23.0, 13.0, 12.0, 9.0, 9.0, 6.0, 0.0, 0.0, 3.0, 1.0, 1.0], "bins": [-0.0033283233642578125, -0.003223210573196411, -0.0031180977821350098, -0.0030129849910736084, -0.002907872200012207, -0.0028027594089508057, -0.0026976466178894043, -0.002592533826828003, -0.0024874210357666016, -0.0023823082447052, -0.002277195453643799, -0.0021720826625823975, -0.002066969871520996, -0.0019618570804595947, -0.0018567442893981934, -0.001751631498336792, -0.0016465187072753906, -0.0015414059162139893, -0.0014362931251525879, -0.0013311803340911865, -0.0012260675430297852, -0.0011209547519683838, -0.0010158419609069824, -0.0009107291698455811, -0.0008056163787841797, -0.0007005035877227783, -0.000595390796661377, -0.0004902780055999756, -0.0003851652145385742, -0.00028005242347717285, -0.00017493963241577148, -6.982684135437012e-05, 3.528594970703125e-05, 0.00014039874076843262, 0.000245511531829834, 0.00035062432289123535, 0.0004557371139526367, 0.0005608499050140381, 0.0006659626960754395, 0.0007710754871368408, 0.0008761882781982422, 0.0009813010692596436, 0.001086413860321045, 0.0011915266513824463, 0.0012966394424438477, 0.001401752233505249, 0.0015068650245666504, 0.0016119778156280518, 0.0017170906066894531, 0.0018222033977508545, 0.0019273161888122559, 0.0020324289798736572, 0.0021375417709350586, 0.00224265456199646, 0.0023477673530578613, 0.0024528801441192627, 0.002557992935180664, 0.0026631057262420654, 0.002768218517303467, 0.002873331308364868, 0.0029784440994262695, 0.003083556890487671, 0.0031886696815490723, 0.0032937824726104736, 0.003398895263671875]}, "gradients/encoder.adapter.layers.1.conv.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 1.0, 0.0, 1.0, 4.0, 2.0, 2.0, 5.0, 8.0, 11.0, 17.0, 9.0, 10.0, 9.0, 20.0, 17.0, 29.0, 37.0, 35.0, 49.0, 48.0, 79.0, 189.0, 564.0, 320.0, 124.0, 97.0, 75.0, 51.0, 32.0, 17.0, 32.0, 25.0, 17.0, 9.0, 16.0, 15.0, 11.0, 5.0, 7.0, 6.0, 8.0, 6.0, 7.0, 4.0, 1.0, 3.0, 1.0, 0.0, 1.0, 0.0, 1.0, 3.0, 0.0, 1.0], "bins": [-0.002246856689453125, -0.0021785199642181396, -0.0021101832389831543, -0.002041846513748169, -0.0019735097885131836, -0.0019051730632781982, -0.0018368363380432129, -0.0017684996128082275, -0.0017001628875732422, -0.0016318261623382568, -0.0015634894371032715, -0.0014951527118682861, -0.0014268159866333008, -0.0013584792613983154, -0.00129014253616333, -0.0012218058109283447, -0.0011534690856933594, -0.001085132360458374, -0.0010167956352233887, -0.0009484589099884033, -0.000880122184753418, -0.0008117854595184326, -0.0007434487342834473, -0.0006751120090484619, -0.0006067752838134766, -0.0005384385585784912, -0.00047010183334350586, -0.0004017651081085205, -0.00033342838287353516, -0.0002650916576385498, -0.00019675493240356445, -0.0001284182071685791, -6.008148193359375e-05, 8.255243301391602e-06, 7.659196853637695e-05, 0.0001449286937713623, 0.00021326541900634766, 0.000281602144241333, 0.00034993886947631836, 0.0004182755947113037, 0.00048661231994628906, 0.0005549490451812744, 0.0006232857704162598, 0.0006916224956512451, 0.0007599592208862305, 0.0008282959461212158, 0.0008966326713562012, 0.0009649693965911865, 0.0010333061218261719, 0.0011016428470611572, 0.0011699795722961426, 0.001238316297531128, 0.0013066530227661133, 0.0013749897480010986, 0.001443326473236084, 0.0015116631984710693, 0.0015799999237060547, 0.00164833664894104, 0.0017166733741760254, 0.0017850100994110107, 0.001853346824645996, 0.0019216835498809814, 0.001990020275115967, 0.002058357000350952, 0.0021266937255859375]}, "gradients/encoder.adapter.layers.0.conv.weight": {"_type": "histogram", "values": [3.0, 3.0, 2.0, 2.0, 4.0, 0.0, 1.0, 2.0, 5.0, 10.0, 8.0, 5.0, 7.0, 11.0, 19.0, 32.0, 32.0, 40.0, 52.0, 88.0, 119.0, 184.0, 260.0, 376.0, 591.0, 883.0, 1536.0, 2347.0, 4575.0, 9725.0, 29086.0, 184174.0, 5960909.0, 64647.0, 16690.0, 6777.0, 3167.0, 1747.0, 1163.0, 648.0, 446.0, 307.0, 242.0, 133.0, 97.0, 76.0, 59.0, 38.0, 40.0, 28.0, 11.0, 13.0, 3.0, 3.0, 7.0, 6.0, 5.0, 1.0, 1.0, 2.0, 4.0, 0.0, 1.0, 3.0], "bins": [-0.00421142578125, -0.0040808916091918945, -0.003950357437133789, -0.0038198232650756836, -0.003689289093017578, -0.0035587549209594727, -0.003428220748901367, -0.0032976865768432617, -0.0031671524047851562, -0.0030366182327270508, -0.0029060840606689453, -0.00277554988861084, -0.0026450157165527344, -0.002514481544494629, -0.0023839473724365234, -0.002253413200378418, -0.0021228790283203125, -0.001992344856262207, -0.0018618106842041016, -0.001731276512145996, -0.0016007423400878906, -0.0014702081680297852, -0.0013396739959716797, -0.0012091398239135742, -0.0010786056518554688, -0.0009480714797973633, -0.0008175373077392578, -0.0006870031356811523, -0.0005564689636230469, -0.0004259347915649414, -0.00029540061950683594, -0.00016486644744873047, -3.4332275390625e-05, 9.620189666748047e-05, 0.00022673606872558594, 0.0003572702407836914, 0.0004878044128417969, 0.0006183385848999023, 0.0007488727569580078, 0.0008794069290161133, 0.0010099411010742188, 0.0011404752731323242, 0.0012710094451904297, 0.0014015436172485352, 0.0015320777893066406, 0.001662611961364746, 0.0017931461334228516, 0.001923680305480957, 0.0020542144775390625, 0.002184748649597168, 0.0023152828216552734, 0.002445816993713379, 0.0025763511657714844, 0.00270688533782959, 0.0028374195098876953, 0.0029679536819458008, 0.0030984878540039062, 0.0032290220260620117, 0.003359556198120117, 0.0034900903701782227, 0.003620624542236328, 0.0037511587142944336, 0.003881692886352539, 0.0040122270584106445, 0.00414276123046875]}, "gradients/encoder.adapter.layers.0.conv.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 5.0, 2.0, 4.0, 4.0, 7.0, 4.0, 8.0, 11.0, 22.0, 21.0, 20.0, 27.0, 59.0, 49.0, 48.0, 76.0, 113.0, 152.0, 245.0, 315.0, 204.0, 137.0, 120.0, 80.0, 59.0, 65.0, 47.0, 38.0, 23.0, 18.0, 18.0, 12.0, 8.0, 3.0, 4.0, 3.0, 4.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0014019012451171875, -0.0013553500175476074, -0.0013087987899780273, -0.0012622475624084473, -0.0012156963348388672, -0.0011691451072692871, -0.001122593879699707, -0.001076042652130127, -0.0010294914245605469, -0.0009829401969909668, -0.0009363889694213867, -0.0008898377418518066, -0.0008432865142822266, -0.0007967352867126465, -0.0007501840591430664, -0.0007036328315734863, -0.0006570816040039062, -0.0006105303764343262, -0.0005639791488647461, -0.000517427921295166, -0.00047087669372558594, -0.00042432546615600586, -0.0003777742385864258, -0.0003312230110168457, -0.0002846717834472656, -0.00023812055587768555, -0.00019156932830810547, -0.0001450181007385254, -9.846687316894531e-05, -5.1915645599365234e-05, -5.364418029785156e-06, 4.118680953979492e-05, 8.7738037109375e-05, 0.00013428926467895508, 0.00018084049224853516, 0.00022739171981811523, 0.0002739429473876953, 0.0003204941749572754, 0.00036704540252685547, 0.00041359663009643555, 0.0004601478576660156, 0.0005066990852355957, 0.0005532503128051758, 0.0005998015403747559, 0.0006463527679443359, 0.000692903995513916, 0.0007394552230834961, 0.0007860064506530762, 0.0008325576782226562, 0.0008791089057922363, 0.0009256601333618164, 0.0009722113609313965, 0.0010187625885009766, 0.0010653138160705566, 0.0011118650436401367, 0.0011584162712097168, 0.0012049674987792969, 0.001251518726348877, 0.001298069953918457, 0.0013446211814880371, 0.0013911724090576172, 0.0014377236366271973, 0.0014842748641967773, 0.0015308260917663574, 0.0015773773193359375]}, "gradients/encoder.encoder.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 8.0, 7.0, 19.0, 48.0, 249.0, 512.0, 88.0, 49.0, 14.0, 9.0, 2.0, 3.0, 3.0, 1.0, 2.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00550348125398159, -0.004831152968108654, -0.004158824682235718, -0.0034864963963627815, -0.0028141681104898453, -0.002141839824616909, -0.0014695115387439728, -0.0007971832528710365, -0.00012485496699810028, 0.000547473318874836, 0.0012198016047477722, 0.0018921298906207085, 0.0025644581764936447, 0.003236786462366581, 0.003909114748239517, 0.0045814430341124535, 0.00525377131998539, 0.005926099605858326, 0.006598427891731262, 0.0072707561776041985, 0.007943084463477135, 0.008615412749350071, 0.009287741035223007, 0.009960069321095943, 0.01063239760696888, 0.011304725892841816, 0.011977054178714752, 0.012649382464587688, 0.013321710750460625, 0.013994039036333561, 0.014666367322206497, 0.015338695608079433, 0.01601102575659752, 0.01668335497379303, 0.01735568232834339, 0.018028009682893753, 0.018700338900089264, 0.019372668117284775, 0.020044995471835136, 0.020717322826385498, 0.02138965204358101, 0.02206198126077652, 0.02273430861532688, 0.023406635969877243, 0.024078965187072754, 0.024751294404268265, 0.025423621758818626, 0.026095949113368988, 0.0267682783305645, 0.02744060754776001, 0.02811293490231037, 0.028785262256860733, 0.029457591474056244, 0.030129920691251755, 0.030802248045802116, 0.03147457540035248, 0.03214690461754799, 0.0328192338347435, 0.03349155932664871, 0.03416388854384422, 0.034836217761039734, 0.035508546978235245, 0.036180876195430756, 0.03685320168733597, 0.03752553090453148]}, "gradients/encoder.encoder.layer_norm.bias": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 4.0, 2.0, 10.0, 10.0, 10.0, 8.0, 16.0, 16.0, 26.0, 18.0, 23.0, 30.0, 45.0, 41.0, 39.0, 36.0, 41.0, 39.0, 62.0, 53.0, 60.0, 44.0, 47.0, 29.0, 34.0, 34.0, 30.0, 36.0, 26.0, 19.0, 27.0, 17.0, 22.0, 10.0, 11.0, 10.0, 4.0, 6.0, 6.0, 2.0, 2.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.004060626029968262, -0.0039295293390750885, -0.0037984326481819153, -0.003667335957288742, -0.003536239266395569, -0.0034051425755023956, -0.0032740458846092224, -0.003142949193716049, -0.003011852502822876, -0.0028807558119297028, -0.0027496591210365295, -0.0026185624301433563, -0.002487465739250183, -0.00235636904835701, -0.0022252723574638367, -0.0020941756665706635, -0.0019630789756774902, -0.001831982284784317, -0.0017008855938911438, -0.0015697889029979706, -0.0014386922121047974, -0.0013075955212116241, -0.001176498830318451, -0.0010454021394252777, -0.0009143054485321045, -0.0007832087576389313, -0.0006521120667457581, -0.0005210153758525848, -0.0003899186849594116, -0.0002588219940662384, -0.00012772530317306519, 3.3713877201080322e-06, 0.00013446807861328125, 0.00026556476950645447, 0.0003966614603996277, 0.0005277581512928009, 0.0006588548421859741, 0.0007899515330791473, 0.0009210482239723206, 0.0010521449148654938, 0.001183241605758667, 0.0013143382966518402, 0.0014454349875450134, 0.0015765316784381866, 0.0017076283693313599, 0.001838725060224533, 0.0019698217511177063, 0.0021009184420108795, 0.0022320151329040527, 0.002363111823797226, 0.002494208514690399, 0.0026253052055835724, 0.0027564018964767456, 0.002887498587369919, 0.003018595278263092, 0.0031496919691562653, 0.0032807886600494385, 0.0034118853509426117, 0.003542982041835785, 0.003674078732728958, 0.0038051754236221313, 0.0039362721145153046, 0.004067368805408478, 0.004198465496301651, 0.004329562187194824]}, "gradients/encoder.encoder.layers.23.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 2.0, 2.0, 7.0, 3.0, 8.0, 7.0, 14.0, 22.0, 25.0, 31.0, 51.0, 73.0, 88.0, 126.0, 175.0, 235.0, 350.0, 497.0, 806.0, 1219.0, 1800.0, 2693.0, 4169.0, 8211.0, 14801.0, 4123774.0, 15787.0, 7169.0, 4034.0, 2259.0, 1670.0, 1180.0, 773.0, 477.0, 352.0, 269.0, 237.0, 179.0, 143.0, 132.0, 108.0, 93.0, 64.0, 55.0, 33.0, 20.0, 19.0, 13.0, 12.0, 7.0, 2.0, 6.0, 5.0, 8.0, 1.0, 1.0, 1.0, 1.0], "bins": [-8.213520050048828e-05, -7.953587919473648e-05, -7.693655788898468e-05, -7.433723658323288e-05, -7.173791527748108e-05, -6.913859397172928e-05, -6.653927266597748e-05, -6.393995136022568e-05, -6.134063005447388e-05, -5.8741308748722076e-05, -5.6141987442970276e-05, -5.3542666137218475e-05, -5.0943344831466675e-05, -4.8344023525714874e-05, -4.5744702219963074e-05, -4.314538091421127e-05, -4.054605960845947e-05, -3.794673830270767e-05, -3.534741699695587e-05, -3.274809569120407e-05, -3.014877438545227e-05, -2.754945307970047e-05, -2.495013177394867e-05, -2.235081046819687e-05, -1.975148916244507e-05, -1.7152167856693268e-05, -1.4552846550941467e-05, -1.1953525245189667e-05, -9.354203939437866e-06, -6.754882633686066e-06, -4.155561327934265e-06, -1.5562400221824646e-06, 1.043081283569336e-06, 3.6424025893211365e-06, 6.241723895072937e-06, 8.841045200824738e-06, 1.1440366506576538e-05, 1.4039687812328339e-05, 1.663900911808014e-05, 1.923833042383194e-05, 2.183765172958374e-05, 2.443697303533554e-05, 2.703629434108734e-05, 2.9635615646839142e-05, 3.223493695259094e-05, 3.483425825834274e-05, 3.7433579564094543e-05, 4.0032900869846344e-05, 4.2632222175598145e-05, 4.5231543481349945e-05, 4.7830864787101746e-05, 5.0430186092853546e-05, 5.302950739860535e-05, 5.562882870435715e-05, 5.822815001010895e-05, 6.082747131586075e-05, 6.342679262161255e-05, 6.602611392736435e-05, 6.862543523311615e-05, 7.122475653886795e-05, 7.382407784461975e-05, 7.642339915037155e-05, 7.902272045612335e-05, 8.162204176187515e-05, 8.422136306762695e-05]}, "gradients/encoder.encoder.layers.23.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 3.0, 1.0, 0.0, 1.0, 4.0, 0.0, 3.0, 2.0, 3.0, 6.0, 4.0, 11.0, 13.0, 12.0, 11.0, 12.0, 8.0, 7.0, 4.0, 11.0, 7.0, 4.0, 3.0, 767.0, 8.0, 3.0, 6.0, 7.0, 17.0, 8.0, 8.0, 2.0, 7.0, 12.0, 7.0, 5.0, 5.0, 1.0, 3.0, 1.0, 0.0, 2.0, 1.0, 3.0, 0.0, 3.0, 1.0, 1.0, 0.0, 2.0, 1.0, 6.0, 1.0, 1.0, 0.0, 1.0], "bins": [-4.649162292480469e-06, -4.502013325691223e-06, -4.3548643589019775e-06, -4.207715392112732e-06, -4.060566425323486e-06, -3.913417458534241e-06, -3.766268491744995e-06, -3.6191195249557495e-06, -3.471970558166504e-06, -3.3248215913772583e-06, -3.1776726245880127e-06, -3.030523657798767e-06, -2.8833746910095215e-06, -2.736225724220276e-06, -2.5890767574310303e-06, -2.4419277906417847e-06, -2.294778823852539e-06, -2.1476298570632935e-06, -2.000480890274048e-06, -1.8533319234848022e-06, -1.7061829566955566e-06, -1.559033989906311e-06, -1.4118850231170654e-06, -1.2647360563278198e-06, -1.1175870895385742e-06, -9.704381227493286e-07, -8.23289155960083e-07, -6.761401891708374e-07, -5.289912223815918e-07, -3.818422555923462e-07, -2.3469328880310059e-07, -8.754432201385498e-08, 5.960464477539063e-08, 2.0675361156463623e-07, 3.5390257835388184e-07, 5.010515451431274e-07, 6.48200511932373e-07, 7.953494787216187e-07, 9.424984455108643e-07, 1.0896474123001099e-06, 1.2367963790893555e-06, 1.383945345878601e-06, 1.5310943126678467e-06, 1.6782432794570923e-06, 1.8253922462463379e-06, 1.9725412130355835e-06, 2.119690179824829e-06, 2.2668391466140747e-06, 2.4139881134033203e-06, 2.561137080192566e-06, 2.7082860469818115e-06, 2.855435013771057e-06, 3.0025839805603027e-06, 3.1497329473495483e-06, 3.296881914138794e-06, 3.4440308809280396e-06, 3.591179847717285e-06, 3.7383288145065308e-06, 3.885477781295776e-06, 4.032626748085022e-06, 4.179775714874268e-06, 4.326924681663513e-06, 4.474073648452759e-06, 4.621222615242004e-06, 4.76837158203125e-06]}, "gradients/encoder.encoder.layers.23.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 1.0, 1.0, 1.0, 2.0, 2.0, 3.0, 2.0, 2.0, 4.0, 8.0, 6.0, 11.0, 18.0, 13.0, 19.0, 18.0, 40.0, 43.0, 69.0, 82.0, 139.0, 232.0, 393.0, 852.0, 2624.0, 14151.0, 4070849.0, 93809.0, 7465.0, 1844.0, 718.0, 334.0, 195.0, 106.0, 71.0, 52.0, 37.0, 23.0, 15.0, 7.0, 10.0, 8.0, 4.0, 3.0, 3.0, 2.0, 4.0, 0.0, 0.0, 2.0, 1.0, 1.0], "bins": [-0.00020003318786621094, -0.00019487738609313965, -0.00018972158432006836, -0.00018456578254699707, -0.00017940998077392578, -0.0001742541790008545, -0.0001690983772277832, -0.00016394257545471191, -0.00015878677368164062, -0.00015363097190856934, -0.00014847517013549805, -0.00014331936836242676, -0.00013816356658935547, -0.00013300776481628418, -0.0001278519630432129, -0.0001226961612701416, -0.00011754035949707031, -0.00011238455772399902, -0.00010722875595092773, -0.00010207295417785645, -9.691715240478516e-05, -9.176135063171387e-05, -8.660554885864258e-05, -8.144974708557129e-05, -7.62939453125e-05, -7.113814353942871e-05, -6.598234176635742e-05, -6.082653999328613e-05, -5.5670738220214844e-05, -5.0514936447143555e-05, -4.5359134674072266e-05, -4.0203332901000977e-05, -3.504753112792969e-05, -2.98917293548584e-05, -2.473592758178711e-05, -1.958012580871582e-05, -1.4424324035644531e-05, -9.268522262573242e-06, -4.112720489501953e-06, 1.043081283569336e-06, 6.198883056640625e-06, 1.1354684829711914e-05, 1.6510486602783203e-05, 2.1666288375854492e-05, 2.682209014892578e-05, 3.197789192199707e-05, 3.713369369506836e-05, 4.228949546813965e-05, 4.744529724121094e-05, 5.2601099014282227e-05, 5.7756900787353516e-05, 6.29127025604248e-05, 6.80685043334961e-05, 7.322430610656738e-05, 7.838010787963867e-05, 8.353590965270996e-05, 8.869171142578125e-05, 9.384751319885254e-05, 9.900331497192383e-05, 0.00010415911674499512, 0.0001093149185180664, 0.0001144707202911377, 0.00011962652206420898, 0.00012478232383728027, 0.00012993812561035156]}, "gradients/encoder.encoder.layers.23.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 0.0, 1.0, 3.0, 1.0, 2.0, 2.0, 1.0, 7.0, 2.0, 1.0, 8.0, 8.0, 11.0, 8.0, 14.0, 13.0, 20.0, 28.0, 20.0, 34.0, 79.0, 3464.0, 63.0, 71.0, 32.0, 14.0, 25.0, 21.0, 17.0, 12.0, 20.0, 11.0, 12.0, 9.0, 7.0, 10.0, 6.0, 9.0, 4.0, 4.0, 2.0, 2.0, 1.0, 3.0, 2.0, 2.0, 1.0, 0.0, 1.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.357929229736328e-06, -8.977018296718597e-06, -8.596107363700867e-06, -8.215196430683136e-06, -7.834285497665405e-06, -7.4533745646476746e-06, -7.072463631629944e-06, -6.691552698612213e-06, -6.310641765594482e-06, -5.929730832576752e-06, -5.548819899559021e-06, -5.16790896654129e-06, -4.7869980335235596e-06, -4.406087100505829e-06, -4.025176167488098e-06, -3.6442652344703674e-06, -3.2633543014526367e-06, -2.882443368434906e-06, -2.5015324354171753e-06, -2.1206215023994446e-06, -1.7397105693817139e-06, -1.3587996363639832e-06, -9.778887033462524e-07, -5.969777703285217e-07, -2.1606683731079102e-07, 1.648440957069397e-07, 5.457550287246704e-07, 9.266659617424011e-07, 1.3075768947601318e-06, 1.6884878277778625e-06, 2.0693987607955933e-06, 2.450309693813324e-06, 2.8312206268310547e-06, 3.2121315598487854e-06, 3.593042492866516e-06, 3.973953425884247e-06, 4.3548643589019775e-06, 4.735775291919708e-06, 5.116686224937439e-06, 5.49759715795517e-06, 5.8785080909729e-06, 6.259419023990631e-06, 6.640329957008362e-06, 7.0212408900260925e-06, 7.402151823043823e-06, 7.783062756061554e-06, 8.163973689079285e-06, 8.544884622097015e-06, 8.925795555114746e-06, 9.306706488132477e-06, 9.687617421150208e-06, 1.0068528354167938e-05, 1.0449439287185669e-05, 1.08303502202034e-05, 1.121126115322113e-05, 1.1592172086238861e-05, 1.1973083019256592e-05, 1.2353993952274323e-05, 1.2734904885292053e-05, 1.3115815818309784e-05, 1.3496726751327515e-05, 1.3877637684345245e-05, 1.4258548617362976e-05, 1.4639459550380707e-05, 1.5020370483398438e-05]}, "gradients/encoder.encoder.layers.23.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 5.0, 5.0, 13.0, 35.0, 265.0, 505.0, 125.0, 35.0, 14.0, 3.0, 3.0, 2.0, 0.0, 2.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00013321689039003104, -0.0001254142844118178, -0.00011761166388168931, -0.00010980905790347606, -0.00010200643737334758, -9.420383139513433e-05, -8.640121814096346e-05, -7.85986048867926e-05, -7.079599163262174e-05, -6.299337837845087e-05, -5.5190765124280006e-05, -4.738815550808795e-05, -3.958554225391708e-05, -3.178292899974622e-05, -2.398031938355416e-05, -1.6177706129383296e-05, -8.375092875212431e-06, -5.724805305362679e-07, 7.230131814139895e-06, 1.5032743249321356e-05, 2.283535650349222e-05, 3.0637969757663086e-05, 3.8440579373855144e-05, 4.624319262802601e-05, 5.4045805882196873e-05, 6.184841913636774e-05, 6.96510323905386e-05, 7.745364564470947e-05, 8.525625162292272e-05, 9.30588721530512e-05, 0.00010086147813126445, 0.00010866409138543531, 0.0001164667191915214, 0.00012426932516973466, 0.00013207194569986314, 0.0001398745516780764, 0.00014767717220820487, 0.00015547977818641812, 0.00016328238416463137, 0.00017108500469475985, 0.00017888762522488832, 0.00018669023120310158, 0.00019449285173323005, 0.0002022954577114433, 0.00021009807824157178, 0.00021790068421978503, 0.00022570329019799829, 0.00023350591072812676, 0.00024130851670634001, 0.00024911112268455327, 0.00025691374321468174, 0.0002647163637448102, 0.00027251895517110825, 0.0002803215757012367, 0.0002881241962313652, 0.0002959268167614937, 0.0003037294081877917, 0.0003115320287179202, 0.0003193346201442182, 0.0003271372406743467, 0.00033493986120447516, 0.00034274248173460364, 0.00035054507316090167, 0.00035834769369103014, 0.0003661503142211586]}, "gradients/encoder.encoder.layers.23.final_layer_norm.bias": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 1.0, 3.0, 2.0, 3.0, 1.0, 4.0, 6.0, 6.0, 13.0, 11.0, 22.0, 20.0, 23.0, 32.0, 35.0, 51.0, 40.0, 53.0, 62.0, 61.0, 67.0, 55.0, 66.0, 55.0, 60.0, 43.0, 40.0, 30.0, 39.0, 26.0, 18.0, 21.0, 11.0, 11.0, 5.0, 4.0, 4.0, 5.0, 1.0, 3.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.607439041137695e-05, -4.4343993067741394e-05, -4.2613595724105835e-05, -4.0883198380470276e-05, -3.915280103683472e-05, -3.742240369319916e-05, -3.56920063495636e-05, -3.396160900592804e-05, -3.223121166229248e-05, -3.050081431865692e-05, -2.8770416975021362e-05, -2.7040019631385803e-05, -2.5309622287750244e-05, -2.3579224944114685e-05, -2.1848827600479126e-05, -2.0118430256843567e-05, -1.8388032913208008e-05, -1.665763556957245e-05, -1.492723822593689e-05, -1.319684088230133e-05, -1.1466443538665771e-05, -9.736046195030212e-06, -8.005648851394653e-06, -6.275251507759094e-06, -4.544854164123535e-06, -2.814456820487976e-06, -1.084059476852417e-06, 6.463378667831421e-07, 2.376735210418701e-06, 4.10713255405426e-06, 5.837529897689819e-06, 7.567927241325378e-06, 9.298324584960938e-06, 1.1028721928596497e-05, 1.2759119272232056e-05, 1.4489516615867615e-05, 1.6219913959503174e-05, 1.7950311303138733e-05, 1.9680708646774292e-05, 2.141110599040985e-05, 2.314150333404541e-05, 2.487190067768097e-05, 2.660229802131653e-05, 2.8332695364952087e-05, 3.0063092708587646e-05, 3.1793490052223206e-05, 3.3523887395858765e-05, 3.5254284739494324e-05, 3.698468208312988e-05, 3.871507942676544e-05, 4.0445476770401e-05, 4.217587411403656e-05, 4.390627145767212e-05, 4.563666880130768e-05, 4.736706614494324e-05, 4.9097463488578796e-05, 5.0827860832214355e-05, 5.2558258175849915e-05, 5.4288655519485474e-05, 5.601905286312103e-05, 5.774945020675659e-05, 5.947984755039215e-05, 6.121024489402771e-05, 6.294064223766327e-05, 6.467103958129883e-05]}, "gradients/encoder.encoder.layers.23.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 2.0, 1.0, 3.0, 8.0, 7.0, 3.0, 5.0, 9.0, 6.0, 12.0, 12.0, 20.0, 36.0, 54.0, 63.0, 104.0, 153.0, 176.0, 248.0, 324.0, 437.0, 646.0, 873.0, 1440.0, 2036.0, 3231.0, 5219.0, 8104.0, 14478.0, 25403.0, 44690.0, 854271.0, 35326.0, 20138.0, 11475.0, 7046.0, 4164.0, 2655.0, 1752.0, 1123.0, 790.0, 536.0, 395.0, 299.0, 228.0, 143.0, 110.0, 86.0, 63.0, 58.0, 34.0, 25.0, 18.0, 10.0, 4.0, 5.0, 3.0, 2.0, 4.0, 5.0, 1.0, 1.0, 2.0], "bins": [-5.239248275756836e-05, -5.0770118832588196e-05, -4.914775490760803e-05, -4.752539098262787e-05, -4.5903027057647705e-05, -4.428066313266754e-05, -4.265829920768738e-05, -4.1035935282707214e-05, -3.941357135772705e-05, -3.779120743274689e-05, -3.6168843507766724e-05, -3.454647958278656e-05, -3.2924115657806396e-05, -3.130175173282623e-05, -2.967938780784607e-05, -2.8057023882865906e-05, -2.6434659957885742e-05, -2.481229603290558e-05, -2.3189932107925415e-05, -2.156756818294525e-05, -1.9945204257965088e-05, -1.8322840332984924e-05, -1.670047640800476e-05, -1.5078112483024597e-05, -1.3455748558044434e-05, -1.183338463306427e-05, -1.0211020708084106e-05, -8.588656783103943e-06, -6.966292858123779e-06, -5.343928933143616e-06, -3.721565008163452e-06, -2.0992010831832886e-06, -4.76837158203125e-07, 1.1455267667770386e-06, 2.767890691757202e-06, 4.390254616737366e-06, 6.012618541717529e-06, 7.634982466697693e-06, 9.257346391677856e-06, 1.087971031665802e-05, 1.2502074241638184e-05, 1.4124438166618347e-05, 1.574680209159851e-05, 1.7369166016578674e-05, 1.8991529941558838e-05, 2.0613893866539e-05, 2.2236257791519165e-05, 2.385862171649933e-05, 2.5480985641479492e-05, 2.7103349566459656e-05, 2.872571349143982e-05, 3.0348077416419983e-05, 3.1970441341400146e-05, 3.359280526638031e-05, 3.5215169191360474e-05, 3.683753311634064e-05, 3.84598970413208e-05, 4.0082260966300964e-05, 4.170462489128113e-05, 4.332698881626129e-05, 4.4949352741241455e-05, 4.657171666622162e-05, 4.819408059120178e-05, 4.9816444516181946e-05, 5.143880844116211e-05]}, "gradients/encoder.encoder.layers.23.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 3.0, 1.0, 0.0, 1.0, 4.0, 0.0, 3.0, 2.0, 3.0, 6.0, 4.0, 11.0, 13.0, 12.0, 11.0, 12.0, 8.0, 7.0, 4.0, 11.0, 7.0, 4.0, 3.0, 767.0, 8.0, 3.0, 6.0, 7.0, 17.0, 8.0, 8.0, 2.0, 7.0, 12.0, 7.0, 5.0, 5.0, 1.0, 3.0, 1.0, 0.0, 2.0, 1.0, 3.0, 0.0, 3.0, 1.0, 1.0, 0.0, 2.0, 1.0, 6.0, 1.0, 1.0, 0.0, 1.0], "bins": [-4.649162292480469e-06, -4.502013325691223e-06, -4.3548643589019775e-06, -4.207715392112732e-06, -4.060566425323486e-06, -3.913417458534241e-06, -3.766268491744995e-06, -3.6191195249557495e-06, -3.471970558166504e-06, -3.3248215913772583e-06, -3.1776726245880127e-06, -3.030523657798767e-06, -2.8833746910095215e-06, -2.736225724220276e-06, -2.5890767574310303e-06, -2.4419277906417847e-06, -2.294778823852539e-06, -2.1476298570632935e-06, -2.000480890274048e-06, -1.8533319234848022e-06, -1.7061829566955566e-06, -1.559033989906311e-06, -1.4118850231170654e-06, -1.2647360563278198e-06, -1.1175870895385742e-06, -9.704381227493286e-07, -8.23289155960083e-07, -6.761401891708374e-07, -5.289912223815918e-07, -3.818422555923462e-07, -2.3469328880310059e-07, -8.754432201385498e-08, 5.960464477539063e-08, 2.0675361156463623e-07, 3.5390257835388184e-07, 5.010515451431274e-07, 6.48200511932373e-07, 7.953494787216187e-07, 9.424984455108643e-07, 1.0896474123001099e-06, 1.2367963790893555e-06, 1.383945345878601e-06, 1.5310943126678467e-06, 1.6782432794570923e-06, 1.8253922462463379e-06, 1.9725412130355835e-06, 2.119690179824829e-06, 2.2668391466140747e-06, 2.4139881134033203e-06, 2.561137080192566e-06, 2.7082860469818115e-06, 2.855435013771057e-06, 3.0025839805603027e-06, 3.1497329473495483e-06, 3.296881914138794e-06, 3.4440308809280396e-06, 3.591179847717285e-06, 3.7383288145065308e-06, 3.885477781295776e-06, 4.032626748085022e-06, 4.179775714874268e-06, 4.326924681663513e-06, 4.474073648452759e-06, 4.621222615242004e-06, 4.76837158203125e-06]}, "gradients/encoder.encoder.layers.23.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 3.0, 1.0, 0.0, 1.0, 4.0, 0.0, 4.0, 2.0, 5.0, 5.0, 7.0, 15.0, 15.0, 18.0, 19.0, 20.0, 25.0, 39.0, 42.0, 64.0, 75.0, 270.0, 6824.0, 4167415.0, 18220.0, 804.0, 136.0, 62.0, 47.0, 27.0, 17.0, 10.0, 11.0, 18.0, 14.0, 14.0, 7.0, 4.0, 9.0, 3.0, 1.0, 2.0, 1.0, 3.0, 0.0, 3.0, 1.0, 1.0, 0.0, 2.0, 1.0, 6.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.003570556640625, -0.003457576036453247, -0.003344595432281494, -0.003231614828109741, -0.0031186342239379883, -0.0030056536197662354, -0.0028926730155944824, -0.0027796924114227295, -0.0026667118072509766, -0.0025537312030792236, -0.0024407505989074707, -0.0023277699947357178, -0.002214789390563965, -0.002101808786392212, -0.001988828182220459, -0.001875847578048706, -0.0017628669738769531, -0.0016498863697052002, -0.0015369057655334473, -0.0014239251613616943, -0.0013109445571899414, -0.0011979639530181885, -0.0010849833488464355, -0.0009720027446746826, -0.0008590221405029297, -0.0007460415363311768, -0.0006330609321594238, -0.0005200803279876709, -0.00040709972381591797, -0.00029411911964416504, -0.0001811385154724121, -6.815791130065918e-05, 4.482269287109375e-05, 0.00015780329704284668, 0.0002707839012145996, 0.00038376450538635254, 0.0004967451095581055, 0.0006097257137298584, 0.0007227063179016113, 0.0008356869220733643, 0.0009486675262451172, 0.0010616481304168701, 0.001174628734588623, 0.001287609338760376, 0.001400589942932129, 0.0015135705471038818, 0.0016265511512756348, 0.0017395317554473877, 0.0018525123596191406, 0.0019654929637908936, 0.0020784735679626465, 0.0021914541721343994, 0.0023044347763061523, 0.0024174153804779053, 0.002530395984649658, 0.002643376588821411, 0.002756357192993164, 0.002869337797164917, 0.00298231840133667, 0.003095299005508423, 0.0032082796096801758, 0.0033212602138519287, 0.0034342408180236816, 0.0035472214221954346, 0.0036602020263671875]}, "gradients/encoder.encoder.layers.22.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 3.0, 1.0, 0.0, 1.0, 4.0, 0.0, 3.0, 2.0, 3.0, 6.0, 4.0, 11.0, 13.0, 12.0, 11.0, 12.0, 8.0, 7.0, 4.0, 11.0, 7.0, 4.0, 3.0, 767.0, 8.0, 3.0, 6.0, 7.0, 17.0, 8.0, 8.0, 2.0, 7.0, 12.0, 7.0, 5.0, 5.0, 1.0, 3.0, 1.0, 0.0, 2.0, 1.0, 3.0, 0.0, 3.0, 1.0, 1.0, 0.0, 2.0, 1.0, 6.0, 1.0, 1.0, 0.0, 1.0], "bins": [-4.649162292480469e-06, -4.502013325691223e-06, -4.3548643589019775e-06, -4.207715392112732e-06, -4.060566425323486e-06, -3.913417458534241e-06, -3.766268491744995e-06, -3.6191195249557495e-06, -3.471970558166504e-06, -3.3248215913772583e-06, -3.1776726245880127e-06, -3.030523657798767e-06, -2.8833746910095215e-06, -2.736225724220276e-06, -2.5890767574310303e-06, -2.4419277906417847e-06, -2.294778823852539e-06, -2.1476298570632935e-06, -2.000480890274048e-06, -1.8533319234848022e-06, -1.7061829566955566e-06, -1.559033989906311e-06, -1.4118850231170654e-06, -1.2647360563278198e-06, -1.1175870895385742e-06, -9.704381227493286e-07, -8.23289155960083e-07, -6.761401891708374e-07, -5.289912223815918e-07, -3.818422555923462e-07, -2.3469328880310059e-07, -8.754432201385498e-08, 5.960464477539063e-08, 2.0675361156463623e-07, 3.5390257835388184e-07, 5.010515451431274e-07, 6.48200511932373e-07, 7.953494787216187e-07, 9.424984455108643e-07, 1.0896474123001099e-06, 1.2367963790893555e-06, 1.383945345878601e-06, 1.5310943126678467e-06, 1.6782432794570923e-06, 1.8253922462463379e-06, 1.9725412130355835e-06, 2.119690179824829e-06, 2.2668391466140747e-06, 2.4139881134033203e-06, 2.561137080192566e-06, 2.7082860469818115e-06, 2.855435013771057e-06, 3.0025839805603027e-06, 3.1497329473495483e-06, 3.296881914138794e-06, 3.4440308809280396e-06, 3.591179847717285e-06, 3.7383288145065308e-06, 3.885477781295776e-06, 4.032626748085022e-06, 4.179775714874268e-06, 4.326924681663513e-06, 4.474073648452759e-06, 4.621222615242004e-06, 4.76837158203125e-06]}, "gradients/encoder.encoder.layers.22.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 5.0, 2.0, 5.0, 6.0, 8.0, 24.0, 24.0, 37.0, 68.0, 75.0, 175.0, 611.0, 10951.0, 4121358.0, 59052.0, 1179.0, 227.0, 154.0, 99.0, 80.0, 47.0, 44.0, 20.0, 14.0, 10.0, 7.0, 4.0, 3.0, 3.0, 3.0, 2.0, 1.0, 1.0], "bins": [-0.0015659332275390625, -0.001530863344669342, -0.0014957934617996216, -0.0014607235789299011, -0.0014256536960601807, -0.0013905838131904602, -0.0013555139303207397, -0.0013204440474510193, -0.0012853741645812988, -0.0012503042817115784, -0.001215234398841858, -0.0011801645159721375, -0.001145094633102417, -0.0011100247502326965, -0.001074954867362976, -0.0010398849844932556, -0.0010048151016235352, -0.0009697452187538147, -0.0009346753358840942, -0.0008996054530143738, -0.0008645355701446533, -0.0008294656872749329, -0.0007943958044052124, -0.0007593259215354919, -0.0007242560386657715, -0.000689186155796051, -0.0006541162729263306, -0.0006190463900566101, -0.0005839765071868896, -0.0005489066243171692, -0.0005138367414474487, -0.00047876685857772827, -0.0004436969757080078, -0.00040862709283828735, -0.0003735572099685669, -0.00033848732709884644, -0.000303417444229126, -0.0002683475613594055, -0.00023327767848968506, -0.0001982077956199646, -0.00016313791275024414, -0.00012806802988052368, -9.299814701080322e-05, -5.7928264141082764e-05, -2.2858381271362305e-05, 1.2211501598358154e-05, 4.728138446807861e-05, 8.235126733779907e-05, 0.00011742115020751953, 0.00015249103307724, 0.00018756091594696045, 0.0002226307988166809, 0.00025770068168640137, 0.0002927705645561218, 0.0003278404474258423, 0.00036291033029556274, 0.0003979802131652832, 0.00043305009603500366, 0.0004681199789047241, 0.0005031898617744446, 0.000538259744644165, 0.0005733296275138855, 0.000608399510383606, 0.0006434693932533264, 0.0006785392761230469]}, "gradients/encoder.encoder.layers.22.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 5.0, 2.0, 3.0, 6.0, 9.0, 24.0, 22.0, 37.0, 53.0, 49.0, 92.0, 110.0, 105.0, 2697.0, 194.0, 133.0, 102.0, 123.0, 91.0, 76.0, 46.0, 44.0, 19.0, 15.0, 10.0, 8.0, 3.0, 3.0, 3.0, 3.0, 2.0, 1.0, 1.0], "bins": [-3.647804260253906e-05, -3.566127270460129e-05, -3.484450280666351e-05, -3.402773290872574e-05, -3.3210963010787964e-05, -3.239419311285019e-05, -3.1577423214912415e-05, -3.076065331697464e-05, -2.9943883419036865e-05, -2.912711352109909e-05, -2.8310343623161316e-05, -2.749357372522354e-05, -2.6676803827285767e-05, -2.5860033929347992e-05, -2.5043264031410217e-05, -2.4226494133472443e-05, -2.3409724235534668e-05, -2.2592954337596893e-05, -2.177618443965912e-05, -2.0959414541721344e-05, -2.014264464378357e-05, -1.9325874745845795e-05, -1.850910484790802e-05, -1.7692334949970245e-05, -1.687556505203247e-05, -1.6058795154094696e-05, -1.5242025256156921e-05, -1.4425255358219147e-05, -1.3608485460281372e-05, -1.2791715562343597e-05, -1.1974945664405823e-05, -1.1158175766468048e-05, -1.0341405868530273e-05, -9.524635970592499e-06, -8.707866072654724e-06, -7.89109617471695e-06, -7.074326276779175e-06, -6.2575563788414e-06, -5.4407864809036255e-06, -4.624016582965851e-06, -3.807246685028076e-06, -2.9904767870903015e-06, -2.173706889152527e-06, -1.3569369912147522e-06, -5.401670932769775e-07, 2.766028046607971e-07, 1.0933727025985718e-06, 1.9101426005363464e-06, 2.726912498474121e-06, 3.5436823964118958e-06, 4.36045229434967e-06, 5.177222192287445e-06, 5.99399209022522e-06, 6.810761988162994e-06, 7.627531886100769e-06, 8.444301784038544e-06, 9.261071681976318e-06, 1.0077841579914093e-05, 1.0894611477851868e-05, 1.1711381375789642e-05, 1.2528151273727417e-05, 1.3344921171665192e-05, 1.4161691069602966e-05, 1.4978460967540741e-05, 1.5795230865478516e-05]}, "gradients/encoder.encoder.layers.22.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 3.0, 3.0, 24.0, 345.0, 565.0, 56.0, 20.0, 5.0], "bins": [-0.0030369667802006006, -0.002986370353028178, -0.002935773925855756, -0.002885177731513977, -0.0028345813043415546, -0.0027839848771691322, -0.00273338844999671, -0.0026827920228242874, -0.002632195595651865, -0.0025815991684794426, -0.00253100274130702, -0.0024804063141345978, -0.002429810119792819, -0.0023792136926203966, -0.002328617265447974, -0.002278020838275552, -0.002227424643933773, -0.0021768282167613506, -0.0021262317895889282, -0.002075635362416506, -0.002025039168074727, -0.0019744427409023046, -0.0019238463137298822, -0.0018732498865574598, -0.0018226534593850374, -0.001772057032212615, -0.0017214607214555144, -0.001670864294283092, -0.0016202678671106696, -0.001569671556353569, -0.0015190751291811466, -0.0014684787020087242, -0.0014178823912516236, -0.0013672859640792012, -0.0013166896533221006, -0.0012660932261496782, -0.0012154967989772558, -0.0011649003718048334, -0.0011143040610477328, -0.0010637076338753104, -0.001013111206702888, -0.0009625148377381265, -0.0009119184105657041, -0.0008613220416009426, -0.0008107256144285202, -0.0007601292454637587, -0.0007095328764989972, -0.0006589364493265748, -0.0006083401385694742, -0.0005577437696047127, -0.0005071473424322903, -0.0004565509734675288, -0.00040595457539893687, -0.0003553581773303449, -0.0003047618083655834, -0.00025416541029699147, -0.00020356898312456906, -0.0001529725850559771, -0.00010237620153930038, -5.177981802262366e-05, -1.1834199540317059e-06, 4.9412978114560246e-05, 0.00010000934707932174, 0.0001506057451479137, 0.00020120214321650565]}, "gradients/encoder.encoder.layers.22.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 3.0, 7.0, 14.0, 14.0, 30.0, 33.0, 84.0, 104.0, 138.0, 142.0, 144.0, 111.0, 77.0, 48.0, 30.0, 18.0, 13.0, 4.0, 2.0, 2.0, 1.0], "bins": [-0.0005851387977600098, -0.0005740812048316002, -0.0005630236119031906, -0.000551966018974781, -0.0005409084260463715, -0.0005298508331179619, -0.0005187932401895523, -0.0005077356472611427, -0.0004966780543327332, -0.0004856204614043236, -0.000474562868475914, -0.0004635052755475044, -0.00045244768261909485, -0.00044139008969068527, -0.0004303324967622757, -0.0004192749038338661, -0.00040821731090545654, -0.00039715971797704697, -0.0003861021250486374, -0.0003750445321202278, -0.00036398693919181824, -0.00035292934626340866, -0.0003418717533349991, -0.0003308141604065895, -0.00031975656747817993, -0.00030869897454977036, -0.0002976413816213608, -0.0002865837886929512, -0.0002755261957645416, -0.00026446860283613205, -0.0002534110099077225, -0.0002423534169793129, -0.00023129582405090332, -0.00022023823112249374, -0.00020918063819408417, -0.0001981230452656746, -0.00018706545233726501, -0.00017600785940885544, -0.00016495026648044586, -0.00015389267355203629, -0.0001428350806236267, -0.00013177748769521713, -0.00012071989476680756, -0.00010966230183839798, -9.86047089099884e-05, -8.754711598157883e-05, -7.648952305316925e-05, -6.543193012475967e-05, -5.43743371963501e-05, -4.331674426794052e-05, -3.2259151339530945e-05, -2.120155841112137e-05, -1.0143965482711792e-05, 9.136274456977844e-07, 1.197122037410736e-05, 2.3028813302516937e-05, 3.4086406230926514e-05, 4.514399915933609e-05, 5.6201592087745667e-05, 6.725918501615524e-05, 7.831677794456482e-05, 8.93743708729744e-05, 0.00010043196380138397, 0.00011148955672979355, 0.00012254714965820312]}, "gradients/encoder.encoder.layers.22.attention.out_proj.weight": {"_type": "histogram", "values": [2.0, 2.0, 1.0, 2.0, 1.0, 1.0, 5.0, 1.0, 4.0, 5.0, 3.0, 6.0, 12.0, 9.0, 17.0, 8.0, 7.0, 19.0, 14.0, 21.0, 27.0, 28.0, 26.0, 49.0, 107.0, 257.0, 719.0, 2157.0, 9250.0, 53528.0, 931241.0, 40561.0, 7592.0, 1751.0, 559.0, 201.0, 86.0, 46.0, 33.0, 32.0, 27.0, 14.0, 21.0, 21.0, 8.0, 16.0, 15.0, 8.0, 10.0, 10.0, 8.0, 9.0, 2.0, 3.0, 4.0, 2.0, 3.0, 0.0, 2.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.00019097328186035156, -0.00018469803035259247, -0.00017842277884483337, -0.00017214752733707428, -0.00016587227582931519, -0.0001595970243215561, -0.000153321772813797, -0.0001470465213060379, -0.0001407712697982788, -0.00013449601829051971, -0.00012822076678276062, -0.00012194551527500153, -0.00011567026376724243, -0.00010939501225948334, -0.00010311976075172424, -9.684450924396515e-05, -9.056925773620605e-05, -8.429400622844696e-05, -7.801875472068787e-05, -7.174350321292877e-05, -6.546825170516968e-05, -5.9193000197410583e-05, -5.291774868965149e-05, -4.6642497181892395e-05, -4.03672456741333e-05, -3.4091994166374207e-05, -2.7816742658615112e-05, -2.1541491150856018e-05, -1.5266239643096924e-05, -8.99098813533783e-06, -2.7157366275787354e-06, 3.559514880180359e-06, 9.834766387939453e-06, 1.6110017895698547e-05, 2.238526940345764e-05, 2.8660520911216736e-05, 3.493577241897583e-05, 4.1211023926734924e-05, 4.748627543449402e-05, 5.376152694225311e-05, 6.003677845001221e-05, 6.63120299577713e-05, 7.25872814655304e-05, 7.886253297328949e-05, 8.513778448104858e-05, 9.141303598880768e-05, 9.768828749656677e-05, 0.00010396353900432587, 0.00011023879051208496, 0.00011651404201984406, 0.00012278929352760315, 0.00012906454503536224, 0.00013533979654312134, 0.00014161504805088043, 0.00014789029955863953, 0.00015416555106639862, 0.00016044080257415771, 0.0001667160540819168, 0.0001729913055896759, 0.000179266557097435, 0.0001855418086051941, 0.00019181706011295319, 0.00019809231162071228, 0.00020436756312847137, 0.00021064281463623047]}, "gradients/encoder.encoder.layers.22.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 3.0, 8.0, 14.0, 22.0, 29.0, 17.0, 71.0, 592.0, 98.0, 75.0, 21.0, 23.0, 16.0, 11.0, 5.0, 1.0, 3.0, 1.0, 4.0, 5.0], "bins": [-2.0623207092285156e-05, -2.0226463675498962e-05, -1.982972025871277e-05, -1.9432976841926575e-05, -1.903623342514038e-05, -1.8639490008354187e-05, -1.8242746591567993e-05, -1.78460031747818e-05, -1.7449259757995605e-05, -1.705251634120941e-05, -1.6655772924423218e-05, -1.6259029507637024e-05, -1.586228609085083e-05, -1.5465542674064636e-05, -1.5068799257278442e-05, -1.4672055840492249e-05, -1.4275312423706055e-05, -1.387856900691986e-05, -1.3481825590133667e-05, -1.3085082173347473e-05, -1.268833875656128e-05, -1.2291595339775085e-05, -1.1894851922988892e-05, -1.1498108506202698e-05, -1.1101365089416504e-05, -1.070462167263031e-05, -1.0307878255844116e-05, -9.911134839057922e-06, -9.514391422271729e-06, -9.117648005485535e-06, -8.72090458869934e-06, -8.324161171913147e-06, -7.927417755126953e-06, -7.530674338340759e-06, -7.1339309215545654e-06, -6.737187504768372e-06, -6.340444087982178e-06, -5.943700671195984e-06, -5.54695725440979e-06, -5.150213837623596e-06, -4.753470420837402e-06, -4.3567270040512085e-06, -3.959983587265015e-06, -3.563240170478821e-06, -3.166496753692627e-06, -2.769753336906433e-06, -2.3730099201202393e-06, -1.9762665033340454e-06, -1.5795230865478516e-06, -1.1827796697616577e-06, -7.860362529754639e-07, -3.8929283618927e-07, 7.450580596923828e-09, 4.041939973831177e-07, 8.009374141693115e-07, 1.1976808309555054e-06, 1.5944242477416992e-06, 1.991167664527893e-06, 2.387911081314087e-06, 2.7846544981002808e-06, 3.1813979148864746e-06, 3.5781413316726685e-06, 3.974884748458862e-06, 4.371628165245056e-06, 4.76837158203125e-06]}, "gradients/encoder.encoder.layers.22.attention.v_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 0.0, 1.0, 1.0, 3.0, 1.0, 1.0, 1.0, 3.0, 0.0, 1.0, 5.0, 10.0, 18.0, 44.0, 127.0, 398.0, 1678.0, 9619.0, 1016956.0, 16135.0, 2672.0, 575.0, 180.0, 68.0, 25.0, 17.0, 6.0, 2.0, 3.0, 1.0, 3.0, 1.0, 3.0, 1.0, 0.0, 0.0, 2.0, 1.0, 1.0, 0.0, 0.0, 2.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.226799011230469e-05, -8.915364742279053e-05, -8.603930473327637e-05, -8.292496204376221e-05, -7.981061935424805e-05, -7.669627666473389e-05, -7.358193397521973e-05, -7.046759128570557e-05, -6.73532485961914e-05, -6.423890590667725e-05, -6.112456321716309e-05, -5.8010220527648926e-05, -5.4895877838134766e-05, -5.1781535148620605e-05, -4.8667192459106445e-05, -4.5552849769592285e-05, -4.2438507080078125e-05, -3.9324164390563965e-05, -3.6209821701049805e-05, -3.3095479011535645e-05, -2.9981136322021484e-05, -2.6866793632507324e-05, -2.3752450942993164e-05, -2.0638108253479004e-05, -1.7523765563964844e-05, -1.4409422874450684e-05, -1.1295080184936523e-05, -8.180737495422363e-06, -5.066394805908203e-06, -1.952052116394043e-06, 1.1622905731201172e-06, 4.276633262634277e-06, 7.3909759521484375e-06, 1.0505318641662598e-05, 1.3619661331176758e-05, 1.6734004020690918e-05, 1.9848346710205078e-05, 2.2962689399719238e-05, 2.60770320892334e-05, 2.919137477874756e-05, 3.230571746826172e-05, 3.542006015777588e-05, 3.853440284729004e-05, 4.16487455368042e-05, 4.476308822631836e-05, 4.787743091583252e-05, 5.099177360534668e-05, 5.410611629486084e-05, 5.7220458984375e-05, 6.033480167388916e-05, 6.344914436340332e-05, 6.656348705291748e-05, 6.967782974243164e-05, 7.27921724319458e-05, 7.590651512145996e-05, 7.902085781097412e-05, 8.213520050048828e-05, 8.524954319000244e-05, 8.83638858795166e-05, 9.147822856903076e-05, 9.459257125854492e-05, 9.770691394805908e-05, 0.00010082125663757324, 0.0001039355993270874, 0.00010704994201660156]}, "gradients/encoder.encoder.layers.22.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 0.0, 1.0, 1.0, 3.0, 1.0, 1.0, 1.0, 3.0, 0.0, 1.0, 3.0, 5.0, 1.0, 5.0, 5.0, 9.0, 6.0, 12.0, 905.0, 7.0, 5.0, 3.0, 3.0, 3.0, 2.0, 5.0, 3.0, 2.0, 2.0, 1.0, 3.0, 1.0, 4.0, 0.0, 0.0, 0.0, 2.0, 2.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.2278556823730469e-05, -1.186225563287735e-05, -1.1445954442024231e-05, -1.1029653251171112e-05, -1.0613352060317993e-05, -1.0197050869464874e-05, -9.780749678611755e-06, -9.364448487758636e-06, -8.948147296905518e-06, -8.531846106052399e-06, -8.11554491519928e-06, -7.699243724346161e-06, -7.282942533493042e-06, -6.866641342639923e-06, -6.450340151786804e-06, -6.034038960933685e-06, -5.617737770080566e-06, -5.2014365792274475e-06, -4.785135388374329e-06, -4.36883419752121e-06, -3.952533006668091e-06, -3.536231815814972e-06, -3.119930624961853e-06, -2.703629434108734e-06, -2.2873282432556152e-06, -1.8710270524024963e-06, -1.4547258615493774e-06, -1.0384246706962585e-06, -6.221234798431396e-07, -2.0582228899002075e-07, 2.1047890186309814e-07, 6.26780092716217e-07, 1.043081283569336e-06, 1.4593824744224548e-06, 1.8756836652755737e-06, 2.2919848561286926e-06, 2.7082860469818115e-06, 3.1245872378349304e-06, 3.5408884286880493e-06, 3.957189619541168e-06, 4.373490810394287e-06, 4.789792001247406e-06, 5.206093192100525e-06, 5.622394382953644e-06, 6.038695573806763e-06, 6.454996764659882e-06, 6.8712979555130005e-06, 7.287599146366119e-06, 7.703900337219238e-06, 8.120201528072357e-06, 8.536502718925476e-06, 8.952803909778595e-06, 9.369105100631714e-06, 9.785406291484833e-06, 1.0201707482337952e-05, 1.061800867319107e-05, 1.103430986404419e-05, 1.1450611054897308e-05, 1.1866912245750427e-05, 1.2283213436603546e-05, 1.2699514627456665e-05, 1.3115815818309784e-05, 1.3532117009162903e-05, 1.3948418200016022e-05, 1.436471939086914e-05]}, "gradients/encoder.encoder.layers.22.attention.k_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 3.0, 0.0, 0.0, 0.0, 6.0, 0.0, 0.0, 0.0, 5.0, 5.0, 15.0, 25.0, 43.0, 220.0, 723.0, 4701.0, 1026978.0, 12987.0, 2277.0, 407.0, 103.0, 18.0, 21.0, 9.0, 4.0, 5.0, 0.0, 0.0, 12.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.5762786865234375e-06, -3.4635886549949646e-06, -3.3508986234664917e-06, -3.238208591938019e-06, -3.125518560409546e-06, -3.012828528881073e-06, -2.9001384973526e-06, -2.787448465824127e-06, -2.6747584342956543e-06, -2.5620684027671814e-06, -2.4493783712387085e-06, -2.3366883397102356e-06, -2.2239983081817627e-06, -2.11130827665329e-06, -1.998618245124817e-06, -1.885928213596344e-06, -1.773238182067871e-06, -1.6605481505393982e-06, -1.5478581190109253e-06, -1.4351680874824524e-06, -1.3224780559539795e-06, -1.2097880244255066e-06, -1.0970979928970337e-06, -9.844079613685608e-07, -8.717179298400879e-07, -7.59027898311615e-07, -6.463378667831421e-07, -5.336478352546692e-07, -4.209578037261963e-07, -3.082677721977234e-07, -1.955777406692505e-07, -8.288770914077759e-08, 2.9802322387695312e-08, 1.424923539161682e-07, 2.551823854446411e-07, 3.67872416973114e-07, 4.805624485015869e-07, 5.932524800300598e-07, 7.059425115585327e-07, 8.186325430870056e-07, 9.313225746154785e-07, 1.0440126061439514e-06, 1.1567026376724243e-06, 1.2693926692008972e-06, 1.3820827007293701e-06, 1.494772732257843e-06, 1.607462763786316e-06, 1.7201527953147888e-06, 1.8328428268432617e-06, 1.9455328583717346e-06, 2.0582228899002075e-06, 2.1709129214286804e-06, 2.2836029529571533e-06, 2.3962929844856262e-06, 2.508983016014099e-06, 2.621673047542572e-06, 2.734363079071045e-06, 2.847053110599518e-06, 2.9597431421279907e-06, 3.0724331736564636e-06, 3.1851232051849365e-06, 3.2978132367134094e-06, 3.4105032682418823e-06, 3.5231932997703552e-06, 3.635883331298828e-06]}, "gradients/encoder.encoder.layers.22.attention.k_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 0.0, 6.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 0.0, 972.0, 0.0, 0.0, 0.0, 10.0, 0.0, 0.0, 0.0, 6.0, 0.0, 0.0, 0.0, 12.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.76837158203125e-07, -4.6193599700927734e-07, -4.470348358154297e-07, -4.3213367462158203e-07, -4.172325134277344e-07, -4.023313522338867e-07, -3.8743019104003906e-07, -3.725290298461914e-07, -3.5762786865234375e-07, -3.427267074584961e-07, -3.2782554626464844e-07, -3.129243850708008e-07, -2.980232238769531e-07, -2.8312206268310547e-07, -2.682209014892578e-07, -2.5331974029541016e-07, -2.384185791015625e-07, -2.2351741790771484e-07, -2.086162567138672e-07, -1.9371509552001953e-07, -1.7881393432617188e-07, -1.6391277313232422e-07, -1.4901161193847656e-07, -1.341104507446289e-07, -1.1920928955078125e-07, -1.043081283569336e-07, -8.940696716308594e-08, -7.450580596923828e-08, -5.960464477539063e-08, -4.470348358154297e-08, -2.9802322387695312e-08, -1.4901161193847656e-08, 0.0, 1.4901161193847656e-08, 2.9802322387695312e-08, 4.470348358154297e-08, 5.960464477539063e-08, 7.450580596923828e-08, 8.940696716308594e-08, 1.043081283569336e-07, 1.1920928955078125e-07, 1.341104507446289e-07, 1.4901161193847656e-07, 1.6391277313232422e-07, 1.7881393432617188e-07, 1.9371509552001953e-07, 2.086162567138672e-07, 2.2351741790771484e-07, 2.384185791015625e-07, 2.5331974029541016e-07, 2.682209014892578e-07, 2.8312206268310547e-07, 2.980232238769531e-07, 3.129243850708008e-07, 3.2782554626464844e-07, 3.427267074584961e-07, 3.5762786865234375e-07, 3.725290298461914e-07, 3.8743019104003906e-07, 4.023313522338867e-07, 4.172325134277344e-07, 4.3213367462158203e-07, 4.470348358154297e-07, 4.6193599700927734e-07, 4.76837158203125e-07]}, "gradients/encoder.encoder.layers.22.attention.q_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 7.0, 1.0, 2.0, 6.0, 7.0, 26.0, 63.0, 182.0, 769.0, 4906.0, 7019.0, 1028674.0, 5715.0, 899.0, 173.0, 57.0, 26.0, 7.0, 5.0, 2.0, 1.0, 22.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.7550926208496094e-06, -3.637745976448059e-06, -3.520399332046509e-06, -3.4030526876449585e-06, -3.285706043243408e-06, -3.168359398841858e-06, -3.0510127544403076e-06, -2.9336661100387573e-06, -2.816319465637207e-06, -2.6989728212356567e-06, -2.5816261768341064e-06, -2.464279532432556e-06, -2.346932888031006e-06, -2.2295862436294556e-06, -2.1122395992279053e-06, -1.994892954826355e-06, -1.8775463104248047e-06, -1.7601996660232544e-06, -1.642853021621704e-06, -1.5255063772201538e-06, -1.4081597328186035e-06, -1.2908130884170532e-06, -1.173466444015503e-06, -1.0561197996139526e-06, -9.387731552124023e-07, -8.21426510810852e-07, -7.040798664093018e-07, -5.867332220077515e-07, -4.6938657760620117e-07, -3.520399332046509e-07, -2.3469328880310059e-07, -1.1734664440155029e-07, 0.0, 1.1734664440155029e-07, 2.3469328880310059e-07, 3.520399332046509e-07, 4.6938657760620117e-07, 5.867332220077515e-07, 7.040798664093018e-07, 8.21426510810852e-07, 9.387731552124023e-07, 1.0561197996139526e-06, 1.173466444015503e-06, 1.2908130884170532e-06, 1.4081597328186035e-06, 1.5255063772201538e-06, 1.642853021621704e-06, 1.7601996660232544e-06, 1.8775463104248047e-06, 1.994892954826355e-06, 2.1122395992279053e-06, 2.2295862436294556e-06, 2.346932888031006e-06, 2.464279532432556e-06, 2.5816261768341064e-06, 2.6989728212356567e-06, 2.816319465637207e-06, 2.9336661100387573e-06, 3.0510127544403076e-06, 3.168359398841858e-06, 3.285706043243408e-06, 3.4030526876449585e-06, 3.520399332046509e-06, 3.637745976448059e-06, 3.7550926208496094e-06]}, "gradients/encoder.encoder.layers.22.attention.q_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 7.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 988.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 22.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.364418029785156e-07, -5.19677996635437e-07, -5.029141902923584e-07, -4.861503839492798e-07, -4.6938657760620117e-07, -4.5262277126312256e-07, -4.3585896492004395e-07, -4.1909515857696533e-07, -4.023313522338867e-07, -3.855675458908081e-07, -3.688037395477295e-07, -3.520399332046509e-07, -3.3527612686157227e-07, -3.1851232051849365e-07, -3.0174851417541504e-07, -2.849847078323364e-07, -2.682209014892578e-07, -2.514570951461792e-07, -2.3469328880310059e-07, -2.1792948246002197e-07, -2.0116567611694336e-07, -1.8440186977386475e-07, -1.6763806343078613e-07, -1.5087425708770752e-07, -1.341104507446289e-07, -1.1734664440155029e-07, -1.0058283805847168e-07, -8.381903171539307e-08, -6.705522537231445e-08, -5.029141902923584e-08, -3.3527612686157227e-08, -1.6763806343078613e-08, 0.0, 1.6763806343078613e-08, 3.3527612686157227e-08, 5.029141902923584e-08, 6.705522537231445e-08, 8.381903171539307e-08, 1.0058283805847168e-07, 1.1734664440155029e-07, 1.341104507446289e-07, 1.5087425708770752e-07, 1.6763806343078613e-07, 1.8440186977386475e-07, 2.0116567611694336e-07, 2.1792948246002197e-07, 2.3469328880310059e-07, 2.514570951461792e-07, 2.682209014892578e-07, 2.849847078323364e-07, 3.0174851417541504e-07, 3.1851232051849365e-07, 3.3527612686157227e-07, 3.520399332046509e-07, 3.688037395477295e-07, 3.855675458908081e-07, 4.023313522338867e-07, 4.1909515857696533e-07, 4.3585896492004395e-07, 4.5262277126312256e-07, 4.6938657760620117e-07, 4.861503839492798e-07, 5.029141902923584e-07, 5.19677996635437e-07, 5.364418029785156e-07]}, "gradients/encoder.encoder.layers.22.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0, 5.0, 2.0, 4.0, 7.0, 13.0, 8.0, 14.0, 29.0, 59.0, 66.0, 129.0, 249.0, 168.0, 71.0, 47.0, 44.0, 29.0, 13.0, 14.0, 13.0, 7.0, 4.0, 2.0, 2.0, 2.0, 1.0, 1.0, 1.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0], "bins": [-6.016328188707121e-05, -5.790301656816155e-05, -5.564275124925189e-05, -5.338248593034223e-05, -5.1122224249411374e-05, -4.886195529252291e-05, -4.6601693611592054e-05, -4.4341428292682394e-05, -4.2081162973772734e-05, -3.9820897654863074e-05, -3.7560632335953414e-05, -3.5300367017043754e-05, -3.3040101698134094e-05, -3.077984001720324e-05, -2.851957469829358e-05, -2.625930937938392e-05, -2.399904406047426e-05, -2.17387787415646e-05, -1.947851342265494e-05, -1.7218249922734685e-05, -1.4957984603825025e-05, -1.2697719284915365e-05, -1.0437454875500407e-05, -8.177190466085449e-06, -5.916925147175789e-06, -3.6566602830134798e-06, -1.3963954188511707e-06, 8.638694453111384e-07, 3.1241343094734475e-06, 5.3843996283831075e-06, 7.644664037798066e-06, 9.904928447213024e-06, 1.2165197404101491e-05, 1.4425462723011151e-05, 1.668572804192081e-05, 1.8945991541841067e-05, 2.1206256860750727e-05, 2.3466522179660387e-05, 2.5726785679580644e-05, 2.7987050998490304e-05, 3.0247316317399964e-05, 3.2507581636309624e-05, 3.4767846955219284e-05, 3.7028112274128944e-05, 3.9288373955059797e-05, 4.1548642911948264e-05, 4.3808904592879117e-05, 4.6069169911788777e-05, 4.8329435230698436e-05, 5.0589700549608096e-05, 5.2849965868517756e-05, 5.5110231187427416e-05, 5.7370496506337076e-05, 5.963075818726793e-05, 6.18910271441564e-05, 6.415128882508725e-05, 6.64115505060181e-05, 6.867181218694896e-05, 7.093208114383742e-05, 7.319234282476828e-05, 7.545261178165674e-05, 7.77128734625876e-05, 7.997314241947606e-05, 8.223340410040691e-05, 8.449367305729538e-05]}, "gradients/encoder.encoder.layers.22.layer_norm.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0, 3.0, 2.0, 4.0, 4.0, 0.0, 7.0, 6.0, 11.0, 10.0, 21.0, 21.0, 14.0, 25.0, 22.0, 27.0, 37.0, 35.0, 51.0, 36.0, 35.0, 51.0, 59.0, 54.0, 68.0, 58.0, 41.0, 55.0, 33.0, 33.0, 33.0, 28.0, 24.0, 21.0, 17.0, 17.0, 14.0, 8.0, 5.0, 9.0, 4.0, 4.0, 1.0, 1.0, 2.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0], "bins": [-3.68952751159668e-05, -3.576558083295822e-05, -3.4635886549949646e-05, -3.350619226694107e-05, -3.2376497983932495e-05, -3.124680370092392e-05, -3.0117109417915344e-05, -2.898741513490677e-05, -2.7857720851898193e-05, -2.6728026568889618e-05, -2.5598332285881042e-05, -2.4468638002872467e-05, -2.333894371986389e-05, -2.2209249436855316e-05, -2.107955515384674e-05, -1.9949860870838165e-05, -1.882016658782959e-05, -1.7690472304821014e-05, -1.656077802181244e-05, -1.5431083738803864e-05, -1.4301389455795288e-05, -1.3171695172786713e-05, -1.2042000889778137e-05, -1.0912306606769562e-05, -9.782612323760986e-06, -8.652918040752411e-06, -7.5232237577438354e-06, -6.39352947473526e-06, -5.2638351917266846e-06, -4.134140908718109e-06, -3.0044466257095337e-06, -1.8747523427009583e-06, -7.450580596923828e-07, 3.8463622331619263e-07, 1.514330506324768e-06, 2.6440247893333435e-06, 3.773719072341919e-06, 4.903413355350494e-06, 6.03310763835907e-06, 7.162801921367645e-06, 8.29249620437622e-06, 9.422190487384796e-06, 1.0551884770393372e-05, 1.1681579053401947e-05, 1.2811273336410522e-05, 1.3940967619419098e-05, 1.5070661902427673e-05, 1.620035618543625e-05, 1.7330050468444824e-05, 1.84597447514534e-05, 1.9589439034461975e-05, 2.071913331747055e-05, 2.1848827600479126e-05, 2.29785218834877e-05, 2.4108216166496277e-05, 2.5237910449504852e-05, 2.6367604732513428e-05, 2.7497299015522003e-05, 2.862699329853058e-05, 2.9756687581539154e-05, 3.088638186454773e-05, 3.2016076147556305e-05, 3.314577043056488e-05, 3.4275464713573456e-05, 3.540515899658203e-05]}, "gradients/encoder.encoder.layers.21.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 2.0, 2.0, 2.0, 2.0, 0.0, 3.0, 4.0, 7.0, 7.0, 3.0, 3.0, 7.0, 16.0, 11.0, 11.0, 22.0, 20.0, 23.0, 19.0, 21.0, 32.0, 40.0, 47.0, 49.0, 52.0, 47.0, 59.0, 71.0, 63.0, 72.0, 82.0, 64.0, 102.0, 146.0, 319.0, 840.0, 2783.0, 10342.0, 42208.0, 3763162.0, 323245.0, 33784.0, 9890.0, 3777.0, 1546.0, 749.0, 303.0, 132.0, 61.0, 29.0, 12.0, 5.0], "bins": [-0.0006999969482421875, -0.0006865281611680984, -0.0006730593740940094, -0.0006595905870199203, -0.0006461217999458313, -0.0006326530128717422, -0.0006191842257976532, -0.0006057154387235641, -0.0005922466516494751, -0.000578777864575386, -0.000565309077501297, -0.000551840290427208, -0.0005383715033531189, -0.0005249027162790298, -0.0005114339292049408, -0.0004979651421308517, -0.0004844963550567627, -0.00047102756798267365, -0.0004575587809085846, -0.00044408999383449554, -0.0004306212067604065, -0.00041715241968631744, -0.0004036836326122284, -0.00039021484553813934, -0.0003767460584640503, -0.00036327727138996124, -0.0003498084843158722, -0.00033633969724178314, -0.0003228709101676941, -0.00030940212309360504, -0.000295933336019516, -0.00028246454894542694, -0.0002689957618713379, -0.00025552697479724884, -0.0002420581877231598, -0.00022858940064907074, -0.0002151206135749817, -0.00020165182650089264, -0.0001881830394268036, -0.00017471425235271454, -0.0001612454652786255, -0.00014777667820453644, -0.0001343078911304474, -0.00012083910405635834, -0.00010737031698226929, -9.390152990818024e-05, -8.043274283409119e-05, -6.696395576000214e-05, -5.3495168685913086e-05, -4.0026381611824036e-05, -2.6557594537734985e-05, -1.3088807463645935e-05, 3.7997961044311523e-07, 1.3848766684532166e-05, 2.7317553758621216e-05, 4.0786340832710266e-05, 5.4255127906799316e-05, 6.772391498088837e-05, 8.119270205497742e-05, 9.466148912906647e-05, 0.00010813027620315552, 0.00012159906327724457, 0.00013506785035133362, 0.00014853663742542267, 0.00016200542449951172]}, "gradients/encoder.encoder.layers.21.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 3.0, 8.0, 14.0, 22.0, 29.0, 17.0, 71.0, 592.0, 98.0, 75.0, 21.0, 23.0, 16.0, 11.0, 5.0, 1.0, 3.0, 1.0, 4.0, 5.0], "bins": [-2.0623207092285156e-05, -2.0226463675498962e-05, -1.982972025871277e-05, -1.9432976841926575e-05, -1.903623342514038e-05, -1.8639490008354187e-05, -1.8242746591567993e-05, -1.78460031747818e-05, -1.7449259757995605e-05, -1.705251634120941e-05, -1.6655772924423218e-05, -1.6259029507637024e-05, -1.586228609085083e-05, -1.5465542674064636e-05, -1.5068799257278442e-05, -1.4672055840492249e-05, -1.4275312423706055e-05, -1.387856900691986e-05, -1.3481825590133667e-05, -1.3085082173347473e-05, -1.268833875656128e-05, -1.2291595339775085e-05, -1.1894851922988892e-05, -1.1498108506202698e-05, -1.1101365089416504e-05, -1.070462167263031e-05, -1.0307878255844116e-05, -9.911134839057922e-06, -9.514391422271729e-06, -9.117648005485535e-06, -8.72090458869934e-06, -8.324161171913147e-06, -7.927417755126953e-06, -7.530674338340759e-06, -7.1339309215545654e-06, -6.737187504768372e-06, -6.340444087982178e-06, -5.943700671195984e-06, -5.54695725440979e-06, -5.150213837623596e-06, -4.753470420837402e-06, -4.3567270040512085e-06, -3.959983587265015e-06, -3.563240170478821e-06, -3.166496753692627e-06, -2.769753336906433e-06, -2.3730099201202393e-06, -1.9762665033340454e-06, -1.5795230865478516e-06, -1.1827796697616577e-06, -7.860362529754639e-07, -3.8929283618927e-07, 7.450580596923828e-09, 4.041939973831177e-07, 8.009374141693115e-07, 1.1976808309555054e-06, 1.5944242477416992e-06, 1.991167664527893e-06, 2.387911081314087e-06, 2.7846544981002808e-06, 3.1813979148864746e-06, 3.5781413316726685e-06, 3.974884748458862e-06, 4.371628165245056e-06, 4.76837158203125e-06]}, "gradients/encoder.encoder.layers.21.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 4.0, 0.0, 4.0, 12.0, 18.0, 42.0, 52.0, 60.0, 87.0, 116.0, 115.0, 149.0, 208.0, 8944.0, 4181750.0, 1820.0, 318.0, 167.0, 132.0, 100.0, 81.0, 47.0, 47.0, 11.0, 4.0, 6.0, 2.0, 2.0, 0.0, 2.0], "bins": [-0.0028972625732421875, -0.00283735990524292, -0.0027774572372436523, -0.0027175545692443848, -0.002657651901245117, -0.0025977492332458496, -0.002537846565246582, -0.0024779438972473145, -0.002418041229248047, -0.0023581385612487793, -0.0022982358932495117, -0.002238333225250244, -0.0021784305572509766, -0.002118527889251709, -0.0020586252212524414, -0.001998722553253174, -0.0019388198852539062, -0.0018789172172546387, -0.001819014549255371, -0.0017591118812561035, -0.001699209213256836, -0.0016393065452575684, -0.0015794038772583008, -0.0015195012092590332, -0.0014595985412597656, -0.001399695873260498, -0.0013397932052612305, -0.0012798905372619629, -0.0012199878692626953, -0.0011600852012634277, -0.0011001825332641602, -0.0010402798652648926, -0.000980377197265625, -0.0009204745292663574, -0.0008605718612670898, -0.0008006691932678223, -0.0007407665252685547, -0.0006808638572692871, -0.0006209611892700195, -0.000561058521270752, -0.0005011558532714844, -0.0004412531852722168, -0.0003813505172729492, -0.00032144784927368164, -0.00026154518127441406, -0.00020164251327514648, -0.0001417398452758789, -8.183717727661133e-05, -2.193450927734375e-05, 3.796815872192383e-05, 9.78708267211914e-05, 0.00015777349472045898, 0.00021767616271972656, 0.00027757883071899414, 0.0003374814987182617, 0.0003973841667175293, 0.0004572868347167969, 0.0005171895027160645, 0.000577092170715332, 0.0006369948387145996, 0.0006968975067138672, 0.0007568001747131348, 0.0008167028427124023, 0.0008766055107116699, 0.0009365081787109375]}, "gradients/encoder.encoder.layers.21.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 1.0, 3.0, 18.0, 95.0, 388.0, 2898.0, 449.0, 181.0, 44.0, 12.0, 2.0], "bins": [-0.00017499923706054688, -0.0001719975844025612, -0.0001689959317445755, -0.0001659942790865898, -0.00016299262642860413, -0.00015999097377061844, -0.00015698932111263275, -0.00015398766845464706, -0.00015098601579666138, -0.0001479843631386757, -0.00014498271048069, -0.00014198105782270432, -0.00013897940516471863, -0.00013597775250673294, -0.00013297609984874725, -0.00012997444719076157, -0.00012697279453277588, -0.0001239711418747902, -0.0001209694892168045, -0.00011796783655881882, -0.00011496618390083313, -0.00011196453124284744, -0.00010896287858486176, -0.00010596122592687607, -0.00010295957326889038, -9.99579206109047e-05, -9.6956267952919e-05, -9.395461529493332e-05, -9.095296263694763e-05, -8.795130997896194e-05, -8.494965732097626e-05, -8.194800466299057e-05, -7.894635200500488e-05, -7.59446993470192e-05, -7.294304668903351e-05, -6.994139403104782e-05, -6.693974137306213e-05, -6.393808871507645e-05, -6.093643605709076e-05, -5.793478339910507e-05, -5.4933130741119385e-05, -5.19314780831337e-05, -4.892982542514801e-05, -4.592817276716232e-05, -4.2926520109176636e-05, -3.992486745119095e-05, -3.692321479320526e-05, -3.3921562135219574e-05, -3.091990947723389e-05, -2.79182568192482e-05, -2.4916604161262512e-05, -2.1914951503276825e-05, -1.8913298845291138e-05, -1.591164618730545e-05, -1.2909993529319763e-05, -9.908340871334076e-06, -6.906688213348389e-06, -3.905035555362701e-06, -9.033828973770142e-07, 2.098269760608673e-06, 5.09992241859436e-06, 8.101575076580048e-06, 1.1103227734565735e-05, 1.4104880392551422e-05, 1.710653305053711e-05]}, "gradients/encoder.encoder.layers.21.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 2.0, 2.0, 7.0, 24.0, 92.0, 484.0, 287.0, 71.0, 24.0, 12.0, 4.0, 2.0, 4.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0014929258031770587, -0.0014213335234671831, -0.0013497413601726294, -0.0012781491968780756, -0.0012065569171682, -0.0011349646374583244, -0.0010633724741637707, -0.000991780310869217, -0.0009201880311593413, -0.0008485958096571267, -0.000777003588154912, -0.0007054113666526973, -0.0006338191451504827, -0.000562226923648268, -0.0004906347021460533, -0.00041904248064383864, -0.000347450259141624, -0.0002758580376394093, -0.00020426581613719463, -0.00013267359463497996, -6.108137313276529e-05, 1.0510848369449377e-05, 8.210306987166405e-05, 0.00015369529137387872, 0.0002252875128760934, 0.00029687973437830806, 0.00036847195588052273, 0.0004400641773827374, 0.0005116563988849521, 0.0005832486203871667, 0.0006548408418893814, 0.0007264330633915961, 0.0007980254013091326, 0.0008696176228113472, 0.0009412098443135619, 0.0010128021240234375, 0.0010843942873179913, 0.001155986450612545, 0.0012275787303224206, 0.0012991710100322962, 0.00137076317332685, 0.0014423553366214037, 0.0015139476163312793, 0.0015855398960411549, 0.0016571320593357086, 0.0017287242226302624, 0.001800316502340138, 0.0018719087820500135, 0.0019435009453445673, 0.002015093108639121, 0.0020866855047643185, 0.0021582776680588722, 0.002229869831353426, 0.0023014619946479797, 0.0023730541579425335, 0.002444646554067731, 0.0025162387173622847, 0.0025878308806568384, 0.002659423276782036, 0.0027310154400765896, 0.0028026076033711433, 0.002874199766665697, 0.002945791929960251, 0.0030173843260854483, 0.003088976489380002]}, "gradients/encoder.encoder.layers.21.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 7.0, 13.0, 75.0, 211.0, 346.0, 253.0, 80.0, 19.0, 11.0, 2.0, 1.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.0036429166793823242, -0.003574681468307972, -0.0035064462572336197, -0.0034382110461592674, -0.003369975835084915, -0.003301740624010563, -0.0032335054129362106, -0.0031652702018618584, -0.003097034990787506, -0.003028799779713154, -0.0029605645686388016, -0.0028923293575644493, -0.002824094146490097, -0.0027558589354157448, -0.0026876237243413925, -0.0026193885132670403, -0.002551153302192688, -0.0024829180911183357, -0.0024146828800439835, -0.002346447668969631, -0.002278212457895279, -0.0022099772468209267, -0.0021417420357465744, -0.002073506824672222, -0.00200527161359787, -0.0019370364025235176, -0.0018688011914491653, -0.001800565980374813, -0.0017323307693004608, -0.0016640955582261086, -0.0015958603471517563, -0.001527625136077404, -0.0014593899250030518, -0.0013911547139286995, -0.0013229195028543472, -0.001254684291779995, -0.0011864490807056427, -0.0011182138696312904, -0.0010499786585569382, -0.000981743447482586, -0.0009135082364082336, -0.0008452730253338814, -0.0007770378142595291, -0.0007088026031851768, -0.0006405673921108246, -0.0005723321810364723, -0.0005040969699621201, -0.0004358617588877678, -0.00036762654781341553, -0.00029939133673906326, -0.000231156125664711, -0.00016292091459035873, -9.468570351600647e-05, -2.6450492441654205e-05, 4.178471863269806e-05, 0.00011001992970705032, 0.0001782551407814026, 0.00024649035185575485, 0.0003147255629301071, 0.0003829607740044594, 0.00045119598507881165, 0.0005194311961531639, 0.0005876664072275162, 0.0006559016183018684, 0.0007241368293762207]}, "gradients/encoder.encoder.layers.21.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 4.0, 2.0, 1.0, 2.0, 7.0, 3.0, 6.0, 5.0, 9.0, 9.0, 15.0, 12.0, 15.0, 17.0, 28.0, 27.0, 26.0, 28.0, 24.0, 34.0, 31.0, 45.0, 44.0, 117.0, 503.0, 1044234.0, 2758.0, 136.0, 63.0, 47.0, 42.0, 44.0, 34.0, 25.0, 22.0, 20.0, 18.0, 16.0, 18.0, 15.0, 14.0, 13.0, 12.0, 5.0, 3.0, 2.0, 4.0, 3.0, 1.0, 2.0, 0.0, 2.0, 2.0, 0.0, 2.0, 1.0, 0.0, 1.0], "bins": [-0.0019388198852539062, -0.0018775314092636108, -0.0018162429332733154, -0.00175495445728302, -0.0016936659812927246, -0.0016323775053024292, -0.0015710890293121338, -0.0015098005533218384, -0.001448512077331543, -0.0013872236013412476, -0.0013259351253509521, -0.0012646466493606567, -0.0012033581733703613, -0.001142069697380066, -0.0010807812213897705, -0.001019492745399475, -0.0009582042694091797, -0.0008969157934188843, -0.0008356273174285889, -0.0007743388414382935, -0.000713050365447998, -0.0006517618894577026, -0.0005904734134674072, -0.0005291849374771118, -0.0004678964614868164, -0.000406607985496521, -0.0003453195095062256, -0.0002840310335159302, -0.00022274255752563477, -0.00016145408153533936, -0.00010016560554504395, -3.8877129554748535e-05, 2.2411346435546875e-05, 8.369982242584229e-05, 0.0001449882984161377, 0.0002062767744064331, 0.0002675652503967285, 0.0003288537263870239, 0.00039014220237731934, 0.00045143067836761475, 0.0005127191543579102, 0.0005740076303482056, 0.000635296106338501, 0.0006965845823287964, 0.0007578730583190918, 0.0008191615343093872, 0.0008804500102996826, 0.000941738486289978, 0.0010030269622802734, 0.0010643154382705688, 0.0011256039142608643, 0.0011868923902511597, 0.001248180866241455, 0.0013094693422317505, 0.001370757818222046, 0.0014320462942123413, 0.0014933347702026367, 0.0015546232461929321, 0.0016159117221832275, 0.001677200198173523, 0.0017384886741638184, 0.0017997771501541138, 0.0018610656261444092, 0.0019223541021347046, 0.001983642578125]}, "gradients/encoder.encoder.layers.21.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 44.0, 762.0, 199.0, 17.0], "bins": [-0.00015282630920410156, -0.0001503489911556244, -0.00014787167310714722, -0.00014539435505867004, -0.00014291703701019287, -0.0001404397189617157, -0.00013796240091323853, -0.00013548508286476135, -0.00013300776481628418, -0.000130530446767807, -0.00012805312871932983, -0.00012557581067085266, -0.0001230984926223755, -0.00012062117457389832, -0.00011814385652542114, -0.00011566653847694397, -0.0001131892204284668, -0.00011071190237998962, -0.00010823458433151245, -0.00010575726628303528, -0.0001032799482345581, -0.00010080263018608093, -9.832531213760376e-05, -9.584799408912659e-05, -9.337067604064941e-05, -9.089335799217224e-05, -8.841603994369507e-05, -8.59387218952179e-05, -8.346140384674072e-05, -8.098408579826355e-05, -7.850676774978638e-05, -7.60294497013092e-05, -7.355213165283203e-05, -7.107481360435486e-05, -6.859749555587769e-05, -6.612017750740051e-05, -6.364285945892334e-05, -6.116554141044617e-05, -5.8688223361968994e-05, -5.621090531349182e-05, -5.373358726501465e-05, -5.1256269216537476e-05, -4.87789511680603e-05, -4.630163311958313e-05, -4.382431507110596e-05, -4.1346997022628784e-05, -3.886967897415161e-05, -3.639236092567444e-05, -3.3915042877197266e-05, -3.143772482872009e-05, -2.896040678024292e-05, -2.6483088731765747e-05, -2.4005770683288574e-05, -2.15284526348114e-05, -1.905113458633423e-05, -1.6573816537857056e-05, -1.4096498489379883e-05, -1.161918044090271e-05, -9.141862392425537e-06, -6.664544343948364e-06, -4.187226295471191e-06, -1.7099082469940186e-06, 7.674098014831543e-07, 3.244727849960327e-06, 5.7220458984375e-06]}, "gradients/encoder.encoder.layers.21.attention.v_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 4.0, 4.0, 2.0, 1.0, 6.0, 6.0, 20.0, 7.0, 5.0, 4.0, 5.0, 4.0, 10.0, 14.0, 17.0, 55.0, 160.0, 428.0, 1066.0, 3718.0, 11351.0, 31249.0, 908104.0, 57936.0, 22748.0, 7953.0, 2364.0, 802.0, 275.0, 123.0, 37.0, 18.0, 14.0, 7.0, 3.0, 4.0, 4.0, 2.0, 10.0, 17.0, 2.0, 2.0, 3.0, 2.0, 3.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0006465911865234375, -0.0006256252527236938, -0.0006046593189239502, -0.0005836933851242065, -0.0005627274513244629, -0.0005417615175247192, -0.0005207955837249756, -0.0004998296499252319, -0.0004788637161254883, -0.00045789778232574463, -0.000436931848526001, -0.0004159659147262573, -0.00039499998092651367, -0.00037403404712677, -0.00035306811332702637, -0.0003321021795272827, -0.00031113624572753906, -0.0002901703119277954, -0.00026920437812805176, -0.0002482384443283081, -0.00022727251052856445, -0.0002063065767288208, -0.00018534064292907715, -0.0001643747091293335, -0.00014340877532958984, -0.0001224428415298462, -0.00010147690773010254, -8.051097393035889e-05, -5.9545040130615234e-05, -3.857910633087158e-05, -1.761317253112793e-05, 3.3527612686157227e-06, 2.4318695068359375e-05, 4.528462886810303e-05, 6.625056266784668e-05, 8.721649646759033e-05, 0.00010818243026733398, 0.00012914836406707764, 0.0001501142978668213, 0.00017108023166656494, 0.0001920461654663086, 0.00021301209926605225, 0.0002339780330657959, 0.00025494396686553955, 0.0002759099006652832, 0.00029687583446502686, 0.0003178417682647705, 0.00033880770206451416, 0.0003597736358642578, 0.00038073956966400146, 0.0004017055034637451, 0.00042267143726348877, 0.0004436373710632324, 0.0004646033048629761, 0.0004855692386627197, 0.0005065351724624634, 0.000527501106262207, 0.0005484670400619507, 0.0005694329738616943, 0.000590398907661438, 0.0006113648414611816, 0.0006323307752609253, 0.0006532967090606689, 0.0006742626428604126, 0.0006952285766601562]}, "gradients/encoder.encoder.layers.21.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 4.0, 4.0, 2.0, 1.0, 6.0, 6.0, 21.0, 6.0, 5.0, 4.0, 4.0, 4.0, 7.0, 5.0, 10.0, 2.0, 4.0, 1.0, 2.0, 4.0, 4.0, 5.0, 799.0, 11.0, 9.0, 1.0, 1.0, 0.0, 4.0, 3.0, 8.0, 7.0, 9.0, 3.0, 2.0, 3.0, 5.0, 2.0, 10.0, 17.0, 2.0, 2.0, 3.0, 2.0, 3.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.000133514404296875, -0.00012918561697006226, -0.0001248568296432495, -0.00012052804231643677, -0.00011619925498962402, -0.00011187046766281128, -0.00010754168033599854, -0.00010321289300918579, -9.888410568237305e-05, -9.45553183555603e-05, -9.022653102874756e-05, -8.589774370193481e-05, -8.156895637512207e-05, -7.724016904830933e-05, -7.291138172149658e-05, -6.858259439468384e-05, -6.42538070678711e-05, -5.992501974105835e-05, -5.5596232414245605e-05, -5.126744508743286e-05, -4.693865776062012e-05, -4.260987043380737e-05, -3.828108310699463e-05, -3.3952295780181885e-05, -2.962350845336914e-05, -2.5294721126556396e-05, -2.0965933799743652e-05, -1.6637146472930908e-05, -1.2308359146118164e-05, -7.97957181930542e-06, -3.6507844924926758e-06, 6.780028343200684e-07, 5.0067901611328125e-06, 9.335577487945557e-06, 1.36643648147583e-05, 1.7993152141571045e-05, 2.232193946838379e-05, 2.6650726795196533e-05, 3.097951412200928e-05, 3.530830144882202e-05, 3.9637088775634766e-05, 4.396587610244751e-05, 4.8294663429260254e-05, 5.2623450756073e-05, 5.695223808288574e-05, 6.128102540969849e-05, 6.560981273651123e-05, 6.993860006332397e-05, 7.426738739013672e-05, 7.859617471694946e-05, 8.292496204376221e-05, 8.725374937057495e-05, 9.15825366973877e-05, 9.591132402420044e-05, 0.00010024011135101318, 0.00010456889867782593, 0.00010889768600463867, 0.00011322647333145142, 0.00011755526065826416, 0.0001218840479850769, 0.00012621283531188965, 0.0001305416226387024, 0.00013487040996551514, 0.00013919919729232788, 0.00014352798461914062]}, "gradients/encoder.encoder.layers.21.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 2.0, 3.0, 3.0, 2.0, 6.0, 9.0, 8.0, 9.0, 11.0, 18.0, 19.0, 36.0, 42.0, 65.0, 106.0, 182.0, 192.0, 96.0, 59.0, 42.0, 29.0, 19.0, 13.0, 9.0, 5.0, 8.0, 5.0, 3.0, 4.0, 3.0, 2.0, 1.0, 1.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.0013316574040800333, -0.001296648639254272, -0.0012616399908438325, -0.0012266312260180712, -0.0011916225776076317, -0.0011566138127818704, -0.001121605047956109, -0.0010865963995456696, -0.0010515876347199082, -0.001016578869894147, -0.0009815702214837074, -0.0009465614566579461, -0.0009115527500398457, -0.0008765440434217453, -0.0008415353368036449, -0.0008065266301855445, -0.0007715179235674441, -0.0007365092169493437, -0.0007015005103312433, -0.0006664918037131429, -0.0006314830388873816, -0.0005964743322692811, -0.0005614656256511807, -0.0005264568608254194, -0.0004914482124149799, -0.00045643950579687953, -0.00042143077007494867, -0.00038642206345684826, -0.0003514133277349174, -0.000316404621116817, -0.0002813959144987166, -0.00024638717877678573, -0.00021137844305485487, -0.00017636972188483924, -0.0001413610007148236, -0.0001063522940967232, -7.134357292670757e-05, -3.633485175669193e-05, -1.326145138591528e-06, 3.3682590583339334e-05, 6.869129720143974e-05, 0.00010370001837145537, 0.000138708739541471, 0.0001737174461595714, 0.00020872616732958704, 0.00024373488849960268, 0.0002787435951177031, 0.00031375233083963394, 0.00034876103745773435, 0.00038376974407583475, 0.0004187784797977656, 0.000453787186415866, 0.0004887959221377969, 0.0005238046287558973, 0.0005588133353739977, 0.000593822100199759, 0.0006288307486101985, 0.0006638394552282989, 0.0006988481618463993, 0.0007338569266721606, 0.000768865633290261, 0.0008038743399083614, 0.0008388830465264618, 0.0008738917531445622, 0.0009089005179703236]}, "gradients/encoder.encoder.layers.21.layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 3.0, 1.0, 4.0, 5.0, 1.0, 8.0, 6.0, 9.0, 7.0, 12.0, 10.0, 14.0, 18.0, 15.0, 33.0, 27.0, 31.0, 26.0, 36.0, 51.0, 44.0, 48.0, 54.0, 41.0, 51.0, 46.0, 51.0, 46.0, 29.0, 41.0, 35.0, 34.0, 36.0, 26.0, 18.0, 18.0, 18.0, 11.0, 14.0, 10.0, 6.0, 4.0, 3.0, 2.0, 4.0, 1.0, 2.0, 0.0, 4.0, 1.0, 1.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.000616908073425293, -0.0005992138758301735, -0.000581519678235054, -0.0005638254806399345, -0.0005461312830448151, -0.0005284370854496956, -0.0005107428878545761, -0.0004930486902594566, -0.00047535449266433716, -0.0004576602950692177, -0.0004399660974740982, -0.00042227189987897873, -0.00040457770228385925, -0.0003868835046887398, -0.0003691893070936203, -0.0003514951094985008, -0.00033380091190338135, -0.00031610671430826187, -0.0002984125167131424, -0.0002807183191180229, -0.00026302412152290344, -0.00024532992392778397, -0.0002276357263326645, -0.000209941528737545, -0.00019224733114242554, -0.00017455313354730606, -0.00015685893595218658, -0.0001391647383570671, -0.00012147054076194763, -0.00010377634316682816, -8.608214557170868e-05, -6.83879479765892e-05, -5.0693750381469727e-05, -3.299955278635025e-05, -1.5305355191230774e-05, 2.3888424038887024e-06, 2.008303999900818e-05, 3.7777237594127655e-05, 5.547143518924713e-05, 7.316563278436661e-05, 9.085983037948608e-05, 0.00010855402797460556, 0.00012624822556972504, 0.0001439424231648445, 0.000161636620759964, 0.00017933081835508347, 0.00019702501595020294, 0.00021471921354532242, 0.0002324134111404419, 0.00025010760873556137, 0.00026780180633068085, 0.0002854960039258003, 0.0003031902015209198, 0.0003208843991160393, 0.00033857859671115875, 0.00035627279430627823, 0.0003739669919013977, 0.0003916611894965172, 0.00040935538709163666, 0.00042704958468675613, 0.0004447437822818756, 0.0004624379798769951, 0.00048013217747211456, 0.000497826375067234, 0.0005155205726623535]}, "gradients/encoder.encoder.layers.20.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 3.0, 1.0, 0.0, 2.0, 2.0, 2.0, 4.0, 6.0, 9.0, 4.0, 10.0, 17.0, 11.0, 19.0, 13.0, 15.0, 27.0, 29.0, 39.0, 30.0, 49.0, 43.0, 41.0, 59.0, 117.0, 329.0, 4190445.0, 2957.0, 17.0], "bins": [-0.005916595458984375, -0.0058206841349601746, -0.005724772810935974, -0.005628861486911774, -0.005532950162887573, -0.005437038838863373, -0.005341127514839172, -0.005245216190814972, -0.0051493048667907715, -0.005053393542766571, -0.004957482218742371, -0.00486157089471817, -0.00476565957069397, -0.004669748246669769, -0.004573836922645569, -0.004477925598621368, -0.004382014274597168, -0.0042861029505729675, -0.004190191626548767, -0.004094280302524567, -0.003998368978500366, -0.0039024576544761658, -0.0038065463304519653, -0.003710635006427765, -0.0036147236824035645, -0.003518812358379364, -0.0034229010343551636, -0.003326989710330963, -0.0032310783863067627, -0.0031351670622825623, -0.003039255738258362, -0.0029433444142341614, -0.002847433090209961, -0.0027515217661857605, -0.00265561044216156, -0.0025596991181373596, -0.002463787794113159, -0.0023678764700889587, -0.0022719651460647583, -0.002176053822040558, -0.0020801424980163574, -0.001984231173992157, -0.0018883198499679565, -0.001792408525943756, -0.0016964972019195557, -0.0016005858778953552, -0.0015046745538711548, -0.0014087632298469543, -0.001312851905822754, -0.0012169405817985535, -0.001121029257774353, -0.0010251179337501526, -0.0009292066097259521, -0.0008332952857017517, -0.0007373839616775513, -0.0006414726376533508, -0.0005455613136291504, -0.00044964998960494995, -0.0003537386655807495, -0.00025782734155654907, -0.00016191601753234863, -6.60046935081482e-05, 2.9906630516052246e-05, 0.00012581795454025269, 0.00022172927856445312]}, "gradients/encoder.encoder.layers.20.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 44.0, 762.0, 199.0, 17.0], "bins": [-0.00015282630920410156, -0.0001503489911556244, -0.00014787167310714722, -0.00014539435505867004, -0.00014291703701019287, -0.0001404397189617157, -0.00013796240091323853, -0.00013548508286476135, -0.00013300776481628418, -0.000130530446767807, -0.00012805312871932983, -0.00012557581067085266, -0.0001230984926223755, -0.00012062117457389832, -0.00011814385652542114, -0.00011566653847694397, -0.0001131892204284668, -0.00011071190237998962, -0.00010823458433151245, -0.00010575726628303528, -0.0001032799482345581, -0.00010080263018608093, -9.832531213760376e-05, -9.584799408912659e-05, -9.337067604064941e-05, -9.089335799217224e-05, -8.841603994369507e-05, -8.59387218952179e-05, -8.346140384674072e-05, -8.098408579826355e-05, -7.850676774978638e-05, -7.60294497013092e-05, -7.355213165283203e-05, -7.107481360435486e-05, -6.859749555587769e-05, -6.612017750740051e-05, -6.364285945892334e-05, -6.116554141044617e-05, -5.8688223361968994e-05, -5.621090531349182e-05, -5.373358726501465e-05, -5.1256269216537476e-05, -4.87789511680603e-05, -4.630163311958313e-05, -4.382431507110596e-05, -4.1346997022628784e-05, -3.886967897415161e-05, -3.639236092567444e-05, -3.3915042877197266e-05, -3.143772482872009e-05, -2.896040678024292e-05, -2.6483088731765747e-05, -2.4005770683288574e-05, -2.15284526348114e-05, -1.905113458633423e-05, -1.6573816537857056e-05, -1.4096498489379883e-05, -1.161918044090271e-05, -9.141862392425537e-06, -6.664544343948364e-06, -4.187226295471191e-06, -1.7099082469940186e-06, 7.674098014831543e-07, 3.244727849960327e-06, 5.7220458984375e-06]}, "gradients/encoder.encoder.layers.20.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 0.0, 5.0, 6.0, 7.0, 13.0, 27.0, 31.0, 37.0, 37.0, 57.0, 91.0, 202.0, 721.0, 4234.0, 75348.0, 4090793.0, 19468.0, 2288.0, 519.0, 162.0, 96.0, 49.0, 36.0, 28.0, 14.0, 15.0, 5.0, 4.0, 2.0, 2.0, 0.0, 2.0], "bins": [-0.002655029296875, -0.002598881721496582, -0.002542734146118164, -0.002486586570739746, -0.002430438995361328, -0.00237429141998291, -0.002318143844604492, -0.0022619962692260742, -0.0022058486938476562, -0.0021497011184692383, -0.0020935535430908203, -0.0020374059677124023, -0.0019812583923339844, -0.0019251108169555664, -0.0018689632415771484, -0.0018128156661987305, -0.0017566680908203125, -0.0017005205154418945, -0.0016443729400634766, -0.0015882253646850586, -0.0015320777893066406, -0.0014759302139282227, -0.0014197826385498047, -0.0013636350631713867, -0.0013074874877929688, -0.0012513399124145508, -0.0011951923370361328, -0.0011390447616577148, -0.0010828971862792969, -0.001026749610900879, -0.0009706020355224609, -0.000914454460144043, -0.000858306884765625, -0.000802159309387207, -0.0007460117340087891, -0.0006898641586303711, -0.0006337165832519531, -0.0005775690078735352, -0.0005214214324951172, -0.0004652738571166992, -0.00040912628173828125, -0.0003529787063598633, -0.0002968311309814453, -0.00024068355560302734, -0.00018453598022460938, -0.0001283884048461914, -7.224082946777344e-05, -1.609325408935547e-05, 4.00543212890625e-05, 9.620189666748047e-05, 0.00015234947204589844, 0.0002084970474243164, 0.0002646446228027344, 0.00032079219818115234, 0.0003769397735595703, 0.0004330873489379883, 0.0004892349243164062, 0.0005453824996948242, 0.0006015300750732422, 0.0006576776504516602, 0.0007138252258300781, 0.0007699728012084961, 0.0008261203765869141, 0.000882267951965332, 0.00093841552734375]}, "gradients/encoder.encoder.layers.20.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 4.0, 0.0, 1.0, 3.0, 4.0, 3.0, 15.0, 28.0, 42.0, 69.0, 145.0, 3491.0, 91.0, 66.0, 48.0, 24.0, 28.0, 10.0, 2.0, 5.0, 4.0, 3.0, 2.0, 1.0, 1.0, 2.0, 0.0, 1.0], "bins": [-0.0002338886260986328, -0.00022893957793712616, -0.0002239905297756195, -0.00021904148161411285, -0.0002140924334526062, -0.00020914338529109955, -0.0002041943371295929, -0.00019924528896808624, -0.0001942962408065796, -0.00018934719264507294, -0.00018439814448356628, -0.00017944909632205963, -0.00017450004816055298, -0.00016955099999904633, -0.00016460195183753967, -0.00015965290367603302, -0.00015470385551452637, -0.00014975480735301971, -0.00014480575919151306, -0.0001398567110300064, -0.00013490766286849976, -0.0001299586147069931, -0.00012500956654548645, -0.0001200605183839798, -0.00011511147022247314, -0.00011016242206096649, -0.00010521337389945984, -0.00010026432573795319, -9.531527757644653e-05, -9.036622941493988e-05, -8.541718125343323e-05, -8.046813309192657e-05, -7.551908493041992e-05, -7.057003676891327e-05, -6.562098860740662e-05, -6.067194044589996e-05, -5.572289228439331e-05, -5.077384412288666e-05, -4.5824795961380005e-05, -4.087574779987335e-05, -3.59266996383667e-05, -3.0977651476860046e-05, -2.6028603315353394e-05, -2.107955515384674e-05, -1.6130506992340088e-05, -1.1181458830833435e-05, -6.232410669326782e-06, -1.2833625078201294e-06, 3.6656856536865234e-06, 8.614733815193176e-06, 1.3563781976699829e-05, 1.8512830138206482e-05, 2.3461878299713135e-05, 2.8410926461219788e-05, 3.335997462272644e-05, 3.830902278423309e-05, 4.3258070945739746e-05, 4.82071191072464e-05, 5.315616726875305e-05, 5.8105215430259705e-05, 6.305426359176636e-05, 6.800331175327301e-05, 7.295235991477966e-05, 7.790140807628632e-05, 8.285045623779297e-05]}, "gradients/encoder.encoder.layers.20.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 2.0, 2.0, 3.0, 7.0, 11.0, 23.0, 41.0, 112.0, 343.0, 271.0, 99.0, 56.0, 22.0, 11.0, 3.0, 3.0, 1.0, 1.0, 2.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0009738432127051055, -0.0009377513197250664, -0.0009016594267450273, -0.0008655675919726491, -0.00082947569899261, -0.0007933838060125709, -0.0007572919130325317, -0.0007212000200524926, -0.0006851081270724535, -0.0006490162340924144, -0.0006129243411123753, -0.0005768324481323361, -0.0005407406133599579, -0.0005046487203799188, -0.0004685568273998797, -0.00043246496352367103, -0.00039637309964746237, -0.00036028120666742325, -0.0003241893427912146, -0.00028809744981117547, -0.0002520055859349668, -0.00021591369295492768, -0.00017982179997488856, -0.0001437299360986799, -0.00010763804311864078, -7.154616469051689e-05, -3.5454278986435384e-05, 6.37606717646122e-07, 3.672948514577001e-05, 7.28213635738939e-05, 0.00010891325655393302, 0.0001450051204301417, 0.0001810969552025199, 0.00021718883363064378, 0.0002532807120587677, 0.0002893726050388068, 0.00032546446891501546, 0.0003615563618950546, 0.0003976482548750937, 0.00043374011875130236, 0.0004698320117313415, 0.0005059238756075501, 0.0005420157685875893, 0.0005781076615676284, 0.0006141995545476675, 0.0006502914475277066, 0.0006863833405077457, 0.000722475175280124, 0.0007585670682601631, 0.0007946589612402022, 0.0008307508542202413, 0.0008668426889926195, 0.0009029345819726586, 0.0009390264749526978, 0.0009751183679327369, 0.001011210260912776, 0.0010473021538928151, 0.0010833940468728542, 0.0011194859398528934, 0.0011555778328329325, 0.0011916697258129716, 0.0012277616187930107, 0.001263853395357728, 0.0012999452883377671, 0.0013360371813178062]}, "gradients/encoder.encoder.layers.20.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 4.0, 5.0, 2.0, 3.0, 6.0, 20.0, 12.0, 22.0, 38.0, 43.0, 57.0, 67.0, 79.0, 78.0, 92.0, 96.0, 68.0, 82.0, 72.0, 49.0, 34.0, 25.0, 20.0, 14.0, 5.0, 3.0, 7.0, 4.0, 1.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.0004341006278991699, -0.00042022857815027237, -0.0004063565284013748, -0.00039248447865247726, -0.0003786124289035797, -0.00036474037915468216, -0.0003508683294057846, -0.00033699627965688705, -0.0003231242299079895, -0.00030925218015909195, -0.0002953801304101944, -0.00028150808066129684, -0.0002676360309123993, -0.00025376398116350174, -0.0002398919314146042, -0.00022601988166570663, -0.00021214783191680908, -0.00019827578216791153, -0.00018440373241901398, -0.00017053168267011642, -0.00015665963292121887, -0.00014278758317232132, -0.00012891553342342377, -0.00011504348367452621, -0.00010117143392562866, -8.729938417673111e-05, -7.342733442783356e-05, -5.9555284678936005e-05, -4.568323493003845e-05, -3.18111851811409e-05, -1.7939135432243347e-05, -4.067085683345795e-06, 9.804964065551758e-06, 2.367701381444931e-05, 3.754906356334686e-05, 5.1421113312244415e-05, 6.529316306114197e-05, 7.916521281003952e-05, 9.303726255893707e-05, 0.00010690931230783463, 0.00012078136205673218, 0.00013465341180562973, 0.00014852546155452728, 0.00016239751130342484, 0.0001762695610523224, 0.00019014161080121994, 0.0002040136605501175, 0.00021788571029901505, 0.0002317577600479126, 0.00024562980979681015, 0.0002595018595457077, 0.00027337390929460526, 0.0002872459590435028, 0.00030111800879240036, 0.0003149900585412979, 0.00032886210829019547, 0.000342734158039093, 0.00035660620778799057, 0.0003704782575368881, 0.0003843503072857857, 0.00039822235703468323, 0.0004120944067835808, 0.00042596645653247833, 0.0004398385062813759, 0.00045371055603027344]}, "gradients/encoder.encoder.layers.20.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 3.0, 1.0, 5.0, 5.0, 3.0, 5.0, 7.0, 6.0, 12.0, 15.0, 14.0, 20.0, 16.0, 26.0, 42.0, 45.0, 43.0, 47.0, 45.0, 54.0, 189.0, 654072.0, 393282.0, 194.0, 63.0, 48.0, 46.0, 34.0, 35.0, 33.0, 30.0, 28.0, 20.0, 15.0, 16.0, 11.0, 5.0, 3.0, 9.0, 6.0, 3.0, 5.0, 2.0, 1.0, 2.0, 0.0, 3.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.001911163330078125, -0.0018495023250579834, -0.0017878413200378418, -0.0017261803150177002, -0.0016645193099975586, -0.001602858304977417, -0.0015411972999572754, -0.0014795362949371338, -0.0014178752899169922, -0.0013562142848968506, -0.001294553279876709, -0.0012328922748565674, -0.0011712312698364258, -0.0011095702648162842, -0.0010479092597961426, -0.000986248254776001, -0.0009245872497558594, -0.0008629262447357178, -0.0008012652397155762, -0.0007396042346954346, -0.000677943229675293, -0.0006162822246551514, -0.0005546212196350098, -0.0004929602146148682, -0.00043129920959472656, -0.00036963820457458496, -0.00030797719955444336, -0.00024631619453430176, -0.00018465518951416016, -0.00012299418449401855, -6.133317947387695e-05, 3.2782554626464844e-07, 6.198883056640625e-05, 0.00012364983558654785, 0.00018531084060668945, 0.00024697184562683105, 0.00030863285064697266, 0.00037029385566711426, 0.00043195486068725586, 0.0004936158657073975, 0.0005552768707275391, 0.0006169378757476807, 0.0006785988807678223, 0.0007402598857879639, 0.0008019208908081055, 0.0008635818958282471, 0.0009252429008483887, 0.0009869039058685303, 0.0010485649108886719, 0.0011102259159088135, 0.001171886920928955, 0.0012335479259490967, 0.0012952089309692383, 0.0013568699359893799, 0.0014185309410095215, 0.001480191946029663, 0.0015418529510498047, 0.0016035139560699463, 0.0016651749610900879, 0.0017268359661102295, 0.001788496971130371, 0.0018501579761505127, 0.0019118189811706543, 0.001973479986190796, 0.0020351409912109375]}, "gradients/encoder.encoder.layers.20.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 23.0, 389.0, 565.0, 34.0, 9.0], "bins": [-0.0001518726348876953, -0.00014938320964574814, -0.00014689378440380096, -0.0001444043591618538, -0.00014191493391990662, -0.00013942550867795944, -0.00013693608343601227, -0.0001344466581940651, -0.00013195723295211792, -0.00012946780771017075, -0.00012697838246822357, -0.0001244889572262764, -0.00012199953198432922, -0.00011951010674238205, -0.00011702068150043488, -0.0001145312562584877, -0.00011204183101654053, -0.00010955240577459335, -0.00010706298053264618, -0.000104573555290699, -0.00010208413004875183, -9.959470480680466e-05, -9.710527956485748e-05, -9.461585432291031e-05, -9.212642908096313e-05, -8.963700383901596e-05, -8.714757859706879e-05, -8.465815335512161e-05, -8.216872811317444e-05, -7.967930287122726e-05, -7.718987762928009e-05, -7.470045238733292e-05, -7.221102714538574e-05, -6.972160190343857e-05, -6.72321766614914e-05, -6.474275141954422e-05, -6.225332617759705e-05, -5.976390093564987e-05, -5.72744756937027e-05, -5.4785050451755524e-05, -5.229562520980835e-05, -4.9806199967861176e-05, -4.7316774725914e-05, -4.482734948396683e-05, -4.233792424201965e-05, -3.984849900007248e-05, -3.7359073758125305e-05, -3.486964851617813e-05, -3.238022327423096e-05, -2.9890798032283783e-05, -2.740137279033661e-05, -2.4911947548389435e-05, -2.242252230644226e-05, -1.9933097064495087e-05, -1.7443671822547913e-05, -1.4954246580600739e-05, -1.2464821338653564e-05, -9.97539609670639e-06, -7.485970854759216e-06, -4.996545612812042e-06, -2.507120370864868e-06, -1.7695128917694092e-08, 2.47173011302948e-06, 4.961155354976654e-06, 7.450580596923828e-06]}, "gradients/encoder.encoder.layers.20.attention.v_proj.weight": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 2.0, 1.0, 1.0, 3.0, 3.0, 16.0, 6.0, 6.0, 1.0, 13.0, 15.0, 32.0, 54.0, 132.0, 281.0, 703.0, 1615.0, 4330.0, 11120.0, 25824.0, 939689.0, 38234.0, 15421.0, 6895.0, 2401.0, 983.0, 416.0, 171.0, 76.0, 37.0, 23.0, 11.0, 8.0, 5.0, 6.0, 10.0, 12.0, 3.0, 2.0, 1.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0], "bins": [-0.0005292892456054688, -0.0005131065845489502, -0.0004969239234924316, -0.0004807412624359131, -0.00046455860137939453, -0.000448375940322876, -0.0004321932792663574, -0.00041601061820983887, -0.0003998279571533203, -0.00038364529609680176, -0.0003674626350402832, -0.00035127997398376465, -0.0003350973129272461, -0.00031891465187072754, -0.000302731990814209, -0.00028654932975769043, -0.0002703666687011719, -0.0002541840076446533, -0.00023800134658813477, -0.0002218186855316162, -0.00020563602447509766, -0.0001894533634185791, -0.00017327070236206055, -0.000157088041305542, -0.00014090538024902344, -0.00012472271919250488, -0.00010854005813598633, -9.235739707946777e-05, -7.617473602294922e-05, -5.9992074966430664e-05, -4.380941390991211e-05, -2.7626752853393555e-05, -1.1444091796875e-05, 4.738569259643555e-06, 2.092123031616211e-05, 3.7103891372680664e-05, 5.328655242919922e-05, 6.946921348571777e-05, 8.565187454223633e-05, 0.00010183453559875488, 0.00011801719665527344, 0.000134199857711792, 0.00015038251876831055, 0.0001665651798248291, 0.00018274784088134766, 0.0001989305019378662, 0.00021511316299438477, 0.00023129582405090332, 0.0002474784851074219, 0.00026366114616394043, 0.000279843807220459, 0.00029602646827697754, 0.0003122091293334961, 0.00032839179039001465, 0.0003445744514465332, 0.00036075711250305176, 0.0003769397735595703, 0.00039312243461608887, 0.0004093050956726074, 0.000425487756729126, 0.00044167041778564453, 0.0004578530788421631, 0.00047403573989868164, 0.0004902184009552002, 0.0005064010620117188]}, "gradients/encoder.encoder.layers.20.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 2.0, 1.0, 1.0, 3.0, 3.0, 16.0, 6.0, 3.0, 0.0, 1.0, 3.0, 2.0, 7.0, 11.0, 0.0, 4.0, 3.0, 3.0, 4.0, 7.0, 845.0, 8.0, 1.0, 4.0, 3.0, 5.0, 7.0, 4.0, 5.0, 4.0, 3.0, 2.0, 3.0, 5.0, 3.0, 10.0, 12.0, 3.0, 2.0, 1.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0], "bins": [-0.0001480579376220703, -0.0001435317099094391, -0.00013900548219680786, -0.00013447925448417664, -0.0001299530267715454, -0.00012542679905891418, -0.00012090057134628296, -0.00011637434363365173, -0.00011184811592102051, -0.00010732188820838928, -0.00010279566049575806, -9.826943278312683e-05, -9.37432050704956e-05, -8.921697735786438e-05, -8.469074964523315e-05, -8.016452193260193e-05, -7.56382942199707e-05, -7.111206650733948e-05, -6.658583879470825e-05, -6.205961108207703e-05, -5.75333833694458e-05, -5.3007155656814575e-05, -4.848092794418335e-05, -4.3954700231552124e-05, -3.94284725189209e-05, -3.490224480628967e-05, -3.0376017093658447e-05, -2.584978938102722e-05, -2.1323561668395996e-05, -1.679733395576477e-05, -1.2271106243133545e-05, -7.74487853050232e-06, -3.2186508178710938e-06, 1.3075768947601318e-06, 5.833804607391357e-06, 1.0360032320022583e-05, 1.4886260032653809e-05, 1.9412487745285034e-05, 2.393871545791626e-05, 2.8464943170547485e-05, 3.299117088317871e-05, 3.7517398595809937e-05, 4.204362630844116e-05, 4.656985402107239e-05, 5.109608173370361e-05, 5.562230944633484e-05, 6.0148537158966064e-05, 6.467476487159729e-05, 6.920099258422852e-05, 7.372722029685974e-05, 7.825344800949097e-05, 8.277967572212219e-05, 8.730590343475342e-05, 9.183213114738464e-05, 9.635835886001587e-05, 0.0001008845865726471, 0.00010541081428527832, 0.00010993704199790955, 0.00011446326971054077, 0.000118989497423172, 0.00012351572513580322, 0.00012804195284843445, 0.00013256818056106567, 0.0001370944082736969, 0.00014162063598632812]}, "gradients/encoder.encoder.layers.20.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 4.0, 8.0, 9.0, 17.0, 35.0, 60.0, 126.0, 310.0, 267.0, 86.0, 47.0, 26.0, 9.0, 8.0, 3.0, 3.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.002331400290131569, -0.002273084595799446, -0.0022147686686366796, -0.002156452974304557, -0.0020981370471417904, -0.0020398213528096676, -0.001981505425646901, -0.0019231897313147783, -0.0018648738041520119, -0.0018065579934045672, -0.0017482421826571226, -0.001689926371909678, -0.0016316105611622334, -0.0015732947504147887, -0.001514978939667344, -0.0014566632453352213, -0.0013983474345877767, -0.001340031623840332, -0.0012817158130928874, -0.0012234000023454428, -0.0011650841915979981, -0.0011067683808505535, -0.0010484526865184307, -0.0009901367593556643, -0.0009318210068158805, -0.0008735051960684359, -0.0008151893853209913, -0.0007568736327812076, -0.0006985578220337629, -0.0006402420112863183, -0.0005819262005388737, -0.000523610389791429, -0.00046529469545930624, -0.0004069788847118616, -0.000348663073964417, -0.0002903472923208028, -0.00023203148157335818, -0.00017371567082591355, -0.00011539988918229938, -5.7084078434854746e-05, 1.2317323125898838e-06, 5.95475357840769e-05, 0.00011786333925556391, 0.00017617913545109332, 0.00023449494619853795, 0.0002928107569459826, 0.00035112653858959675, 0.0004094423493370414, 0.000467758160084486, 0.0005260739708319306, 0.0005843897815793753, 0.0006427055923268199, 0.0007010214030742645, 0.0007593372138217092, 0.0008176529663614929, 0.0008759687771089375, 0.0009342845878563821, 0.0009926003403961658, 0.0010509161511436105, 0.001109231961891055, 0.0011675477726384997, 0.0012258635833859444, 0.001284179394133389, 0.0013424952048808336, 0.0014008110156282783]}, "gradients/encoder.encoder.layers.20.layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 3.0, 8.0, 11.0, 9.0, 17.0, 23.0, 26.0, 28.0, 50.0, 56.0, 69.0, 72.0, 85.0, 70.0, 71.0, 71.0, 85.0, 44.0, 46.0, 37.0, 31.0, 22.0, 32.0, 17.0, 14.0, 7.0, 2.0, 2.0, 2.0, 3.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0006498098373413086, -0.0006275922060012817, -0.0006053745746612549, -0.000583156943321228, -0.0005609393119812012, -0.0005387216806411743, -0.0005165040493011475, -0.0004942864179611206, -0.00047206878662109375, -0.0004498511552810669, -0.00042763352394104004, -0.0004054158926010132, -0.00038319826126098633, -0.00036098062992095947, -0.0003387629985809326, -0.00031654536724090576, -0.0002943277359008789, -0.00027211010456085205, -0.0002498924732208252, -0.00022767484188079834, -0.00020545721054077148, -0.00018323957920074463, -0.00016102194786071777, -0.00013880431652069092, -0.00011658668518066406, -9.436905384063721e-05, -7.215142250061035e-05, -4.9933791160583496e-05, -2.771615982055664e-05, -5.498528480529785e-06, 1.671910285949707e-05, 3.8936734199523926e-05, 6.115436553955078e-05, 8.337199687957764e-05, 0.00010558962821960449, 0.00012780725955963135, 0.0001500248908996582, 0.00017224252223968506, 0.00019446015357971191, 0.00021667778491973877, 0.00023889541625976562, 0.0002611130475997925, 0.00028333067893981934, 0.0003055483102798462, 0.00032776594161987305, 0.0003499835729598999, 0.00037220120429992676, 0.0003944188356399536, 0.00041663646697998047, 0.0004388540983200073, 0.0004610717296600342, 0.00048328936100006104, 0.0005055069923400879, 0.0005277246236801147, 0.0005499422550201416, 0.0005721598863601685, 0.0005943775177001953, 0.0006165951490402222, 0.000638812780380249, 0.0006610304117202759, 0.0006832480430603027, 0.0007054656744003296, 0.0007276833057403564, 0.0007499009370803833, 0.0007721185684204102]}, "gradients/encoder.encoder.layers.19.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0, 1.0, 1.0, 4.0, 4.0, 3.0, 4.0, 3.0, 4.0, 3.0, 5.0, 7.0, 13.0, 7.0, 6.0, 8.0, 7.0, 11.0, 12.0, 13.0, 12.0, 16.0, 12.0, 17.0, 18.0, 16.0, 16.0, 16.0, 23.0, 18.0, 28.0, 22.0, 28.0, 30.0, 32.0, 65.0, 126.0, 419.0, 178359.0, 4014222.0, 662.0, 22.0], "bins": [-0.002986907958984375, -0.0029379520565271378, -0.0028889961540699005, -0.0028400402516126633, -0.002791084349155426, -0.0027421284466981888, -0.0026931725442409515, -0.0026442166417837143, -0.002595260739326477, -0.00254630483686924, -0.0024973489344120026, -0.0024483930319547653, -0.002399437129497528, -0.002350481227040291, -0.0023015253245830536, -0.0022525694221258163, -0.002203613519668579, -0.002154657617211342, -0.0021057017147541046, -0.0020567458122968674, -0.00200778990983963, -0.001958834007382393, -0.0019098781049251556, -0.0018609222024679184, -0.0018119663000106812, -0.001763010397553444, -0.0017140544950962067, -0.0016650985926389694, -0.0016161426901817322, -0.001567186787724495, -0.0015182308852672577, -0.0014692749828100204, -0.0014203190803527832, -0.001371363177895546, -0.0013224072754383087, -0.0012734513729810715, -0.0012244954705238342, -0.001175539568066597, -0.0011265836656093597, -0.0010776277631521225, -0.0010286718606948853, -0.000979715958237648, -0.0009307600557804108, -0.0008818041533231735, -0.0008328482508659363, -0.000783892348408699, -0.0007349364459514618, -0.0006859805434942245, -0.0006370246410369873, -0.0005880687385797501, -0.0005391128361225128, -0.0004901569336652756, -0.00044120103120803833, -0.0003922451287508011, -0.00034328922629356384, -0.0002943333238363266, -0.00024537742137908936, -0.0001964215189218521, -0.00014746561646461487, -9.850971400737762e-05, -4.955381155014038e-05, -5.979090929031372e-07, 4.8357993364334106e-05, 9.731389582157135e-05, 0.0001462697982788086]}, "gradients/encoder.encoder.layers.19.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 23.0, 389.0, 565.0, 34.0, 9.0], "bins": [-0.0001518726348876953, -0.00014938320964574814, -0.00014689378440380096, -0.0001444043591618538, -0.00014191493391990662, -0.00013942550867795944, -0.00013693608343601227, -0.0001344466581940651, -0.00013195723295211792, -0.00012946780771017075, -0.00012697838246822357, -0.0001244889572262764, -0.00012199953198432922, -0.00011951010674238205, -0.00011702068150043488, -0.0001145312562584877, -0.00011204183101654053, -0.00010955240577459335, -0.00010706298053264618, -0.000104573555290699, -0.00010208413004875183, -9.959470480680466e-05, -9.710527956485748e-05, -9.461585432291031e-05, -9.212642908096313e-05, -8.963700383901596e-05, -8.714757859706879e-05, -8.465815335512161e-05, -8.216872811317444e-05, -7.967930287122726e-05, -7.718987762928009e-05, -7.470045238733292e-05, -7.221102714538574e-05, -6.972160190343857e-05, -6.72321766614914e-05, -6.474275141954422e-05, -6.225332617759705e-05, -5.976390093564987e-05, -5.72744756937027e-05, -5.4785050451755524e-05, -5.229562520980835e-05, -4.9806199967861176e-05, -4.7316774725914e-05, -4.482734948396683e-05, -4.233792424201965e-05, -3.984849900007248e-05, -3.7359073758125305e-05, -3.486964851617813e-05, -3.238022327423096e-05, -2.9890798032283783e-05, -2.740137279033661e-05, -2.4911947548389435e-05, -2.242252230644226e-05, -1.9933097064495087e-05, -1.7443671822547913e-05, -1.4954246580600739e-05, -1.2464821338653564e-05, -9.97539609670639e-06, -7.485970854759216e-06, -4.996545612812042e-06, -2.507120370864868e-06, -1.7695128917694092e-08, 2.47173011302948e-06, 4.961155354976654e-06, 7.450580596923828e-06]}, "gradients/encoder.encoder.layers.19.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 4.0, 7.0, 11.0, 30.0, 43.0, 65.0, 100.0, 120.0, 156.0, 195.0, 348.0, 1211.0, 6187.0, 95382.0, 4066075.0, 20427.0, 2586.0, 663.0, 266.0, 134.0, 93.0, 89.0, 44.0, 30.0, 14.0, 4.0, 7.0, 2.0, 4.0, 0.0, 0.0, 1.0], "bins": [-0.0017995834350585938, -0.0017606690526008606, -0.0017217546701431274, -0.0016828402876853943, -0.0016439259052276611, -0.001605011522769928, -0.0015660971403121948, -0.0015271827578544617, -0.0014882683753967285, -0.0014493539929389954, -0.0014104396104812622, -0.001371525228023529, -0.001332610845565796, -0.0012936964631080627, -0.0012547820806503296, -0.0012158676981925964, -0.0011769533157348633, -0.0011380389332771301, -0.001099124550819397, -0.0010602101683616638, -0.0010212957859039307, -0.0009823814034461975, -0.0009434670209884644, -0.0009045526385307312, -0.000865638256072998, -0.0008267238736152649, -0.0007878094911575317, -0.0007488951086997986, -0.0007099807262420654, -0.0006710663437843323, -0.0006321519613265991, -0.000593237578868866, -0.0005543231964111328, -0.0005154088139533997, -0.0004764944314956665, -0.00043758004903793335, -0.0003986656665802002, -0.00035975128412246704, -0.0003208369016647339, -0.00028192251920700073, -0.00024300813674926758, -0.00020409375429153442, -0.00016517937183380127, -0.00012626498937606812, -8.735060691833496e-05, -4.843622446060181e-05, -9.521842002868652e-06, 2.9392540454864502e-05, 6.830692291259766e-05, 0.00010722130537033081, 0.00014613568782806396, 0.00018505007028579712, 0.00022396445274353027, 0.00026287883520126343, 0.0003017932176589966, 0.00034070760011672974, 0.0003796219825744629, 0.00041853636503219604, 0.0004574507474899292, 0.0004963651299476624, 0.0005352795124053955, 0.0005741938948631287, 0.0006131082773208618, 0.000652022659778595, 0.0006909370422363281]}, "gradients/encoder.encoder.layers.19.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 1.0, 5.0, 3.0, 1.0, 8.0, 4.0, 8.0, 22.0, 34.0, 47.0, 55.0, 165.0, 3457.0, 89.0, 56.0, 38.0, 35.0, 18.0, 15.0, 11.0, 5.0, 3.0, 2.0, 0.0, 2.0, 2.0, 2.0, 0.0, 0.0, 1.0], "bins": [-0.00018978118896484375, -0.00018567778170108795, -0.00018157437443733215, -0.00017747096717357635, -0.00017336755990982056, -0.00016926415264606476, -0.00016516074538230896, -0.00016105733811855316, -0.00015695393085479736, -0.00015285052359104156, -0.00014874711632728577, -0.00014464370906352997, -0.00014054030179977417, -0.00013643689453601837, -0.00013233348727226257, -0.00012823008000850677, -0.00012412667274475098, -0.00012002326548099518, -0.00011591985821723938, -0.00011181645095348358, -0.00010771304368972778, -0.00010360963642597198, -9.950622916221619e-05, -9.540282189846039e-05, -9.129941463470459e-05, -8.719600737094879e-05, -8.309260010719299e-05, -7.89891928434372e-05, -7.48857855796814e-05, -7.07823783159256e-05, -6.66789710521698e-05, -6.2575563788414e-05, -5.84721565246582e-05, -5.4368749260902405e-05, -5.0265341997146606e-05, -4.616193473339081e-05, -4.205852746963501e-05, -3.795512020587921e-05, -3.385171294212341e-05, -2.9748305678367615e-05, -2.5644898414611816e-05, -2.1541491150856018e-05, -1.743808388710022e-05, -1.3334676623344421e-05, -9.231269359588623e-06, -5.127862095832825e-06, -1.0244548320770264e-06, 3.078952431678772e-06, 7.18235969543457e-06, 1.1285766959190369e-05, 1.5389174222946167e-05, 1.9492581486701965e-05, 2.3595988750457764e-05, 2.7699396014213562e-05, 3.180280327796936e-05, 3.590621054172516e-05, 4.000961780548096e-05, 4.4113025069236755e-05, 4.8216432332992554e-05, 5.231983959674835e-05, 5.642324686050415e-05, 6.052665412425995e-05, 6.463006138801575e-05, 6.873346865177155e-05, 7.283687591552734e-05]}, "gradients/encoder.encoder.layers.19.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 2.0, 2.0, 8.0, 9.0, 14.0, 42.0, 51.0, 104.0, 340.0, 210.0, 88.0, 72.0, 26.0, 20.0, 6.0, 9.0, 4.0, 4.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0012187289539724588, -0.001190297887660563, -0.0011618667049333453, -0.0011334356386214495, -0.0011050045723095536, -0.001076573389582336, -0.00104814232327044, -0.0010197112569585443, -0.0009912800742313266, -0.0009628489497117698, -0.000934417883399874, -0.0009059867588803172, -0.0008775556343607605, -0.0008491245098412037, -0.0008206934435293078, -0.0007922623190097511, -0.0007638312526978552, -0.0007354001281782985, -0.0007069690618664026, -0.0006785379373468459, -0.0006501068128272891, -0.0006216757465153933, -0.0005932446219958365, -0.0005648134974762797, -0.0005363824311643839, -0.0005079513066448271, -0.0004795202112291008, -0.0004510891158133745, -0.00042265799129381776, -0.00039422689587809145, -0.00036579580046236515, -0.0003373646759428084, -0.00030893355142325163, -0.0002805024560075253, -0.00025207133148796856, -0.00022364023607224226, -0.00019520912610460073, -0.0001667780161369592, -0.0001383469207212329, -0.00010991581075359136, -8.148470078594983e-05, -5.30535944562871e-05, -2.4622488126624376e-05, 3.8086145650595427e-06, 3.2239724532701075e-05, 6.067083450034261e-05, 8.910192991606891e-05, 0.00011753303988371044, 0.00014596414985135198, 0.0001743952598189935, 0.00020282636978663504, 0.00023125746520236135, 0.0002596885897219181, 0.0002881196851376444, 0.0003165507805533707, 0.0003449819050729275, 0.0003734130004886538, 0.0004018440959043801, 0.00043027522042393684, 0.00045870631583966315, 0.00048713741125538945, 0.0005155685357749462, 0.0005439996020868421, 0.0005724307266063988, 0.0006008618511259556]}, "gradients/encoder.encoder.layers.19.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 3.0, 4.0, 7.0, 6.0, 9.0, 19.0, 23.0, 35.0, 43.0, 51.0, 57.0, 77.0, 70.0, 79.0, 74.0, 68.0, 80.0, 70.0, 51.0, 54.0, 39.0, 31.0, 20.0, 12.0, 10.0, 9.0, 1.0, 5.0, 3.0, 1.0, 2.0, 3.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.00041353702545166016, -0.00040040165185928345, -0.00038726627826690674, -0.00037413090467453003, -0.0003609955310821533, -0.0003478601574897766, -0.0003347247838973999, -0.0003215894103050232, -0.0003084540367126465, -0.0002953186631202698, -0.00028218328952789307, -0.00026904791593551636, -0.00025591254234313965, -0.00024277716875076294, -0.00022964179515838623, -0.00021650642156600952, -0.0002033710479736328, -0.0001902356743812561, -0.0001771003007888794, -0.00016396492719650269, -0.00015082955360412598, -0.00013769418001174927, -0.00012455880641937256, -0.00011142343282699585, -9.828805923461914e-05, -8.515268564224243e-05, -7.201731204986572e-05, -5.8881938457489014e-05, -4.5746564865112305e-05, -3.2611191272735596e-05, -1.9475817680358887e-05, -6.340444087982178e-06, 6.794929504394531e-06, 1.993030309677124e-05, 3.306567668914795e-05, 4.620105028152466e-05, 5.933642387390137e-05, 7.247179746627808e-05, 8.560717105865479e-05, 9.87425446510315e-05, 0.0001118779182434082, 0.0001250132918357849, 0.00013814866542816162, 0.00015128403902053833, 0.00016441941261291504, 0.00017755478620529175, 0.00019069015979766846, 0.00020382553339004517, 0.00021696090698242188, 0.00023009628057479858, 0.0002432316541671753, 0.000256367027759552, 0.0002695024013519287, 0.0002826377749443054, 0.00029577314853668213, 0.00030890852212905884, 0.00032204389572143555, 0.00033517926931381226, 0.00034831464290618896, 0.0003614500164985657, 0.0003745853900909424, 0.0003877207636833191, 0.0004008561372756958, 0.0004139915108680725, 0.0004271268844604492]}, "gradients/encoder.encoder.layers.19.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 4.0, 3.0, 0.0, 9.0, 6.0, 12.0, 10.0, 11.0, 14.0, 13.0, 20.0, 22.0, 17.0, 33.0, 27.0, 31.0, 32.0, 28.0, 28.0, 43.0, 32.0, 61.0, 232.0, 101819.0, 945345.0, 290.0, 59.0, 36.0, 40.0, 34.0, 34.0, 34.0, 31.0, 23.0, 25.0, 18.0, 16.0, 13.0, 14.0, 9.0, 13.0, 4.0, 2.0, 5.0, 3.0, 2.0, 4.0, 4.0, 1.0, 2.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0011091232299804688, -0.0010709911584854126, -0.0010328590869903564, -0.0009947270154953003, -0.0009565949440002441, -0.000918462872505188, -0.0008803308010101318, -0.0008421987295150757, -0.0008040666580200195, -0.0007659345865249634, -0.0007278025150299072, -0.0006896704435348511, -0.0006515383720397949, -0.0006134063005447388, -0.0005752742290496826, -0.0005371421575546265, -0.0004990100860595703, -0.00046087801456451416, -0.000422745943069458, -0.00038461387157440186, -0.0003464818000793457, -0.00030834972858428955, -0.0002702176570892334, -0.00023208558559417725, -0.0001939535140991211, -0.00015582144260406494, -0.00011768937110900879, -7.955729961395264e-05, -4.1425228118896484e-05, -3.293156623840332e-06, 3.483891487121582e-05, 7.297098636627197e-05, 0.00011110305786132812, 0.00014923512935638428, 0.00018736720085144043, 0.00022549927234649658, 0.00026363134384155273, 0.0003017634153366089, 0.00033989548683166504, 0.0003780275583267212, 0.00041615962982177734, 0.0004542917013168335, 0.0004924237728118896, 0.0005305558443069458, 0.000568687915802002, 0.0006068199872970581, 0.0006449520587921143, 0.0006830841302871704, 0.0007212162017822266, 0.0007593482732772827, 0.0007974803447723389, 0.000835612416267395, 0.0008737444877624512, 0.0009118765592575073, 0.0009500086307525635, 0.0009881407022476196, 0.0010262727737426758, 0.001064404845237732, 0.001102536916732788, 0.0011406689882278442, 0.0011788010597229004, 0.0012169331312179565, 0.0012550652027130127, 0.0012931972742080688, 0.001331329345703125]}, "gradients/encoder.encoder.layers.19.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 22.0, 262.0, 646.0, 79.0, 11.0], "bins": [-0.00015103816986083984, -0.00014857016503810883, -0.0001461021602153778, -0.0001436341553926468, -0.00014116615056991577, -0.00013869814574718475, -0.00013623014092445374, -0.00013376213610172272, -0.0001312941312789917, -0.00012882612645626068, -0.00012635812163352966, -0.00012389011681079865, -0.00012142211198806763, -0.00011895410716533661, -0.00011648610234260559, -0.00011401809751987457, -0.00011155009269714355, -0.00010908208787441254, -0.00010661408305168152, -0.0001041460782289505, -0.00010167807340621948, -9.921006858348846e-05, -9.674206376075745e-05, -9.427405893802643e-05, -9.180605411529541e-05, -8.933804929256439e-05, -8.687004446983337e-05, -8.440203964710236e-05, -8.193403482437134e-05, -7.946603000164032e-05, -7.69980251789093e-05, -7.453002035617828e-05, -7.206201553344727e-05, -6.959401071071625e-05, -6.712600588798523e-05, -6.465800106525421e-05, -6.21899962425232e-05, -5.9721991419792175e-05, -5.725398659706116e-05, -5.478598177433014e-05, -5.231797695159912e-05, -4.98499721288681e-05, -4.7381967306137085e-05, -4.491396248340607e-05, -4.244595766067505e-05, -3.997795283794403e-05, -3.750994801521301e-05, -3.5041943192481995e-05, -3.2573938369750977e-05, -3.010593354701996e-05, -2.763792872428894e-05, -2.5169923901557922e-05, -2.2701919078826904e-05, -2.0233914256095886e-05, -1.7765909433364868e-05, -1.529790461063385e-05, -1.2829899787902832e-05, -1.0361894965171814e-05, -7.893890142440796e-06, -5.425885319709778e-06, -2.9578804969787598e-06, -4.898756742477417e-07, 1.9781291484832764e-06, 4.4461339712142944e-06, 6.9141387939453125e-06]}, "gradients/encoder.encoder.layers.19.attention.v_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 2.0, 1.0, 0.0, 0.0, 3.0, 0.0, 2.0, 2.0, 11.0, 6.0, 3.0, 2.0, 6.0, 3.0, 3.0, 1.0, 6.0, 3.0, 21.0, 28.0, 51.0, 91.0, 297.0, 613.0, 1457.0, 3284.0, 6168.0, 13343.0, 26973.0, 921081.0, 38722.0, 19030.0, 8947.0, 4364.0, 2296.0, 939.0, 443.0, 181.0, 59.0, 45.0, 26.0, 6.0, 8.0, 2.0, 4.0, 3.0, 0.0, 2.0, 4.0, 1.0, 4.0, 12.0, 3.0, 3.0, 1.0, 1.0, 0.0, 0.0, 3.0, 0.0, 1.0, 3.0], "bins": [-0.0003123283386230469, -0.00030248984694480896, -0.00029265135526657104, -0.00028281286358833313, -0.0002729743719100952, -0.0002631358802318573, -0.0002532973885536194, -0.00024345889687538147, -0.00023362040519714355, -0.00022378191351890564, -0.00021394342184066772, -0.0002041049301624298, -0.0001942664384841919, -0.00018442794680595398, -0.00017458945512771606, -0.00016475096344947815, -0.00015491247177124023, -0.00014507398009300232, -0.0001352354884147644, -0.0001253969967365265, -0.00011555850505828857, -0.00010572001338005066, -9.588152170181274e-05, -8.604303002357483e-05, -7.620453834533691e-05, -6.6366046667099e-05, -5.6527554988861084e-05, -4.668906331062317e-05, -3.6850571632385254e-05, -2.701207995414734e-05, -1.7173588275909424e-05, -7.335096597671509e-06, 2.5033950805664062e-06, 1.2341886758804321e-05, 2.2180378437042236e-05, 3.201887011528015e-05, 4.1857361793518066e-05, 5.169585347175598e-05, 6.15343451499939e-05, 7.137283682823181e-05, 8.121132850646973e-05, 9.104982018470764e-05, 0.00010088831186294556, 0.00011072680354118347, 0.00012056529521942139, 0.0001304037868976593, 0.00014024227857589722, 0.00015008077025413513, 0.00015991926193237305, 0.00016975775361061096, 0.00017959624528884888, 0.0001894347369670868, 0.0001992732286453247, 0.00020911172032356262, 0.00021895021200180054, 0.00022878870368003845, 0.00023862719535827637, 0.0002484656870365143, 0.0002583041787147522, 0.0002681426703929901, 0.00027798116207122803, 0.00028781965374946594, 0.00029765814542770386, 0.00030749663710594177, 0.0003173351287841797]}, "gradients/encoder.encoder.layers.19.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 1.0, 2.0, 1.0, 0.0, 0.0, 3.0, 0.0, 2.0, 0.0, 13.0, 6.0, 3.0, 2.0, 6.0, 3.0, 3.0, 0.0, 3.0, 2.0, 9.0, 7.0, 4.0, 2.0, 0.0, 2.0, 1.0, 1.0, 5.0, 0.0, 2.0, 841.0, 5.0, 4.0, 2.0, 2.0, 3.0, 2.0, 1.0, 9.0, 1.0, 7.0, 11.0, 4.0, 5.0, 1.0, 1.0, 3.0, 0.0, 2.0, 3.0, 2.0, 4.0, 12.0, 3.0, 3.0, 1.0, 1.0, 0.0, 0.0, 3.0, 0.0, 1.0, 3.0], "bins": [-0.00010281801223754883, -9.957980364561081e-05, -9.634159505367279e-05, -9.310338646173477e-05, -8.986517786979675e-05, -8.662696927785873e-05, -8.338876068592072e-05, -8.01505520939827e-05, -7.691234350204468e-05, -7.367413491010666e-05, -7.043592631816864e-05, -6.719771772623062e-05, -6.39595091342926e-05, -6.0721300542354584e-05, -5.7483091950416565e-05, -5.4244883358478546e-05, -5.100667476654053e-05, -4.776846617460251e-05, -4.453025758266449e-05, -4.129204899072647e-05, -3.805384039878845e-05, -3.481563180685043e-05, -3.1577423214912415e-05, -2.8339214622974396e-05, -2.5101006031036377e-05, -2.1862797439098358e-05, -1.862458884716034e-05, -1.538638025522232e-05, -1.2148171663284302e-05, -8.909963071346283e-06, -5.671754479408264e-06, -2.4335458874702454e-06, 8.046627044677734e-07, 4.042871296405792e-06, 7.281079888343811e-06, 1.051928848028183e-05, 1.3757497072219849e-05, 1.6995705664157867e-05, 2.0233914256095886e-05, 2.3472122848033905e-05, 2.6710331439971924e-05, 2.9948540031909943e-05, 3.318674862384796e-05, 3.642495721578598e-05, 3.9663165807724e-05, 4.290137439966202e-05, 4.613958299160004e-05, 4.9377791583538055e-05, 5.2616000175476074e-05, 5.585420876741409e-05, 5.909241735935211e-05, 6.233062595129013e-05, 6.556883454322815e-05, 6.880704313516617e-05, 7.204525172710419e-05, 7.52834603190422e-05, 7.852166891098022e-05, 8.175987750291824e-05, 8.499808609485626e-05, 8.823629468679428e-05, 9.14745032787323e-05, 9.471271187067032e-05, 9.795092046260834e-05, 0.00010118912905454636, 0.00010442733764648438]}, "gradients/encoder.encoder.layers.19.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.layer_norm.weight": {"_type": "histogram", "values": [2.0, 0.0, 2.0, 1.0, 2.0, 0.0, 3.0, 4.0, 5.0, 6.0, 4.0, 8.0, 7.0, 19.0, 31.0, 41.0, 60.0, 81.0, 95.0, 251.0, 124.0, 79.0, 51.0, 31.0, 30.0, 21.0, 14.0, 13.0, 8.0, 7.0, 3.0, 3.0, 4.0, 2.0, 3.0, 1.0, 2.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0005416676867753267, -0.0005140327266417444, -0.0004863977083005011, -0.0004587627190630883, -0.0004311277298256755, -0.00040349276969209313, -0.00037585775135084987, -0.0003482227912172675, -0.00032058777287602425, -0.00029295278363861144, -0.0002653177944011986, -0.00023768280516378582, -0.000210047815926373, -0.00018241284124087542, -0.0001547778520034626, -0.0001271428627660498, -9.950788808055222e-05, -7.187289884313941e-05, -4.423791324370541e-05, -1.6602927644271404e-05, 1.1032061593141407e-05, 3.86670435545966e-05, 6.630203279200941e-05, 9.393702202942222e-05, 0.00012157201126683503, 0.00014920700050424784, 0.00017684198974166065, 0.00020447696442715824, 0.00023211195366457105, 0.00025974694290198386, 0.00028738193213939667, 0.0003150169213768095, 0.0003426519106142223, 0.0003702868998516351, 0.0003979218890890479, 0.0004255568783264607, 0.00045319186756387353, 0.0004808268276974559, 0.0005084618460386992, 0.0005360968061722815, 0.0005637318245135248, 0.0005913667846471071, 0.0006190018029883504, 0.0006466367631219327, 0.000674271781463176, 0.0007019067415967584, 0.0007295417599380016, 0.000757176720071584, 0.0007848116802051663, 0.0008124466403387487, 0.000840081658679992, 0.0008677166188135743, 0.0008953516371548176, 0.0009229865972883999, 0.0009506216156296432, 0.0009782565757632256, 0.0010058915941044688, 0.001033526612445712, 0.0010611615143716335, 0.0010887965327128768, 0.00111643155105412, 0.0011440665693953633, 0.0011717014713212848, 0.001199336489662528, 0.0012269715080037713]}, "gradients/encoder.encoder.layers.19.layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 3.0, 2.0, 2.0, 2.0, 4.0, 10.0, 8.0, 3.0, 13.0, 16.0, 12.0, 14.0, 22.0, 25.0, 23.0, 29.0, 38.0, 43.0, 61.0, 55.0, 42.0, 44.0, 65.0, 57.0, 40.0, 49.0, 60.0, 37.0, 36.0, 26.0, 20.0, 29.0, 31.0, 23.0, 11.0, 13.0, 5.0, 11.0, 11.0, 5.0, 4.0, 6.0, 2.0, 1.0, 2.0, 3.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0005525350570678711, -0.0005370806902647018, -0.0005216263234615326, -0.0005061719566583633, -0.0004907175898551941, -0.00047526322305202484, -0.0004598088562488556, -0.00044435448944568634, -0.0004289001226425171, -0.00041344575583934784, -0.0003979913890361786, -0.00038253702223300934, -0.0003670826554298401, -0.00035162828862667084, -0.0003361739218235016, -0.00032071955502033234, -0.0003052651882171631, -0.00028981082141399384, -0.0002743564546108246, -0.00025890208780765533, -0.00024344772100448608, -0.00022799335420131683, -0.00021253898739814758, -0.00019708462059497833, -0.00018163025379180908, -0.00016617588698863983, -0.00015072152018547058, -0.00013526715338230133, -0.00011981278657913208, -0.00010435841977596283, -8.890405297279358e-05, -7.344968616962433e-05, -5.799531936645508e-05, -4.254095256328583e-05, -2.7086585760116577e-05, -1.1632218956947327e-05, 3.822147846221924e-06, 1.9276514649391174e-05, 3.4730881452560425e-05, 5.0185248255729675e-05, 6.563961505889893e-05, 8.109398186206818e-05, 9.654834866523743e-05, 0.00011200271546840668, 0.00012745708227157593, 0.00014291144907474518, 0.00015836581587791443, 0.00017382018268108368, 0.00018927454948425293, 0.00020472891628742218, 0.00022018328309059143, 0.00023563764989376068, 0.00025109201669692993, 0.0002665463835000992, 0.00028200075030326843, 0.0002974551171064377, 0.00031290948390960693, 0.0003283638507127762, 0.00034381821751594543, 0.0003592725843191147, 0.00037472695112228394, 0.0003901813179254532, 0.00040563568472862244, 0.0004210900515317917, 0.00043654441833496094]}, "gradients/encoder.encoder.layers.18.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 3.0, 1.0, 0.0, 1.0, 0.0, 5.0, 0.0, 2.0, 3.0, 5.0, 3.0, 9.0, 7.0, 4.0, 6.0, 6.0, 12.0, 12.0, 15.0, 12.0, 19.0, 14.0, 21.0, 27.0, 22.0, 26.0, 36.0, 42.0, 175.0, 10614.0, 4182673.0, 494.0, 28.0], "bins": [-0.004039764404296875, -0.003973748534917831, -0.003907732665538788, -0.0038417167961597443, -0.0037757009267807007, -0.003709685057401657, -0.0036436691880226135, -0.00357765331864357, -0.0035116374492645264, -0.003445621579885483, -0.003379605710506439, -0.0033135898411273956, -0.003247573971748352, -0.0031815581023693085, -0.003115542232990265, -0.0030495263636112213, -0.0029835104942321777, -0.002917494624853134, -0.0028514787554740906, -0.002785462886095047, -0.0027194470167160034, -0.00265343114733696, -0.0025874152779579163, -0.0025213994085788727, -0.002455383539199829, -0.0023893676698207855, -0.002323351800441742, -0.0022573359310626984, -0.002191320061683655, -0.002125304192304611, -0.0020592883229255676, -0.001993272453546524, -0.0019272565841674805, -0.0018612407147884369, -0.0017952248454093933, -0.0017292089760303497, -0.0016631931066513062, -0.0015971772372722626, -0.001531161367893219, -0.0014651454985141754, -0.0013991296291351318, -0.0013331137597560883, -0.0012670978903770447, -0.001201082020998001, -0.0011350661516189575, -0.001069050282239914, -0.0010030344128608704, -0.0009370185434818268, -0.0008710026741027832, -0.0008049868047237396, -0.000738970935344696, -0.0006729550659656525, -0.0006069391965866089, -0.0005409233272075653, -0.00047490745782852173, -0.00040889158844947815, -0.00034287571907043457, -0.000276859849691391, -0.0002108439803123474, -0.00014482811093330383, -7.881224155426025e-05, -1.2796372175216675e-05, 5.3219497203826904e-05, 0.00011923536658287048, 0.00018525123596191406]}, "gradients/encoder.encoder.layers.18.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 22.0, 262.0, 646.0, 79.0, 11.0], "bins": [-0.00015103816986083984, -0.00014857016503810883, -0.0001461021602153778, -0.0001436341553926468, -0.00014116615056991577, -0.00013869814574718475, -0.00013623014092445374, -0.00013376213610172272, -0.0001312941312789917, -0.00012882612645626068, -0.00012635812163352966, -0.00012389011681079865, -0.00012142211198806763, -0.00011895410716533661, -0.00011648610234260559, -0.00011401809751987457, -0.00011155009269714355, -0.00010908208787441254, -0.00010661408305168152, -0.0001041460782289505, -0.00010167807340621948, -9.921006858348846e-05, -9.674206376075745e-05, -9.427405893802643e-05, -9.180605411529541e-05, -8.933804929256439e-05, -8.687004446983337e-05, -8.440203964710236e-05, -8.193403482437134e-05, -7.946603000164032e-05, -7.69980251789093e-05, -7.453002035617828e-05, -7.206201553344727e-05, -6.959401071071625e-05, -6.712600588798523e-05, -6.465800106525421e-05, -6.21899962425232e-05, -5.9721991419792175e-05, -5.725398659706116e-05, -5.478598177433014e-05, -5.231797695159912e-05, -4.98499721288681e-05, -4.7381967306137085e-05, -4.491396248340607e-05, -4.244595766067505e-05, -3.997795283794403e-05, -3.750994801521301e-05, -3.5041943192481995e-05, -3.2573938369750977e-05, -3.010593354701996e-05, -2.763792872428894e-05, -2.5169923901557922e-05, -2.2701919078826904e-05, -2.0233914256095886e-05, -1.7765909433364868e-05, -1.529790461063385e-05, -1.2829899787902832e-05, -1.0361894965171814e-05, -7.893890142440796e-06, -5.425885319709778e-06, -2.9578804969787598e-06, -4.898756742477417e-07, 1.9781291484832764e-06, 4.4461339712142944e-06, 6.9141387939453125e-06]}, "gradients/encoder.encoder.layers.18.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 3.0, 8.0, 18.0, 44.0, 105.0, 210.0, 402.0, 957.0, 4859.0, 59370.0, 4103684.0, 20645.0, 2764.0, 633.0, 285.0, 157.0, 78.0, 30.0, 20.0, 10.0, 3.0, 4.0, 2.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.0010690689086914062, -0.0010359734296798706, -0.001002877950668335, -0.0009697824716567993, -0.0009366869926452637, -0.000903591513633728, -0.0008704960346221924, -0.0008374005556106567, -0.0008043050765991211, -0.0007712095975875854, -0.0007381141185760498, -0.0007050186395645142, -0.0006719231605529785, -0.0006388276815414429, -0.0006057322025299072, -0.0005726367235183716, -0.0005395412445068359, -0.0005064457654953003, -0.00047335028648376465, -0.000440254807472229, -0.00040715932846069336, -0.0003740638494491577, -0.00034096837043762207, -0.0003078728914260864, -0.0002747774124145508, -0.00024168193340301514, -0.0002085864543914795, -0.00017549097537994385, -0.0001423954963684082, -0.00010930001735687256, -7.620453834533691e-05, -4.310905933380127e-05, -1.0013580322265625e-05, 2.308189868927002e-05, 5.6177377700805664e-05, 8.927285671234131e-05, 0.00012236833572387695, 0.0001554638147354126, 0.00018855929374694824, 0.0002216547727584839, 0.00025475025177001953, 0.0002878457307815552, 0.0003209412097930908, 0.00035403668880462646, 0.0003871321678161621, 0.00042022764682769775, 0.0004533231258392334, 0.00048641860485076904, 0.0005195140838623047, 0.0005526095628738403, 0.000585705041885376, 0.0006188005208969116, 0.0006518959999084473, 0.0006849914789199829, 0.0007180869579315186, 0.0007511824369430542, 0.0007842779159545898, 0.0008173733949661255, 0.0008504688739776611, 0.0008835643529891968, 0.0009166598320007324, 0.0009497553110122681, 0.0009828507900238037, 0.0010159462690353394, 0.001049041748046875]}, "gradients/encoder.encoder.layers.18.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 3.0, 4.0, 6.0, 11.0, 13.0, 15.0, 17.0, 25.0, 43.0, 119.0, 3607.0, 63.0, 37.0, 32.0, 24.0, 15.0, 12.0, 11.0, 8.0, 9.0, 3.0, 4.0, 2.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.00010919570922851562, -0.00010581593960523605, -0.00010243616998195648, -9.905640035867691e-05, -9.567663073539734e-05, -9.229686111211777e-05, -8.89170914888382e-05, -8.553732186555862e-05, -8.215755224227905e-05, -7.877778261899948e-05, -7.539801299571991e-05, -7.201824337244034e-05, -6.863847374916077e-05, -6.52587041258812e-05, -6.187893450260162e-05, -5.849916487932205e-05, -5.511939525604248e-05, -5.173962563276291e-05, -4.835985600948334e-05, -4.4980086386203766e-05, -4.1600316762924194e-05, -3.822054713964462e-05, -3.484077751636505e-05, -3.146100789308548e-05, -2.8081238269805908e-05, -2.4701468646526337e-05, -2.1321699023246765e-05, -1.7941929399967194e-05, -1.4562159776687622e-05, -1.118239015340805e-05, -7.802620530128479e-06, -4.4228509068489075e-06, -1.043081283569336e-06, 2.3366883397102356e-06, 5.716457962989807e-06, 9.096227586269379e-06, 1.247599720954895e-05, 1.5855766832828522e-05, 1.9235536456108093e-05, 2.2615306079387665e-05, 2.5995075702667236e-05, 2.9374845325946808e-05, 3.275461494922638e-05, 3.613438457250595e-05, 3.951415419578552e-05, 4.2893923819065094e-05, 4.6273693442344666e-05, 4.965346306562424e-05, 5.303323268890381e-05, 5.641300231218338e-05, 5.979277193546295e-05, 6.317254155874252e-05, 6.65523111820221e-05, 6.993208080530167e-05, 7.331185042858124e-05, 7.669162005186081e-05, 8.007138967514038e-05, 8.345115929841995e-05, 8.683092892169952e-05, 9.02106985449791e-05, 9.359046816825867e-05, 9.697023779153824e-05, 0.00010035000741481781, 0.00010372977703809738, 0.00010710954666137695]}, "gradients/encoder.encoder.layers.18.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 2.0, 2.0, 1.0, 4.0, 6.0, 16.0, 20.0, 26.0, 36.0, 67.0, 134.0, 324.0, 139.0, 71.0, 53.0, 36.0, 21.0, 14.0, 11.0, 10.0, 8.0, 5.0, 1.0, 2.0, 4.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.0005142492009326816, -0.0004939725040458143, -0.00047369577805511653, -0.0004534190520644188, -0.0004331423551775515, -0.00041286562918685377, -0.000392588903196156, -0.00037231220630928874, -0.00035203550942242146, -0.0003317587834317237, -0.00031148208654485643, -0.0002912053605541587, -0.0002709286636672914, -0.00025065193767659366, -0.00023037522623781115, -0.00021009851479902864, -0.0001898217888083309, -0.00016954507736954838, -0.00014926836593076587, -0.00012899163994006813, -0.00010871493577724323, -8.843822433846071e-05, -6.816150562372059e-05, -4.788479418493807e-05, -2.760808274615556e-05, -7.331369488383643e-06, 1.2945343769388273e-05, 3.3222058846149594e-05, 5.349877028493211e-05, 7.377548172371462e-05, 9.405220043845475e-05, 0.00011432891187723726, 0.00013460562331601977, 0.0001548823347548023, 0.0001751590461935848, 0.00019543577218428254, 0.00021571246907114983, 0.00023598919506184757, 0.0002562659210525453, 0.0002765426179394126, 0.0002968193148262799, 0.0003170960408169776, 0.0003373727377038449, 0.00035764946369454265, 0.00037792616058140993, 0.00039820288657210767, 0.0004184796125628054, 0.0004387563094496727, 0.00045903303544037044, 0.0004793097614310682, 0.0004995864583179355, 0.0005198631552048028, 0.000540139910299331, 0.0005604166071861982, 0.0005806933040730655, 0.0006009700009599328, 0.000621246756054461, 0.0006415234529413283, 0.0006618002080358565, 0.0006820769049227238, 0.0007023536018095911, 0.0007226302986964583, 0.0007429070537909865, 0.0007631837506778538, 0.0007834604475647211]}, "gradients/encoder.encoder.layers.18.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 2.0, 3.0, 3.0, 11.0, 12.0, 11.0, 10.0, 8.0, 17.0, 28.0, 31.0, 39.0, 31.0, 47.0, 57.0, 31.0, 61.0, 57.0, 52.0, 50.0, 61.0, 56.0, 55.0, 48.0, 36.0, 28.0, 30.0, 25.0, 29.0, 18.0, 15.0, 8.0, 10.0, 10.0, 6.0, 3.0, 5.0, 2.0, 2.0, 2.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00027424097061157227, -0.0002658441662788391, -0.00025744736194610596, -0.0002490505576133728, -0.00024065375328063965, -0.0002322569489479065, -0.00022386014461517334, -0.00021546334028244019, -0.00020706653594970703, -0.00019866973161697388, -0.00019027292728424072, -0.00018187612295150757, -0.00017347931861877441, -0.00016508251428604126, -0.0001566857099533081, -0.00014828890562057495, -0.0001398921012878418, -0.00013149529695510864, -0.0001230984926223755, -0.00011470168828964233, -0.00010630488395690918, -9.790807962417603e-05, -8.951127529144287e-05, -8.111447095870972e-05, -7.271766662597656e-05, -6.432086229324341e-05, -5.5924057960510254e-05, -4.75272536277771e-05, -3.9130449295043945e-05, -3.073364496231079e-05, -2.2336840629577637e-05, -1.3940036296844482e-05, -5.543231964111328e-06, 2.853572368621826e-06, 1.125037670135498e-05, 1.9647181034088135e-05, 2.804398536682129e-05, 3.644078969955444e-05, 4.48375940322876e-05, 5.323439836502075e-05, 6.16312026977539e-05, 7.002800703048706e-05, 7.842481136322021e-05, 8.682161569595337e-05, 9.521842002868652e-05, 0.00010361522436141968, 0.00011201202869415283, 0.00012040883302688599, 0.00012880563735961914, 0.0001372024416923523, 0.00014559924602508545, 0.0001539960503578186, 0.00016239285469055176, 0.0001707896590232849, 0.00017918646335601807, 0.00018758326768875122, 0.00019598007202148438, 0.00020437687635421753, 0.00021277368068695068, 0.00022117048501968384, 0.000229567289352417, 0.00023796409368515015, 0.0002463608980178833, 0.00025475770235061646, 0.0002631545066833496]}, "gradients/encoder.encoder.layers.18.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 2.0, 3.0, 1.0, 4.0, 6.0, 9.0, 6.0, 5.0, 10.0, 12.0, 21.0, 22.0, 20.0, 32.0, 42.0, 37.0, 37.0, 37.0, 41.0, 56.0, 230.0, 940921.0, 106403.0, 173.0, 61.0, 49.0, 40.0, 42.0, 36.0, 25.0, 31.0, 35.0, 21.0, 17.0, 18.0, 19.0, 12.0, 5.0, 12.0, 5.0, 0.0, 4.0, 3.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0], "bins": [-0.0016374588012695312, -0.0015931129455566406, -0.00154876708984375, -0.0015044212341308594, -0.0014600753784179688, -0.0014157295227050781, -0.0013713836669921875, -0.0013270378112792969, -0.0012826919555664062, -0.0012383460998535156, -0.001194000244140625, -0.0011496543884277344, -0.0011053085327148438, -0.0010609626770019531, -0.0010166168212890625, -0.0009722709655761719, -0.0009279251098632812, -0.0008835792541503906, -0.0008392333984375, -0.0007948875427246094, -0.0007505416870117188, -0.0007061958312988281, -0.0006618499755859375, -0.0006175041198730469, -0.0005731582641601562, -0.0005288124084472656, -0.000484466552734375, -0.0004401206970214844, -0.00039577484130859375, -0.0003514289855957031, -0.0003070831298828125, -0.0002627372741699219, -0.00021839141845703125, -0.00017404556274414062, -0.00012969970703125, -8.535385131835938e-05, -4.100799560546875e-05, 3.337860107421875e-06, 4.76837158203125e-05, 9.202957153320312e-05, 0.00013637542724609375, 0.00018072128295898438, 0.000225067138671875, 0.0002694129943847656, 0.00031375885009765625, 0.0003581047058105469, 0.0004024505615234375, 0.0004467964172363281, 0.0004911422729492188, 0.0005354881286621094, 0.000579833984375, 0.0006241798400878906, 0.0006685256958007812, 0.0007128715515136719, 0.0007572174072265625, 0.0008015632629394531, 0.0008459091186523438, 0.0008902549743652344, 0.000934600830078125, 0.0009789466857910156, 0.0010232925415039062, 0.0010676383972167969, 0.0011119842529296875, 0.0011563301086425781, 0.0012006759643554688]}, "gradients/encoder.encoder.layers.18.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 3.0, 37.0, 335.0, 571.0, 65.0, 11.0], "bins": [-0.0001518726348876953, -0.0001493869349360466, -0.0001469012349843979, -0.00014441553503274918, -0.00014192983508110046, -0.00013944413512945175, -0.00013695843517780304, -0.00013447273522615433, -0.00013198703527450562, -0.0001295013353228569, -0.0001270156353712082, -0.00012452993541955948, -0.00012204423546791077, -0.00011955853551626205, -0.00011707283556461334, -0.00011458713561296463, -0.00011210143566131592, -0.0001096157357096672, -0.0001071300357580185, -0.00010464433580636978, -0.00010215863585472107, -9.967293590307236e-05, -9.718723595142365e-05, -9.470153599977493e-05, -9.221583604812622e-05, -8.973013609647751e-05, -8.72444361448288e-05, -8.475873619318008e-05, -8.227303624153137e-05, -7.978733628988266e-05, -7.730163633823395e-05, -7.481593638658524e-05, -7.233023643493652e-05, -6.984453648328781e-05, -6.73588365316391e-05, -6.487313657999039e-05, -6.238743662834167e-05, -5.990173667669296e-05, -5.741603672504425e-05, -5.493033677339554e-05, -5.2444636821746826e-05, -4.9958936870098114e-05, -4.74732369184494e-05, -4.498753696680069e-05, -4.250183701515198e-05, -4.0016137063503265e-05, -3.753043711185455e-05, -3.504473716020584e-05, -3.255903720855713e-05, -3.0073337256908417e-05, -2.7587637305259705e-05, -2.5101937353610992e-05, -2.261623740196228e-05, -2.0130537450313568e-05, -1.7644837498664856e-05, -1.5159137547016144e-05, -1.2673437595367432e-05, -1.018773764371872e-05, -7.702037692070007e-06, -5.216337740421295e-06, -2.730637788772583e-06, -2.4493783712387085e-07, 2.2407621145248413e-06, 4.7264620661735535e-06, 7.212162017822266e-06]}, "gradients/encoder.encoder.layers.18.attention.v_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 5.0, 1.0, 1.0, 2.0, 2.0, 11.0, 5.0, 4.0, 3.0, 5.0, 3.0, 3.0, 6.0, 16.0, 38.0, 85.0, 211.0, 779.0, 2296.0, 7035.0, 20982.0, 938411.0, 54577.0, 15654.0, 5568.0, 1848.0, 642.0, 216.0, 65.0, 21.0, 16.0, 7.0, 2.0, 7.0, 2.0, 2.0, 1.0, 12.0, 6.0, 3.0, 1.0, 3.0, 2.0, 1.0, 6.0, 6.0, 0.0, 0.0, 1.0], "bins": [-0.0005745887756347656, -0.0005590096116065979, -0.0005434304475784302, -0.0005278512835502625, -0.0005122721195220947, -0.000496692955493927, -0.0004811137914657593, -0.00046553462743759155, -0.00044995546340942383, -0.0004343762993812561, -0.0004187971353530884, -0.00040321797132492065, -0.00038763880729675293, -0.0003720596432685852, -0.0003564804792404175, -0.00034090131521224976, -0.00032532215118408203, -0.0003097429871559143, -0.0002941638231277466, -0.00027858465909957886, -0.00026300549507141113, -0.0002474263310432434, -0.00023184716701507568, -0.00021626800298690796, -0.00020068883895874023, -0.0001851096749305725, -0.00016953051090240479, -0.00015395134687423706, -0.00013837218284606934, -0.0001227930188179016, -0.00010721385478973389, -9.163469076156616e-05, -7.605552673339844e-05, -6.047636270523071e-05, -4.489719867706299e-05, -2.9318034648895264e-05, -1.3738870620727539e-05, 1.8402934074401855e-06, 1.741945743560791e-05, 3.2998621463775635e-05, 4.857778549194336e-05, 6.415694952011108e-05, 7.973611354827881e-05, 9.531527757644653e-05, 0.00011089444160461426, 0.00012647360563278198, 0.0001420527696609497, 0.00015763193368911743, 0.00017321109771728516, 0.00018879026174545288, 0.0002043694257736206, 0.00021994858980178833, 0.00023552775382995605, 0.0002511069178581238, 0.0002666860818862915, 0.00028226524591445923, 0.00029784440994262695, 0.0003134235739707947, 0.0003290027379989624, 0.0003445819020271301, 0.00036016106605529785, 0.0003757402300834656, 0.0003913193941116333, 0.000406898558139801, 0.00042247772216796875]}, "gradients/encoder.encoder.layers.18.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 5.0, 1.0, 1.0, 2.0, 1.0, 11.0, 6.0, 4.0, 2.0, 5.0, 3.0, 2.0, 2.0, 8.0, 3.0, 3.0, 6.0, 5.0, 7.0, 3.0, 8.0, 833.0, 10.0, 5.0, 1.0, 4.0, 4.0, 2.0, 5.0, 9.0, 4.0, 3.0, 2.0, 5.0, 2.0, 2.0, 2.0, 11.0, 6.0, 3.0, 1.0, 3.0, 2.0, 1.0, 6.0, 6.0, 0.0, 0.0, 1.0], "bins": [-0.00016117095947265625, -0.00015679839998483658, -0.0001524258404970169, -0.00014805328100919724, -0.00014368072152137756, -0.0001393081620335579, -0.00013493560254573822, -0.00013056304305791855, -0.00012619048357009888, -0.0001218179240822792, -0.00011744536459445953, -0.00011307280510663986, -0.00010870024561882019, -0.00010432768613100052, -9.995512664318085e-05, -9.558256715536118e-05, -9.12100076675415e-05, -8.683744817972183e-05, -8.246488869190216e-05, -7.809232920408249e-05, -7.371976971626282e-05, -6.934721022844315e-05, -6.497465074062347e-05, -6.06020912528038e-05, -5.622953176498413e-05, -5.185697227716446e-05, -4.748441278934479e-05, -4.3111853301525116e-05, -3.8739293813705444e-05, -3.436673432588577e-05, -2.99941748380661e-05, -2.562161535024643e-05, -2.1249055862426758e-05, -1.6876496374607086e-05, -1.2503936886787415e-05, -8.131377398967743e-06, -3.7588179111480713e-06, 6.137415766716003e-07, 4.986301064491272e-06, 9.358860552310944e-06, 1.3731420040130615e-05, 1.8103979527950287e-05, 2.247653901576996e-05, 2.684909850358963e-05, 3.12216579914093e-05, 3.5594217479228973e-05, 3.9966776967048645e-05, 4.433933645486832e-05, 4.871189594268799e-05, 5.308445543050766e-05, 5.745701491832733e-05, 6.1829574406147e-05, 6.620213389396667e-05, 7.057469338178635e-05, 7.494725286960602e-05, 7.931981235742569e-05, 8.369237184524536e-05, 8.806493133306503e-05, 9.24374908208847e-05, 9.681005030870438e-05, 0.00010118260979652405, 0.00010555516928434372, 0.00010992772877216339, 0.00011430028825998306, 0.00011867284774780273]}, "gradients/encoder.encoder.layers.18.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.layer_norm.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 3.0, 1.0, 0.0, 1.0, 2.0, 1.0, 5.0, 4.0, 8.0, 5.0, 19.0, 17.0, 24.0, 33.0, 69.0, 81.0, 167.0, 233.0, 105.0, 76.0, 40.0, 34.0, 27.0, 19.0, 12.0, 16.0, 2.0, 2.0, 0.0, 5.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.0007771470700390637, -0.0007463588262908161, -0.0007155705825425684, -0.0006847823387943208, -0.0006539940950460732, -0.0006232058512978256, -0.000592417549341917, -0.0005616293055936694, -0.0005308410618454218, -0.0005000528180971742, -0.00046926457434892654, -0.0004384763306006789, -0.0004076880868524313, -0.0003768998431041837, -0.0003461115702521056, -0.00031532332650385797, -0.0002845351118594408, -0.0002537468681111932, -0.00022295862436294556, -0.0001921703660627827, -0.00016138212231453508, -0.00013059387856628746, -9.98056202661246e-05, -6.901737651787698e-05, -3.822913276962936e-05, -7.440885383402929e-06, 2.3347362002823502e-05, 5.413561302702874e-05, 8.492385677527636e-05, 0.00011571210052352399, 0.00014650035882368684, 0.00017728860257193446, 0.000208076904527843, 0.00023886514827609062, 0.00026965339202433825, 0.00030044163577258587, 0.0003312298795208335, 0.0003620181232690811, 0.0003928063961211592, 0.0004235946398694068, 0.00045438288361765444, 0.00048517112736590207, 0.0005159594002179801, 0.0005467476439662278, 0.0005775358877144754, 0.000608324131462723, 0.0006391123752109706, 0.0006699006189592183, 0.0007006888627074659, 0.0007314771064557135, 0.0007622653502039611, 0.0007930535939522088, 0.0008238418377004564, 0.000854630081448704, 0.0008854183834046125, 0.0009162066271528602, 0.0009469948709011078, 0.0009777831146493554, 0.001008571358397603, 0.0010393596021458507, 0.0010701478458940983, 0.001100936089642346, 0.0011317243333905935, 0.0011625125771388412, 0.0011933008208870888]}, "gradients/encoder.encoder.layers.18.layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 2.0, 0.0, 3.0, 1.0, 3.0, 3.0, 4.0, 4.0, 11.0, 8.0, 9.0, 15.0, 19.0, 28.0, 35.0, 32.0, 28.0, 37.0, 46.0, 53.0, 58.0, 47.0, 55.0, 47.0, 54.0, 54.0, 47.0, 37.0, 46.0, 37.0, 23.0, 42.0, 22.0, 20.0, 13.0, 12.0, 12.0, 8.0, 5.0, 9.0, 9.0, 7.0, 3.0, 2.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00048744678497314453, -0.00047187041491270065, -0.0004562940448522568, -0.0004407176747918129, -0.000425141304731369, -0.00040956493467092514, -0.00039398856461048126, -0.0003784121945500374, -0.0003628358244895935, -0.00034725945442914963, -0.00033168308436870575, -0.00031610671430826187, -0.000300530344247818, -0.0002849539741873741, -0.00026937760412693024, -0.00025380123406648636, -0.00023822486400604248, -0.0002226484939455986, -0.00020707212388515472, -0.00019149575382471085, -0.00017591938376426697, -0.0001603430137038231, -0.0001447666436433792, -0.00012919027358293533, -0.00011361390352249146, -9.803753346204758e-05, -8.24611634016037e-05, -6.688479334115982e-05, -5.130842328071594e-05, -3.5732053220272064e-05, -2.0155683159828186e-05, -4.579313099384308e-06, 1.099705696105957e-05, 2.657342702150345e-05, 4.214979708194733e-05, 5.7726167142391205e-05, 7.330253720283508e-05, 8.887890726327896e-05, 0.00010445527732372284, 0.00012003164738416672, 0.0001356080174446106, 0.00015118438750505447, 0.00016676075756549835, 0.00018233712762594223, 0.0001979134976863861, 0.00021348986774683, 0.00022906623780727386, 0.00024464260786771774, 0.0002602189779281616, 0.0002757953479886055, 0.0002913717180490494, 0.00030694808810949326, 0.00032252445816993713, 0.000338100828230381, 0.0003536771982908249, 0.00036925356835126877, 0.00038482993841171265, 0.0004004063084721565, 0.0004159826785326004, 0.0004315590485930443, 0.00044713541865348816, 0.00046271178871393204, 0.0004782881587743759, 0.0004938645288348198, 0.0005094408988952637]}, "gradients/encoder.encoder.layers.17.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 2.0, 3.0, 1.0, 1.0, 1.0, 2.0, 3.0, 3.0, 3.0, 4.0, 2.0, 5.0, 10.0, 9.0, 6.0, 11.0, 8.0, 13.0, 11.0, 16.0, 22.0, 21.0, 21.0, 22.0, 26.0, 28.0, 27.0, 42.0, 28.0, 39.0, 93.0, 345.0, 49715.0, 4143228.0, 500.0, 26.0], "bins": [-0.0026798248291015625, -0.0026359613984823227, -0.002592097967863083, -0.002548234537243843, -0.0025043711066246033, -0.0024605076760053635, -0.0024166442453861237, -0.002372780814766884, -0.002328917384147644, -0.0022850539535284042, -0.0022411905229091644, -0.0021973270922899246, -0.002153463661670685, -0.002109600231051445, -0.002065736800432205, -0.0020218733698129654, -0.0019780099391937256, -0.0019341465085744858, -0.001890283077955246, -0.0018464196473360062, -0.0018025562167167664, -0.0017586927860975266, -0.0017148293554782867, -0.001670965924859047, -0.0016271024942398071, -0.0015832390636205673, -0.0015393756330013275, -0.0014955122023820877, -0.001451648771762848, -0.001407785341143608, -0.0013639219105243683, -0.0013200584799051285, -0.0012761950492858887, -0.0012323316186666489, -0.001188468188047409, -0.0011446047574281693, -0.0011007413268089294, -0.0010568778961896896, -0.0010130144655704498, -0.00096915103495121, -0.0009252876043319702, -0.0008814241737127304, -0.0008375607430934906, -0.0007936973124742508, -0.000749833881855011, -0.0007059704512357712, -0.0006621070206165314, -0.0006182435899972916, -0.0005743801593780518, -0.000530516728758812, -0.00048665329813957214, -0.00044278986752033234, -0.00039892643690109253, -0.0003550630062818527, -0.0003111995756626129, -0.0002673361450433731, -0.0002234727144241333, -0.0001796092838048935, -0.0001357458531856537, -9.188242256641388e-05, -4.801899194717407e-05, -4.155561327934265e-06, 3.970786929130554e-05, 8.357129991054535e-05, 0.00012743473052978516]}, "gradients/encoder.encoder.layers.17.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 3.0, 37.0, 335.0, 571.0, 65.0, 11.0], "bins": [-0.0001518726348876953, -0.0001493869349360466, -0.0001469012349843979, -0.00014441553503274918, -0.00014192983508110046, -0.00013944413512945175, -0.00013695843517780304, -0.00013447273522615433, -0.00013198703527450562, -0.0001295013353228569, -0.0001270156353712082, -0.00012452993541955948, -0.00012204423546791077, -0.00011955853551626205, -0.00011707283556461334, -0.00011458713561296463, -0.00011210143566131592, -0.0001096157357096672, -0.0001071300357580185, -0.00010464433580636978, -0.00010215863585472107, -9.967293590307236e-05, -9.718723595142365e-05, -9.470153599977493e-05, -9.221583604812622e-05, -8.973013609647751e-05, -8.72444361448288e-05, -8.475873619318008e-05, -8.227303624153137e-05, -7.978733628988266e-05, -7.730163633823395e-05, -7.481593638658524e-05, -7.233023643493652e-05, -6.984453648328781e-05, -6.73588365316391e-05, -6.487313657999039e-05, -6.238743662834167e-05, -5.990173667669296e-05, -5.741603672504425e-05, -5.493033677339554e-05, -5.2444636821746826e-05, -4.9958936870098114e-05, -4.74732369184494e-05, -4.498753696680069e-05, -4.250183701515198e-05, -4.0016137063503265e-05, -3.753043711185455e-05, -3.504473716020584e-05, -3.255903720855713e-05, -3.0073337256908417e-05, -2.7587637305259705e-05, -2.5101937353610992e-05, -2.261623740196228e-05, -2.0130537450313568e-05, -1.7644837498664856e-05, -1.5159137547016144e-05, -1.2673437595367432e-05, -1.018773764371872e-05, -7.702037692070007e-06, -5.216337740421295e-06, -2.730637788772583e-06, -2.4493783712387085e-07, 2.2407621145248413e-06, 4.7264620661735535e-06, 7.212162017822266e-06]}, "gradients/encoder.encoder.layers.17.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 2.0, 1.0, 2.0, 3.0, 9.0, 10.0, 13.0, 39.0, 83.0, 110.0, 245.0, 354.0, 699.0, 1333.0, 3191.0, 12566.0, 227127.0, 3925081.0, 17552.0, 3397.0, 1256.0, 588.0, 316.0, 158.0, 82.0, 32.0, 21.0, 12.0, 3.0, 3.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.0010852813720703125, -0.0010575130581855774, -0.0010297447443008423, -0.0010019764304161072, -0.0009742081165313721, -0.000946439802646637, -0.0009186714887619019, -0.0008909031748771667, -0.0008631348609924316, -0.0008353665471076965, -0.0008075982332229614, -0.0007798299193382263, -0.0007520616054534912, -0.0007242932915687561, -0.000696524977684021, -0.0006687566637992859, -0.0006409883499145508, -0.0006132200360298157, -0.0005854517221450806, -0.0005576834082603455, -0.0005299150943756104, -0.0005021467804908752, -0.00047437846660614014, -0.00044661015272140503, -0.0004188418388366699, -0.0003910735249519348, -0.0003633052110671997, -0.0003355368971824646, -0.0003077685832977295, -0.0002800002694129944, -0.0002522319555282593, -0.00022446364164352417, -0.00019669532775878906, -0.00016892701387405396, -0.00014115869998931885, -0.00011339038610458374, -8.562207221984863e-05, -5.7853758335113525e-05, -3.0085444450378418e-05, -2.3171305656433105e-06, 2.5451183319091797e-05, 5.3219497203826904e-05, 8.098781108856201e-05, 0.00010875612497329712, 0.00013652443885803223, 0.00016429275274276733, 0.00019206106662750244, 0.00021982938051223755, 0.00024759769439697266, 0.00027536600828170776, 0.00030313432216644287, 0.000330902636051178, 0.0003586709499359131, 0.0003864392638206482, 0.0004142075777053833, 0.0004419758915901184, 0.0004697442054748535, 0.0004975125193595886, 0.0005252808332443237, 0.0005530491471290588, 0.0005808174610137939, 0.000608585774898529, 0.0006363540887832642, 0.0006641224026679993, 0.0006918907165527344]}, "gradients/encoder.encoder.layers.17.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 2.0, 1.0, 2.0, 2.0, 4.0, 2.0, 0.0, 5.0, 9.0, 9.0, 7.0, 17.0, 25.0, 40.0, 48.0, 92.0, 355.0, 3208.0, 91.0, 55.0, 29.0, 24.0, 23.0, 17.0, 5.0, 1.0, 4.0, 3.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.00019538402557373047, -0.0001903865486383438, -0.00018538907170295715, -0.0001803915947675705, -0.00017539411783218384, -0.00017039664089679718, -0.00016539916396141052, -0.00016040168702602386, -0.0001554042100906372, -0.00015040673315525055, -0.0001454092562198639, -0.00014041177928447723, -0.00013541430234909058, -0.00013041682541370392, -0.00012541934847831726, -0.0001204218715429306, -0.00011542439460754395, -0.00011042691767215729, -0.00010542944073677063, -0.00010043196380138397, -9.543448686599731e-05, -9.043700993061066e-05, -8.5439532995224e-05, -8.044205605983734e-05, -7.544457912445068e-05, -7.044710218906403e-05, -6.544962525367737e-05, -6.045214831829071e-05, -5.545467138290405e-05, -5.0457194447517395e-05, -4.545971751213074e-05, -4.046224057674408e-05, -3.546476364135742e-05, -3.0467286705970764e-05, -2.5469809770584106e-05, -2.047233283519745e-05, -1.547485589981079e-05, -1.0477378964424133e-05, -5.479902029037476e-06, -4.824250936508179e-07, 4.51505184173584e-06, 9.512528777122498e-06, 1.4510005712509155e-05, 1.9507482647895813e-05, 2.450495958328247e-05, 2.950243651866913e-05, 3.4499913454055786e-05, 3.9497390389442444e-05, 4.44948673248291e-05, 4.949234426021576e-05, 5.448982119560242e-05, 5.9487298130989075e-05, 6.448477506637573e-05, 6.948225200176239e-05, 7.447972893714905e-05, 7.94772058725357e-05, 8.447468280792236e-05, 8.947215974330902e-05, 9.446963667869568e-05, 9.946711361408234e-05, 0.000104464590549469, 0.00010946206748485565, 0.00011445954442024231, 0.00011945702135562897, 0.00012445449829101562]}, "gradients/encoder.encoder.layers.17.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 3.0, 2.0, 8.0, 23.0, 28.0, 73.0, 209.0, 454.0, 121.0, 58.0, 15.0, 12.0, 4.0, 2.0, 0.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0017526638694107533, -0.0016859244788065553, -0.0016191850882023573, -0.0015524455811828375, -0.0014857061905786395, -0.0014189667999744415, -0.0013522272929549217, -0.0012854879023507237, -0.0012187485117465258, -0.0011520091211423278, -0.0010852697305381298, -0.00101853022351861, -0.000951790832914412, -0.000885051442310214, -0.0008183119934983552, -0.0007515725446864963, -0.0006848331540822983, -0.0006180937634781003, -0.0005513543146662414, -0.00048461489495821297, -0.00041787547525018454, -0.0003511360555421561, -0.00028439663583412766, -0.00021765721612609923, -0.0001509177964180708, -8.417837671004236e-05, -1.7438957002013922e-05, 4.9300462706014514e-05, 0.00011603988241404295, 0.00018277930212207139, 0.0002495187218300998, 0.00031625814153812826, 0.00038299732841551304, 0.0004497367481235415, 0.0005164761678315699, 0.0005832156166434288, 0.0006499550072476268, 0.0007166943978518248, 0.0007834338466636837, 0.0008501732954755425, 0.0009169126860797405, 0.0009836520766839385, 0.0010503914672881365, 0.0011171309743076563, 0.0011838703649118543, 0.0012506097555160522, 0.001317349262535572, 0.00138408865313977, 0.001450828043743968, 0.001517567434348166, 0.001584306824952364, 0.0016510463319718838, 0.0017177857225760818, 0.0017845251131802797, 0.0018512646201997995, 0.0019180040108039975, 0.0019847434014081955, 0.0020514829084277153, 0.0021182221826165915, 0.0021849616896361113, 0.0022517009638249874, 0.0023184404708445072, 0.002385179977864027, 0.002451919252052903, 0.002518658759072423]}, "gradients/encoder.encoder.layers.17.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 6.0, 5.0, 25.0, 35.0, 68.0, 96.0, 107.0, 151.0, 126.0, 116.0, 93.0, 67.0, 56.0, 29.0, 13.0, 7.0, 5.0, 3.0, 1.0, 0.0, 4.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0011060237884521484, -0.0010733259841799736, -0.0010406281799077988, -0.001007930375635624, -0.0009752325713634491, -0.0009425347670912743, -0.0009098369628190994, -0.0008771391585469246, -0.0008444413542747498, -0.0008117435500025749, -0.0007790457457304001, -0.0007463479414582253, -0.0007136501371860504, -0.0006809523329138756, -0.0006482545286417007, -0.0006155567243695259, -0.0005828589200973511, -0.0005501611158251762, -0.0005174633115530014, -0.00048476550728082657, -0.00045206770300865173, -0.0004193698987364769, -0.00038667209446430206, -0.00035397429019212723, -0.0003212764859199524, -0.00028857868164777756, -0.0002558808773756027, -0.0002231830731034279, -0.00019048526883125305, -0.00015778746455907822, -0.00012508966028690338, -9.239185601472855e-05, -5.969405174255371e-05, -2.6996247470378876e-05, 5.7015568017959595e-06, 3.8399361073970795e-05, 7.109716534614563e-05, 0.00010379496961832047, 0.0001364927738904953, 0.00016919057816267014, 0.00020188838243484497, 0.0002345861867070198, 0.00026728399097919464, 0.0002999817952513695, 0.0003326795995235443, 0.00036537740379571915, 0.000398075208067894, 0.0004307730123400688, 0.00046347081661224365, 0.0004961686208844185, 0.0005288664251565933, 0.0005615642294287682, 0.000594262033700943, 0.0006269598379731178, 0.0006596576422452927, 0.0006923554465174675, 0.0007250532507896423, 0.0007577510550618172, 0.000790448859333992, 0.0008231466636061668, 0.0008558444678783417, 0.0008885422721505165, 0.0009212400764226913, 0.0009539378806948662, 0.000986635684967041]}, "gradients/encoder.encoder.layers.17.attention.out_proj.weight": {"_type": "histogram", "values": [4.0, 0.0, 1.0, 2.0, 0.0, 2.0, 2.0, 3.0, 4.0, 4.0, 4.0, 8.0, 12.0, 15.0, 8.0, 12.0, 22.0, 22.0, 15.0, 24.0, 22.0, 30.0, 31.0, 21.0, 40.0, 33.0, 26.0, 42.0, 76.0, 541.0, 113304.0, 932803.0, 929.0, 115.0, 35.0, 48.0, 31.0, 35.0, 21.0, 30.0, 21.0, 25.0, 19.0, 20.0, 15.0, 9.0, 17.0, 10.0, 10.0, 6.0, 8.0, 9.0, 3.0, 4.0, 6.0, 4.0, 2.0, 2.0, 4.0, 1.0, 1.0, 1.0, 1.0, 1.0], "bins": [-0.0009918212890625, -0.000959932804107666, -0.000928044319152832, -0.000896155834197998, -0.0008642673492431641, -0.0008323788642883301, -0.0008004903793334961, -0.0007686018943786621, -0.0007367134094238281, -0.0007048249244689941, -0.0006729364395141602, -0.0006410479545593262, -0.0006091594696044922, -0.0005772709846496582, -0.0005453824996948242, -0.0005134940147399902, -0.00048160552978515625, -0.00044971704483032227, -0.0004178285598754883, -0.0003859400749206543, -0.0003540515899658203, -0.00032216310501098633, -0.00029027462005615234, -0.00025838613510131836, -0.00022649765014648438, -0.0001946091651916504, -0.0001627206802368164, -0.00013083219528198242, -9.894371032714844e-05, -6.705522537231445e-05, -3.516674041748047e-05, -3.2782554626464844e-06, 2.86102294921875e-05, 6.0498714447021484e-05, 9.238719940185547e-05, 0.00012427568435668945, 0.00015616416931152344, 0.00018805265426635742, 0.0002199411392211914, 0.0002518296241760254, 0.0002837181091308594, 0.00031560659408569336, 0.00034749507904052734, 0.00037938356399536133, 0.0004112720489501953, 0.0004431605339050293, 0.0004750490188598633, 0.0005069375038146973, 0.0005388259887695312, 0.0005707144737243652, 0.0006026029586791992, 0.0006344914436340332, 0.0006663799285888672, 0.0006982684135437012, 0.0007301568984985352, 0.0007620453834533691, 0.0007939338684082031, 0.0008258223533630371, 0.0008577108383178711, 0.0008895993232727051, 0.0009214878082275391, 0.000953376293182373, 0.000985264778137207, 0.001017153263092041, 0.001049041748046875]}, "gradients/encoder.encoder.layers.17.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 4.0, 37.0, 335.0, 548.0, 83.0, 9.0, 3.0], "bins": [-0.0001468658447265625, -0.00014442205429077148, -0.00014197826385498047, -0.00013953447341918945, -0.00013709068298339844, -0.00013464689254760742, -0.0001322031021118164, -0.0001297593116760254, -0.00012731552124023438, -0.00012487173080444336, -0.00012242794036865234, -0.00011998414993286133, -0.00011754035949707031, -0.0001150965690612793, -0.00011265277862548828, -0.00011020898818969727, -0.00010776519775390625, -0.00010532140731811523, -0.00010287761688232422, -0.0001004338264465332, -9.799003601074219e-05, -9.554624557495117e-05, -9.310245513916016e-05, -9.065866470336914e-05, -8.821487426757812e-05, -8.577108383178711e-05, -8.33272933959961e-05, -8.088350296020508e-05, -7.843971252441406e-05, -7.599592208862305e-05, -7.355213165283203e-05, -7.110834121704102e-05, -6.866455078125e-05, -6.622076034545898e-05, -6.377696990966797e-05, -6.133317947387695e-05, -5.888938903808594e-05, -5.644559860229492e-05, -5.4001808166503906e-05, -5.155801773071289e-05, -4.9114227294921875e-05, -4.667043685913086e-05, -4.4226646423339844e-05, -4.178285598754883e-05, -3.933906555175781e-05, -3.68952751159668e-05, -3.445148468017578e-05, -3.2007694244384766e-05, -2.956390380859375e-05, -2.7120113372802734e-05, -2.467632293701172e-05, -2.2232532501220703e-05, -1.9788742065429688e-05, -1.7344951629638672e-05, -1.4901161193847656e-05, -1.245737075805664e-05, -1.0013580322265625e-05, -7.569789886474609e-06, -5.125999450683594e-06, -2.682209014892578e-06, -2.384185791015625e-07, 2.205371856689453e-06, 4.649162292480469e-06, 7.092952728271484e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.17.attention.v_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 1.0, 2.0, 3.0, 4.0, 1.0, 5.0, 7.0, 4.0, 13.0, 3.0, 7.0, 11.0, 14.0, 20.0, 22.0, 49.0, 75.0, 106.0, 219.0, 317.0, 575.0, 812.0, 1341.0, 2104.0, 3227.0, 5076.0, 7712.0, 11098.0, 15936.0, 32008.0, 915430.0, 16640.0, 11620.0, 8428.0, 5654.0, 3555.0, 2320.0, 1534.0, 980.0, 633.0, 391.0, 238.0, 126.0, 84.0, 43.0, 26.0, 16.0, 13.0, 9.0, 15.0, 9.0, 7.0, 5.0, 2.0, 6.0, 4.0, 5.0, 3.0, 0.0, 3.0, 2.0], "bins": [-0.00017964839935302734, -0.00017422251403331757, -0.0001687966287136078, -0.000163370743393898, -0.00015794485807418823, -0.00015251897275447845, -0.00014709308743476868, -0.0001416672021150589, -0.00013624131679534912, -0.00013081543147563934, -0.00012538954615592957, -0.00011996366083621979, -0.00011453777551651001, -0.00010911189019680023, -0.00010368600487709045, -9.826011955738068e-05, -9.28342342376709e-05, -8.740834891796112e-05, -8.198246359825134e-05, -7.655657827854156e-05, -7.113069295883179e-05, -6.570480763912201e-05, -6.027892231941223e-05, -5.4853036999702454e-05, -4.9427151679992676e-05, -4.40012663602829e-05, -3.857538104057312e-05, -3.314949572086334e-05, -2.7723610401153564e-05, -2.2297725081443787e-05, -1.687183976173401e-05, -1.1445954442024231e-05, -6.020069122314453e-06, -5.941838026046753e-07, 4.8317015171051025e-06, 1.025758683681488e-05, 1.5683472156524658e-05, 2.1109357476234436e-05, 2.6535242795944214e-05, 3.196112811565399e-05, 3.738701343536377e-05, 4.281289875507355e-05, 4.8238784074783325e-05, 5.36646693944931e-05, 5.909055471420288e-05, 6.451644003391266e-05, 6.994232535362244e-05, 7.536821067333221e-05, 8.079409599304199e-05, 8.621998131275177e-05, 9.164586663246155e-05, 9.707175195217133e-05, 0.0001024976372718811, 0.00010792352259159088, 0.00011334940791130066, 0.00011877529323101044, 0.00012420117855072021, 0.00012962706387043, 0.00013505294919013977, 0.00014047883450984955, 0.00014590471982955933, 0.0001513306051492691, 0.00015675649046897888, 0.00016218237578868866, 0.00016760826110839844]}, "gradients/encoder.encoder.layers.17.attention.v_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 1.0, 2.0, 1.0, 4.0, 0.0, 3.0, 3.0, 0.0, 10.0, 1.0, 2.0, 1.0, 1.0, 1.0, 3.0, 2.0, 2.0, 2.0, 4.0, 3.0, 2.0, 1.0, 1.0, 3.0, 3.0, 3.0, 5.0, 1.0, 6.0, 10.0, 851.0, 5.0, 5.0, 0.0, 4.0, 2.0, 0.0, 2.0, 1.0, 2.0, 7.0, 5.0, 1.0, 0.0, 2.0, 8.0, 4.0, 4.0, 6.0, 4.0, 5.0, 6.0, 2.0, 1.0, 2.0, 2.0, 4.0, 2.0, 0.0, 1.0, 2.0], "bins": [-0.0001068115234375, -0.00010358262807130814, -0.00010035373270511627, -9.712483733892441e-05, -9.389594197273254e-05, -9.066704660654068e-05, -8.743815124034882e-05, -8.420925587415695e-05, -8.098036050796509e-05, -7.775146514177322e-05, -7.452256977558136e-05, -7.12936744093895e-05, -6.806477904319763e-05, -6.483588367700577e-05, -6.16069883108139e-05, -5.837809294462204e-05, -5.5149197578430176e-05, -5.192030221223831e-05, -4.869140684604645e-05, -4.5462511479854584e-05, -4.223361611366272e-05, -3.9004720747470856e-05, -3.577582538127899e-05, -3.254693001508713e-05, -2.9318034648895264e-05, -2.60891392827034e-05, -2.2860243916511536e-05, -1.963134855031967e-05, -1.6402453184127808e-05, -1.3173557817935944e-05, -9.94466245174408e-06, -6.7157670855522156e-06, -3.4868717193603516e-06, -2.5797635316848755e-07, 2.9709190130233765e-06, 6.1998143792152405e-06, 9.428709745407104e-06, 1.2657605111598969e-05, 1.5886500477790833e-05, 1.9115395843982697e-05, 2.234429121017456e-05, 2.5573186576366425e-05, 2.880208194255829e-05, 3.203097730875015e-05, 3.5259872674942017e-05, 3.848876804113388e-05, 4.1717663407325745e-05, 4.494655877351761e-05, 4.817545413970947e-05, 5.140434950590134e-05, 5.46332448720932e-05, 5.7862140238285065e-05, 6.109103560447693e-05, 6.431993097066879e-05, 6.754882633686066e-05, 7.077772170305252e-05, 7.400661706924438e-05, 7.723551243543625e-05, 8.046440780162811e-05, 8.369330316781998e-05, 8.692219853401184e-05, 9.01510939002037e-05, 9.337998926639557e-05, 9.660888463258743e-05, 9.98377799987793e-05]}, "gradients/encoder.encoder.layers.17.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 4.0, 3.0, 4.0, 7.0, 9.0, 20.0, 21.0, 45.0, 40.0, 82.0, 153.0, 216.0, 117.0, 77.0, 55.0, 40.0, 30.0, 20.0, 12.0, 13.0, 8.0, 11.0, 4.0, 4.0, 4.0, 4.0, 2.0, 5.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.000885140965692699, -0.000860086060129106, -0.000835031212773174, -0.0008099763072095811, -0.0007849214016459882, -0.0007598665542900562, -0.0007348116487264633, -0.0007097567431628704, -0.0006847018375992775, -0.0006596469320356846, -0.0006345920846797526, -0.0006095371791161597, -0.0005844822735525668, -0.0005594274261966348, -0.0005343725206330419, -0.000509317615069449, -0.0004842627386096865, -0.00045920786214992404, -0.00043415295658633113, -0.0004090980801265687, -0.00038404317456297576, -0.0003589882981032133, -0.0003339333925396204, -0.00030887851607985795, -0.0002838236396200955, -0.00025876876316033304, -0.00023371385759674013, -0.00020865898113697767, -0.00018360407557338476, -0.0001585491991136223, -0.00013349430810194463, -0.00010843941709026694, -8.338451152667403e-05, -5.832962051499635e-05, -3.3274733141297475e-05, -8.2198457675986e-06, 1.6835045244079083e-05, 4.188992897979915e-05, 6.694481999147683e-05, 9.199971100315452e-05, 0.0001170546020148322, 0.00014210949302650988, 0.00016716438403818756, 0.00019221927504986525, 0.0002172741515096277, 0.00024232904252130538, 0.00026738393353298306, 0.000292438839096576, 0.00031749371555633843, 0.0003425485920161009, 0.0003676034975796938, 0.00039265837403945625, 0.00041771327960304916, 0.0004427681560628116, 0.0004678230616264045, 0.0004928779089823365, 0.0005179328145459294, 0.0005429877201095223, 0.0005680425674654543, 0.0005930974730290473, 0.0006181523785926402, 0.0006432072259485722, 0.0006682621315121651, 0.000693317037075758, 0.0007183719426393509]}, "gradients/encoder.encoder.layers.17.layer_norm.bias": {"_type": "histogram", "values": [1.0, 3.0, 1.0, 3.0, 2.0, 2.0, 8.0, 5.0, 11.0, 11.0, 18.0, 28.0, 31.0, 36.0, 43.0, 48.0, 57.0, 71.0, 67.0, 68.0, 64.0, 79.0, 64.0, 55.0, 57.0, 38.0, 39.0, 18.0, 30.0, 17.0, 17.0, 5.0, 9.0, 4.0, 3.0, 4.0, 2.0, 3.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00037723779678344727, -0.00035807956010103226, -0.00033892132341861725, -0.00031976308673620224, -0.00030060485005378723, -0.0002814466133713722, -0.0002622883766889572, -0.0002431301400065422, -0.0002239719033241272, -0.0002048136666417122, -0.00018565542995929718, -0.00016649719327688217, -0.00014733895659446716, -0.00012818071991205215, -0.00010902248322963715, -8.986424654722214e-05, -7.070600986480713e-05, -5.154777318239212e-05, -3.238953649997711e-05, -1.3231299817562103e-05, 5.926936864852905e-06, 2.5085173547267914e-05, 4.424341022968292e-05, 6.340164691209793e-05, 8.255988359451294e-05, 0.00010171812027692795, 0.00012087635695934296, 0.00014003459364175797, 0.00015919283032417297, 0.00017835106700658798, 0.000197509303689003, 0.000216667540371418, 0.000235825777053833, 0.000254984013736248, 0.000274142250418663, 0.00029330048710107803, 0.00031245872378349304, 0.00033161696046590805, 0.00035077519714832306, 0.00036993343383073807, 0.0003890916705131531, 0.0004082499071955681, 0.0004274081438779831, 0.0004465663805603981, 0.0004657246172428131, 0.0004848828539252281, 0.0005040410906076431, 0.0005231993272900581, 0.0005423575639724731, 0.0005615158006548882, 0.0005806740373373032, 0.0005998322740197182, 0.0006189905107021332, 0.0006381487473845482, 0.0006573069840669632, 0.0006764652207493782, 0.0006956234574317932, 0.0007147816941142082, 0.0007339399307966232, 0.0007530981674790382, 0.0007722564041614532, 0.0007914146408438683, 0.0008105728775262833, 0.0008297311142086983, 0.0008488893508911133]}, "gradients/encoder.encoder.layers.16.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 1.0, 4.0, 9.0, 14.0, 23.0, 17.0, 28.0, 42.0, 55.0, 119.0, 9911.0, 4183917.0, 138.0, 12.0, 3.0], "bins": [-0.00678253173828125, -0.006669677793979645, -0.0065568238496780396, -0.006443969905376434, -0.006331115961074829, -0.006218262016773224, -0.006105408072471619, -0.005992554128170013, -0.005879700183868408, -0.005766846239566803, -0.005653992295265198, -0.0055411383509635925, -0.005428284406661987, -0.005315430462360382, -0.005202576518058777, -0.005089722573757172, -0.004976868629455566, -0.004864014685153961, -0.004751160740852356, -0.004638306796550751, -0.0045254528522491455, -0.00441259890794754, -0.004299744963645935, -0.00418689101934433, -0.004074037075042725, -0.003961183130741119, -0.003848329186439514, -0.003735475242137909, -0.0036226212978363037, -0.0035097673535346985, -0.0033969134092330933, -0.003284059464931488, -0.003171205520629883, -0.0030583515763282776, -0.0029454976320266724, -0.002832643687725067, -0.002719789743423462, -0.0026069357991218567, -0.0024940818548202515, -0.0023812279105186462, -0.002268373966217041, -0.002155520021915436, -0.0020426660776138306, -0.0019298121333122253, -0.0018169581890106201, -0.001704104244709015, -0.0015912503004074097, -0.0014783963561058044, -0.0013655424118041992, -0.001252688467502594, -0.0011398345232009888, -0.0010269805788993835, -0.0009141266345977783, -0.0008012726902961731, -0.0006884187459945679, -0.0005755648016929626, -0.0004627108573913574, -0.0003498569130897522, -0.00023700296878814697, -0.00012414902448654175, -1.1295080184936523e-05, 0.0001015588641166687, 0.00021441280841827393, 0.00032726675271987915, 0.0004401206970214844]}, "gradients/encoder.encoder.layers.16.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 4.0, 37.0, 335.0, 548.0, 83.0, 9.0, 3.0], "bins": [-0.0001468658447265625, -0.00014442205429077148, -0.00014197826385498047, -0.00013953447341918945, -0.00013709068298339844, -0.00013464689254760742, -0.0001322031021118164, -0.0001297593116760254, -0.00012731552124023438, -0.00012487173080444336, -0.00012242794036865234, -0.00011998414993286133, -0.00011754035949707031, -0.0001150965690612793, -0.00011265277862548828, -0.00011020898818969727, -0.00010776519775390625, -0.00010532140731811523, -0.00010287761688232422, -0.0001004338264465332, -9.799003601074219e-05, -9.554624557495117e-05, -9.310245513916016e-05, -9.065866470336914e-05, -8.821487426757812e-05, -8.577108383178711e-05, -8.33272933959961e-05, -8.088350296020508e-05, -7.843971252441406e-05, -7.599592208862305e-05, -7.355213165283203e-05, -7.110834121704102e-05, -6.866455078125e-05, -6.622076034545898e-05, -6.377696990966797e-05, -6.133317947387695e-05, -5.888938903808594e-05, -5.644559860229492e-05, -5.4001808166503906e-05, -5.155801773071289e-05, -4.9114227294921875e-05, -4.667043685913086e-05, -4.4226646423339844e-05, -4.178285598754883e-05, -3.933906555175781e-05, -3.68952751159668e-05, -3.445148468017578e-05, -3.2007694244384766e-05, -2.956390380859375e-05, -2.7120113372802734e-05, -2.467632293701172e-05, -2.2232532501220703e-05, -1.9788742065429688e-05, -1.7344951629638672e-05, -1.4901161193847656e-05, -1.245737075805664e-05, -1.0013580322265625e-05, -7.569789886474609e-06, -5.125999450683594e-06, -2.682209014892578e-06, -2.384185791015625e-07, 2.205371856689453e-06, 4.649162292480469e-06, 7.092952728271484e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.16.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 2.0, 2.0, 1.0, 2.0, 1.0, 2.0, 4.0, 9.0, 15.0, 26.0, 38.0, 67.0, 113.0, 193.0, 286.0, 514.0, 862.0, 1604.0, 2974.0, 5825.0, 11584.0, 25377.0, 77699.0, 3950378.0, 67750.0, 23780.0, 11461.0, 5952.0, 3267.0, 1871.0, 1077.0, 632.0, 370.0, 212.0, 120.0, 84.0, 53.0, 18.0, 21.0, 17.0, 9.0, 11.0, 3.0, 5.0, 1.0, 2.0, 4.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.00020194053649902344, -0.00019508786499500275, -0.00018823519349098206, -0.00018138252198696136, -0.00017452985048294067, -0.00016767717897891998, -0.0001608245074748993, -0.0001539718359708786, -0.0001471191644668579, -0.00014026649296283722, -0.00013341382145881653, -0.00012656114995479584, -0.00011970847845077515, -0.00011285580694675446, -0.00010600313544273376, -9.915046393871307e-05, -9.229779243469238e-05, -8.544512093067169e-05, -7.8592449426651e-05, -7.173977792263031e-05, -6.488710641860962e-05, -5.803443491458893e-05, -5.118176341056824e-05, -4.4329091906547546e-05, -3.7476420402526855e-05, -3.0623748898506165e-05, -2.3771077394485474e-05, -1.6918405890464783e-05, -1.0065734386444092e-05, -3.213062882423401e-06, 3.63960862159729e-06, 1.0492280125617981e-05, 1.7344951629638672e-05, 2.4197623133659363e-05, 3.1050294637680054e-05, 3.7902966141700745e-05, 4.4755637645721436e-05, 5.1608309149742126e-05, 5.846098065376282e-05, 6.531365215778351e-05, 7.21663236618042e-05, 7.901899516582489e-05, 8.587166666984558e-05, 9.272433817386627e-05, 9.957700967788696e-05, 0.00010642968118190765, 0.00011328235268592834, 0.00012013502418994904, 0.00012698769569396973, 0.00013384036719799042, 0.0001406930387020111, 0.0001475457102060318, 0.0001543983817100525, 0.00016125105321407318, 0.00016810372471809387, 0.00017495639622211456, 0.00018180906772613525, 0.00018866173923015594, 0.00019551441073417664, 0.00020236708223819733, 0.00020921975374221802, 0.0002160724252462387, 0.0002229250967502594, 0.0002297777682542801, 0.00023663043975830078]}, "gradients/encoder.encoder.layers.16.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 2.0, 0.0, 2.0, 1.0, 0.0, 2.0, 1.0, 3.0, 3.0, 6.0, 8.0, 8.0, 6.0, 9.0, 11.0, 14.0, 13.0, 33.0, 51.0, 136.0, 3419.0, 130.0, 37.0, 28.0, 21.0, 16.0, 17.0, 15.0, 12.0, 9.0, 10.0, 11.0, 7.0, 9.0, 3.0, 5.0, 8.0, 7.0, 2.0, 3.0, 2.0, 1.0, 2.0, 3.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-5.5789947509765625e-05, -5.389843136072159e-05, -5.200691521167755e-05, -5.0115399062633514e-05, -4.822388291358948e-05, -4.633236676454544e-05, -4.4440850615501404e-05, -4.254933446645737e-05, -4.065781831741333e-05, -3.876630216836929e-05, -3.6874786019325256e-05, -3.498326987028122e-05, -3.309175372123718e-05, -3.1200237572193146e-05, -2.930872142314911e-05, -2.7417205274105072e-05, -2.5525689125061035e-05, -2.3634172976016998e-05, -2.174265682697296e-05, -1.9851140677928925e-05, -1.7959624528884888e-05, -1.606810837984085e-05, -1.4176592230796814e-05, -1.2285076081752777e-05, -1.039355993270874e-05, -8.502043783664703e-06, -6.6105276346206665e-06, -4.71901148557663e-06, -2.8274953365325928e-06, -9.359791874885559e-07, 9.55536961555481e-07, 2.847053110599518e-06, 4.738569259643555e-06, 6.6300854086875916e-06, 8.521601557731628e-06, 1.0413117706775665e-05, 1.2304633855819702e-05, 1.4196150004863739e-05, 1.6087666153907776e-05, 1.7979182302951813e-05, 1.987069845199585e-05, 2.1762214601039886e-05, 2.3653730750083923e-05, 2.554524689912796e-05, 2.7436763048171997e-05, 2.9328279197216034e-05, 3.121979534626007e-05, 3.311131149530411e-05, 3.5002827644348145e-05, 3.689434379339218e-05, 3.878585994243622e-05, 4.0677376091480255e-05, 4.256889224052429e-05, 4.446040838956833e-05, 4.6351924538612366e-05, 4.82434406876564e-05, 5.013495683670044e-05, 5.2026472985744476e-05, 5.391798913478851e-05, 5.580950528383255e-05, 5.770102143287659e-05, 5.9592537581920624e-05, 6.148405373096466e-05, 6.33755698800087e-05, 6.526708602905273e-05]}, "gradients/encoder.encoder.layers.16.final_layer_norm.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 3.0, 1.0, 2.0, 1.0, 4.0, 3.0, 9.0, 10.0, 14.0, 11.0, 28.0, 40.0, 52.0, 85.0, 230.0, 143.0, 83.0, 77.0, 52.0, 37.0, 25.0, 17.0, 18.0, 16.0, 9.0, 4.0, 13.0, 4.0, 4.0, 3.0, 2.0, 3.0, 3.0, 2.0, 2.0, 1.0, 0.0, 0.0, 2.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.00035732201649807394, -0.0003434424288570881, -0.00032956284121610224, -0.0003156832535751164, -0.0003018036368303001, -0.0002879240782931447, -0.0002740444615483284, -0.00026016487390734255, -0.0002462852862663567, -0.00023240569862537086, -0.00021852611098438501, -0.00020464650879148394, -0.0001907669211504981, -0.00017688733350951225, -0.00016300773131661117, -0.00014912814367562532, -0.00013524855603463948, -0.00012136896839365363, -0.00010748937347671017, -9.360977855976671e-05, -7.973019091878086e-05, -6.585060327779502e-05, -5.1971008360851556e-05, -3.8091413443908095e-05, -2.421182580292225e-05, -1.0332234523957595e-05, 3.5473567550070584e-06, 1.7426948033971712e-05, 3.1306539312936366e-05, 4.518612695392221e-05, 5.906572187086567e-05, 7.294531678780913e-05, 8.682487532496452e-05, 0.00010070446296595037, 0.00011458405788289383, 0.0001284636527998373, 0.00014234324044082314, 0.00015622282808180898, 0.00017010243027471006, 0.0001839820179156959, 0.00019786160555668175, 0.0002117411931976676, 0.00022562078083865345, 0.00023950038303155452, 0.0002533799852244556, 0.000267259543761611, 0.0002811391605064273, 0.00029501874814741313, 0.000308898335788399, 0.00032277792342938483, 0.0003366575110703707, 0.0003505370987113565, 0.00036441668635234237, 0.00037829630309715867, 0.0003921758907381445, 0.00040605547837913036, 0.0004199350660201162, 0.00043381465366110206, 0.0004476942413020879, 0.00046157382894307375, 0.00047545344568789005, 0.0004893330042250454, 0.0005032126209698617, 0.0005170921795070171, 0.0005309717962518334]}, "gradients/encoder.encoder.layers.16.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 2.0, 7.0, 7.0, 10.0, 2.0, 6.0, 10.0, 13.0, 12.0, 14.0, 26.0, 27.0, 36.0, 27.0, 42.0, 43.0, 40.0, 51.0, 52.0, 47.0, 52.0, 55.0, 44.0, 50.0, 47.0, 39.0, 40.0, 30.0, 30.0, 32.0, 18.0, 22.0, 16.0, 14.0, 16.0, 5.0, 7.0, 3.0, 8.0, 4.0, 4.0, 4.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0002511143684387207, -0.00024292990565299988, -0.00023474544286727905, -0.00022656098008155823, -0.0002183765172958374, -0.00021019205451011658, -0.00020200759172439575, -0.00019382312893867493, -0.0001856386661529541, -0.00017745420336723328, -0.00016926974058151245, -0.00016108527779579163, -0.0001529008150100708, -0.00014471635222434998, -0.00013653188943862915, -0.00012834742665290833, -0.0001201629638671875, -0.00011197850108146667, -0.00010379403829574585, -9.560957551002502e-05, -8.74251127243042e-05, -7.924064993858337e-05, -7.105618715286255e-05, -6.287172436714172e-05, -5.46872615814209e-05, -4.650279879570007e-05, -3.831833600997925e-05, -3.0133873224258423e-05, -2.1949410438537598e-05, -1.3764947652816772e-05, -5.580484867095947e-06, 2.603977918624878e-06, 1.0788440704345703e-05, 1.897290349006653e-05, 2.7157366275787354e-05, 3.534182906150818e-05, 4.3526291847229004e-05, 5.171075463294983e-05, 5.9895217418670654e-05, 6.807968020439148e-05, 7.62641429901123e-05, 8.444860577583313e-05, 9.263306856155396e-05, 0.00010081753134727478, 0.0001090019941329956, 0.00011718645691871643, 0.00012537091970443726, 0.00013355538249015808, 0.0001417398452758789, 0.00014992430806159973, 0.00015810877084732056, 0.00016629323363304138, 0.0001744776964187622, 0.00018266215920448303, 0.00019084662199020386, 0.00019903108477592468, 0.0002072155475616455, 0.00021540001034736633, 0.00022358447313308716, 0.00023176893591880798, 0.0002399533987045288, 0.00024813786149024963, 0.00025632232427597046, 0.0002645067870616913, 0.0002726912498474121]}, "gradients/encoder.encoder.layers.16.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 3.0, 0.0, 0.0, 1.0, 2.0, 5.0, 2.0, 3.0, 2.0, 7.0, 1.0, 12.0, 7.0, 10.0, 6.0, 15.0, 12.0, 17.0, 20.0, 23.0, 21.0, 33.0, 24.0, 34.0, 31.0, 38.0, 36.0, 51.0, 122.0, 1923.0, 1024100.0, 21276.0, 314.0, 49.0, 37.0, 27.0, 32.0, 32.0, 34.0, 21.0, 22.0, 22.0, 20.0, 21.0, 14.0, 11.0, 12.0, 18.0, 15.0, 6.0, 3.0, 8.0, 3.0, 4.0, 2.0, 5.0, 2.0, 1.0, 0.0, 2.0], "bins": [-0.0010528564453125, -0.0010225176811218262, -0.0009921789169311523, -0.0009618401527404785, -0.0009315013885498047, -0.0009011626243591309, -0.000870823860168457, -0.0008404850959777832, -0.0008101463317871094, -0.0007798075675964355, -0.0007494688034057617, -0.0007191300392150879, -0.0006887912750244141, -0.0006584525108337402, -0.0006281137466430664, -0.0005977749824523926, -0.0005674362182617188, -0.0005370974540710449, -0.0005067586898803711, -0.00047641992568969727, -0.00044608116149902344, -0.0004157423973083496, -0.0003854036331176758, -0.00035506486892700195, -0.0003247261047363281, -0.0002943873405456543, -0.00026404857635498047, -0.00023370981216430664, -0.0002033710479736328, -0.00017303228378295898, -0.00014269351959228516, -0.00011235475540161133, -8.20159912109375e-05, -5.167722702026367e-05, -2.1338462829589844e-05, 9.000301361083984e-06, 3.933906555175781e-05, 6.967782974243164e-05, 0.00010001659393310547, 0.0001303553581237793, 0.00016069412231445312, 0.00019103288650512695, 0.00022137165069580078, 0.0002517104148864746, 0.00028204917907714844, 0.00031238794326782227, 0.0003427267074584961, 0.0003730654716491699, 0.00040340423583984375, 0.0004337430000305176, 0.0004640817642211914, 0.0004944205284118652, 0.0005247592926025391, 0.0005550980567932129, 0.0005854368209838867, 0.0006157755851745605, 0.0006461143493652344, 0.0006764531135559082, 0.000706791877746582, 0.0007371306419372559, 0.0007674694061279297, 0.0007978081703186035, 0.0008281469345092773, 0.0008584856986999512, 0.000888824462890625]}, "gradients/encoder.encoder.layers.16.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 4.0, 47.0, 364.0, 511.0, 82.0, 8.0, 3.0], "bins": [-0.00014519691467285156, -0.00014277920126914978, -0.000140361487865448, -0.00013794377446174622, -0.00013552606105804443, -0.00013310834765434265, -0.00013069063425064087, -0.0001282729208469391, -0.0001258552074432373, -0.00012343749403953552, -0.00012101978063583374, -0.00011860206723213196, -0.00011618435382843018, -0.0001137666404247284, -0.00011134892702102661, -0.00010893121361732483, -0.00010651350021362305, -0.00010409578680992126, -0.00010167807340621948, -9.92603600025177e-05, -9.684264659881592e-05, -9.442493319511414e-05, -9.200721979141235e-05, -8.958950638771057e-05, -8.717179298400879e-05, -8.475407958030701e-05, -8.233636617660522e-05, -7.991865277290344e-05, -7.750093936920166e-05, -7.508322596549988e-05, -7.26655125617981e-05, -7.024779915809631e-05, -6.783008575439453e-05, -6.541237235069275e-05, -6.299465894699097e-05, -6.0576945543289185e-05, -5.81592321395874e-05, -5.574151873588562e-05, -5.332380533218384e-05, -5.0906091928482056e-05, -4.8488378524780273e-05, -4.607066512107849e-05, -4.365295171737671e-05, -4.123523831367493e-05, -3.8817524909973145e-05, -3.639981150627136e-05, -3.398209810256958e-05, -3.15643846988678e-05, -2.9146671295166016e-05, -2.6728957891464233e-05, -2.431124448776245e-05, -2.189353108406067e-05, -1.9475817680358887e-05, -1.7058104276657104e-05, -1.4640390872955322e-05, -1.222267746925354e-05, -9.804964065551758e-06, -7.387250661849976e-06, -4.969537258148193e-06, -2.551823854446411e-06, -1.341104507446289e-07, 2.2836029529571533e-06, 4.7013163566589355e-06, 7.119029760360718e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.16.attention.v_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 3.0, 2.0, 1.0, 3.0, 4.0, 4.0, 10.0, 10.0, 14.0, 15.0, 18.0, 19.0, 22.0, 44.0, 59.0, 84.0, 114.0, 192.0, 331.0, 548.0, 873.0, 1372.0, 2248.0, 3280.0, 5125.0, 7791.0, 11889.0, 16986.0, 26849.0, 895176.0, 25954.0, 16537.0, 11534.0, 7785.0, 4962.0, 3176.0, 2105.0, 1254.0, 823.0, 484.0, 297.0, 176.0, 94.0, 80.0, 54.0, 35.0, 26.0, 27.0, 14.0, 15.0, 12.0, 13.0, 9.0, 4.0, 6.0, 4.0, 2.0, 1.0, 3.0, 2.0], "bins": [-0.00017189979553222656, -0.00016676262021064758, -0.0001616254448890686, -0.00015648826956748962, -0.00015135109424591064, -0.00014621391892433167, -0.00014107674360275269, -0.0001359395682811737, -0.00013080239295959473, -0.00012566521763801575, -0.00012052804231643677, -0.00011539086699485779, -0.00011025369167327881, -0.00010511651635169983, -9.997934103012085e-05, -9.484216570854187e-05, -8.970499038696289e-05, -8.456781506538391e-05, -7.943063974380493e-05, -7.429346442222595e-05, -6.915628910064697e-05, -6.401911377906799e-05, -5.8881938457489014e-05, -5.3744763135910034e-05, -4.8607587814331055e-05, -4.3470412492752075e-05, -3.8333237171173096e-05, -3.3196061849594116e-05, -2.8058886528015137e-05, -2.2921711206436157e-05, -1.7784535884857178e-05, -1.2647360563278198e-05, -7.510185241699219e-06, -2.3730099201202393e-06, 2.7641654014587402e-06, 7.90134072303772e-06, 1.30385160446167e-05, 1.817569136619568e-05, 2.3312866687774658e-05, 2.8450042009353638e-05, 3.358721733093262e-05, 3.87243926525116e-05, 4.3861567974090576e-05, 4.8998743295669556e-05, 5.4135918617248535e-05, 5.9273093938827515e-05, 6.44102692604065e-05, 6.954744458198547e-05, 7.468461990356445e-05, 7.982179522514343e-05, 8.495897054672241e-05, 9.009614586830139e-05, 9.523332118988037e-05, 0.00010037049651145935, 0.00010550767183303833, 0.00011064484715461731, 0.00011578202247619629, 0.00012091919779777527, 0.00012605637311935425, 0.00013119354844093323, 0.0001363307237625122, 0.0001414678990840912, 0.00014660507440567017, 0.00015174224972724915, 0.00015687942504882812]}, "gradients/encoder.encoder.layers.16.attention.v_proj.bias": {"_type": "histogram", "values": [2.0, 2.0, 1.0, 2.0, 2.0, 3.0, 0.0, 4.0, 4.0, 6.0, 8.0, 4.0, 7.0, 5.0, 4.0, 10.0, 1.0, 3.0, 3.0, 3.0, 5.0, 2.0, 2.0, 3.0, 3.0, 4.0, 5.0, 4.0, 3.0, 7.0, 822.0, 9.0, 1.0, 3.0, 4.0, 3.0, 1.0, 2.0, 1.0, 5.0, 3.0, 4.0, 4.0, 1.0, 2.0, 3.0, 6.0, 0.0, 3.0, 5.0, 5.0, 6.0, 4.0, 2.0, 2.0, 1.0, 2.0, 1.0, 2.0, 3.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.00010311603546142578, -9.973905980587006e-05, -9.636208415031433e-05, -9.29851084947586e-05, -8.960813283920288e-05, -8.623115718364716e-05, -8.285418152809143e-05, -7.94772058725357e-05, -7.610023021697998e-05, -7.272325456142426e-05, -6.934627890586853e-05, -6.59693032503128e-05, -6.259232759475708e-05, -5.9215351939201355e-05, -5.583837628364563e-05, -5.2461400628089905e-05, -4.908442497253418e-05, -4.5707449316978455e-05, -4.233047366142273e-05, -3.8953498005867004e-05, -3.557652235031128e-05, -3.2199546694755554e-05, -2.882257103919983e-05, -2.5445595383644104e-05, -2.206861972808838e-05, -1.8691644072532654e-05, -1.531466841697693e-05, -1.1937692761421204e-05, -8.560717105865479e-06, -5.183741450309753e-06, -1.8067657947540283e-06, 1.5702098608016968e-06, 4.947185516357422e-06, 8.324161171913147e-06, 1.1701136827468872e-05, 1.5078112483024597e-05, 1.8455088138580322e-05, 2.1832063794136047e-05, 2.5209039449691772e-05, 2.8586015105247498e-05, 3.196299076080322e-05, 3.533996641635895e-05, 3.871694207191467e-05, 4.20939177274704e-05, 4.547089338302612e-05, 4.884786903858185e-05, 5.222484469413757e-05, 5.56018203496933e-05, 5.8978796005249023e-05, 6.235577166080475e-05, 6.573274731636047e-05, 6.91097229719162e-05, 7.248669862747192e-05, 7.586367428302765e-05, 7.924064993858337e-05, 8.26176255941391e-05, 8.599460124969482e-05, 8.937157690525055e-05, 9.274855256080627e-05, 9.6125528216362e-05, 9.950250387191772e-05, 0.00010287947952747345, 0.00010625645518302917, 0.0001096334308385849, 0.00011301040649414062]}, "gradients/encoder.encoder.layers.16.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 3.0, 1.0, 3.0, 2.0, 9.0, 4.0, 7.0, 7.0, 9.0, 7.0, 7.0, 14.0, 24.0, 23.0, 34.0, 54.0, 74.0, 94.0, 235.0, 107.0, 69.0, 62.0, 33.0, 34.0, 20.0, 20.0, 17.0, 11.0, 5.0, 9.0, 8.0, 2.0, 1.0, 2.0, 1.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0], "bins": [-0.0009428668417967856, -0.0009176761377602816, -0.0008924854919314384, -0.0008672947878949344, -0.0008421040838584304, -0.0008169134380295873, -0.0007917227339930832, -0.0007665320299565792, -0.0007413413841277361, -0.0007161506800912321, -0.0006909600342623889, -0.0006657693302258849, -0.0006405786261893809, -0.0006153879221528769, -0.0005901972763240337, -0.0005650065722875297, -0.0005398158682510257, -0.0005146251642145216, -0.0004894345183856785, -0.0004642438143491745, -0.00043905311031267047, -0.0004138624353799969, -0.0003886717604473233, -0.0003634810564108193, -0.0003382903814781457, -0.00031309970654547215, -0.0002879090025089681, -0.00026271832757629454, -0.00023752763809170574, -0.00021233694860711694, -0.00018714627367444336, -0.00016195558418985456, -0.00013676483649760485, -0.00011157414701301605, -8.638346480438486e-05, -6.119278259575367e-05, -3.600209311116487e-05, -1.0811403626576066e-05, 1.4379271306097507e-05, 3.956996079068631e-05, 6.476065027527511e-05, 8.995133975986391e-05, 0.0001151420219684951, 0.0001403327041771263, 0.0001655233936617151, 0.0001907140831463039, 0.00021590475807897747, 0.00024109544756356627, 0.00026628613704815507, 0.00029147681198082864, 0.0003166675160173327, 0.00034185819095000625, 0.0003670488949865103, 0.00039223956991918385, 0.0004174302448518574, 0.00044262094888836145, 0.00046781162382103503, 0.0004930022987537086, 0.0005181930027902126, 0.0005433836486190557, 0.0005685743526555598, 0.0005937650566920638, 0.0006189557025209069, 0.000644146406557411, 0.000669337110593915]}, "gradients/encoder.encoder.layers.16.layer_norm.bias": {"_type": "histogram", "values": [2.0, 2.0, 1.0, 3.0, 2.0, 1.0, 6.0, 10.0, 12.0, 16.0, 26.0, 38.0, 40.0, 35.0, 63.0, 51.0, 53.0, 66.0, 92.0, 70.0, 57.0, 82.0, 68.0, 50.0, 44.0, 43.0, 22.0, 24.0, 11.0, 13.0, 7.0, 8.0, 1.0, 0.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0004526376724243164, -0.0004287026822566986, -0.0004047676920890808, -0.000380832701921463, -0.0003568977117538452, -0.0003329627215862274, -0.0003090277314186096, -0.0002850927412509918, -0.000261157751083374, -0.00023722276091575623, -0.00021328777074813843, -0.00018935278058052063, -0.00016541779041290283, -0.00014148280024528503, -0.00011754781007766724, -9.361281991004944e-05, -6.967782974243164e-05, -4.574283957481384e-05, -2.1807849407196045e-05, 2.127140760421753e-06, 2.606213092803955e-05, 4.999712109565735e-05, 7.393211126327515e-05, 9.786710143089294e-05, 0.00012180209159851074, 0.00014573708176612854, 0.00016967207193374634, 0.00019360706210136414, 0.00021754205226898193, 0.00024147704243659973, 0.00026541203260421753, 0.00028934702277183533, 0.0003132820129394531, 0.0003372170031070709, 0.0003611519932746887, 0.0003850869834423065, 0.0004090219736099243, 0.0004329569637775421, 0.0004568919539451599, 0.0004808269441127777, 0.0005047619342803955, 0.0005286969244480133, 0.0005526319146156311, 0.0005765669047832489, 0.0006005018949508667, 0.0006244368851184845, 0.0006483718752861023, 0.0006723068654537201, 0.0006962418556213379, 0.0007201768457889557, 0.0007441118359565735, 0.0007680468261241913, 0.0007919818162918091, 0.0008159168064594269, 0.0008398517966270447, 0.0008637867867946625, 0.0008877217769622803, 0.0009116567671298981, 0.0009355917572975159, 0.0009595267474651337, 0.0009834617376327515, 0.0010073967278003693, 0.001031331717967987, 0.0010552667081356049, 0.0010792016983032227]}, "gradients/encoder.encoder.layers.15.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 2.0, 2.0, 2.0, 4.0, 6.0, 7.0, 6.0, 11.0, 15.0, 21.0, 23.0, 30.0, 33.0, 28.0, 48.0, 184.0, 42034.0, 4151664.0, 161.0, 12.0, 4.0], "bins": [-0.0034046173095703125, -0.0033479202538728714, -0.0032912231981754303, -0.003234526142477989, -0.003177829086780548, -0.003121132031083107, -0.003064434975385666, -0.003007737919688225, -0.0029510408639907837, -0.0028943438082933426, -0.0028376467525959015, -0.0027809496968984604, -0.0027242526412010193, -0.002667555585503578, -0.002610858529806137, -0.002554161474108696, -0.002497464418411255, -0.0024407673627138138, -0.0023840703070163727, -0.0023273732513189316, -0.0022706761956214905, -0.0022139791399240494, -0.0021572820842266083, -0.002100585028529167, -0.002043887972831726, -0.001987190917134285, -0.0019304938614368439, -0.0018737968057394028, -0.0018170997500419617, -0.0017604026943445206, -0.0017037056386470795, -0.0016470085829496384, -0.0015903115272521973, -0.0015336144715547562, -0.001476917415857315, -0.001420220360159874, -0.0013635233044624329, -0.0013068262487649918, -0.0012501291930675507, -0.0011934321373701096, -0.0011367350816726685, -0.0010800380259752274, -0.0010233409702777863, -0.0009666439145803452, -0.000909946858882904, -0.000853249803185463, -0.0007965527474880219, -0.0007398556917905807, -0.0006831586360931396, -0.0006264615803956985, -0.0005697645246982574, -0.0005130674690008163, -0.00045637041330337524, -0.00039967335760593414, -0.00034297630190849304, -0.00028627924621105194, -0.00022958219051361084, -0.00017288513481616974, -0.00011618807911872864, -5.949102342128754e-05, -2.7939677238464355e-06, 5.3903087973594666e-05, 0.00011060014367103577, 0.00016729719936847687, 0.00022399425506591797]}, "gradients/encoder.encoder.layers.15.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 4.0, 47.0, 364.0, 511.0, 82.0, 8.0, 3.0], "bins": [-0.00014519691467285156, -0.00014277920126914978, -0.000140361487865448, -0.00013794377446174622, -0.00013552606105804443, -0.00013310834765434265, -0.00013069063425064087, -0.0001282729208469391, -0.0001258552074432373, -0.00012343749403953552, -0.00012101978063583374, -0.00011860206723213196, -0.00011618435382843018, -0.0001137666404247284, -0.00011134892702102661, -0.00010893121361732483, -0.00010651350021362305, -0.00010409578680992126, -0.00010167807340621948, -9.92603600025177e-05, -9.684264659881592e-05, -9.442493319511414e-05, -9.200721979141235e-05, -8.958950638771057e-05, -8.717179298400879e-05, -8.475407958030701e-05, -8.233636617660522e-05, -7.991865277290344e-05, -7.750093936920166e-05, -7.508322596549988e-05, -7.26655125617981e-05, -7.024779915809631e-05, -6.783008575439453e-05, -6.541237235069275e-05, -6.299465894699097e-05, -6.0576945543289185e-05, -5.81592321395874e-05, -5.574151873588562e-05, -5.332380533218384e-05, -5.0906091928482056e-05, -4.8488378524780273e-05, -4.607066512107849e-05, -4.365295171737671e-05, -4.123523831367493e-05, -3.8817524909973145e-05, -3.639981150627136e-05, -3.398209810256958e-05, -3.15643846988678e-05, -2.9146671295166016e-05, -2.6728957891464233e-05, -2.431124448776245e-05, -2.189353108406067e-05, -1.9475817680358887e-05, -1.7058104276657104e-05, -1.4640390872955322e-05, -1.222267746925354e-05, -9.804964065551758e-06, -7.387250661849976e-06, -4.969537258148193e-06, -2.551823854446411e-06, -1.341104507446289e-07, 2.2836029529571533e-06, 4.7013163566589355e-06, 7.119029760360718e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.15.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 4.0, 3.0, 8.0, 16.0, 9.0, 21.0, 31.0, 49.0, 73.0, 132.0, 215.0, 370.0, 714.0, 1380.0, 3006.0, 6124.0, 14107.0, 37656.0, 3700585.0, 368807.0, 35803.0, 13473.0, 5776.0, 2842.0, 1406.0, 775.0, 376.0, 193.0, 104.0, 77.0, 54.0, 25.0, 29.0, 16.0, 12.0, 9.0, 5.0, 5.0, 3.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00019609928131103516, -0.00018933042883872986, -0.00018256157636642456, -0.00017579272389411926, -0.00016902387142181396, -0.00016225501894950867, -0.00015548616647720337, -0.00014871731400489807, -0.00014194846153259277, -0.00013517960906028748, -0.00012841075658798218, -0.00012164190411567688, -0.00011487305164337158, -0.00010810419917106628, -0.00010133534669876099, -9.456649422645569e-05, -8.779764175415039e-05, -8.102878928184509e-05, -7.42599368095398e-05, -6.74910843372345e-05, -6.07222318649292e-05, -5.39533793926239e-05, -4.7184526920318604e-05, -4.0415674448013306e-05, -3.364682197570801e-05, -2.687796950340271e-05, -2.0109117031097412e-05, -1.3340264558792114e-05, -6.571412086486816e-06, 1.9744038581848145e-07, 6.966292858123779e-06, 1.3735145330429077e-05, 2.0503997802734375e-05, 2.7272850275039673e-05, 3.404170274734497e-05, 4.081055521965027e-05, 4.7579407691955566e-05, 5.4348260164260864e-05, 6.111711263656616e-05, 6.788596510887146e-05, 7.465481758117676e-05, 8.142367005348206e-05, 8.819252252578735e-05, 9.496137499809265e-05, 0.00010173022747039795, 0.00010849907994270325, 0.00011526793241500854, 0.00012203678488731384, 0.00012880563735961914, 0.00013557448983192444, 0.00014234334230422974, 0.00014911219477653503, 0.00015588104724884033, 0.00016264989972114563, 0.00016941875219345093, 0.00017618760466575623, 0.00018295645713806152, 0.00018972530961036682, 0.00019649416208267212, 0.00020326301455497742, 0.00021003186702728271, 0.000216800719499588, 0.0002235695719718933, 0.0002303384244441986, 0.0002371072769165039]}, "gradients/encoder.encoder.layers.15.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 0.0, 5.0, 2.0, 3.0, 1.0, 3.0, 3.0, 15.0, 12.0, 8.0, 11.0, 14.0, 29.0, 16.0, 23.0, 79.0, 3290.0, 337.0, 73.0, 30.0, 27.0, 22.0, 13.0, 15.0, 12.0, 6.0, 7.0, 4.0, 3.0, 7.0, 5.0, 6.0, 3.0, 2.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-6.908178329467773e-05, -6.669759750366211e-05, -6.431341171264648e-05, -6.192922592163086e-05, -5.9545040130615234e-05, -5.716085433959961e-05, -5.4776668548583984e-05, -5.239248275756836e-05, -5.0008296966552734e-05, -4.762411117553711e-05, -4.5239925384521484e-05, -4.285573959350586e-05, -4.0471553802490234e-05, -3.808736801147461e-05, -3.5703182220458984e-05, -3.331899642944336e-05, -3.0934810638427734e-05, -2.855062484741211e-05, -2.6166439056396484e-05, -2.378225326538086e-05, -2.1398067474365234e-05, -1.901388168334961e-05, -1.6629695892333984e-05, -1.424551010131836e-05, -1.1861324310302734e-05, -9.47713851928711e-06, -7.092952728271484e-06, -4.708766937255859e-06, -2.3245811462402344e-06, 5.960464477539063e-08, 2.4437904357910156e-06, 4.827976226806641e-06, 7.212162017822266e-06, 9.59634780883789e-06, 1.1980533599853516e-05, 1.436471939086914e-05, 1.6748905181884766e-05, 1.913309097290039e-05, 2.1517276763916016e-05, 2.390146255493164e-05, 2.6285648345947266e-05, 2.866983413696289e-05, 3.1054019927978516e-05, 3.343820571899414e-05, 3.5822391510009766e-05, 3.820657730102539e-05, 4.0590763092041016e-05, 4.297494888305664e-05, 4.5359134674072266e-05, 4.774332046508789e-05, 5.0127506256103516e-05, 5.251169204711914e-05, 5.4895877838134766e-05, 5.728006362915039e-05, 5.9664249420166016e-05, 6.204843521118164e-05, 6.443262100219727e-05, 6.681680679321289e-05, 6.920099258422852e-05, 7.158517837524414e-05, 7.396936416625977e-05, 7.635354995727539e-05, 7.873773574829102e-05, 8.112192153930664e-05, 8.350610733032227e-05]}, "gradients/encoder.encoder.layers.15.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 2.0, 3.0, 4.0, 9.0, 6.0, 10.0, 23.0, 26.0, 31.0, 49.0, 51.0, 133.0, 247.0, 135.0, 79.0, 45.0, 42.0, 30.0, 26.0, 14.0, 8.0, 6.0, 7.0, 6.0, 4.0, 6.0, 2.0, 6.0, 1.0, 0.0, 1.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.00036246958188712597, -0.00035198344266973436, -0.0003414972743485123, -0.0003310111351311207, -0.00032052499591372907, -0.00031003885669633746, -0.0002995526883751154, -0.0002890665491577238, -0.0002785804099403322, -0.00026809427072294056, -0.0002576081024017185, -0.0002471219631843269, -0.00023663582396693528, -0.00022614967019762844, -0.0002156635164283216, -0.00020517737721093, -0.00019469122344162315, -0.0001842050696723163, -0.0001737189304549247, -0.00016323277668561786, -0.00015274663746822625, -0.00014226048369891942, -0.0001317743444815278, -0.00012128819071222097, -0.00011080204421887174, -0.00010031589772552252, -8.98297512321733e-05, -7.934360473882407e-05, -6.885745096951723e-05, -5.8371308114146814e-05, -4.788515798281878e-05, -3.739901148946956e-05, -2.6912864996120334e-05, -1.642671850277111e-05, -5.9405701904324815e-06, 4.545578121906146e-06, 1.503172461525537e-05, 2.5517871108604595e-05, 3.6004021239932626e-05, 4.649016773328185e-05, 5.6976314226631075e-05, 6.74624607199803e-05, 7.794860721332952e-05, 8.843475370667875e-05, 9.892090747598559e-05, 0.0001094070466933772, 0.00011989320046268404, 0.00013037933968007565, 0.00014086549344938248, 0.00015135164721868932, 0.00016183778643608093, 0.00017232394020538777, 0.00018281007942277938, 0.00019329623319208622, 0.00020378237240947783, 0.00021426852617878467, 0.0002247546799480915, 0.00023524083371739835, 0.0002457269874867052, 0.0002562131267040968, 0.0002666992659214884, 0.00027718540513888, 0.0002876715734601021, 0.0002981577126774937, 0.0003086438518948853]}, "gradients/encoder.encoder.layers.15.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 3.0, 2.0, 4.0, 3.0, 4.0, 4.0, 12.0, 7.0, 17.0, 32.0, 22.0, 20.0, 29.0, 42.0, 52.0, 44.0, 53.0, 67.0, 69.0, 69.0, 64.0, 69.0, 50.0, 45.0, 46.0, 33.0, 31.0, 30.0, 12.0, 17.0, 17.0, 12.0, 14.0, 10.0, 4.0, 4.0, 4.0, 5.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00015544891357421875, -0.00014858320355415344, -0.00014171749353408813, -0.00013485178351402283, -0.00012798607349395752, -0.00012112036347389221, -0.0001142546534538269, -0.0001073889434337616, -0.00010052323341369629, -9.365752339363098e-05, -8.679181337356567e-05, -7.992610335350037e-05, -7.306039333343506e-05, -6.619468331336975e-05, -5.932897329330444e-05, -5.2463263273239136e-05, -4.559755325317383e-05, -3.873184323310852e-05, -3.186613321304321e-05, -2.5000423192977905e-05, -1.8134713172912598e-05, -1.126900315284729e-05, -4.403293132781982e-06, 2.462416887283325e-06, 9.328126907348633e-06, 1.619383692741394e-05, 2.3059546947479248e-05, 2.9925256967544556e-05, 3.679096698760986e-05, 4.365667700767517e-05, 5.052238702774048e-05, 5.7388097047805786e-05, 6.42538070678711e-05, 7.11195170879364e-05, 7.798522710800171e-05, 8.485093712806702e-05, 9.171664714813232e-05, 9.858235716819763e-05, 0.00010544806718826294, 0.00011231377720832825, 0.00011917948722839355, 0.00012604519724845886, 0.00013291090726852417, 0.00013977661728858948, 0.00014664232730865479, 0.0001535080373287201, 0.0001603737473487854, 0.0001672394573688507, 0.00017410516738891602, 0.00018097087740898132, 0.00018783658742904663, 0.00019470229744911194, 0.00020156800746917725, 0.00020843371748924255, 0.00021529942750930786, 0.00022216513752937317, 0.00022903084754943848, 0.00023589655756950378, 0.0002427622675895691, 0.0002496279776096344, 0.0002564936876296997, 0.000263359397649765, 0.0002702251076698303, 0.00027709081768989563, 0.00028395652770996094]}, "gradients/encoder.encoder.layers.15.attention.out_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 1.0, 0.0, 4.0, 3.0, 3.0, 6.0, 6.0, 10.0, 17.0, 13.0, 13.0, 15.0, 21.0, 29.0, 19.0, 26.0, 34.0, 30.0, 39.0, 42.0, 44.0, 64.0, 479.0, 289381.0, 757268.0, 542.0, 73.0, 37.0, 32.0, 44.0, 30.0, 42.0, 27.0, 27.0, 29.0, 23.0, 17.0, 20.0, 13.0, 8.0, 9.0, 5.0, 3.0, 6.0, 4.0, 2.0, 3.0, 2.0, 1.0, 3.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.000736236572265625, -0.0007089972496032715, -0.000681757926940918, -0.0006545186042785645, -0.0006272792816162109, -0.0006000399589538574, -0.0005728006362915039, -0.0005455613136291504, -0.0005183219909667969, -0.0004910826683044434, -0.00046384334564208984, -0.00043660402297973633, -0.0004093647003173828, -0.0003821253776550293, -0.0003548860549926758, -0.00032764673233032227, -0.00030040740966796875, -0.00027316808700561523, -0.0002459287643432617, -0.0002186894416809082, -0.0001914501190185547, -0.00016421079635620117, -0.00013697147369384766, -0.00010973215103149414, -8.249282836914062e-05, -5.525350570678711e-05, -2.8014183044433594e-05, -7.748603820800781e-07, 2.6464462280273438e-05, 5.370378494262695e-05, 8.094310760498047e-05, 0.00010818243026733398, 0.0001354217529296875, 0.00016266107559204102, 0.00018990039825439453, 0.00021713972091674805, 0.00024437904357910156, 0.0002716183662414551, 0.0002988576889038086, 0.0003260970115661621, 0.0003533363342285156, 0.00038057565689086914, 0.00040781497955322266, 0.00043505430221557617, 0.0004622936248779297, 0.0004895329475402832, 0.0005167722702026367, 0.0005440115928649902, 0.0005712509155273438, 0.0005984902381896973, 0.0006257295608520508, 0.0006529688835144043, 0.0006802082061767578, 0.0007074475288391113, 0.0007346868515014648, 0.0007619261741638184, 0.0007891654968261719, 0.0008164048194885254, 0.0008436441421508789, 0.0008708834648132324, 0.0008981227874755859, 0.0009253621101379395, 0.000952601432800293, 0.0009798407554626465, 0.001007080078125]}, "gradients/encoder.encoder.layers.15.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 8.0, 59.0, 431.0, 439.0, 71.0, 8.0, 3.0], "bins": [-0.00014281272888183594, -0.00014043226838111877, -0.0001380518078804016, -0.00013567134737968445, -0.00013329088687896729, -0.00013091042637825012, -0.00012852996587753296, -0.0001261495053768158, -0.00012376904487609863, -0.00012138858437538147, -0.0001190081238746643, -0.00011662766337394714, -0.00011424720287322998, -0.00011186674237251282, -0.00010948628187179565, -0.00010710582137107849, -0.00010472536087036133, -0.00010234490036964417, -9.9964439868927e-05, -9.758397936820984e-05, -9.520351886749268e-05, -9.282305836677551e-05, -9.044259786605835e-05, -8.806213736534119e-05, -8.568167686462402e-05, -8.330121636390686e-05, -8.09207558631897e-05, -7.854029536247253e-05, -7.615983486175537e-05, -7.377937436103821e-05, -7.139891386032104e-05, -6.901845335960388e-05, -6.663799285888672e-05, -6.425753235816956e-05, -6.187707185745239e-05, -5.949661135673523e-05, -5.7116150856018066e-05, -5.47356903553009e-05, -5.235522985458374e-05, -4.997476935386658e-05, -4.7594308853149414e-05, -4.521384835243225e-05, -4.283338785171509e-05, -4.0452927350997925e-05, -3.807246685028076e-05, -3.56920063495636e-05, -3.3311545848846436e-05, -3.093108534812927e-05, -2.855062484741211e-05, -2.6170164346694946e-05, -2.3789703845977783e-05, -2.140924334526062e-05, -1.9028782844543457e-05, -1.6648322343826294e-05, -1.4267861843109131e-05, -1.1887401342391968e-05, -9.506940841674805e-06, -7.126480340957642e-06, -4.7460198402404785e-06, -2.3655593395233154e-06, 1.4901161193847656e-08, 2.3953616619110107e-06, 4.775822162628174e-06, 7.156282663345337e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.15.attention.v_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 6.0, 4.0, 7.0, 0.0, 5.0, 7.0, 15.0, 21.0, 14.0, 21.0, 36.0, 69.0, 67.0, 108.0, 196.0, 242.0, 405.0, 673.0, 1077.0, 1518.0, 2374.0, 3352.0, 4733.0, 7139.0, 10130.0, 14456.0, 23327.0, 906333.0, 23918.0, 15185.0, 10423.0, 7292.0, 4991.0, 3533.0, 2348.0, 1538.0, 1073.0, 685.0, 440.0, 254.0, 184.0, 116.0, 61.0, 60.0, 31.0, 26.0, 19.0, 14.0, 13.0, 9.0, 5.0, 5.0, 5.0, 3.0, 6.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00013899803161621094, -0.00013444572687149048, -0.00012989342212677002, -0.00012534111738204956, -0.0001207888126373291, -0.00011623650789260864, -0.00011168420314788818, -0.00010713189840316772, -0.00010257959365844727, -9.80272889137268e-05, -9.347498416900635e-05, -8.892267942428589e-05, -8.437037467956543e-05, -7.981806993484497e-05, -7.526576519012451e-05, -7.071346044540405e-05, -6.61611557006836e-05, -6.160885095596313e-05, -5.7056546211242676e-05, -5.250424146652222e-05, -4.795193672180176e-05, -4.33996319770813e-05, -3.884732723236084e-05, -3.429502248764038e-05, -2.9742717742919922e-05, -2.5190412998199463e-05, -2.0638108253479004e-05, -1.6085803508758545e-05, -1.1533498764038086e-05, -6.981194019317627e-06, -2.428889274597168e-06, 2.123415470123291e-06, 6.67572021484375e-06, 1.1228024959564209e-05, 1.5780329704284668e-05, 2.0332634449005127e-05, 2.4884939193725586e-05, 2.9437243938446045e-05, 3.3989548683166504e-05, 3.854185342788696e-05, 4.309415817260742e-05, 4.764646291732788e-05, 5.219876766204834e-05, 5.67510724067688e-05, 6.130337715148926e-05, 6.585568189620972e-05, 7.040798664093018e-05, 7.496029138565063e-05, 7.95125961303711e-05, 8.406490087509155e-05, 8.861720561981201e-05, 9.316951036453247e-05, 9.772181510925293e-05, 0.00010227411985397339, 0.00010682642459869385, 0.0001113787293434143, 0.00011593103408813477, 0.00012048333883285522, 0.00012503564357757568, 0.00012958794832229614, 0.0001341402530670166, 0.00013869255781173706, 0.00014324486255645752, 0.00014779716730117798, 0.00015234947204589844]}, "gradients/encoder.encoder.layers.15.attention.v_proj.bias": {"_type": "histogram", "values": [7.0, 2.0, 1.0, 0.0, 3.0, 2.0, 3.0, 7.0, 3.0, 6.0, 5.0, 5.0, 3.0, 1.0, 0.0, 1.0, 1.0, 3.0, 5.0, 3.0, 5.0, 0.0, 1.0, 3.0, 2.0, 4.0, 7.0, 6.0, 832.0, 12.0, 5.0, 4.0, 3.0, 2.0, 2.0, 2.0, 8.0, 4.0, 3.0, 6.0, 1.0, 3.0, 3.0, 4.0, 3.0, 5.0, 4.0, 6.0, 6.0, 1.0, 1.0, 2.0, 3.0, 0.0, 0.0, 2.0, 0.0, 5.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00010412931442260742, -0.00010050926357507706, -9.688921272754669e-05, -9.326916188001633e-05, -8.964911103248596e-05, -8.60290601849556e-05, -8.240900933742523e-05, -7.878895848989487e-05, -7.51689076423645e-05, -7.154885679483414e-05, -6.792880594730377e-05, -6.430875509977341e-05, -6.068870425224304e-05, -5.706865340471268e-05, -5.344860255718231e-05, -4.982855170965195e-05, -4.620850086212158e-05, -4.258845001459122e-05, -3.896839916706085e-05, -3.534834831953049e-05, -3.172829747200012e-05, -2.8108246624469757e-05, -2.4488195776939392e-05, -2.0868144929409027e-05, -1.7248094081878662e-05, -1.3628043234348297e-05, -1.0007992386817932e-05, -6.387941539287567e-06, -2.767890691757202e-06, 8.521601557731628e-07, 4.472211003303528e-06, 8.092261850833893e-06, 1.1712312698364258e-05, 1.5332363545894623e-05, 1.8952414393424988e-05, 2.2572465240955353e-05, 2.6192516088485718e-05, 2.9812566936016083e-05, 3.343261778354645e-05, 3.705266863107681e-05, 4.067271947860718e-05, 4.429277032613754e-05, 4.791282117366791e-05, 5.153287202119827e-05, 5.515292286872864e-05, 5.8772973716259e-05, 6.239302456378937e-05, 6.601307541131973e-05, 6.96331262588501e-05, 7.325317710638046e-05, 7.687322795391083e-05, 8.049327880144119e-05, 8.411332964897156e-05, 8.773338049650192e-05, 9.135343134403229e-05, 9.497348219156265e-05, 9.859353303909302e-05, 0.00010221358388662338, 0.00010583363473415375, 0.00010945368558168411, 0.00011307373642921448, 0.00011669378727674484, 0.00012031383812427521, 0.00012393388897180557, 0.00012755393981933594]}, "gradients/encoder.encoder.layers.15.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 2.0, 1.0, 1.0, 5.0, 3.0, 4.0, 6.0, 8.0, 5.0, 8.0, 12.0, 25.0, 31.0, 46.0, 76.0, 98.0, 239.0, 136.0, 101.0, 60.0, 45.0, 31.0, 16.0, 18.0, 12.0, 8.0, 7.0, 1.0, 3.0, 3.0, 2.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0006941490573808551, -0.0006660918588750064, -0.0006380346021614969, -0.0006099774036556482, -0.0005819201469421387, -0.00055386294843629, -0.0005258056917227805, -0.0004977484932169318, -0.00046969123650342226, -0.00044163400889374316, -0.00041357678128406405, -0.00038551955367438495, -0.00035746232606470585, -0.0003294051275588572, -0.00030134787084534764, -0.000273290672339499, -0.0002452334447298199, -0.0002171762171201408, -0.0001891189895104617, -0.00016106176190078259, -0.00013300453429110348, -0.00010494732123333961, -7.68900936236605e-05, -4.88328660139814e-05, -2.07756384043023e-05, 7.2815873863874e-06, 3.53388131770771e-05, 6.33960371487774e-05, 9.14532647584565e-05, 0.00011951048509217799, 0.0001475677127018571, 0.0001756249403115362, 0.0002036821679212153, 0.0002317393955308944, 0.0002597966231405735, 0.0002878538507502526, 0.0003159110783599317, 0.00034396827686578035, 0.0003720255335792899, 0.00040008273208513856, 0.0004281399887986481, 0.0004561972164083272, 0.0004842544440180063, 0.000512311642523855, 0.0005403688992373645, 0.0005684260977432132, 0.0005964833544567227, 0.0006245405529625714, 0.00065259775146842, 0.0006806549499742687, 0.0007087122066877782, 0.0007367694051936269, 0.0007648266619071364, 0.0007928838604129851, 0.0008209411171264946, 0.0008489983156323433, 0.0008770555723458529, 0.0009051127708517015, 0.0009331700275652111, 0.0009612272260710597, 0.0009892844827845693, 0.0010173417394980788, 0.0010453988797962666, 0.0010734561365097761, 0.0011015133932232857]}, "gradients/encoder.encoder.layers.15.layer_norm.bias": {"_type": "histogram", "values": [1.0, 2.0, 1.0, 0.0, 1.0, 2.0, 7.0, 4.0, 11.0, 8.0, 9.0, 17.0, 20.0, 31.0, 35.0, 39.0, 27.0, 61.0, 60.0, 55.0, 54.0, 63.0, 69.0, 60.0, 58.0, 51.0, 46.0, 43.0, 37.0, 34.0, 30.0, 26.0, 15.0, 15.0, 3.0, 8.0, 8.0, 6.0, 3.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0004089474678039551, -0.0003905324265360832, -0.00037211738526821136, -0.0003537023440003395, -0.00033528730273246765, -0.0003168722614645958, -0.00029845722019672394, -0.0002800421789288521, -0.0002616271376609802, -0.00024321209639310837, -0.0002247970551252365, -0.00020638201385736465, -0.0001879669725894928, -0.00016955193132162094, -0.00015113689005374908, -0.00013272184878587723, -0.00011430680751800537, -9.589176625013351e-05, -7.747672498226166e-05, -5.90616837143898e-05, -4.0646642446517944e-05, -2.2231601178646088e-05, -3.816559910774231e-06, 1.4598481357097626e-05, 3.301352262496948e-05, 5.142856389284134e-05, 6.98436051607132e-05, 8.825864642858505e-05, 0.00010667368769645691, 0.00012508872896432877, 0.00014350377023220062, 0.00016191881150007248, 0.00018033385276794434, 0.0001987488940358162, 0.00021716393530368805, 0.0002355789765715599, 0.00025399401783943176, 0.0002724090591073036, 0.0002908241003751755, 0.00030923914164304733, 0.0003276541829109192, 0.00034606922417879105, 0.0003644842654466629, 0.00038289930671453476, 0.0004013143479824066, 0.0004197293892502785, 0.00043814443051815033, 0.0004565594717860222, 0.00047497451305389404, 0.0004933895543217659, 0.0005118045955896378, 0.0005302196368575096, 0.0005486346781253815, 0.0005670497193932533, 0.0005854647606611252, 0.000603879801928997, 0.0006222948431968689, 0.0006407098844647408, 0.0006591249257326126, 0.0006775399670004845, 0.0006959550082683563, 0.0007143700495362282, 0.0007327850908041, 0.0007512001320719719, 0.0007696151733398438]}, "gradients/encoder.encoder.layers.14.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 2.0, 2.0, 2.0, 5.0, 1.0, 11.0, 4.0, 16.0, 19.0, 37.0, 116.0, 4106220.0, 87781.0, 73.0, 8.0, 3.0], "bins": [-0.006694793701171875, -0.006583206355571747, -0.006471619009971619, -0.0063600316643714905, -0.006248444318771362, -0.006136856973171234, -0.006025269627571106, -0.005913682281970978, -0.00580209493637085, -0.0056905075907707214, -0.005578920245170593, -0.005467332899570465, -0.005355745553970337, -0.005244158208370209, -0.005132570862770081, -0.005020983517169952, -0.004909396171569824, -0.004797808825969696, -0.004686221480369568, -0.00457463413476944, -0.0044630467891693115, -0.004351459443569183, -0.004239872097969055, -0.004128284752368927, -0.004016697406768799, -0.0039051100611686707, -0.0037935227155685425, -0.0036819353699684143, -0.003570348024368286, -0.003458760678768158, -0.00334717333316803, -0.0032355859875679016, -0.0031239986419677734, -0.0030124112963676453, -0.002900823950767517, -0.002789236605167389, -0.0026776492595672607, -0.0025660619139671326, -0.0024544745683670044, -0.0023428872227668762, -0.002231299877166748, -0.00211971253156662, -0.0020081251859664917, -0.0018965378403663635, -0.0017849504947662354, -0.0016733631491661072, -0.001561775803565979, -0.0014501884579658508, -0.0013386011123657227, -0.0012270137667655945, -0.0011154264211654663, -0.0010038390755653381, -0.00089225172996521, -0.0007806643843650818, -0.0006690770387649536, -0.0005574896931648254, -0.00044590234756469727, -0.0003343150019645691, -0.00022272765636444092, -0.00011114031076431274, 4.470348358154297e-07, 0.0001120343804359436, 0.00022362172603607178, 0.00033520907163619995, 0.0004467964172363281]}, "gradients/encoder.encoder.layers.14.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 8.0, 59.0, 431.0, 439.0, 71.0, 8.0, 3.0], "bins": [-0.00014281272888183594, -0.00014043226838111877, -0.0001380518078804016, -0.00013567134737968445, -0.00013329088687896729, -0.00013091042637825012, -0.00012852996587753296, -0.0001261495053768158, -0.00012376904487609863, -0.00012138858437538147, -0.0001190081238746643, -0.00011662766337394714, -0.00011424720287322998, -0.00011186674237251282, -0.00010948628187179565, -0.00010710582137107849, -0.00010472536087036133, -0.00010234490036964417, -9.9964439868927e-05, -9.758397936820984e-05, -9.520351886749268e-05, -9.282305836677551e-05, -9.044259786605835e-05, -8.806213736534119e-05, -8.568167686462402e-05, -8.330121636390686e-05, -8.09207558631897e-05, -7.854029536247253e-05, -7.615983486175537e-05, -7.377937436103821e-05, -7.139891386032104e-05, -6.901845335960388e-05, -6.663799285888672e-05, -6.425753235816956e-05, -6.187707185745239e-05, -5.949661135673523e-05, -5.7116150856018066e-05, -5.47356903553009e-05, -5.235522985458374e-05, -4.997476935386658e-05, -4.7594308853149414e-05, -4.521384835243225e-05, -4.283338785171509e-05, -4.0452927350997925e-05, -3.807246685028076e-05, -3.56920063495636e-05, -3.3311545848846436e-05, -3.093108534812927e-05, -2.855062484741211e-05, -2.6170164346694946e-05, -2.3789703845977783e-05, -2.140924334526062e-05, -1.9028782844543457e-05, -1.6648322343826294e-05, -1.4267861843109131e-05, -1.1887401342391968e-05, -9.506940841674805e-06, -7.126480340957642e-06, -4.7460198402404785e-06, -2.3655593395233154e-06, 1.4901161193847656e-08, 2.3953616619110107e-06, 4.775822162628174e-06, 7.156282663345337e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.14.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 2.0, 2.0, 2.0, 4.0, 3.0, 3.0, 6.0, 8.0, 9.0, 20.0, 38.0, 65.0, 98.0, 158.0, 213.0, 401.0, 689.0, 1209.0, 2050.0, 3559.0, 6264.0, 11114.0, 23669.0, 239114.0, 3853219.0, 24865.0, 11327.0, 6480.0, 3854.0, 2204.0, 1338.0, 859.0, 516.0, 348.0, 178.0, 132.0, 88.0, 51.0, 33.0, 29.0, 14.0, 18.0, 16.0, 12.0, 7.0, 1.0, 3.0, 3.0, 3.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.0001245737075805664, -0.00011959858238697052, -0.00011462345719337463, -0.00010964833199977875, -0.00010467320680618286, -9.969808161258698e-05, -9.472295641899109e-05, -8.97478312253952e-05, -8.477270603179932e-05, -7.979758083820343e-05, -7.482245564460754e-05, -6.984733045101166e-05, -6.487220525741577e-05, -5.9897080063819885e-05, -5.4921954870224e-05, -4.994682967662811e-05, -4.4971704483032227e-05, -3.999657928943634e-05, -3.5021454095840454e-05, -3.0046328902244568e-05, -2.507120370864868e-05, -2.0096078515052795e-05, -1.512095332145691e-05, -1.0145828127861023e-05, -5.170702934265137e-06, -1.955777406692505e-07, 4.779547452926636e-06, 9.754672646522522e-06, 1.4729797840118408e-05, 1.9704923033714294e-05, 2.468004822731018e-05, 2.9655173420906067e-05, 3.463029861450195e-05, 3.960542380809784e-05, 4.4580549001693726e-05, 4.955567419528961e-05, 5.45307993888855e-05, 5.9505924582481384e-05, 6.448104977607727e-05, 6.945617496967316e-05, 7.443130016326904e-05, 7.940642535686493e-05, 8.438155055046082e-05, 8.93566757440567e-05, 9.433180093765259e-05, 9.930692613124847e-05, 0.00010428205132484436, 0.00010925717651844025, 0.00011423230171203613, 0.00011920742690563202, 0.0001241825520992279, 0.0001291576772928238, 0.00013413280248641968, 0.00013910792768001556, 0.00014408305287361145, 0.00014905817806720734, 0.00015403330326080322, 0.0001590084284543991, 0.000163983553647995, 0.00016895867884159088, 0.00017393380403518677, 0.00017890892922878265, 0.00018388405442237854, 0.00018885917961597443, 0.0001938343048095703]}, "gradients/encoder.encoder.layers.14.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 1.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 3.0, 2.0, 4.0, 3.0, 3.0, 5.0, 1.0, 2.0, 2.0, 6.0, 8.0, 7.0, 16.0, 16.0, 20.0, 72.0, 216.0, 3503.0, 68.0, 24.0, 19.0, 8.0, 5.0, 7.0, 6.0, 5.0, 4.0, 3.0, 7.0, 5.0, 7.0, 3.0, 4.0, 2.0, 1.0, 4.0, 5.0, 4.0, 1.0, 1.0, 2.0, 3.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-3.8623809814453125e-05, -3.7083402276039124e-05, -3.554299473762512e-05, -3.400258719921112e-05, -3.246217966079712e-05, -3.092177212238312e-05, -2.9381364583969116e-05, -2.7840957045555115e-05, -2.6300549507141113e-05, -2.4760141968727112e-05, -2.321973443031311e-05, -2.167932689189911e-05, -2.0138919353485107e-05, -1.8598511815071106e-05, -1.7058104276657104e-05, -1.5517696738243103e-05, -1.3977289199829102e-05, -1.24368816614151e-05, -1.0896474123001099e-05, -9.356066584587097e-06, -7.815659046173096e-06, -6.275251507759094e-06, -4.734843969345093e-06, -3.1944364309310913e-06, -1.6540288925170898e-06, -1.1362135410308838e-07, 1.426786184310913e-06, 2.9671937227249146e-06, 4.507601261138916e-06, 6.0480087995529175e-06, 7.588416337966919e-06, 9.12882387638092e-06, 1.0669231414794922e-05, 1.2209638953208923e-05, 1.3750046491622925e-05, 1.5290454030036926e-05, 1.6830861568450928e-05, 1.837126910686493e-05, 1.991167664527893e-05, 2.1452084183692932e-05, 2.2992491722106934e-05, 2.4532899260520935e-05, 2.6073306798934937e-05, 2.7613714337348938e-05, 2.915412187576294e-05, 3.069452941417694e-05, 3.223493695259094e-05, 3.3775344491004944e-05, 3.5315752029418945e-05, 3.685615956783295e-05, 3.839656710624695e-05, 3.993697464466095e-05, 4.147738218307495e-05, 4.301778972148895e-05, 4.4558197259902954e-05, 4.6098604798316956e-05, 4.763901233673096e-05, 4.917941987514496e-05, 5.071982741355896e-05, 5.226023495197296e-05, 5.380064249038696e-05, 5.5341050028800964e-05, 5.6881457567214966e-05, 5.842186510562897e-05, 5.996227264404297e-05]}, "gradients/encoder.encoder.layers.14.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 2.0, 0.0, 2.0, 2.0, 4.0, 1.0, 4.0, 6.0, 10.0, 12.0, 14.0, 15.0, 19.0, 34.0, 49.0, 79.0, 161.0, 212.0, 108.0, 60.0, 47.0, 41.0, 35.0, 21.0, 17.0, 18.0, 6.0, 7.0, 7.0, 5.0, 3.0, 1.0, 2.0, 2.0, 3.0, 2.0, 2.0, 2.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00015999629977159202, -0.0001520970108686015, -0.00014419772196561098, -0.00013629843306262046, -0.00012839914415962994, -0.00012049985525663942, -0.0001126005663536489, -0.00010470127745065838, -9.680198854766786e-05, -8.890269964467734e-05, -8.100341074168682e-05, -7.31041218386963e-05, -6.520483293570578e-05, -5.730554403271526e-05, -4.940625512972474e-05, -4.150696622673422e-05, -3.36076773237437e-05, -2.570838842075318e-05, -1.780909951776266e-05, -9.909810614772141e-06, -2.010521711781621e-06, 5.888767191208899e-06, 1.3788056094199419e-05, 2.168734499718994e-05, 2.958663390018046e-05, 3.748592280317098e-05, 4.53852117061615e-05, 5.328450060915202e-05, 6.118378951214254e-05, 6.908307841513306e-05, 7.698236731812358e-05, 8.48816562211141e-05, 9.278097422793508e-05, 0.0001006802631309256, 0.00010857955203391612, 0.00011647884093690664, 0.00012437812983989716, 0.00013227741874288768, 0.0001401767076458782, 0.00014807599654886872, 0.00015597528545185924, 0.00016387457435484976, 0.00017177386325784028, 0.0001796731521608308, 0.00018757244106382132, 0.00019547172996681184, 0.00020337101886980236, 0.00021127030777279288, 0.0002191695966757834, 0.00022706888557877392, 0.00023496817448176444, 0.00024286746338475496, 0.0002507667522877455, 0.0002586660557426512, 0.0002665653300937265, 0.0002744646044448018, 0.00028236390789970756, 0.0002902632113546133, 0.0002981624857056886, 0.0003060617600567639, 0.00031396106351166964, 0.0003218603669665754, 0.0003297596413176507, 0.00033765891566872597, 0.0003455582191236317]}, "gradients/encoder.encoder.layers.14.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 2.0, 1.0, 3.0, 6.0, 9.0, 5.0, 7.0, 8.0, 13.0, 16.0, 16.0, 22.0, 30.0, 33.0, 30.0, 37.0, 39.0, 40.0, 51.0, 44.0, 44.0, 44.0, 47.0, 59.0, 47.0, 44.0, 36.0, 29.0, 37.0, 42.0, 27.0, 26.0, 21.0, 26.0, 17.0, 13.0, 9.0, 9.0, 8.0, 5.0, 5.0, 2.0, 2.0, 2.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.00013774633407592773, -0.00013324525207281113, -0.00012874417006969452, -0.0001242430880665779, -0.0001197420060634613, -0.0001152409240603447, -0.00011073984205722809, -0.00010623876005411148, -0.00010173767805099487, -9.723659604787827e-05, -9.273551404476166e-05, -8.823443204164505e-05, -8.373335003852844e-05, -7.923226803541183e-05, -7.473118603229523e-05, -7.023010402917862e-05, -6.572902202606201e-05, -6.12279400229454e-05, -5.6726858019828796e-05, -5.222577601671219e-05, -4.772469401359558e-05, -4.3223612010478973e-05, -3.8722530007362366e-05, -3.422144800424576e-05, -2.972036600112915e-05, -2.5219283998012543e-05, -2.0718201994895935e-05, -1.6217119991779327e-05, -1.171603798866272e-05, -7.214955985546112e-06, -2.7138739824295044e-06, 1.7872080206871033e-06, 6.288290023803711e-06, 1.0789372026920319e-05, 1.5290454030036926e-05, 1.9791536033153534e-05, 2.429261803627014e-05, 2.879370003938675e-05, 3.329478204250336e-05, 3.7795864045619965e-05, 4.229694604873657e-05, 4.679802805185318e-05, 5.129911005496979e-05, 5.5800192058086395e-05, 6.0301274061203e-05, 6.480235606431961e-05, 6.930343806743622e-05, 7.380452007055283e-05, 7.830560207366943e-05, 8.280668407678604e-05, 8.730776607990265e-05, 9.180884808301926e-05, 9.630993008613586e-05, 0.00010081101208925247, 0.00010531209409236908, 0.00010981317609548569, 0.0001143142580986023, 0.0001188153401017189, 0.0001233164221048355, 0.00012781750410795212, 0.00013231858611106873, 0.00013681966811418533, 0.00014132075011730194, 0.00014582183212041855, 0.00015032291412353516]}, "gradients/encoder.encoder.layers.14.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 2.0, 2.0, 0.0, 3.0, 6.0, 1.0, 8.0, 2.0, 13.0, 6.0, 18.0, 16.0, 18.0, 19.0, 20.0, 22.0, 29.0, 21.0, 34.0, 28.0, 36.0, 42.0, 36.0, 58.0, 272.0, 16113.0, 1028747.0, 2459.0, 137.0, 56.0, 37.0, 31.0, 30.0, 32.0, 26.0, 28.0, 22.0, 23.0, 11.0, 17.0, 16.0, 19.0, 10.0, 13.0, 7.0, 5.0, 3.0, 2.0, 6.0, 0.0, 1.0, 3.0, 3.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0], "bins": [-0.0006527900695800781, -0.0006305426359176636, -0.000608295202255249, -0.0005860477685928345, -0.0005638003349304199, -0.0005415529012680054, -0.0005193054676055908, -0.0004970580339431763, -0.0004748106002807617, -0.00045256316661834717, -0.0004303157329559326, -0.00040806829929351807, -0.0003858208656311035, -0.00036357343196868896, -0.0003413259983062744, -0.00031907856464385986, -0.0002968311309814453, -0.00027458369731903076, -0.0002523362636566162, -0.00023008882999420166, -0.0002078413963317871, -0.00018559396266937256, -0.000163346529006958, -0.00014109909534454346, -0.0001188516616821289, -9.660422801971436e-05, -7.43567943572998e-05, -5.2109360694885254e-05, -2.9861927032470703e-05, -7.614493370056152e-06, 1.4632940292358398e-05, 3.688037395477295e-05, 5.91278076171875e-05, 8.137524127960205e-05, 0.0001036226749420166, 0.00012587010860443115, 0.0001481175422668457, 0.00017036497592926025, 0.0001926124095916748, 0.00021485984325408936, 0.0002371072769165039, 0.00025935471057891846, 0.000281602144241333, 0.00030384957790374756, 0.0003260970115661621, 0.00034834444522857666, 0.0003705918788909912, 0.00039283931255340576, 0.0004150867462158203, 0.00043733417987823486, 0.0004595816135406494, 0.00048182904720306396, 0.0005040764808654785, 0.0005263239145278931, 0.0005485713481903076, 0.0005708187818527222, 0.0005930662155151367, 0.0006153136491775513, 0.0006375610828399658, 0.0006598085165023804, 0.0006820559501647949, 0.0007043033838272095, 0.000726550817489624, 0.0007487982511520386, 0.0007710456848144531]}, "gradients/encoder.encoder.layers.14.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 9.0, 67.0, 437.0, 416.0, 76.0, 11.0, 3.0], "bins": [-0.0001418590545654297, -0.00013949349522590637, -0.00013712793588638306, -0.00013476237654685974, -0.00013239681720733643, -0.0001300312578678131, -0.0001276656985282898, -0.00012530013918876648, -0.00012293457984924316, -0.00012056902050971985, -0.00011820346117019653, -0.00011583790183067322, -0.0001134723424911499, -0.00011110678315162659, -0.00010874122381210327, -0.00010637566447257996, -0.00010401010513305664, -0.00010164454579353333, -9.927898645401001e-05, -9.69134271144867e-05, -9.454786777496338e-05, -9.218230843544006e-05, -8.981674909591675e-05, -8.745118975639343e-05, -8.508563041687012e-05, -8.27200710773468e-05, -8.035451173782349e-05, -7.798895239830017e-05, -7.562339305877686e-05, -7.325783371925354e-05, -7.089227437973022e-05, -6.852671504020691e-05, -6.61611557006836e-05, -6.379559636116028e-05, -6.143003702163696e-05, -5.906447768211365e-05, -5.669891834259033e-05, -5.4333359003067017e-05, -5.19677996635437e-05, -4.9602240324020386e-05, -4.723668098449707e-05, -4.4871121644973755e-05, -4.250556230545044e-05, -4.0140002965927124e-05, -3.777444362640381e-05, -3.540888428688049e-05, -3.304332494735718e-05, -3.067776560783386e-05, -2.8312206268310547e-05, -2.594664692878723e-05, -2.3581087589263916e-05, -2.12155282497406e-05, -1.8849968910217285e-05, -1.648440957069397e-05, -1.4118850231170654e-05, -1.1753290891647339e-05, -9.387731552124023e-06, -7.022172212600708e-06, -4.656612873077393e-06, -2.291053533554077e-06, 7.450580596923828e-08, 2.4400651454925537e-06, 4.805624485015869e-06, 7.1711838245391846e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.14.attention.v_proj.weight": {"_type": "histogram", "values": [2.0, 3.0, 5.0, 5.0, 4.0, 2.0, 6.0, 15.0, 15.0, 37.0, 28.0, 43.0, 43.0, 96.0, 137.0, 167.0, 263.0, 381.0, 544.0, 767.0, 1037.0, 1432.0, 1961.0, 2816.0, 3861.0, 5242.0, 7423.0, 10533.0, 16509.0, 41193.0, 898334.0, 17157.0, 11122.0, 7686.0, 5522.0, 4042.0, 2829.0, 2068.0, 1512.0, 1085.0, 775.0, 590.0, 395.0, 275.0, 173.0, 110.0, 102.0, 73.0, 48.0, 27.0, 19.0, 12.0, 11.0, 12.0, 8.0, 8.0, 3.0, 3.0, 1.0, 0.0, 1.0, 1.0, 0.0, 2.0], "bins": [-9.775161743164062e-05, -9.449943900108337e-05, -9.124726057052612e-05, -8.799508213996887e-05, -8.474290370941162e-05, -8.149072527885437e-05, -7.823854684829712e-05, -7.498636841773987e-05, -7.173418998718262e-05, -6.848201155662537e-05, -6.522983312606812e-05, -6.197765469551086e-05, -5.872547626495361e-05, -5.547329783439636e-05, -5.222111940383911e-05, -4.896894097328186e-05, -4.571676254272461e-05, -4.246458411216736e-05, -3.921240568161011e-05, -3.5960227251052856e-05, -3.2708048820495605e-05, -2.9455870389938354e-05, -2.6203691959381104e-05, -2.2951513528823853e-05, -1.96993350982666e-05, -1.644715666770935e-05, -1.31949782371521e-05, -9.942799806594849e-06, -6.690621376037598e-06, -3.4384429454803467e-06, -1.862645149230957e-07, 3.0659139156341553e-06, 6.318092346191406e-06, 9.570270776748657e-06, 1.2822449207305908e-05, 1.607462763786316e-05, 1.932680606842041e-05, 2.257898449897766e-05, 2.5831162929534912e-05, 2.9083341360092163e-05, 3.2335519790649414e-05, 3.5587698221206665e-05, 3.8839876651763916e-05, 4.209205508232117e-05, 4.534423351287842e-05, 4.859641194343567e-05, 5.184859037399292e-05, 5.510076880455017e-05, 5.835294723510742e-05, 6.160512566566467e-05, 6.485730409622192e-05, 6.810948252677917e-05, 7.136166095733643e-05, 7.461383938789368e-05, 7.786601781845093e-05, 8.111819624900818e-05, 8.437037467956543e-05, 8.762255311012268e-05, 9.087473154067993e-05, 9.412690997123718e-05, 9.737908840179443e-05, 0.00010063126683235168, 0.00010388344526290894, 0.00010713562369346619, 0.00011038780212402344]}, "gradients/encoder.encoder.layers.14.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 2.0, 3.0, 0.0, 2.0, 0.0, 2.0, 5.0, 3.0, 6.0, 2.0, 2.0, 2.0, 2.0, 2.0, 3.0, 2.0, 2.0, 6.0, 2.0, 3.0, 1.0, 4.0, 3.0, 3.0, 6.0, 7.0, 8.0, 5.0, 25.0, 823.0, 9.0, 5.0, 3.0, 4.0, 3.0, 4.0, 1.0, 4.0, 1.0, 4.0, 9.0, 1.0, 2.0, 3.0, 1.0, 6.0, 3.0, 3.0, 3.0, 2.0, 2.0, 0.0, 3.0, 2.0, 3.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-9.745359420776367e-05, -9.421352297067642e-05, -9.097345173358917e-05, -8.773338049650192e-05, -8.449330925941467e-05, -8.125323802232742e-05, -7.801316678524017e-05, -7.477309554815292e-05, -7.153302431106567e-05, -6.829295307397842e-05, -6.505288183689117e-05, -6.181281059980392e-05, -5.8572739362716675e-05, -5.5332668125629425e-05, -5.2092596888542175e-05, -4.8852525651454926e-05, -4.5612454414367676e-05, -4.2372383177280426e-05, -3.9132311940193176e-05, -3.5892240703105927e-05, -3.265216946601868e-05, -2.9412098228931427e-05, -2.6172026991844177e-05, -2.2931955754756927e-05, -1.9691884517669678e-05, -1.6451813280582428e-05, -1.3211742043495178e-05, -9.971670806407928e-06, -6.731599569320679e-06, -3.491528332233429e-06, -2.514570951461792e-07, 2.9886141419410706e-06, 6.22868537902832e-06, 9.46875661611557e-06, 1.270882785320282e-05, 1.594889909029007e-05, 1.918897032737732e-05, 2.242904156446457e-05, 2.566911280155182e-05, 2.890918403863907e-05, 3.214925527572632e-05, 3.538932651281357e-05, 3.862939774990082e-05, 4.186946898698807e-05, 4.510954022407532e-05, 4.834961146116257e-05, 5.158968269824982e-05, 5.482975393533707e-05, 5.8069825172424316e-05, 6.130989640951157e-05, 6.454996764659882e-05, 6.779003888368607e-05, 7.103011012077332e-05, 7.427018135786057e-05, 7.751025259494781e-05, 8.075032383203506e-05, 8.399039506912231e-05, 8.723046630620956e-05, 9.047053754329681e-05, 9.371060878038406e-05, 9.695068001747131e-05, 0.00010019075125455856, 0.00010343082249164581, 0.00010667089372873306, 0.00010991096496582031]}, "gradients/encoder.encoder.layers.14.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 3.0, 2.0, 1.0, 5.0, 1.0, 6.0, 4.0, 1.0, 7.0, 7.0, 8.0, 13.0, 12.0, 18.0, 31.0, 54.0, 64.0, 102.0, 157.0, 207.0, 91.0, 57.0, 38.0, 30.0, 25.0, 14.0, 13.0, 12.0, 10.0, 6.0, 7.0, 5.0, 4.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0006260644877329469, -0.000605929468292743, -0.0005857943906448781, -0.0005656593712046742, -0.0005455243517644703, -0.0005253892741166055, -0.0005052542546764016, -0.00048511920613236725, -0.0004649841575883329, -0.00044484910904429853, -0.0004247140896040946, -0.00040457904106006026, -0.0003844439925160259, -0.00036430894397199154, -0.00034417392453178763, -0.00032403887598775327, -0.00030390385654754937, -0.000283768808003515, -0.0002636337885633111, -0.00024349874001927674, -0.00022336369147524238, -0.00020322865748312324, -0.0001830936234910041, -0.00016295857494696975, -0.00014282354095485061, -0.00012268850696273148, -0.00010255345841869712, -8.241842442657799e-05, -6.228338315850124e-05, -4.214834189042449e-05, -2.2013307898305357e-05, -1.8782593542709947e-06, 1.825677463784814e-05, 3.8391815905924886e-05, 5.852685353602283e-05, 7.866189116612077e-05, 9.879693243419752e-05, 0.00011893197370227426, 0.0001390670076943934, 0.00015920205623842776, 0.0001793370902305469, 0.00019947212422266603, 0.0002196071727667004, 0.00023974220675881952, 0.00025987724075093865, 0.000280012289294973, 0.0003001473378390074, 0.0003202823572792113, 0.00034041740582324564, 0.00036055245436728, 0.0003806874738074839, 0.0004008225223515183, 0.00042095757089555264, 0.00044109259033575654, 0.0004612276388797909, 0.00048136268742382526, 0.0005014977068640292, 0.0005216327263042331, 0.0005417678039520979, 0.0005619028233923018, 0.0005820378428325057, 0.0006021729204803705, 0.0006223079399205744, 0.0006424429593607783, 0.0006625780370086432]}, "gradients/encoder.encoder.layers.14.layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 5.0, 7.0, 7.0, 9.0, 11.0, 17.0, 20.0, 23.0, 28.0, 52.0, 46.0, 47.0, 53.0, 65.0, 59.0, 70.0, 69.0, 72.0, 58.0, 72.0, 44.0, 40.0, 39.0, 31.0, 24.0, 8.0, 8.0, 11.0, 12.0, 7.0, 3.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00033926963806152344, -0.0003228038549423218, -0.0003063380718231201, -0.00028987228870391846, -0.0002734065055847168, -0.00025694072246551514, -0.00024047493934631348, -0.00022400915622711182, -0.00020754337310791016, -0.0001910775899887085, -0.00017461180686950684, -0.00015814602375030518, -0.00014168024063110352, -0.00012521445751190186, -0.0001087486743927002, -9.228289127349854e-05, -7.581710815429688e-05, -5.9351325035095215e-05, -4.2885541915893555e-05, -2.6419758796691895e-05, -9.953975677490234e-06, 6.511807441711426e-06, 2.2977590560913086e-05, 3.9443373680114746e-05, 5.5909156799316406e-05, 7.237493991851807e-05, 8.884072303771973e-05, 0.00010530650615692139, 0.00012177228927612305, 0.0001382380723953247, 0.00015470385551452637, 0.00017116963863372803, 0.0001876354217529297, 0.00020410120487213135, 0.000220566987991333, 0.00023703277111053467, 0.00025349855422973633, 0.000269964337348938, 0.00028643012046813965, 0.0003028959035873413, 0.00031936168670654297, 0.00033582746982574463, 0.0003522932529449463, 0.00036875903606414795, 0.0003852248191833496, 0.00040169060230255127, 0.00041815638542175293, 0.0004346221685409546, 0.00045108795166015625, 0.0004675537347793579, 0.00048401951789855957, 0.0005004853010177612, 0.0005169510841369629, 0.0005334168672561646, 0.0005498826503753662, 0.0005663484334945679, 0.0005828142166137695, 0.0005992799997329712, 0.0006157457828521729, 0.0006322115659713745, 0.0006486773490905762, 0.0006651431322097778, 0.0006816089153289795, 0.0006980746984481812, 0.0007145404815673828]}, "gradients/encoder.encoder.layers.13.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 4.0, 2.0, 0.0, 5.0, 3.0, 3.0, 3.0, 2.0, 6.0, 7.0, 6.0, 6.0, 9.0, 9.0, 14.0, 15.0, 20.0, 46.0, 277.0, 4141289.0, 52327.0, 219.0, 19.0, 4.0], "bins": [-0.002727508544921875, -0.002682030200958252, -0.002636551856994629, -0.002591073513031006, -0.002545595169067383, -0.0025001168251037598, -0.0024546384811401367, -0.0024091601371765137, -0.0023636817932128906, -0.0023182034492492676, -0.0022727251052856445, -0.0022272467613220215, -0.0021817684173583984, -0.0021362900733947754, -0.0020908117294311523, -0.0020453333854675293, -0.0019998550415039062, -0.001954376697540283, -0.0019088983535766602, -0.0018634200096130371, -0.001817941665649414, -0.001772463321685791, -0.001726984977722168, -0.001681506633758545, -0.0016360282897949219, -0.0015905499458312988, -0.0015450716018676758, -0.0014995932579040527, -0.0014541149139404297, -0.0014086365699768066, -0.0013631582260131836, -0.0013176798820495605, -0.0012722015380859375, -0.0012267231941223145, -0.0011812448501586914, -0.0011357665061950684, -0.0010902881622314453, -0.0010448098182678223, -0.0009993314743041992, -0.0009538531303405762, -0.0009083747863769531, -0.0008628964424133301, -0.000817418098449707, -0.000771939754486084, -0.0007264614105224609, -0.0006809830665588379, -0.0006355047225952148, -0.0005900263786315918, -0.0005445480346679688, -0.0004990696907043457, -0.00045359134674072266, -0.0004081130027770996, -0.00036263465881347656, -0.0003171563148498535, -0.00027167797088623047, -0.00022619962692260742, -0.00018072128295898438, -0.00013524293899536133, -8.976459503173828e-05, -4.4286251068115234e-05, 1.1920928955078125e-06, 4.667043685913086e-05, 9.21487808227539e-05, 0.00013762712478637695, 0.00018310546875]}, "gradients/encoder.encoder.layers.13.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 9.0, 67.0, 437.0, 416.0, 76.0, 11.0, 3.0], "bins": [-0.0001418590545654297, -0.00013949349522590637, -0.00013712793588638306, -0.00013476237654685974, -0.00013239681720733643, -0.0001300312578678131, -0.0001276656985282898, -0.00012530013918876648, -0.00012293457984924316, -0.00012056902050971985, -0.00011820346117019653, -0.00011583790183067322, -0.0001134723424911499, -0.00011110678315162659, -0.00010874122381210327, -0.00010637566447257996, -0.00010401010513305664, -0.00010164454579353333, -9.927898645401001e-05, -9.69134271144867e-05, -9.454786777496338e-05, -9.218230843544006e-05, -8.981674909591675e-05, -8.745118975639343e-05, -8.508563041687012e-05, -8.27200710773468e-05, -8.035451173782349e-05, -7.798895239830017e-05, -7.562339305877686e-05, -7.325783371925354e-05, -7.089227437973022e-05, -6.852671504020691e-05, -6.61611557006836e-05, -6.379559636116028e-05, -6.143003702163696e-05, -5.906447768211365e-05, -5.669891834259033e-05, -5.4333359003067017e-05, -5.19677996635437e-05, -4.9602240324020386e-05, -4.723668098449707e-05, -4.4871121644973755e-05, -4.250556230545044e-05, -4.0140002965927124e-05, -3.777444362640381e-05, -3.540888428688049e-05, -3.304332494735718e-05, -3.067776560783386e-05, -2.8312206268310547e-05, -2.594664692878723e-05, -2.3581087589263916e-05, -2.12155282497406e-05, -1.8849968910217285e-05, -1.648440957069397e-05, -1.4118850231170654e-05, -1.1753290891647339e-05, -9.387731552124023e-06, -7.022172212600708e-06, -4.656612873077393e-06, -2.291053533554077e-06, 7.450580596923828e-08, 2.4400651454925537e-06, 4.805624485015869e-06, 7.1711838245391846e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.13.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 4.0, 4.0, 5.0, 9.0, 13.0, 12.0, 27.0, 41.0, 50.0, 58.0, 98.0, 129.0, 207.0, 287.0, 376.0, 588.0, 891.0, 1327.0, 2129.0, 3290.0, 5535.0, 10083.0, 22020.0, 108362.0, 3974855.0, 32767.0, 12896.0, 6837.0, 3991.0, 2471.0, 1608.0, 1086.0, 696.0, 496.0, 284.0, 244.0, 143.0, 95.0, 80.0, 54.0, 47.0, 29.0, 22.0, 14.0, 12.0, 10.0, 7.0, 2.0, 3.0, 4.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.00012969970703125, -0.00012554042041301727, -0.00012138113379478455, -0.00011722184717655182, -0.00011306256055831909, -0.00010890327394008636, -0.00010474398732185364, -0.00010058470070362091, -9.642541408538818e-05, -9.226612746715546e-05, -8.810684084892273e-05, -8.394755423069e-05, -7.978826761245728e-05, -7.562898099422455e-05, -7.146969437599182e-05, -6.73104077577591e-05, -6.315112113952637e-05, -5.899183452129364e-05, -5.483254790306091e-05, -5.0673261284828186e-05, -4.651397466659546e-05, -4.235468804836273e-05, -3.8195401430130005e-05, -3.403611481189728e-05, -2.987682819366455e-05, -2.5717541575431824e-05, -2.1558254957199097e-05, -1.739896833896637e-05, -1.3239681720733643e-05, -9.080395102500916e-06, -4.9211084842681885e-06, -7.618218660354614e-07, 3.3974647521972656e-06, 7.556751370429993e-06, 1.171603798866272e-05, 1.5875324606895447e-05, 2.0034611225128174e-05, 2.41938978433609e-05, 2.8353184461593628e-05, 3.2512471079826355e-05, 3.667175769805908e-05, 4.083104431629181e-05, 4.4990330934524536e-05, 4.914961755275726e-05, 5.330890417098999e-05, 5.746819078922272e-05, 6.162747740745544e-05, 6.578676402568817e-05, 6.99460506439209e-05, 7.410533726215363e-05, 7.826462388038635e-05, 8.242391049861908e-05, 8.65831971168518e-05, 9.074248373508453e-05, 9.490177035331726e-05, 9.906105697154999e-05, 0.00010322034358978271, 0.00010737963020801544, 0.00011153891682624817, 0.0001156982034444809, 0.00011985749006271362, 0.00012401677668094635, 0.00012817606329917908, 0.0001323353499174118, 0.00013649463653564453]}, "gradients/encoder.encoder.layers.13.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 2.0, 3.0, 1.0, 1.0, 3.0, 1.0, 1.0, 5.0, 2.0, 6.0, 3.0, 3.0, 9.0, 7.0, 11.0, 20.0, 17.0, 45.0, 152.0, 3624.0, 61.0, 20.0, 17.0, 14.0, 11.0, 5.0, 7.0, 3.0, 5.0, 4.0, 5.0, 4.0, 1.0, 2.0, 4.0, 4.0, 2.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-5.060434341430664e-05, -4.898104816675186e-05, -4.735775291919708e-05, -4.5734457671642303e-05, -4.4111162424087524e-05, -4.2487867176532745e-05, -4.0864571928977966e-05, -3.924127668142319e-05, -3.761798143386841e-05, -3.599468618631363e-05, -3.437139093875885e-05, -3.274809569120407e-05, -3.112480044364929e-05, -2.9501505196094513e-05, -2.7878209948539734e-05, -2.6254914700984955e-05, -2.4631619453430176e-05, -2.3008324205875397e-05, -2.1385028958320618e-05, -1.976173371076584e-05, -1.813843846321106e-05, -1.651514321565628e-05, -1.4891847968101501e-05, -1.3268552720546722e-05, -1.1645257472991943e-05, -1.0021962225437164e-05, -8.398666977882385e-06, -6.775371730327606e-06, -5.152076482772827e-06, -3.528781235218048e-06, -1.905485987663269e-06, -2.8219074010849e-07, 1.341104507446289e-06, 2.964399755001068e-06, 4.587695002555847e-06, 6.210990250110626e-06, 7.834285497665405e-06, 9.457580745220184e-06, 1.1080875992774963e-05, 1.2704171240329742e-05, 1.4327466487884521e-05, 1.59507617354393e-05, 1.757405698299408e-05, 1.919735223054886e-05, 2.0820647478103638e-05, 2.2443942725658417e-05, 2.4067237973213196e-05, 2.5690533220767975e-05, 2.7313828468322754e-05, 2.8937123715877533e-05, 3.056041896343231e-05, 3.218371421098709e-05, 3.380700945854187e-05, 3.543030470609665e-05, 3.705359995365143e-05, 3.867689520120621e-05, 4.0300190448760986e-05, 4.1923485696315765e-05, 4.3546780943870544e-05, 4.5170076191425323e-05, 4.67933714389801e-05, 4.841666668653488e-05, 5.003996193408966e-05, 5.166325718164444e-05, 5.328655242919922e-05]}, "gradients/encoder.encoder.layers.13.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 0.0, 1.0, 1.0, 1.0, 5.0, 5.0, 4.0, 5.0, 9.0, 5.0, 10.0, 18.0, 36.0, 46.0, 72.0, 116.0, 273.0, 131.0, 74.0, 62.0, 35.0, 29.0, 19.0, 13.0, 17.0, 3.0, 4.0, 3.0, 1.0, 3.0, 5.0, 2.0, 1.0, 2.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.00019981630612164736, -0.0001930549624375999, -0.00018629361875355244, -0.00017953227506950498, -0.00017277093138545752, -0.00016600958770141006, -0.00015924822946544737, -0.0001524868857813999, -0.00014572554209735245, -0.00013896419841330498, -0.00013220285472925752, -0.00012544151104521006, -0.00011868016008520499, -0.00011191881640115753, -0.00010515746544115245, -9.839612175710499e-05, -9.163477807305753e-05, -8.487343438901007e-05, -7.811209070496261e-05, -7.135073974495754e-05, -6.458939606091008e-05, -5.7828052376862615e-05, -5.106670505483635e-05, -4.430535773281008e-05, -3.754401404876262e-05, -3.078267036471516e-05, -2.402132304268889e-05, -1.7259977539652027e-05, -1.0498632036615163e-05, -3.7372883525677025e-06, 3.024058969458565e-06, 9.785406291484833e-06, 1.654676452744752e-05, 2.3308110030484386e-05, 3.006945553352125e-05, 3.683080285554752e-05, 4.359214653959498e-05, 5.035349022364244e-05, 5.7114837545668706e-05, 6.387618486769497e-05, 7.063752855174243e-05, 7.73988722357899e-05, 8.416021591983736e-05, 9.092156687984243e-05, 9.768291056388989e-05, 0.00010444425424793735, 0.00011120560520794243, 0.00011796694889198989, 0.00012472829257603735, 0.0001314896362600848, 0.00013825097994413227, 0.00014501232362817973, 0.00015177368186414242, 0.00015853502554818988, 0.00016529636923223734, 0.0001720577129162848, 0.00017881905660033226, 0.00018558040028437972, 0.00019234174396842718, 0.00019910308765247464, 0.0002058644313365221, 0.00021262577502056956, 0.00021938713325653225, 0.0002261484769405797, 0.00023290982062462717]}, "gradients/encoder.encoder.layers.13.final_layer_norm.bias": {"_type": "histogram", "values": [2.0, 0.0, 3.0, 1.0, 1.0, 3.0, 4.0, 7.0, 2.0, 5.0, 4.0, 10.0, 2.0, 8.0, 15.0, 11.0, 14.0, 27.0, 20.0, 34.0, 26.0, 40.0, 28.0, 40.0, 35.0, 36.0, 46.0, 41.0, 56.0, 50.0, 46.0, 44.0, 42.0, 43.0, 27.0, 25.0, 32.0, 35.0, 22.0, 21.0, 14.0, 16.0, 10.0, 9.0, 10.0, 5.0, 6.0, 8.0, 3.0, 8.0, 3.0, 7.0, 4.0, 4.0, 1.0, 2.0, 2.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.071826934814453e-05, -8.757691830396652e-05, -8.443556725978851e-05, -8.12942162156105e-05, -7.81528651714325e-05, -7.501151412725449e-05, -7.187016308307648e-05, -6.872881203889847e-05, -6.558746099472046e-05, -6.244610995054245e-05, -5.930475890636444e-05, -5.616340786218643e-05, -5.302205681800842e-05, -4.9880705773830414e-05, -4.6739354729652405e-05, -4.3598003685474396e-05, -4.045665264129639e-05, -3.731530159711838e-05, -3.417395055294037e-05, -3.103259950876236e-05, -2.789124846458435e-05, -2.474989742040634e-05, -2.1608546376228333e-05, -1.8467195332050323e-05, -1.5325844287872314e-05, -1.2184493243694305e-05, -9.043142199516296e-06, -5.901791155338287e-06, -2.7604401111602783e-06, 3.809109330177307e-07, 3.5222619771957397e-06, 6.663613021373749e-06, 9.804964065551758e-06, 1.2946315109729767e-05, 1.6087666153907776e-05, 1.9229017198085785e-05, 2.2370368242263794e-05, 2.5511719286441803e-05, 2.8653070330619812e-05, 3.179442137479782e-05, 3.493577241897583e-05, 3.807712346315384e-05, 4.121847450733185e-05, 4.435982555150986e-05, 4.7501176595687866e-05, 5.0642527639865875e-05, 5.3783878684043884e-05, 5.692522972822189e-05, 6.00665807723999e-05, 6.320793181657791e-05, 6.634928286075592e-05, 6.949063390493393e-05, 7.263198494911194e-05, 7.577333599328995e-05, 7.891468703746796e-05, 8.205603808164597e-05, 8.519738912582397e-05, 8.833874017000198e-05, 9.148009121417999e-05, 9.4621442258358e-05, 9.776279330253601e-05, 0.00010090414434671402, 0.00010404549539089203, 0.00010718684643507004, 0.00011032819747924805]}, "gradients/encoder.encoder.layers.13.attention.out_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 3.0, 1.0, 2.0, 2.0, 3.0, 3.0, 6.0, 7.0, 15.0, 13.0, 13.0, 16.0, 24.0, 23.0, 33.0, 41.0, 35.0, 41.0, 38.0, 58.0, 185.0, 15630.0, 1031046.0, 894.0, 72.0, 61.0, 34.0, 41.0, 43.0, 40.0, 29.0, 24.0, 25.0, 17.0, 9.0, 12.0, 9.0, 5.0, 6.0, 6.0, 1.0, 4.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0007200241088867188, -0.000691533088684082, -0.0006630420684814453, -0.0006345510482788086, -0.0006060600280761719, -0.0005775690078735352, -0.0005490779876708984, -0.0005205869674682617, -0.000492095947265625, -0.0004636049270629883, -0.00043511390686035156, -0.00040662288665771484, -0.0003781318664550781, -0.0003496408462524414, -0.0003211498260498047, -0.00029265880584716797, -0.00026416778564453125, -0.00023567676544189453, -0.0002071857452392578, -0.0001786947250366211, -0.00015020370483398438, -0.00012171268463134766, -9.322166442871094e-05, -6.473064422607422e-05, -3.62396240234375e-05, -7.748603820800781e-06, 2.0742416381835938e-05, 4.9233436584472656e-05, 7.772445678710938e-05, 0.0001062154769897461, 0.0001347064971923828, 0.00016319751739501953, 0.00019168853759765625, 0.00022017955780029297, 0.0002486705780029297, 0.0002771615982055664, 0.0003056526184082031, 0.00033414363861083984, 0.00036263465881347656, 0.0003911256790161133, 0.00041961669921875, 0.0004481077194213867, 0.00047659873962402344, 0.0005050897598266602, 0.0005335807800292969, 0.0005620718002319336, 0.0005905628204345703, 0.000619053840637207, 0.0006475448608398438, 0.0006760358810424805, 0.0007045269012451172, 0.0007330179214477539, 0.0007615089416503906, 0.0007899999618530273, 0.0008184909820556641, 0.0008469820022583008, 0.0008754730224609375, 0.0009039640426635742, 0.0009324550628662109, 0.0009609460830688477, 0.0009894371032714844, 0.001017928123474121, 0.0010464191436767578, 0.0010749101638793945, 0.0011034011840820312]}, "gradients/encoder.encoder.layers.13.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 3.0, 11.0, 83.0, 429.0, 408.0, 71.0, 13.0, 3.0], "bins": [-0.0001404285430908203, -0.00013808533549308777, -0.00013574212789535522, -0.00013339892029762268, -0.00013105571269989014, -0.0001287125051021576, -0.00012636929750442505, -0.0001240260899066925, -0.00012168288230895996, -0.00011933967471122742, -0.00011699646711349487, -0.00011465325951576233, -0.00011231005191802979, -0.00010996684432029724, -0.0001076236367225647, -0.00010528042912483215, -0.00010293722152709961, -0.00010059401392936707, -9.825080633163452e-05, -9.590759873390198e-05, -9.356439113616943e-05, -9.122118353843689e-05, -8.887797594070435e-05, -8.65347683429718e-05, -8.419156074523926e-05, -8.184835314750671e-05, -7.950514554977417e-05, -7.716193795204163e-05, -7.481873035430908e-05, -7.247552275657654e-05, -7.0132315158844e-05, -6.778910756111145e-05, -6.54458999633789e-05, -6.310269236564636e-05, -6.075948476791382e-05, -5.8416277170181274e-05, -5.607306957244873e-05, -5.3729861974716187e-05, -5.138665437698364e-05, -4.90434467792511e-05, -4.6700239181518555e-05, -4.435703158378601e-05, -4.201382398605347e-05, -3.967061638832092e-05, -3.732740879058838e-05, -3.4984201192855835e-05, -3.264099359512329e-05, -3.0297785997390747e-05, -2.7954578399658203e-05, -2.561137080192566e-05, -2.3268163204193115e-05, -2.092495560646057e-05, -1.8581748008728027e-05, -1.6238540410995483e-05, -1.389533281326294e-05, -1.1552125215530396e-05, -9.208917617797852e-06, -6.865710020065308e-06, -4.522502422332764e-06, -2.1792948246002197e-06, 1.6391277313232422e-07, 2.507120370864868e-06, 4.850327968597412e-06, 7.193535566329956e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.13.attention.v_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 2.0, 2.0, 5.0, 5.0, 10.0, 8.0, 12.0, 18.0, 30.0, 41.0, 48.0, 92.0, 95.0, 137.0, 204.0, 292.0, 425.0, 577.0, 767.0, 1211.0, 1631.0, 2280.0, 3132.0, 4421.0, 6091.0, 8464.0, 11703.0, 16729.0, 23608.0, 49619.0, 830788.0, 25241.0, 17359.0, 12199.0, 8825.0, 6355.0, 4604.0, 3338.0, 2335.0, 1695.0, 1221.0, 821.0, 607.0, 470.0, 294.0, 186.0, 158.0, 114.0, 80.0, 60.0, 52.0, 25.0, 19.0, 20.0, 12.0, 13.0, 6.0, 9.0, 2.0, 5.0, 1.0, 1.0], "bins": [-9.97781753540039e-05, -9.666662663221359e-05, -9.355507791042328e-05, -9.044352918863297e-05, -8.733198046684265e-05, -8.422043174505234e-05, -8.110888302326202e-05, -7.799733430147171e-05, -7.48857855796814e-05, -7.177423685789108e-05, -6.866268813610077e-05, -6.555113941431046e-05, -6.243959069252014e-05, -5.932804197072983e-05, -5.6216493248939514e-05, -5.31049445271492e-05, -4.999339580535889e-05, -4.688184708356857e-05, -4.377029836177826e-05, -4.0658749639987946e-05, -3.754720091819763e-05, -3.443565219640732e-05, -3.1324103474617004e-05, -2.821255475282669e-05, -2.5101006031036377e-05, -2.1989457309246063e-05, -1.887790858745575e-05, -1.5766359865665436e-05, -1.2654811143875122e-05, -9.543262422084808e-06, -6.431713700294495e-06, -3.320164978504181e-06, -2.086162567138672e-07, 2.9029324650764465e-06, 6.01448118686676e-06, 9.126029908657074e-06, 1.2237578630447388e-05, 1.53491273522377e-05, 1.8460676074028015e-05, 2.157222479581833e-05, 2.4683773517608643e-05, 2.7795322239398956e-05, 3.090687096118927e-05, 3.4018419682979584e-05, 3.71299684047699e-05, 4.024151712656021e-05, 4.3353065848350525e-05, 4.646461457014084e-05, 4.957616329193115e-05, 5.2687712013721466e-05, 5.579926073551178e-05, 5.8910809457302094e-05, 6.202235817909241e-05, 6.513390690088272e-05, 6.824545562267303e-05, 7.135700434446335e-05, 7.446855306625366e-05, 7.758010178804398e-05, 8.069165050983429e-05, 8.38031992316246e-05, 8.691474795341492e-05, 9.002629667520523e-05, 9.313784539699554e-05, 9.624939411878586e-05, 9.936094284057617e-05]}, "gradients/encoder.encoder.layers.13.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 2.0, 2.0, 1.0, 2.0, 0.0, 2.0, 3.0, 5.0, 5.0, 5.0, 2.0, 5.0, 1.0, 6.0, 8.0, 6.0, 8.0, 5.0, 8.0, 6.0, 6.0, 9.0, 1.0, 6.0, 2.0, 6.0, 9.0, 9.0, 14.0, 759.0, 4.0, 8.0, 7.0, 6.0, 2.0, 1.0, 7.0, 4.0, 1.0, 4.0, 5.0, 6.0, 7.0, 4.0, 3.0, 5.0, 7.0, 7.0, 3.0, 4.0, 5.0, 0.0, 2.0, 2.0, 3.0, 4.0, 2.0, 1.0, 4.0, 0.0, 1.0], "bins": [-0.00011372566223144531, -0.00011018384248018265, -0.00010664202272891998, -0.00010310020297765732, -9.955838322639465e-05, -9.601656347513199e-05, -9.247474372386932e-05, -8.893292397260666e-05, -8.5391104221344e-05, -8.184928447008133e-05, -7.830746471881866e-05, -7.4765644967556e-05, -7.122382521629333e-05, -6.768200546503067e-05, -6.4140185713768e-05, -6.059836596250534e-05, -5.7056546211242676e-05, -5.351472645998001e-05, -4.9972906708717346e-05, -4.643108695745468e-05, -4.2889267206192017e-05, -3.934744745492935e-05, -3.580562770366669e-05, -3.226380795240402e-05, -2.8721988201141357e-05, -2.5180168449878693e-05, -2.1638348698616028e-05, -1.8096528947353363e-05, -1.4554709196090698e-05, -1.1012889444828033e-05, -7.471069693565369e-06, -3.929249942302704e-06, -3.8743019104003906e-07, 3.1543895602226257e-06, 6.6962093114852905e-06, 1.0238029062747955e-05, 1.377984881401062e-05, 1.7321668565273285e-05, 2.086348831653595e-05, 2.4405308067798615e-05, 2.794712781906128e-05, 3.1488947570323944e-05, 3.503076732158661e-05, 3.8572587072849274e-05, 4.211440682411194e-05, 4.56562265753746e-05, 4.919804632663727e-05, 5.273986607789993e-05, 5.62816858291626e-05, 5.982350558042526e-05, 6.336532533168793e-05, 6.690714508295059e-05, 7.044896483421326e-05, 7.399078458547592e-05, 7.753260433673859e-05, 8.107442408800125e-05, 8.461624383926392e-05, 8.815806359052658e-05, 9.169988334178925e-05, 9.524170309305191e-05, 9.878352284431458e-05, 0.00010232534259557724, 0.0001058671623468399, 0.00010940898209810257, 0.00011295080184936523]}, "gradients/encoder.encoder.layers.13.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 3.0, 2.0, 1.0, 6.0, 2.0, 2.0, 6.0, 4.0, 14.0, 5.0, 11.0, 13.0, 26.0, 29.0, 56.0, 62.0, 88.0, 262.0, 164.0, 80.0, 45.0, 28.0, 35.0, 27.0, 9.0, 9.0, 9.0, 7.0, 1.0, 2.0, 1.0, 2.0, 1.0, 3.0, 2.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0009209249983541667, -0.000890908355358988, -0.0008608917123638093, -0.0008308750693686306, -0.000800858426373452, -0.0007708417833782732, -0.0007408251985907555, -0.0007108085555955768, -0.0006807919126003981, -0.0006507752696052194, -0.0006207586266100407, -0.000590741983614862, -0.0005607253406196833, -0.0005307086976245046, -0.0005006920546293259, -0.0004706754407379776, -0.00044065876863896847, -0.00041064212564378977, -0.00038062548264861107, -0.00035060883965343237, -0.00032059219665825367, -0.00029057555366307497, -0.00026055893977172673, -0.00023054229677654803, -0.00020052565378136933, -0.00017050901078619063, -0.00014049236779101193, -0.00011047573934774846, -8.045909635256976e-05, -5.044245335739106e-05, -2.0425824914127588e-05, 9.590818081051111e-06, 3.9607519283890724e-05, 6.962416227906942e-05, 9.964079799829051e-05, 0.0001296574337175116, 0.0001596740767126903, 0.000189690719707869, 0.00021970734815113246, 0.00024972399114631116, 0.00027974063414148986, 0.00030975727713666856, 0.00033977392013184726, 0.0003697905340231955, 0.0003998071770183742, 0.0004298238200135529, 0.0004598404630087316, 0.0004898571060039103, 0.000519873748999089, 0.0005498903919942677, 0.0005799070349894464, 0.0006099236779846251, 0.0006399403209798038, 0.0006699569639749825, 0.0006999735487625003, 0.000729990191757679, 0.0007600068347528577, 0.0007900234777480364, 0.0008200401207432151, 0.0008500567637383938, 0.0008800734067335725, 0.0009100900497287512, 0.0009401066927239299, 0.0009701233357191086, 0.0010001399787142873]}, "gradients/encoder.encoder.layers.13.layer_norm.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 2.0, 2.0, 6.0, 3.0, 10.0, 24.0, 26.0, 31.0, 51.0, 68.0, 67.0, 65.0, 69.0, 85.0, 71.0, 78.0, 89.0, 74.0, 56.0, 28.0, 35.0, 22.0, 16.0, 17.0, 11.0, 3.0, 4.0, 3.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0004448890686035156, -0.00041884463280439377, -0.0003928001970052719, -0.00036675576120615005, -0.0003407113254070282, -0.00031466688960790634, -0.0002886224538087845, -0.00026257801800966263, -0.00023653358221054077, -0.00021048914641141891, -0.00018444471061229706, -0.0001584002748131752, -0.00013235583901405334, -0.00010631140321493149, -8.026696741580963e-05, -5.4222531616687775e-05, -2.8178095817565918e-05, -2.1336600184440613e-06, 2.3910775780677795e-05, 4.995521157979965e-05, 7.599964737892151e-05, 0.00010204408317804337, 0.00012808851897716522, 0.00015413295477628708, 0.00018017739057540894, 0.0002062218263745308, 0.00023226626217365265, 0.0002583106979727745, 0.00028435513377189636, 0.0003103995695710182, 0.0003364440053701401, 0.00036248844116926193, 0.0003885328769683838, 0.00041457731276750565, 0.0004406217485666275, 0.00046666618436574936, 0.0004927106201648712, 0.0005187550559639931, 0.0005447994917631149, 0.0005708439275622368, 0.0005968883633613586, 0.0006229327991604805, 0.0006489772349596024, 0.0006750216707587242, 0.0007010661065578461, 0.0007271105423569679, 0.0007531549781560898, 0.0007791994139552116, 0.0008052438497543335, 0.0008312882855534554, 0.0008573327213525772, 0.0008833771571516991, 0.0009094215929508209, 0.0009354660287499428, 0.0009615104645490646, 0.0009875549003481865, 0.0010135993361473083, 0.0010396437719464302, 0.001065688207745552, 0.001091732643544674, 0.0011177770793437958, 0.0011438215151429176, 0.0011698659509420395, 0.0011959103867411613, 0.0012219548225402832]}, "gradients/encoder.encoder.layers.12.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 1.0, 0.0, 0.0, 2.0, 0.0, 1.0, 3.0, 2.0, 2.0, 3.0, 1.0, 3.0, 2.0, 8.0, 2.0, 2.0, 2.0, 6.0, 5.0, 5.0, 14.0, 7.0, 12.0, 26.0, 57.0, 399.0, 4165003.0, 28411.0, 289.0, 24.0, 4.0], "bins": [-0.0018033981323242188, -0.0017733089625835419, -0.001743219792842865, -0.0017131306231021881, -0.0016830414533615112, -0.0016529522836208344, -0.0016228631138801575, -0.0015927739441394806, -0.0015626847743988037, -0.0015325956046581268, -0.00150250643491745, -0.001472417265176773, -0.0014423280954360962, -0.0014122389256954193, -0.0013821497559547424, -0.0013520605862140656, -0.0013219714164733887, -0.0012918822467327118, -0.001261793076992035, -0.001231703907251358, -0.0012016147375106812, -0.0011715255677700043, -0.0011414363980293274, -0.0011113472282886505, -0.0010812580585479736, -0.0010511688888072968, -0.0010210797190666199, -0.000990990549325943, -0.0009609013795852661, -0.0009308122098445892, -0.0009007230401039124, -0.0008706338703632355, -0.0008405447006225586, -0.0008104555308818817, -0.0007803663611412048, -0.000750277191400528, -0.0007201880216598511, -0.0006900988519191742, -0.0006600096821784973, -0.0006299205124378204, -0.0005998313426971436, -0.0005697421729564667, -0.0005396530032157898, -0.0005095638334751129, -0.00047947466373443604, -0.00044938549399375916, -0.0004192963242530823, -0.0003892071545124054, -0.0003591179847717285, -0.00032902881503105164, -0.00029893964529037476, -0.0002688504755496979, -0.000238761305809021, -0.00020867213606834412, -0.00017858296632766724, -0.00014849379658699036, -0.00011840462684631348, -8.83154571056366e-05, -5.822628736495972e-05, -2.8137117624282837e-05, 1.952052116394043e-06, 3.204122185707092e-05, 6.21303915977478e-05, 9.221956133842468e-05, 0.00012230873107910156]}, "gradients/encoder.encoder.layers.12.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 3.0, 11.0, 83.0, 429.0, 408.0, 71.0, 13.0, 3.0], "bins": [-0.0001404285430908203, -0.00013808533549308777, -0.00013574212789535522, -0.00013339892029762268, -0.00013105571269989014, -0.0001287125051021576, -0.00012636929750442505, -0.0001240260899066925, -0.00012168288230895996, -0.00011933967471122742, -0.00011699646711349487, -0.00011465325951576233, -0.00011231005191802979, -0.00010996684432029724, -0.0001076236367225647, -0.00010528042912483215, -0.00010293722152709961, -0.00010059401392936707, -9.825080633163452e-05, -9.590759873390198e-05, -9.356439113616943e-05, -9.122118353843689e-05, -8.887797594070435e-05, -8.65347683429718e-05, -8.419156074523926e-05, -8.184835314750671e-05, -7.950514554977417e-05, -7.716193795204163e-05, -7.481873035430908e-05, -7.247552275657654e-05, -7.0132315158844e-05, -6.778910756111145e-05, -6.54458999633789e-05, -6.310269236564636e-05, -6.075948476791382e-05, -5.8416277170181274e-05, -5.607306957244873e-05, -5.3729861974716187e-05, -5.138665437698364e-05, -4.90434467792511e-05, -4.6700239181518555e-05, -4.435703158378601e-05, -4.201382398605347e-05, -3.967061638832092e-05, -3.732740879058838e-05, -3.4984201192855835e-05, -3.264099359512329e-05, -3.0297785997390747e-05, -2.7954578399658203e-05, -2.561137080192566e-05, -2.3268163204193115e-05, -2.092495560646057e-05, -1.8581748008728027e-05, -1.6238540410995483e-05, -1.389533281326294e-05, -1.1552125215530396e-05, -9.208917617797852e-06, -6.865710020065308e-06, -4.522502422332764e-06, -2.1792948246002197e-06, 1.6391277313232422e-07, 2.507120370864868e-06, 4.850327968597412e-06, 7.193535566329956e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.12.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 6.0, 1.0, 10.0, 9.0, 20.0, 19.0, 31.0, 49.0, 65.0, 81.0, 121.0, 184.0, 244.0, 377.0, 534.0, 793.0, 1188.0, 1669.0, 2581.0, 4016.0, 6031.0, 10309.0, 19690.0, 74840.0, 3985635.0, 44831.0, 16111.0, 8603.0, 5433.0, 3530.0, 2359.0, 1501.0, 1054.0, 751.0, 472.0, 347.0, 233.0, 170.0, 123.0, 78.0, 61.0, 44.0, 34.0, 19.0, 15.0, 6.0, 7.0, 6.0, 2.0, 2.0, 2.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-8.07642936706543e-05, -7.826928049325943e-05, -7.577426731586456e-05, -7.32792541384697e-05, -7.078424096107483e-05, -6.828922778367996e-05, -6.57942146062851e-05, -6.329920142889023e-05, -6.080418825149536e-05, -5.8309175074100494e-05, -5.581416189670563e-05, -5.331914871931076e-05, -5.0824135541915894e-05, -4.8329122364521027e-05, -4.583410918712616e-05, -4.333909600973129e-05, -4.0844082832336426e-05, -3.834906965494156e-05, -3.585405647754669e-05, -3.3359043300151825e-05, -3.086403012275696e-05, -2.836901694536209e-05, -2.5874003767967224e-05, -2.3378990590572357e-05, -2.088397741317749e-05, -1.8388964235782623e-05, -1.5893951058387756e-05, -1.339893788099289e-05, -1.0903924703598022e-05, -8.408911526203156e-06, -5.9138983488082886e-06, -3.4188851714134216e-06, -9.238719940185547e-07, 1.5711411833763123e-06, 4.066154360771179e-06, 6.561167538166046e-06, 9.056180715560913e-06, 1.155119389295578e-05, 1.4046207070350647e-05, 1.6541220247745514e-05, 1.903623342514038e-05, 2.1531246602535248e-05, 2.4026259779930115e-05, 2.652127295732498e-05, 2.901628613471985e-05, 3.1511299312114716e-05, 3.400631248950958e-05, 3.650132566690445e-05, 3.8996338844299316e-05, 4.149135202169418e-05, 4.398636519908905e-05, 4.648137837648392e-05, 4.8976391553878784e-05, 5.147140473127365e-05, 5.396641790866852e-05, 5.6461431086063385e-05, 5.895644426345825e-05, 6.145145744085312e-05, 6.394647061824799e-05, 6.644148379564285e-05, 6.893649697303772e-05, 7.143151015043259e-05, 7.392652332782745e-05, 7.642153650522232e-05, 7.891654968261719e-05]}, "gradients/encoder.encoder.layers.12.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 2.0, 1.0, 1.0, 4.0, 3.0, 2.0, 2.0, 3.0, 3.0, 1.0, 3.0, 5.0, 4.0, 9.0, 9.0, 6.0, 12.0, 11.0, 18.0, 57.0, 114.0, 3582.0, 94.0, 45.0, 17.0, 8.0, 8.0, 7.0, 6.0, 8.0, 5.0, 3.0, 2.0, 2.0, 7.0, 3.0, 2.0, 3.0, 3.0, 2.0, 3.0, 1.0, 0.0, 1.0, 1.0, 1.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0], "bins": [-3.88026237487793e-05, -3.760494291782379e-05, -3.6407262086868286e-05, -3.520958125591278e-05, -3.4011900424957275e-05, -3.281421959400177e-05, -3.1616538763046265e-05, -3.041885793209076e-05, -2.9221177101135254e-05, -2.802349627017975e-05, -2.6825815439224243e-05, -2.5628134608268738e-05, -2.4430453777313232e-05, -2.3232772946357727e-05, -2.203509211540222e-05, -2.0837411284446716e-05, -1.963973045349121e-05, -1.8442049622535706e-05, -1.72443687915802e-05, -1.6046687960624695e-05, -1.484900712966919e-05, -1.3651326298713684e-05, -1.2453645467758179e-05, -1.1255964636802673e-05, -1.0058283805847168e-05, -8.860602974891663e-06, -7.662922143936157e-06, -6.465241312980652e-06, -5.2675604820251465e-06, -4.069879651069641e-06, -2.8721988201141357e-06, -1.6745179891586304e-06, -4.76837158203125e-07, 7.208436727523804e-07, 1.9185245037078857e-06, 3.116205334663391e-06, 4.3138861656188965e-06, 5.511566996574402e-06, 6.709247827529907e-06, 7.906928658485413e-06, 9.104609489440918e-06, 1.0302290320396423e-05, 1.1499971151351929e-05, 1.2697651982307434e-05, 1.389533281326294e-05, 1.5093013644218445e-05, 1.629069447517395e-05, 1.7488375306129456e-05, 1.868605613708496e-05, 1.9883736968040466e-05, 2.108141779899597e-05, 2.2279098629951477e-05, 2.3476779460906982e-05, 2.4674460291862488e-05, 2.5872141122817993e-05, 2.70698219537735e-05, 2.8267502784729004e-05, 2.946518361568451e-05, 3.0662864446640015e-05, 3.186054527759552e-05, 3.3058226108551025e-05, 3.425590693950653e-05, 3.5453587770462036e-05, 3.665126860141754e-05, 3.784894943237305e-05]}, "gradients/encoder.encoder.layers.12.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 3.0, 0.0, 2.0, 7.0, 5.0, 6.0, 8.0, 7.0, 19.0, 20.0, 38.0, 62.0, 112.0, 253.0, 196.0, 94.0, 53.0, 44.0, 27.0, 20.0, 11.0, 11.0, 6.0, 2.0, 4.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00017342352657578886, -0.00016671254707034677, -0.0001600015675649047, -0.0001532905880594626, -0.00014657960855402052, -0.00013986862904857844, -0.00013315764954313636, -0.00012644667003769428, -0.00011973569053225219, -0.00011302471102681011, -0.00010631373152136803, -9.960275201592594e-05, -9.289177251048386e-05, -8.618079300504178e-05, -7.94698134995997e-05, -7.275883399415761e-05, -6.604786176467314e-05, -5.933688225923106e-05, -5.262590275378898e-05, -4.5914923248346895e-05, -3.920394374290481e-05, -3.2492967875441536e-05, -2.5781988369999453e-05, -1.907100886455737e-05, -1.2360029359115288e-05, -5.649050308420556e-06, 1.0619287422741763e-06, 7.772907338221557e-06, 1.448388684366364e-05, 2.119486453011632e-05, 2.7905844035558403e-05, 3.4616823541000485e-05, 4.132780304644257e-05, 4.803878255188465e-05, 5.4749762057326734e-05, 6.146074156276882e-05, 6.81717210682109e-05, 7.488270057365298e-05, 8.159368007909507e-05, 8.830465958453715e-05, 9.501563908997923e-05, 0.00010172661859542131, 0.0001084375981008634, 0.00011514857760630548, 0.00012185955711174756, 0.00012857053661718965, 0.00013528151612263173, 0.0001419924956280738, 0.00014870346058160067, 0.00015541444008704275, 0.00016212541959248483, 0.00016883639909792691, 0.000175547378603369, 0.00018225835810881108, 0.00018896933761425316, 0.00019568031711969525, 0.00020239129662513733, 0.0002091022761305794, 0.0002158132556360215, 0.00022252423514146358, 0.00022923521464690566, 0.00023594619415234774, 0.00024265717365778983, 0.0002493681386113167, 0.000256079132668674]}, "gradients/encoder.encoder.layers.12.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 2.0, 1.0, 0.0, 1.0, 1.0, 6.0, 4.0, 11.0, 8.0, 16.0, 8.0, 14.0, 32.0, 34.0, 48.0, 30.0, 45.0, 46.0, 58.0, 46.0, 61.0, 47.0, 54.0, 66.0, 51.0, 50.0, 56.0, 33.0, 30.0, 35.0, 31.0, 28.0, 15.0, 15.0, 9.0, 1.0, 8.0, 3.0, 3.0, 5.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.00011479854583740234, -0.00011138524860143661, -0.00010797195136547089, -0.00010455865412950516, -0.00010114535689353943, -9.77320596575737e-05, -9.431876242160797e-05, -9.090546518564224e-05, -8.749216794967651e-05, -8.407887071371078e-05, -8.066557347774506e-05, -7.725227624177933e-05, -7.38389790058136e-05, -7.042568176984787e-05, -6.701238453388214e-05, -6.359908729791641e-05, -6.0185790061950684e-05, -5.6772492825984955e-05, -5.3359195590019226e-05, -4.99458983540535e-05, -4.653260111808777e-05, -4.311930388212204e-05, -3.970600664615631e-05, -3.629270941019058e-05, -3.2879412174224854e-05, -2.9466114938259125e-05, -2.6052817702293396e-05, -2.2639520466327667e-05, -1.922622323036194e-05, -1.581292599439621e-05, -1.2399628758430481e-05, -8.986331522464752e-06, -5.5730342864990234e-06, -2.1597370505332947e-06, 1.253560185432434e-06, 4.666857421398163e-06, 8.080154657363892e-06, 1.149345189332962e-05, 1.4906749129295349e-05, 1.8320046365261078e-05, 2.1733343601226807e-05, 2.5146640837192535e-05, 2.8559938073158264e-05, 3.197323530912399e-05, 3.538653254508972e-05, 3.879982978105545e-05, 4.221312701702118e-05, 4.562642425298691e-05, 4.903972148895264e-05, 5.2453018724918365e-05, 5.5866315960884094e-05, 5.927961319684982e-05, 6.269291043281555e-05, 6.610620766878128e-05, 6.951950490474701e-05, 7.293280214071274e-05, 7.634609937667847e-05, 7.97593966126442e-05, 8.317269384860992e-05, 8.658599108457565e-05, 8.999928832054138e-05, 9.341258555650711e-05, 9.682588279247284e-05, 0.00010023918002843857, 0.0001036524772644043]}, "gradients/encoder.encoder.layers.12.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 2.0, 1.0, 1.0, 1.0, 5.0, 5.0, 3.0, 4.0, 6.0, 7.0, 7.0, 15.0, 20.0, 16.0, 15.0, 22.0, 27.0, 33.0, 30.0, 35.0, 45.0, 41.0, 111.0, 1327.0, 1010575.0, 35418.0, 345.0, 72.0, 46.0, 40.0, 35.0, 37.0, 30.0, 20.0, 26.0, 23.0, 29.0, 19.0, 12.0, 11.0, 18.0, 5.0, 4.0, 5.0, 5.0, 4.0, 0.0, 2.0, 0.0, 1.0, 3.0, 2.0, 2.0, 1.0, 1.0, 1.0, 1.0], "bins": [-0.0006785392761230469, -0.0006571859121322632, -0.0006358325481414795, -0.0006144791841506958, -0.0005931258201599121, -0.0005717724561691284, -0.0005504190921783447, -0.000529065728187561, -0.0005077123641967773, -0.00048635900020599365, -0.00046500563621520996, -0.00044365227222442627, -0.0004222989082336426, -0.0004009455442428589, -0.0003795921802520752, -0.0003582388162612915, -0.0003368854522705078, -0.0003155320882797241, -0.00029417872428894043, -0.00027282536029815674, -0.00025147199630737305, -0.00023011863231658936, -0.00020876526832580566, -0.00018741190433502197, -0.00016605854034423828, -0.0001447051763534546, -0.0001233518123626709, -0.00010199844837188721, -8.064508438110352e-05, -5.9291720390319824e-05, -3.793835639953613e-05, -1.658499240875244e-05, 4.76837158203125e-06, 2.612173557281494e-05, 4.747509956359863e-05, 6.882846355438232e-05, 9.018182754516602e-05, 0.00011153519153594971, 0.0001328885555267334, 0.0001542419195175171, 0.00017559528350830078, 0.00019694864749908447, 0.00021830201148986816, 0.00023965537548065186, 0.00026100873947143555, 0.00028236210346221924, 0.00030371546745300293, 0.0003250688314437866, 0.0003464221954345703, 0.000367775559425354, 0.0003891289234161377, 0.0004104822874069214, 0.0004318356513977051, 0.00045318901538848877, 0.00047454237937927246, 0.0004958957433700562, 0.0005172491073608398, 0.0005386024713516235, 0.0005599558353424072, 0.0005813091993331909, 0.0006026625633239746, 0.0006240159273147583, 0.000645369291305542, 0.0006667226552963257, 0.0006880760192871094]}, "gradients/encoder.encoder.layers.12.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 4.0, 11.0, 85.0, 441.0, 386.0, 78.0, 13.0, 3.0], "bins": [-0.00013959407806396484, -0.00013726390898227692, -0.000134933739900589, -0.00013260357081890106, -0.00013027340173721313, -0.0001279432326555252, -0.00012561306357383728, -0.00012328289449214935, -0.00012095272541046143, -0.0001186225563287735, -0.00011629238724708557, -0.00011396221816539764, -0.00011163204908370972, -0.00010930188000202179, -0.00010697171092033386, -0.00010464154183864594, -0.00010231137275695801, -9.998120367527008e-05, -9.765103459358215e-05, -9.532086551189423e-05, -9.29906964302063e-05, -9.066052734851837e-05, -8.833035826683044e-05, -8.600018918514252e-05, -8.367002010345459e-05, -8.133985102176666e-05, -7.900968194007874e-05, -7.667951285839081e-05, -7.434934377670288e-05, -7.201917469501495e-05, -6.968900561332703e-05, -6.73588365316391e-05, -6.502866744995117e-05, -6.269849836826324e-05, -6.036832928657532e-05, -5.803816020488739e-05, -5.570799112319946e-05, -5.3377822041511536e-05, -5.104765295982361e-05, -4.871748387813568e-05, -4.6387314796447754e-05, -4.405714571475983e-05, -4.17269766330719e-05, -3.939680755138397e-05, -3.7066638469696045e-05, -3.473646938800812e-05, -3.240630030632019e-05, -3.0076131224632263e-05, -2.7745962142944336e-05, -2.541579306125641e-05, -2.308562397956848e-05, -2.0755454897880554e-05, -1.8425285816192627e-05, -1.60951167345047e-05, -1.3764947652816772e-05, -1.1434778571128845e-05, -9.104609489440918e-06, -6.774440407752991e-06, -4.4442713260650635e-06, -2.1141022443771362e-06, 2.1606683731079102e-07, 2.5462359189987183e-06, 4.8764050006866455e-06, 7.206574082374573e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.12.attention.v_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 4.0, 3.0, 3.0, 2.0, 2.0, 0.0, 3.0, 2.0, 8.0, 8.0, 3.0, 10.0, 12.0, 28.0, 55.0, 71.0, 94.0, 151.0, 237.0, 379.0, 566.0, 897.0, 1357.0, 2248.0, 3317.0, 5297.0, 7992.0, 12580.0, 17931.0, 27953.0, 865661.0, 38821.0, 21556.0, 14146.0, 9613.0, 6298.0, 4048.0, 2594.0, 1617.0, 1050.0, 672.0, 478.0, 308.0, 167.0, 103.0, 93.0, 49.0, 25.0, 12.0, 9.0, 11.0, 7.0, 3.0, 4.0, 2.0, 3.0, 0.0, 2.0, 4.0, 1.0, 1.0, 3.0], "bins": [-0.00012123584747314453, -0.00011752825230360031, -0.00011382065713405609, -0.00011011306196451187, -0.00010640546679496765, -0.00010269787162542343, -9.899027645587921e-05, -9.528268128633499e-05, -9.157508611679077e-05, -8.786749094724655e-05, -8.415989577770233e-05, -8.045230060815811e-05, -7.674470543861389e-05, -7.303711026906967e-05, -6.932951509952545e-05, -6.562191992998123e-05, -6.191432476043701e-05, -5.820672959089279e-05, -5.449913442134857e-05, -5.079153925180435e-05, -4.708394408226013e-05, -4.337634891271591e-05, -3.966875374317169e-05, -3.596115857362747e-05, -3.225356340408325e-05, -2.8545968234539032e-05, -2.4838373064994812e-05, -2.1130777895450592e-05, -1.7423182725906372e-05, -1.3715587556362152e-05, -1.0007992386817932e-05, -6.300397217273712e-06, -2.592802047729492e-06, 1.1147931218147278e-06, 4.822388291358948e-06, 8.529983460903168e-06, 1.2237578630447388e-05, 1.5945173799991608e-05, 1.9652768969535828e-05, 2.3360364139080048e-05, 2.7067959308624268e-05, 3.077555447816849e-05, 3.448314964771271e-05, 3.819074481725693e-05, 4.189833998680115e-05, 4.560593515634537e-05, 4.931353032588959e-05, 5.302112549543381e-05, 5.672872066497803e-05, 6.043631583452225e-05, 6.414391100406647e-05, 6.785150617361069e-05, 7.155910134315491e-05, 7.526669651269913e-05, 7.897429168224335e-05, 8.268188685178757e-05, 8.638948202133179e-05, 9.009707719087601e-05, 9.380467236042023e-05, 9.751226752996445e-05, 0.00010121986269950867, 0.00010492745786905289, 0.00010863505303859711, 0.00011234264820814133, 0.00011605024337768555]}, "gradients/encoder.encoder.layers.12.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 1.0, 4.0, 3.0, 3.0, 2.0, 2.0, 0.0, 3.0, 2.0, 8.0, 4.0, 3.0, 2.0, 3.0, 5.0, 7.0, 7.0, 8.0, 6.0, 5.0, 8.0, 3.0, 4.0, 1.0, 4.0, 3.0, 4.0, 2.0, 5.0, 9.0, 11.0, 762.0, 14.0, 14.0, 6.0, 5.0, 2.0, 3.0, 9.0, 7.0, 2.0, 3.0, 1.0, 7.0, 3.0, 3.0, 5.0, 2.0, 5.0, 5.0, 2.0, 5.0, 4.0, 3.0, 3.0, 2.0, 3.0, 0.0, 2.0, 4.0, 1.0, 1.0, 3.0], "bins": [-0.00010448694229125977, -0.00010129157453775406, -9.809620678424835e-05, -9.490083903074265e-05, -9.170547127723694e-05, -8.851010352373123e-05, -8.531473577022552e-05, -8.211936801671982e-05, -7.892400026321411e-05, -7.57286325097084e-05, -7.25332647562027e-05, -6.933789700269699e-05, -6.614252924919128e-05, -6.294716149568558e-05, -5.975179374217987e-05, -5.6556425988674164e-05, -5.336105823516846e-05, -5.016569048166275e-05, -4.6970322728157043e-05, -4.377495497465134e-05, -4.057958722114563e-05, -3.738421946763992e-05, -3.4188851714134216e-05, -3.099348396062851e-05, -2.7798116207122803e-05, -2.4602748453617096e-05, -2.140738070011139e-05, -1.8212012946605682e-05, -1.5016645193099976e-05, -1.1821277439594269e-05, -8.625909686088562e-06, -5.430541932582855e-06, -2.2351741790771484e-06, 9.601935744285583e-07, 4.155561327934265e-06, 7.350929081439972e-06, 1.0546296834945679e-05, 1.3741664588451385e-05, 1.6937032341957092e-05, 2.01324000954628e-05, 2.3327767848968506e-05, 2.6523135602474213e-05, 2.971850335597992e-05, 3.2913871109485626e-05, 3.610923886299133e-05, 3.930460661649704e-05, 4.2499974370002747e-05, 4.569534212350845e-05, 4.889070987701416e-05, 5.208607763051987e-05, 5.5281445384025574e-05, 5.847681313753128e-05, 6.167218089103699e-05, 6.48675486445427e-05, 6.80629163980484e-05, 7.125828415155411e-05, 7.445365190505981e-05, 7.764901965856552e-05, 8.084438741207123e-05, 8.403975516557693e-05, 8.723512291908264e-05, 9.043049067258835e-05, 9.362585842609406e-05, 9.682122617959976e-05, 0.00010001659393310547]}, "gradients/encoder.encoder.layers.12.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 0.0, 3.0, 2.0, 3.0, 2.0, 6.0, 7.0, 6.0, 16.0, 11.0, 18.0, 17.0, 28.0, 44.0, 55.0, 90.0, 169.0, 208.0, 89.0, 54.0, 47.0, 35.0, 31.0, 19.0, 14.0, 7.0, 2.0, 8.0, 3.0, 6.0, 3.0, 2.0, 2.0, 4.0, 1.0, 1.0, 0.0, 0.0, 2.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.000781170732807368, -0.0007568810251541436, -0.0007325912592932582, -0.0007083015516400337, -0.0006840118439868093, -0.0006597221363335848, -0.0006354323704726994, -0.0006111426628194749, -0.0005868528969585896, -0.0005625631893053651, -0.0005382734234444797, -0.0005139837157912552, -0.0004896940081380308, -0.00046540427138097584, -0.0004411145346239209, -0.00041682482697069645, -0.000392535119317472, -0.00036824538256041706, -0.0003439556749071926, -0.00031966593815013766, -0.0002953762304969132, -0.00027108649373985827, -0.00024679675698280334, -0.00022250703477766365, -0.00019821731257252395, -0.00017392759036738425, -0.00014963786816224456, -0.00012534813140518963, -0.00010105840920004994, -7.676868699491024e-05, -5.2478950237855315e-05, -2.818922803271562e-05, -3.8995640352368355e-06, 2.0390161807881668e-05, 4.467988765100017e-05, 6.896961713209748e-05, 9.325933933723718e-05, 0.00011754906154237688, 0.0001418387982994318, 0.0001661285205045715, 0.0001904182427097112, 0.0002147079649148509, 0.0002389976871199906, 0.0002632874238770455, 0.00028757716063410044, 0.0003118668682873249, 0.00033615660504437983, 0.00036044634180143476, 0.0003847360494546592, 0.00040902578621171415, 0.0004333154938649386, 0.00045760523062199354, 0.000481894938275218, 0.0005061846459284425, 0.0005304744117893279, 0.0005547641194425523, 0.0005790538853034377, 0.0006033435929566622, 0.0006276333588175476, 0.000651923066470772, 0.0006762127741239965, 0.0007005025399848819, 0.0007247922476381063, 0.0007490819552913308, 0.0007733716629445553]}, "gradients/encoder.encoder.layers.12.layer_norm.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 6.0, 9.0, 10.0, 12.0, 13.0, 21.0, 24.0, 23.0, 34.0, 42.0, 45.0, 54.0, 61.0, 70.0, 82.0, 88.0, 68.0, 63.0, 57.0, 62.0, 46.0, 30.0, 18.0, 21.0, 14.0, 17.0, 9.0, 9.0, 3.0, 1.0, 2.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00048607587814331055, -0.00046375859528779984, -0.0004414413124322891, -0.0004191240295767784, -0.0003968067467212677, -0.000374489463865757, -0.0003521721810102463, -0.00032985489815473557, -0.00030753761529922485, -0.00028522033244371414, -0.00026290304958820343, -0.00024058576673269272, -0.000218268483877182, -0.0001959512010216713, -0.00017363391816616058, -0.00015131663531064987, -0.00012899935245513916, -0.00010668206959962845, -8.436478674411774e-05, -6.204750388860703e-05, -3.9730221033096313e-05, -1.7412938177585602e-05, 4.90434467792511e-06, 2.722162753343582e-05, 4.953891038894653e-05, 7.185619324445724e-05, 9.417347609996796e-05, 0.00011649075895547867, 0.00013880804181098938, 0.0001611253246665001, 0.0001834426075220108, 0.00020575989037752151, 0.00022807717323303223, 0.00025039445608854294, 0.00027271173894405365, 0.00029502902179956436, 0.0003173463046550751, 0.0003396635875105858, 0.0003619808703660965, 0.0003842981532216072, 0.0004066154360771179, 0.00042893271893262863, 0.00045125000178813934, 0.00047356728464365005, 0.0004958845674991608, 0.0005182018503546715, 0.0005405191332101822, 0.0005628364160656929, 0.0005851536989212036, 0.0006074709817767143, 0.000629788264632225, 0.0006521055474877357, 0.0006744228303432465, 0.0006967401131987572, 0.0007190573960542679, 0.0007413746789097786, 0.0007636919617652893, 0.0007860092446208, 0.0008083265274763107, 0.0008306438103318214, 0.0008529610931873322, 0.0008752783760428429, 0.0008975956588983536, 0.0009199129417538643, 0.000942230224609375]}, "gradients/encoder.encoder.layers.11.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0, 2.0, 0.0, 5.0, 17.0, 101.0, 4192220.0, 1855.0, 81.0, 13.0, 3.0], "bins": [-0.00998687744140625, -0.009820178151130676, -0.009653478860855103, -0.009486779570579529, -0.009320080280303955, -0.009153380990028381, -0.008986681699752808, -0.008819982409477234, -0.00865328311920166, -0.008486583828926086, -0.008319884538650513, -0.008153185248374939, -0.007986485958099365, -0.007819786667823792, -0.007653087377548218, -0.007486388087272644, -0.00731968879699707, -0.007152989506721497, -0.006986290216445923, -0.006819590926170349, -0.006652891635894775, -0.006486192345619202, -0.006319493055343628, -0.006152793765068054, -0.0059860944747924805, -0.005819395184516907, -0.005652695894241333, -0.005485996603965759, -0.0053192973136901855, -0.005152598023414612, -0.004985898733139038, -0.004819199442863464, -0.004652500152587891, -0.004485800862312317, -0.004319101572036743, -0.004152402281761169, -0.003985702991485596, -0.003819003701210022, -0.0036523044109344482, -0.0034856051206588745, -0.0033189058303833008, -0.003152206540107727, -0.0029855072498321533, -0.0028188079595565796, -0.002652108669281006, -0.002485409379005432, -0.0023187100887298584, -0.0021520107984542847, -0.001985311508178711, -0.0018186122179031372, -0.0016519129276275635, -0.0014852136373519897, -0.001318514347076416, -0.0011518150568008423, -0.0009851157665252686, -0.0008184164762496948, -0.0006517171859741211, -0.00048501789569854736, -0.00031831860542297363, -0.0001516193151473999, 1.5079975128173828e-05, 0.00018177926540374756, 0.0003484785556793213, 0.000515177845954895, 0.0006818771362304688]}, "gradients/encoder.encoder.layers.11.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 4.0, 11.0, 85.0, 441.0, 386.0, 78.0, 13.0, 3.0], "bins": [-0.00013959407806396484, -0.00013726390898227692, -0.000134933739900589, -0.00013260357081890106, -0.00013027340173721313, -0.0001279432326555252, -0.00012561306357383728, -0.00012328289449214935, -0.00012095272541046143, -0.0001186225563287735, -0.00011629238724708557, -0.00011396221816539764, -0.00011163204908370972, -0.00010930188000202179, -0.00010697171092033386, -0.00010464154183864594, -0.00010231137275695801, -9.998120367527008e-05, -9.765103459358215e-05, -9.532086551189423e-05, -9.29906964302063e-05, -9.066052734851837e-05, -8.833035826683044e-05, -8.600018918514252e-05, -8.367002010345459e-05, -8.133985102176666e-05, -7.900968194007874e-05, -7.667951285839081e-05, -7.434934377670288e-05, -7.201917469501495e-05, -6.968900561332703e-05, -6.73588365316391e-05, -6.502866744995117e-05, -6.269849836826324e-05, -6.036832928657532e-05, -5.803816020488739e-05, -5.570799112319946e-05, -5.3377822041511536e-05, -5.104765295982361e-05, -4.871748387813568e-05, -4.6387314796447754e-05, -4.405714571475983e-05, -4.17269766330719e-05, -3.939680755138397e-05, -3.7066638469696045e-05, -3.473646938800812e-05, -3.240630030632019e-05, -3.0076131224632263e-05, -2.7745962142944336e-05, -2.541579306125641e-05, -2.308562397956848e-05, -2.0755454897880554e-05, -1.8425285816192627e-05, -1.60951167345047e-05, -1.3764947652816772e-05, -1.1434778571128845e-05, -9.104609489440918e-06, -6.774440407752991e-06, -4.4442713260650635e-06, -2.1141022443771362e-06, 2.1606683731079102e-07, 2.5462359189987183e-06, 4.8764050006866455e-06, 7.206574082374573e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.11.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 1.0, 2.0, 5.0, 1.0, 5.0, 7.0, 9.0, 13.0, 22.0, 35.0, 39.0, 47.0, 116.0, 137.0, 232.0, 411.0, 697.0, 1276.0, 2774.0, 4179179.0, 5034.0, 1727.0, 1010.0, 578.0, 315.0, 217.0, 119.0, 88.0, 57.0, 41.0, 24.0, 23.0, 21.0, 13.0, 4.0, 6.0, 2.0, 7.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00027489662170410156, -0.0002628155052661896, -0.0002507343888282776, -0.0002386532723903656, -0.0002265721559524536, -0.00021449103951454163, -0.00020240992307662964, -0.00019032880663871765, -0.00017824769020080566, -0.00016616657376289368, -0.0001540854573249817, -0.0001420043408870697, -0.00012992322444915771, -0.00011784210801124573, -0.00010576099157333374, -9.367987513542175e-05, -8.159875869750977e-05, -6.951764225959778e-05, -5.743652582168579e-05, -4.5355409383773804e-05, -3.3274292945861816e-05, -2.119317650794983e-05, -9.112060070037842e-06, 2.9690563678741455e-06, 1.5050172805786133e-05, 2.713128924369812e-05, 3.921240568161011e-05, 5.1293522119522095e-05, 6.337463855743408e-05, 7.545575499534607e-05, 8.753687143325806e-05, 9.961798787117004e-05, 0.00011169910430908203, 0.00012378022074699402, 0.000135861337184906, 0.000147942453622818, 0.00016002357006072998, 0.00017210468649864197, 0.00018418580293655396, 0.00019626691937446594, 0.00020834803581237793, 0.00022042915225028992, 0.0002325102686882019, 0.0002445913851261139, 0.0002566725015640259, 0.00026875361800193787, 0.00028083473443984985, 0.00029291585087776184, 0.00030499696731567383, 0.0003170780837535858, 0.0003291592001914978, 0.0003412403166294098, 0.0003533214330673218, 0.00036540254950523376, 0.00037748366594314575, 0.00038956478238105774, 0.0004016458988189697, 0.0004137270152568817, 0.0004258081316947937, 0.0004378892481327057, 0.0004499703645706177, 0.00046205148100852966, 0.00047413259744644165, 0.00048621371388435364, 0.0004982948303222656]}, "gradients/encoder.encoder.layers.11.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 0.0, 2.0, 7.0, 4064.0, 3.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 3.0, 1.0, 0.0, 0.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.4809112548828125e-05, -3.32370400428772e-05, -3.166496753692627e-05, -3.0092895030975342e-05, -2.8520822525024414e-05, -2.6948750019073486e-05, -2.537667751312256e-05, -2.380460500717163e-05, -2.2232532501220703e-05, -2.0660459995269775e-05, -1.9088387489318848e-05, -1.751631498336792e-05, -1.5944242477416992e-05, -1.4372169971466064e-05, -1.2800097465515137e-05, -1.1228024959564209e-05, -9.655952453613281e-06, -8.083879947662354e-06, -6.511807441711426e-06, -4.939734935760498e-06, -3.3676624298095703e-06, -1.7955899238586426e-06, -2.2351741790771484e-07, 1.3485550880432129e-06, 2.9206275939941406e-06, 4.492700099945068e-06, 6.064772605895996e-06, 7.636845111846924e-06, 9.208917617797852e-06, 1.078099012374878e-05, 1.2353062629699707e-05, 1.3925135135650635e-05, 1.5497207641601562e-05, 1.706928014755249e-05, 1.8641352653503418e-05, 2.0213425159454346e-05, 2.1785497665405273e-05, 2.33575701713562e-05, 2.492964267730713e-05, 2.6501715183258057e-05, 2.8073787689208984e-05, 2.9645860195159912e-05, 3.121793270111084e-05, 3.279000520706177e-05, 3.4362077713012695e-05, 3.593415021896362e-05, 3.750622272491455e-05, 3.907829523086548e-05, 4.0650367736816406e-05, 4.2222440242767334e-05, 4.379451274871826e-05, 4.536658525466919e-05, 4.693865776062012e-05, 4.8510730266571045e-05, 5.008280277252197e-05, 5.16548752784729e-05, 5.322694778442383e-05, 5.4799020290374756e-05, 5.6371092796325684e-05, 5.794316530227661e-05, 5.951523780822754e-05, 6.108731031417847e-05, 6.26593828201294e-05, 6.423145532608032e-05, 6.580352783203125e-05]}, "gradients/encoder.encoder.layers.11.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 3.0, 2.0, 0.0, 3.0, 10.0, 9.0, 14.0, 31.0, 39.0, 96.0, 363.0, 188.0, 96.0, 42.0, 45.0, 19.0, 11.0, 18.0, 7.0, 9.0, 5.0, 1.0, 1.0, 3.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.00011776939209084958, -0.00011109815386589617, -0.00010442691564094275, -9.775568469194695e-05, -9.108444646699354e-05, -8.441320824204013e-05, -7.774197729304433e-05, -7.107073906809092e-05, -6.43995008431375e-05, -5.772826261818409e-05, -5.1057028031209484e-05, -4.438579344423488e-05, -3.7714555219281465e-05, -3.104331699432805e-05, -2.4372082407353446e-05, -1.770084782037884e-05, -1.1029609595425427e-05, -4.3583731894614175e-06, 2.312863216502592e-06, 8.984099622466601e-06, 1.565533602843061e-05, 2.2326574253384024e-05, 2.899780884035863e-05, 3.5669043427333236e-05, 4.234028165228665e-05, 4.901151987724006e-05, 5.568275446421467e-05, 6.235398905118927e-05, 6.902522727614269e-05, 7.56964655010961e-05, 8.23676964500919e-05, 8.903893467504531e-05, 9.57101583480835e-05, 0.00010238139657303691, 0.00010905263479799032, 0.00011572386574698612, 0.00012239511124789715, 0.00012906634947285056, 0.00013573757314588875, 0.00014240881137084216, 0.00014908004959579557, 0.00015575128782074898, 0.0001624225260457024, 0.0001690937642706558, 0.000175764987943694, 0.0001824362261686474, 0.00018910746439360082, 0.00019577870261855423, 0.00020244994084350765, 0.00020912117906846106, 0.00021579241729341447, 0.0002224636555183679, 0.0002291348937433213, 0.0002358061319682747, 0.0002424773556413129, 0.0002491485793143511, 0.0002558198175393045, 0.0002624910557642579, 0.0002691622939892113, 0.00027583353221416473, 0.00028250477043911815, 0.00028917600866407156, 0.000295847246889025, 0.0003025184851139784, 0.0003091897233389318]}, "gradients/encoder.encoder.layers.11.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 6.0, 3.0, 4.0, 4.0, 5.0, 7.0, 16.0, 9.0, 23.0, 19.0, 40.0, 31.0, 42.0, 35.0, 57.0, 55.0, 46.0, 44.0, 69.0, 58.0, 61.0, 52.0, 54.0, 43.0, 37.0, 47.0, 31.0, 24.0, 22.0, 21.0, 19.0, 5.0, 7.0, 3.0, 4.0, 7.0, 1.0, 2.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 1.0], "bins": [-9.202957153320312e-05, -8.937064558267593e-05, -8.671171963214874e-05, -8.405279368162155e-05, -8.139386773109436e-05, -7.873494178056717e-05, -7.607601583003998e-05, -7.341708987951279e-05, -7.07581639289856e-05, -6.80992379784584e-05, -6.544031202793121e-05, -6.278138607740402e-05, -6.012246012687683e-05, -5.746353417634964e-05, -5.480460822582245e-05, -5.214568227529526e-05, -4.9486756324768066e-05, -4.6827830374240875e-05, -4.4168904423713684e-05, -4.150997847318649e-05, -3.88510525226593e-05, -3.619212657213211e-05, -3.353320062160492e-05, -3.087427467107773e-05, -2.8215348720550537e-05, -2.5556422770023346e-05, -2.2897496819496155e-05, -2.0238570868968964e-05, -1.7579644918441772e-05, -1.4920718967914581e-05, -1.226179301738739e-05, -9.602867066860199e-06, -6.943941116333008e-06, -4.285015165805817e-06, -1.6260892152786255e-06, 1.0328367352485657e-06, 3.691762685775757e-06, 6.350688636302948e-06, 9.00961458683014e-06, 1.166854053735733e-05, 1.4327466487884521e-05, 1.6986392438411713e-05, 1.9645318388938904e-05, 2.2304244339466095e-05, 2.4963170289993286e-05, 2.7622096240520477e-05, 3.028102219104767e-05, 3.293994814157486e-05, 3.559887409210205e-05, 3.825780004262924e-05, 4.091672599315643e-05, 4.3575651943683624e-05, 4.6234577894210815e-05, 4.8893503844738007e-05, 5.15524297952652e-05, 5.421135574579239e-05, 5.687028169631958e-05, 5.952920764684677e-05, 6.218813359737396e-05, 6.484705954790115e-05, 6.750598549842834e-05, 7.016491144895554e-05, 7.282383739948273e-05, 7.548276335000992e-05, 7.814168930053711e-05]}, "gradients/encoder.encoder.layers.11.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 0.0, 1.0, 1.0, 3.0, 2.0, 4.0, 2.0, 2.0, 7.0, 4.0, 5.0, 5.0, 12.0, 15.0, 11.0, 23.0, 12.0, 22.0, 21.0, 36.0, 21.0, 24.0, 30.0, 29.0, 38.0, 50.0, 71.0, 361.0, 38737.0, 1006502.0, 1979.0, 128.0, 49.0, 47.0, 35.0, 33.0, 32.0, 41.0, 38.0, 22.0, 17.0, 13.0, 17.0, 14.0, 9.0, 6.0, 8.0, 4.0, 9.0, 2.0, 9.0, 0.0, 2.0, 3.0, 0.0, 0.0, 2.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.0004558563232421875, -0.00044171884655952454, -0.00042758136987686157, -0.0004134438931941986, -0.00039930641651153564, -0.0003851689398288727, -0.0003710314631462097, -0.00035689398646354675, -0.0003427565097808838, -0.0003286190330982208, -0.00031448155641555786, -0.0003003440797328949, -0.00028620660305023193, -0.00027206912636756897, -0.000257931649684906, -0.00024379417300224304, -0.00022965669631958008, -0.00021551921963691711, -0.00020138174295425415, -0.0001872442662715912, -0.00017310678958892822, -0.00015896931290626526, -0.0001448318362236023, -0.00013069435954093933, -0.00011655688285827637, -0.0001024194061756134, -8.828192949295044e-05, -7.414445281028748e-05, -6.000697612762451e-05, -4.586949944496155e-05, -3.1732022762298584e-05, -1.759454607963562e-05, -3.4570693969726562e-06, 1.0680407285690308e-05, 2.481788396835327e-05, 3.8955360651016235e-05, 5.30928373336792e-05, 6.723031401634216e-05, 8.136779069900513e-05, 9.550526738166809e-05, 0.00010964274406433105, 0.00012378022074699402, 0.00013791769742965698, 0.00015205517411231995, 0.0001661926507949829, 0.00018033012747764587, 0.00019446760416030884, 0.0002086050808429718, 0.00022274255752563477, 0.00023688003420829773, 0.0002510175108909607, 0.00026515498757362366, 0.0002792924642562866, 0.0002934299409389496, 0.00030756741762161255, 0.0003217048943042755, 0.0003358423709869385, 0.00034997984766960144, 0.0003641173243522644, 0.00037825480103492737, 0.00039239227771759033, 0.0004065297544002533, 0.00042066723108291626, 0.0004348047077655792, 0.0004489421844482422]}, "gradients/encoder.encoder.layers.11.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 2.0, 12.0, 92.0, 423.0, 388.0, 83.0, 17.0, 3.0], "bins": [-0.00013959407806396484, -0.00013726390898227692, -0.000134933739900589, -0.00013260357081890106, -0.00013027340173721313, -0.0001279432326555252, -0.00012561306357383728, -0.00012328289449214935, -0.00012095272541046143, -0.0001186225563287735, -0.00011629238724708557, -0.00011396221816539764, -0.00011163204908370972, -0.00010930188000202179, -0.00010697171092033386, -0.00010464154183864594, -0.00010231137275695801, -9.998120367527008e-05, -9.765103459358215e-05, -9.532086551189423e-05, -9.29906964302063e-05, -9.066052734851837e-05, -8.833035826683044e-05, -8.600018918514252e-05, -8.367002010345459e-05, -8.133985102176666e-05, -7.900968194007874e-05, -7.667951285839081e-05, -7.434934377670288e-05, -7.201917469501495e-05, -6.968900561332703e-05, -6.73588365316391e-05, -6.502866744995117e-05, -6.269849836826324e-05, -6.036832928657532e-05, -5.803816020488739e-05, -5.570799112319946e-05, -5.3377822041511536e-05, -5.104765295982361e-05, -4.871748387813568e-05, -4.6387314796447754e-05, -4.405714571475983e-05, -4.17269766330719e-05, -3.939680755138397e-05, -3.7066638469696045e-05, -3.473646938800812e-05, -3.240630030632019e-05, -3.0076131224632263e-05, -2.7745962142944336e-05, -2.541579306125641e-05, -2.308562397956848e-05, -2.0755454897880554e-05, -1.8425285816192627e-05, -1.60951167345047e-05, -1.3764947652816772e-05, -1.1434778571128845e-05, -9.104609489440918e-06, -6.774440407752991e-06, -4.4442713260650635e-06, -2.1141022443771362e-06, 2.1606683731079102e-07, 2.5462359189987183e-06, 4.8764050006866455e-06, 7.206574082374573e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.11.attention.v_proj.weight": {"_type": "histogram", "values": [3.0, 4.0, 3.0, 8.0, 17.0, 16.0, 25.0, 49.0, 62.0, 81.0, 125.0, 152.0, 239.0, 269.0, 366.0, 566.0, 714.0, 843.0, 1119.0, 1566.0, 2029.0, 2613.0, 3363.0, 4350.0, 5784.0, 7419.0, 9034.0, 12071.0, 15432.0, 19586.0, 835153.0, 40369.0, 19342.0, 14832.0, 11324.0, 9143.0, 7151.0, 5427.0, 4351.0, 3195.0, 2486.0, 1961.0, 1485.0, 1049.0, 871.0, 642.0, 520.0, 352.0, 300.0, 207.0, 160.0, 95.0, 72.0, 63.0, 40.0, 25.0, 19.0, 18.0, 6.0, 5.0, 1.0, 1.0, 1.0, 2.0], "bins": [-6.574392318725586e-05, -6.361864507198334e-05, -6.149336695671082e-05, -5.9368088841438293e-05, -5.724281072616577e-05, -5.511753261089325e-05, -5.299225449562073e-05, -5.0866976380348206e-05, -4.8741698265075684e-05, -4.661642014980316e-05, -4.449114203453064e-05, -4.236586391925812e-05, -4.0240585803985596e-05, -3.8115307688713074e-05, -3.599002957344055e-05, -3.386475145816803e-05, -3.173947334289551e-05, -2.9614195227622986e-05, -2.7488917112350464e-05, -2.5363638997077942e-05, -2.323836088180542e-05, -2.1113082766532898e-05, -1.8987804651260376e-05, -1.6862526535987854e-05, -1.4737248420715332e-05, -1.261197030544281e-05, -1.0486692190170288e-05, -8.361414074897766e-06, -6.236135959625244e-06, -4.110857844352722e-06, -1.9855797290802e-06, 1.3969838619232178e-07, 2.2649765014648438e-06, 4.390254616737366e-06, 6.515532732009888e-06, 8.64081084728241e-06, 1.0766088962554932e-05, 1.2891367077827454e-05, 1.5016645193099976e-05, 1.7141923308372498e-05, 1.926720142364502e-05, 2.139247953891754e-05, 2.3517757654190063e-05, 2.5643035769462585e-05, 2.7768313884735107e-05, 2.989359200000763e-05, 3.201887011528015e-05, 3.414414823055267e-05, 3.6269426345825195e-05, 3.839470446109772e-05, 4.051998257637024e-05, 4.264526069164276e-05, 4.477053880691528e-05, 4.6895816922187805e-05, 4.902109503746033e-05, 5.114637315273285e-05, 5.327165126800537e-05, 5.539692938327789e-05, 5.7522207498550415e-05, 5.964748561382294e-05, 6.177276372909546e-05, 6.389804184436798e-05, 6.60233199596405e-05, 6.814859807491302e-05, 7.027387619018555e-05]}, "gradients/encoder.encoder.layers.11.attention.v_proj.bias": {"_type": "histogram", "values": [4.0, 1.0, 2.0, 3.0, 8.0, 4.0, 0.0, 1.0, 2.0, 5.0, 5.0, 9.0, 5.0, 6.0, 3.0, 1.0, 2.0, 6.0, 5.0, 6.0, 5.0, 4.0, 1.0, 1.0, 4.0, 4.0, 0.0, 1.0, 9.0, 26.0, 764.0, 5.0, 1.0, 5.0, 5.0, 6.0, 5.0, 2.0, 3.0, 5.0, 4.0, 6.0, 7.0, 5.0, 1.0, 2.0, 5.0, 14.0, 7.0, 4.0, 7.0, 0.0, 1.0, 5.0, 3.0, 6.0, 2.0, 3.0, 1.0, 4.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.00010478496551513672, -0.00010129809379577637, -9.781122207641602e-05, -9.432435035705566e-05, -9.083747863769531e-05, -8.735060691833496e-05, -8.386373519897461e-05, -8.037686347961426e-05, -7.68899917602539e-05, -7.340312004089355e-05, -6.99162483215332e-05, -6.642937660217285e-05, -6.29425048828125e-05, -5.945563316345215e-05, -5.59687614440918e-05, -5.2481889724731445e-05, -4.8995018005371094e-05, -4.550814628601074e-05, -4.202127456665039e-05, -3.853440284729004e-05, -3.504753112792969e-05, -3.1560659408569336e-05, -2.8073787689208984e-05, -2.4586915969848633e-05, -2.110004425048828e-05, -1.761317253112793e-05, -1.4126300811767578e-05, -1.0639429092407227e-05, -7.152557373046875e-06, -3.6656856536865234e-06, -1.7881393432617188e-07, 3.3080577850341797e-06, 6.794929504394531e-06, 1.0281801223754883e-05, 1.3768672943115234e-05, 1.7255544662475586e-05, 2.0742416381835938e-05, 2.422928810119629e-05, 2.771615982055664e-05, 3.120303153991699e-05, 3.4689903259277344e-05, 3.8176774978637695e-05, 4.166364669799805e-05, 4.51505184173584e-05, 4.863739013671875e-05, 5.21242618560791e-05, 5.561113357543945e-05, 5.9098005294799805e-05, 6.258487701416016e-05, 6.607174873352051e-05, 6.955862045288086e-05, 7.304549217224121e-05, 7.653236389160156e-05, 8.001923561096191e-05, 8.350610733032227e-05, 8.699297904968262e-05, 9.047985076904297e-05, 9.396672248840332e-05, 9.745359420776367e-05, 0.00010094046592712402, 0.00010442733764648438, 0.00010791420936584473, 0.00011140108108520508, 0.00011488795280456543, 0.00011837482452392578]}, "gradients/encoder.encoder.layers.11.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 1.0, 3.0, 0.0, 11.0, 5.0, 5.0, 11.0, 16.0, 11.0, 28.0, 29.0, 33.0, 49.0, 103.0, 166.0, 227.0, 112.0, 67.0, 36.0, 18.0, 23.0, 16.0, 12.0, 7.0, 5.0, 4.0, 4.0, 4.0, 6.0, 1.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.000945941312238574, -0.0009182686917483807, -0.0008905961294658482, -0.0008629235089756548, -0.0008352509466931224, -0.000807578326202929, -0.0007799057057127357, -0.0007522331434302032, -0.0007245605811476707, -0.0006968879606574774, -0.0006692153983749449, -0.0006415427778847516, -0.0006138702156022191, -0.0005861975951120257, -0.0005585249746218324, -0.0005308524123392999, -0.0005031797918491066, -0.00047550720046274364, -0.00044783460907638073, -0.00042016198858618736, -0.0003924894263036549, -0.00036481680581346154, -0.00033714421442709863, -0.0003094716230407357, -0.0002817990316543728, -0.0002541264402680099, -0.000226453848881647, -0.00019878124294336885, -0.00017110865155700594, -0.00014343606017064303, -0.00011576345423236489, -8.809086284600198e-05, -6.041827145963907e-05, -3.2745676435297355e-05, -5.073081410955638e-06, 2.2599517251364887e-05, 5.02721086377278e-05, 7.794470002409071e-05, 0.00010561730596236885, 0.00013328989734873176, 0.00016096248873509467, 0.00018863508012145758, 0.0002163076715078205, 0.00024398027744609863, 0.00027165288338437676, 0.0002993254456669092, 0.0003269980661571026, 0.0003546706575434655, 0.0003823432489298284, 0.0004100158403161913, 0.0004376884317025542, 0.0004653610521927476, 0.00049303361447528, 0.0005207062349654734, 0.0005483787972480059, 0.0005760514177381992, 0.0006037240382283926, 0.000631396658718586, 0.0006590692210011184, 0.0006867418414913118, 0.0007144144037738442, 0.0007420870242640376, 0.000769759644754231, 0.0007974322070367634, 0.0008251047693192959]}, "gradients/encoder.encoder.layers.11.layer_norm.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 2.0, 9.0, 13.0, 19.0, 20.0, 21.0, 29.0, 35.0, 30.0, 56.0, 81.0, 76.0, 84.0, 88.0, 81.0, 74.0, 66.0, 49.0, 44.0, 35.0, 24.0, 19.0, 23.0, 17.0, 5.0, 6.0, 7.0, 1.0, 1.0, 3.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0004253387451171875, -0.00039965007454156876, -0.00037396140396595, -0.00034827273339033127, -0.0003225840628147125, -0.0002968953922390938, -0.00027120672166347504, -0.0002455180510878563, -0.00021982938051223755, -0.0001941407099366188, -0.00016845203936100006, -0.00014276336878538132, -0.00011707469820976257, -9.138602763414383e-05, -6.569735705852509e-05, -4.000868648290634e-05, -1.4320015907287598e-05, 1.1368654668331146e-05, 3.705732524394989e-05, 6.274599581956863e-05, 8.843466639518738e-05, 0.00011412333697080612, 0.00013981200754642487, 0.0001655006781220436, 0.00019118934869766235, 0.0002168780192732811, 0.00024256668984889984, 0.0002682553604245186, 0.00029394403100013733, 0.0003196327015757561, 0.0003453213721513748, 0.00037101004272699356, 0.0003966987133026123, 0.00042238738387823105, 0.0004480760544538498, 0.00047376472502946854, 0.0004994533956050873, 0.000525142066180706, 0.0005508307367563248, 0.0005765194073319435, 0.0006022080779075623, 0.000627896748483181, 0.0006535854190587997, 0.0006792740896344185, 0.0007049627602100372, 0.000730651430785656, 0.0007563401013612747, 0.0007820287719368935, 0.0008077174425125122, 0.000833406113088131, 0.0008590947836637497, 0.0008847834542393684, 0.0009104721248149872, 0.0009361607953906059, 0.0009618494659662247, 0.0009875381365418434, 0.0010132268071174622, 0.001038915477693081, 0.0010646041482686996, 0.0010902928188443184, 0.0011159814894199371, 0.0011416701599955559, 0.0011673588305711746, 0.0011930475011467934, 0.0012187361717224121]}, "gradients/encoder.encoder.layers.10.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 4.0, 0.0, 2.0, 1.0, 5.0, 14.0, 97.0, 4192660.0, 1416.0, 83.0, 17.0, 3.0], "bins": [-0.00537872314453125, -0.005288936197757721, -0.005199149250984192, -0.005109362304210663, -0.005019575357437134, -0.004929788410663605, -0.004840001463890076, -0.004750214517116547, -0.004660427570343018, -0.0045706406235694885, -0.0044808536767959595, -0.00439106673002243, -0.004301279783248901, -0.004211492836475372, -0.004121705889701843, -0.004031918942928314, -0.003942131996154785, -0.003852345049381256, -0.003762558102607727, -0.003672771155834198, -0.003582984209060669, -0.00349319726228714, -0.003403410315513611, -0.003313623368740082, -0.0032238364219665527, -0.0031340494751930237, -0.0030442625284194946, -0.0029544755816459656, -0.0028646886348724365, -0.0027749016880989075, -0.0026851147413253784, -0.0025953277945518494, -0.0025055408477783203, -0.0024157539010047913, -0.002325966954231262, -0.002236180007457733, -0.002146393060684204, -0.002056606113910675, -0.001966819167137146, -0.001877032220363617, -0.0017872452735900879, -0.0016974583268165588, -0.0016076713800430298, -0.0015178844332695007, -0.0014280974864959717, -0.0013383105397224426, -0.0012485235929489136, -0.0011587366461753845, -0.0010689496994018555, -0.0009791627526283264, -0.0008893758058547974, -0.0007995888590812683, -0.0007098019123077393, -0.0006200149655342102, -0.0005302280187606812, -0.0004404410719871521, -0.00035065412521362305, -0.000260867178440094, -0.00017108023166656494, -8.129328489303589e-05, 8.493661880493164e-06, 9.828060865402222e-05, 0.00018806755542755127, 0.0002778545022010803, 0.0003676414489746094]}, "gradients/encoder.encoder.layers.10.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 2.0, 12.0, 92.0, 423.0, 388.0, 83.0, 17.0, 3.0], "bins": [-0.00013959407806396484, -0.00013726390898227692, -0.000134933739900589, -0.00013260357081890106, -0.00013027340173721313, -0.0001279432326555252, -0.00012561306357383728, -0.00012328289449214935, -0.00012095272541046143, -0.0001186225563287735, -0.00011629238724708557, -0.00011396221816539764, -0.00011163204908370972, -0.00010930188000202179, -0.00010697171092033386, -0.00010464154183864594, -0.00010231137275695801, -9.998120367527008e-05, -9.765103459358215e-05, -9.532086551189423e-05, -9.29906964302063e-05, -9.066052734851837e-05, -8.833035826683044e-05, -8.600018918514252e-05, -8.367002010345459e-05, -8.133985102176666e-05, -7.900968194007874e-05, -7.667951285839081e-05, -7.434934377670288e-05, -7.201917469501495e-05, -6.968900561332703e-05, -6.73588365316391e-05, -6.502866744995117e-05, -6.269849836826324e-05, -6.036832928657532e-05, -5.803816020488739e-05, -5.570799112319946e-05, -5.3377822041511536e-05, -5.104765295982361e-05, -4.871748387813568e-05, -4.6387314796447754e-05, -4.405714571475983e-05, -4.17269766330719e-05, -3.939680755138397e-05, -3.7066638469696045e-05, -3.473646938800812e-05, -3.240630030632019e-05, -3.0076131224632263e-05, -2.7745962142944336e-05, -2.541579306125641e-05, -2.308562397956848e-05, -2.0755454897880554e-05, -1.8425285816192627e-05, -1.60951167345047e-05, -1.3764947652816772e-05, -1.1434778571128845e-05, -9.104609489440918e-06, -6.774440407752991e-06, -4.4442713260650635e-06, -2.1141022443771362e-06, 2.1606683731079102e-07, 2.5462359189987183e-06, 4.8764050006866455e-06, 7.206574082374573e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.10.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 2.0, 0.0, 7.0, 2.0, 10.0, 6.0, 12.0, 14.0, 21.0, 29.0, 27.0, 29.0, 60.0, 55.0, 93.0, 97.0, 131.0, 168.0, 215.0, 241.0, 335.0, 393.0, 469.0, 580.0, 653.0, 1214.0, 4333.0, 4170989.0, 8504.0, 1728.0, 798.0, 540.0, 503.0, 403.0, 319.0, 262.0, 216.0, 189.0, 139.0, 109.0, 92.0, 70.0, 41.0, 50.0, 42.0, 21.0, 27.0, 15.0, 12.0, 16.0, 7.0, 3.0, 2.0, 3.0, 2.0, 3.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00011992454528808594, -0.00011601485311985016, -0.00011210516095161438, -0.0001081954687833786, -0.00010428577661514282, -0.00010037608444690704, -9.646639227867126e-05, -9.255670011043549e-05, -8.864700794219971e-05, -8.473731577396393e-05, -8.082762360572815e-05, -7.691793143749237e-05, -7.300823926925659e-05, -6.909854710102081e-05, -6.518885493278503e-05, -6.127916276454926e-05, -5.7369470596313477e-05, -5.34597784280777e-05, -4.955008625984192e-05, -4.564039409160614e-05, -4.173070192337036e-05, -3.782100975513458e-05, -3.3911317586898804e-05, -3.0001625418663025e-05, -2.6091933250427246e-05, -2.2182241082191467e-05, -1.827254891395569e-05, -1.436285674571991e-05, -1.0453164577484131e-05, -6.543472409248352e-06, -2.6337802410125732e-06, 1.2759119272232056e-06, 5.185604095458984e-06, 9.095296263694763e-06, 1.3004988431930542e-05, 1.691468060016632e-05, 2.08243727684021e-05, 2.473406493663788e-05, 2.8643757104873657e-05, 3.2553449273109436e-05, 3.6463141441345215e-05, 4.0372833609580994e-05, 4.428252577781677e-05, 4.819221794605255e-05, 5.210191011428833e-05, 5.601160228252411e-05, 5.992129445075989e-05, 6.383098661899567e-05, 6.774067878723145e-05, 7.165037095546722e-05, 7.5560063123703e-05, 7.946975529193878e-05, 8.337944746017456e-05, 8.728913962841034e-05, 9.119883179664612e-05, 9.51085239648819e-05, 9.901821613311768e-05, 0.00010292790830135345, 0.00010683760046958923, 0.00011074729263782501, 0.00011465698480606079, 0.00011856667697429657, 0.00012247636914253235, 0.00012638606131076813, 0.0001302957534790039]}, "gradients/encoder.encoder.layers.10.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 3.0, 8.0, 7.0, 4053.0, 5.0, 1.0, 2.0, 5.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.504753112792969e-05, -3.390572965145111e-05, -3.2763928174972534e-05, -3.162212669849396e-05, -3.048032522201538e-05, -2.9338523745536804e-05, -2.8196722269058228e-05, -2.705492079257965e-05, -2.5913119316101074e-05, -2.4771317839622498e-05, -2.362951636314392e-05, -2.2487714886665344e-05, -2.1345913410186768e-05, -2.020411193370819e-05, -1.9062310457229614e-05, -1.7920508980751038e-05, -1.677870750427246e-05, -1.5636906027793884e-05, -1.4495104551315308e-05, -1.3353303074836731e-05, -1.2211501598358154e-05, -1.1069700121879578e-05, -9.927898645401001e-06, -8.786097168922424e-06, -7.644295692443848e-06, -6.502494215965271e-06, -5.360692739486694e-06, -4.218891263008118e-06, -3.077089786529541e-06, -1.9352883100509644e-06, -7.934868335723877e-07, 3.4831464290618896e-07, 1.4901161193847656e-06, 2.6319175958633423e-06, 3.773719072341919e-06, 4.915520548820496e-06, 6.057322025299072e-06, 7.199123501777649e-06, 8.340924978256226e-06, 9.482726454734802e-06, 1.0624527931213379e-05, 1.1766329407691956e-05, 1.2908130884170532e-05, 1.4049932360649109e-05, 1.5191733837127686e-05, 1.6333535313606262e-05, 1.747533679008484e-05, 1.8617138266563416e-05, 1.9758939743041992e-05, 2.090074121952057e-05, 2.2042542695999146e-05, 2.3184344172477722e-05, 2.43261456489563e-05, 2.5467947125434875e-05, 2.6609748601913452e-05, 2.775155007839203e-05, 2.8893351554870605e-05, 3.0035153031349182e-05, 3.117695450782776e-05, 3.2318755984306335e-05, 3.346055746078491e-05, 3.460235893726349e-05, 3.5744160413742065e-05, 3.688596189022064e-05, 3.802776336669922e-05]}, "gradients/encoder.encoder.layers.10.final_layer_norm.weight": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 4.0, 1.0, 8.0, 8.0, 8.0, 9.0, 23.0, 36.0, 47.0, 54.0, 143.0, 246.0, 126.0, 88.0, 51.0, 37.0, 25.0, 21.0, 19.0, 14.0, 12.0, 7.0, 5.0, 5.0, 3.0, 2.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 3.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-6.846711039543152e-05, -6.552954437211156e-05, -6.25919783487916e-05, -5.965441232547164e-05, -5.671684630215168e-05, -5.377928027883172e-05, -5.084171425551176e-05, -4.79041482321918e-05, -4.496658220887184e-05, -4.202901618555188e-05, -3.909145016223192e-05, -3.615388413891196e-05, -3.3216318115592e-05, -3.0278752092272043e-05, -2.7341186068952084e-05, -2.4403620045632124e-05, -2.1466054022312164e-05, -1.8528487998992205e-05, -1.5590921975672245e-05, -1.2653355952352285e-05, -9.715789929032326e-06, -6.778223905712366e-06, -3.8406578823924065e-06, -9.030918590724468e-07, 2.034474164247513e-06, 4.9720401875674725e-06, 7.909606210887432e-06, 1.0847172234207392e-05, 1.3784738257527351e-05, 1.672230428084731e-05, 1.965987030416727e-05, 2.259743632748723e-05, 2.553500235080719e-05, 2.847256837412715e-05, 3.141013439744711e-05, 3.434770042076707e-05, 3.728526644408703e-05, 4.022283246740699e-05, 4.316039849072695e-05, 4.609796451404691e-05, 4.903553053736687e-05, 5.197309656068683e-05, 5.4910662584006786e-05, 5.7848228607326746e-05, 6.0785794630646706e-05, 6.372336065396667e-05, 6.666092667728662e-05, 6.959849270060658e-05, 7.253605872392654e-05, 7.54736247472465e-05, 7.841119077056646e-05, 8.134875679388642e-05, 8.428632281720638e-05, 8.722388884052634e-05, 9.01614548638463e-05, 9.309902088716626e-05, 9.603658691048622e-05, 9.897415293380618e-05, 0.00010191171895712614, 0.0001048492849804461, 0.00010778685100376606, 0.00011072441702708602, 0.00011366198305040598, 0.00011659954907372594, 0.0001195371150970459]}, "gradients/encoder.encoder.layers.10.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 4.0, 1.0, 3.0, 3.0, 2.0, 4.0, 8.0, 9.0, 11.0, 15.0, 13.0, 11.0, 26.0, 15.0, 31.0, 34.0, 41.0, 23.0, 45.0, 40.0, 37.0, 39.0, 49.0, 47.0, 48.0, 40.0, 42.0, 39.0, 50.0, 30.0, 45.0, 25.0, 23.0, 31.0, 23.0, 29.0, 16.0, 7.0, 12.0, 10.0, 7.0, 9.0, 4.0, 2.0, 2.0, 2.0, 3.0, 6.0, 0.0, 1.0, 2.0, 1.0, 1.0], "bins": [-5.46574592590332e-05, -5.3097493946552277e-05, -5.153752863407135e-05, -4.9977563321590424e-05, -4.84175980091095e-05, -4.685763269662857e-05, -4.5297667384147644e-05, -4.373770207166672e-05, -4.217773675918579e-05, -4.0617771446704865e-05, -3.905780613422394e-05, -3.749784082174301e-05, -3.5937875509262085e-05, -3.437791019678116e-05, -3.281794488430023e-05, -3.1257979571819305e-05, -2.969801425933838e-05, -2.8138048946857452e-05, -2.6578083634376526e-05, -2.50181183218956e-05, -2.3458153009414673e-05, -2.1898187696933746e-05, -2.033822238445282e-05, -1.8778257071971893e-05, -1.7218291759490967e-05, -1.565832644701004e-05, -1.4098361134529114e-05, -1.2538395822048187e-05, -1.097843050956726e-05, -9.418465197086334e-06, -7.858499884605408e-06, -6.298534572124481e-06, -4.738569259643555e-06, -3.178603947162628e-06, -1.6186386346817017e-06, -5.8673322200775146e-08, 1.5012919902801514e-06, 3.061257302761078e-06, 4.621222615242004e-06, 6.181187927722931e-06, 7.741153240203857e-06, 9.301118552684784e-06, 1.086108386516571e-05, 1.2421049177646637e-05, 1.3981014490127563e-05, 1.554097980260849e-05, 1.7100945115089417e-05, 1.8660910427570343e-05, 2.022087574005127e-05, 2.1780841052532196e-05, 2.3340806365013123e-05, 2.490077167749405e-05, 2.6460736989974976e-05, 2.8020702302455902e-05, 2.958066761493683e-05, 3.1140632927417755e-05, 3.270059823989868e-05, 3.426056355237961e-05, 3.5820528864860535e-05, 3.738049417734146e-05, 3.894045948982239e-05, 4.0500424802303314e-05, 4.206039011478424e-05, 4.362035542726517e-05, 4.5180320739746094e-05]}, "gradients/encoder.encoder.layers.10.attention.out_proj.weight": {"_type": "histogram", "values": [3.0, 1.0, 1.0, 1.0, 1.0, 8.0, 1.0, 4.0, 6.0, 4.0, 6.0, 9.0, 8.0, 5.0, 10.0, 11.0, 22.0, 9.0, 18.0, 35.0, 24.0, 29.0, 27.0, 34.0, 34.0, 24.0, 33.0, 59.0, 157.0, 3510.0, 1006017.0, 37558.0, 406.0, 78.0, 41.0, 29.0, 38.0, 31.0, 47.0, 28.0, 25.0, 21.0, 12.0, 20.0, 24.0, 13.0, 17.0, 15.0, 12.0, 9.0, 8.0, 7.0, 5.0, 6.0, 3.0, 2.0, 2.0, 1.0, 5.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0003254413604736328, -0.00031484290957450867, -0.0003042444586753845, -0.0002936460077762604, -0.00028304755687713623, -0.0002724491059780121, -0.00026185065507888794, -0.0002512522041797638, -0.00024065375328063965, -0.0002300553023815155, -0.00021945685148239136, -0.0002088584005832672, -0.00019825994968414307, -0.00018766149878501892, -0.00017706304788589478, -0.00016646459698677063, -0.00015586614608764648, -0.00014526769518852234, -0.0001346692442893982, -0.00012407079339027405, -0.0001134723424911499, -0.00010287389159202576, -9.227544069290161e-05, -8.167698979377747e-05, -7.107853889465332e-05, -6.0480087995529175e-05, -4.988163709640503e-05, -3.9283186197280884e-05, -2.8684735298156738e-05, -1.8086284399032593e-05, -7.487833499908447e-06, 3.1106173992156982e-06, 1.3709068298339844e-05, 2.430751919746399e-05, 3.4905970096588135e-05, 4.550442099571228e-05, 5.6102871894836426e-05, 6.670132279396057e-05, 7.729977369308472e-05, 8.789822459220886e-05, 9.849667549133301e-05, 0.00010909512639045715, 0.0001196935772895813, 0.00013029202818870544, 0.0001408904790878296, 0.00015148892998695374, 0.00016208738088607788, 0.00017268583178520203, 0.00018328428268432617, 0.00019388273358345032, 0.00020448118448257446, 0.0002150796353816986, 0.00022567808628082275, 0.0002362765371799469, 0.00024687498807907104, 0.0002574734389781952, 0.00026807188987731934, 0.0002786703407764435, 0.0002892687916755676, 0.00029986724257469177, 0.0003104656934738159, 0.00032106414437294006, 0.0003316625952720642, 0.00034226104617118835, 0.0003528594970703125]}, "gradients/encoder.encoder.layers.10.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 16.0, 105.0, 406.0, 383.0, 87.0, 19.0, 3.0], "bins": [-0.00013959407806396484, -0.00013726390898227692, -0.000134933739900589, -0.00013260357081890106, -0.00013027340173721313, -0.0001279432326555252, -0.00012561306357383728, -0.00012328289449214935, -0.00012095272541046143, -0.0001186225563287735, -0.00011629238724708557, -0.00011396221816539764, -0.00011163204908370972, -0.00010930188000202179, -0.00010697171092033386, -0.00010464154183864594, -0.00010231137275695801, -9.998120367527008e-05, -9.765103459358215e-05, -9.532086551189423e-05, -9.29906964302063e-05, -9.066052734851837e-05, -8.833035826683044e-05, -8.600018918514252e-05, -8.367002010345459e-05, -8.133985102176666e-05, -7.900968194007874e-05, -7.667951285839081e-05, -7.434934377670288e-05, -7.201917469501495e-05, -6.968900561332703e-05, -6.73588365316391e-05, -6.502866744995117e-05, -6.269849836826324e-05, -6.036832928657532e-05, -5.803816020488739e-05, -5.570799112319946e-05, -5.3377822041511536e-05, -5.104765295982361e-05, -4.871748387813568e-05, -4.6387314796447754e-05, -4.405714571475983e-05, -4.17269766330719e-05, -3.939680755138397e-05, -3.7066638469696045e-05, -3.473646938800812e-05, -3.240630030632019e-05, -3.0076131224632263e-05, -2.7745962142944336e-05, -2.541579306125641e-05, -2.308562397956848e-05, -2.0755454897880554e-05, -1.8425285816192627e-05, -1.60951167345047e-05, -1.3764947652816772e-05, -1.1434778571128845e-05, -9.104609489440918e-06, -6.774440407752991e-06, -4.4442713260650635e-06, -2.1141022443771362e-06, 2.1606683731079102e-07, 2.5462359189987183e-06, 4.8764050006866455e-06, 7.206574082374573e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.10.attention.v_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 1.0, 4.0, 1.0, 2.0, 3.0, 10.0, 6.0, 8.0, 26.0, 21.0, 39.0, 71.0, 80.0, 168.0, 222.0, 381.0, 521.0, 883.0, 1336.0, 2028.0, 3193.0, 4817.0, 7646.0, 11659.0, 18378.0, 30699.0, 895268.0, 25473.0, 15828.0, 10792.0, 6744.0, 4404.0, 2727.0, 1821.0, 1187.0, 730.0, 467.0, 311.0, 235.0, 116.0, 89.0, 48.0, 41.0, 26.0, 17.0, 13.0, 7.0, 5.0, 5.0, 6.0, 3.0, 1.0, 1.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-8.589029312133789e-05, -8.306186646223068e-05, -8.023343980312347e-05, -7.740501314401627e-05, -7.457658648490906e-05, -7.174815982580185e-05, -6.891973316669464e-05, -6.609130650758743e-05, -6.326287984848022e-05, -6.0434453189373016e-05, -5.760602653026581e-05, -5.47775998711586e-05, -5.194917321205139e-05, -4.912074655294418e-05, -4.6292319893836975e-05, -4.346389323472977e-05, -4.063546657562256e-05, -3.780703991651535e-05, -3.497861325740814e-05, -3.2150186598300934e-05, -2.9321759939193726e-05, -2.6493333280086517e-05, -2.366490662097931e-05, -2.08364799618721e-05, -1.8008053302764893e-05, -1.5179626643657684e-05, -1.2351199984550476e-05, -9.522773325443268e-06, -6.6943466663360596e-06, -3.865920007228851e-06, -1.037493348121643e-06, 1.7909333109855652e-06, 4.6193599700927734e-06, 7.447786629199982e-06, 1.027621328830719e-05, 1.3104639947414398e-05, 1.5933066606521606e-05, 1.8761493265628815e-05, 2.1589919924736023e-05, 2.441834658384323e-05, 2.724677324295044e-05, 3.0075199902057648e-05, 3.2903626561164856e-05, 3.5732053220272064e-05, 3.856047987937927e-05, 4.138890653848648e-05, 4.421733319759369e-05, 4.70457598567009e-05, 4.9874186515808105e-05, 5.2702613174915314e-05, 5.553103983402252e-05, 5.835946649312973e-05, 6.118789315223694e-05, 6.401631981134415e-05, 6.684474647045135e-05, 6.967317312955856e-05, 7.250159978866577e-05, 7.533002644777298e-05, 7.815845310688019e-05, 8.09868797659874e-05, 8.38153064250946e-05, 8.664373308420181e-05, 8.947215974330902e-05, 9.230058640241623e-05, 9.512901306152344e-05]}, "gradients/encoder.encoder.layers.10.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 0.0, 4.0, 1.0, 2.0, 1.0, 2.0, 4.0, 4.0, 5.0, 3.0, 4.0, 2.0, 9.0, 6.0, 1.0, 8.0, 6.0, 3.0, 4.0, 3.0, 0.0, 4.0, 5.0, 4.0, 3.0, 13.0, 809.0, 8.0, 6.0, 4.0, 4.0, 2.0, 4.0, 3.0, 8.0, 4.0, 3.0, 5.0, 4.0, 2.0, 2.0, 5.0, 6.0, 10.0, 4.0, 4.0, 2.0, 4.0, 3.0, 5.0, 2.0, 2.0, 0.0, 1.0, 3.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00011026859283447266, -0.00010663829743862152, -0.00010300800204277039, -9.937770664691925e-05, -9.574741125106812e-05, -9.211711585521698e-05, -8.848682045936584e-05, -8.485652506351471e-05, -8.122622966766357e-05, -7.759593427181244e-05, -7.39656388759613e-05, -7.033534348011017e-05, -6.670504808425903e-05, -6.30747526884079e-05, -5.944445729255676e-05, -5.581416189670563e-05, -5.218386650085449e-05, -4.855357110500336e-05, -4.492327570915222e-05, -4.1292980313301086e-05, -3.766268491744995e-05, -3.4032389521598816e-05, -3.040209412574768e-05, -2.6771798729896545e-05, -2.314150333404541e-05, -1.9511207938194275e-05, -1.588091254234314e-05, -1.2250617146492004e-05, -8.620321750640869e-06, -4.990026354789734e-06, -1.3597309589385986e-06, 2.2705644369125366e-06, 5.900859832763672e-06, 9.531155228614807e-06, 1.3161450624465942e-05, 1.6791746020317078e-05, 2.0422041416168213e-05, 2.4052336812019348e-05, 2.7682632207870483e-05, 3.131292760372162e-05, 3.4943222999572754e-05, 3.857351839542389e-05, 4.2203813791275024e-05, 4.583410918712616e-05, 4.9464404582977295e-05, 5.309469997882843e-05, 5.6724995374679565e-05, 6.03552907705307e-05, 6.398558616638184e-05, 6.761588156223297e-05, 7.12461769580841e-05, 7.487647235393524e-05, 7.850676774978638e-05, 8.213706314563751e-05, 8.576735854148865e-05, 8.939765393733978e-05, 9.302794933319092e-05, 9.665824472904205e-05, 0.00010028854012489319, 0.00010391883552074432, 0.00010754913091659546, 0.0001111794263124466, 0.00011480972170829773, 0.00011844001710414886, 0.0001220703125]}, "gradients/encoder.encoder.layers.10.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 2.0, 3.0, 4.0, 10.0, 14.0, 12.0, 33.0, 30.0, 40.0, 73.0, 115.0, 233.0, 196.0, 76.0, 62.0, 44.0, 24.0, 17.0, 6.0, 8.0, 3.0, 5.0, 2.0, 1.0, 1.0, 0.0, 0.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0011340394848957658, -0.0011063439305871725, -0.0010786482598632574, -0.0010509527055546641, -0.0010232571512460709, -0.0009955615969374776, -0.0009678659844212234, -0.0009401703719049692, -0.0009124748175963759, -0.0008847792632877827, -0.0008570836507715285, -0.0008293880382552743, -0.000801692483946681, -0.0007739969296380877, -0.0007463013171218336, -0.0007186057046055794, -0.0006909101502969861, -0.0006632145959883928, -0.0006355189834721386, -0.0006078233709558845, -0.0005801278166472912, -0.0005524322623386979, -0.0005247366498224437, -0.0004970410373061895, -0.00046934548299759626, -0.00044164989958517253, -0.0004139543161727488, -0.0003862587327603251, -0.00035856314934790134, -0.0003308675659354776, -0.0003031719825230539, -0.00027547639911063015, -0.00024778087390586734, -0.0002200852904934436, -0.00019238970708101988, -0.00016469412366859615, -0.00013699854025617242, -0.00010930295684374869, -8.160737343132496e-05, -5.391179001890123e-05, -2.62162066064775e-05, 1.4793768059462309e-06, 2.917496021836996e-05, 5.687054363079369e-05, 8.456612704321742e-05, 0.00011226171045564115, 0.00013995729386806488, 0.0001676528772804886, 0.00019534846069291234, 0.00022304404410533607, 0.0002507396275177598, 0.00027843521093018353, 0.00030613079434260726, 0.000333826377755031, 0.0003615219611674547, 0.00038921754457987845, 0.0004169131279923022, 0.0004446087114047259, 0.00047230429481714964, 0.0004999998491257429, 0.0005276954616419971, 0.0005553910741582513, 0.0005830866284668446, 0.0006107821827754378, 0.000638477795291692]}, "gradients/encoder.encoder.layers.10.layer_norm.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 5.0, 3.0, 6.0, 9.0, 12.0, 23.0, 31.0, 30.0, 43.0, 49.0, 59.0, 68.0, 67.0, 77.0, 71.0, 65.0, 61.0, 63.0, 55.0, 53.0, 38.0, 32.0, 22.0, 19.0, 9.0, 15.0, 10.0, 7.0, 5.0, 5.0, 2.0, 2.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0003636479377746582, -0.0003440463915467262, -0.00032444484531879425, -0.0003048432990908623, -0.0002852417528629303, -0.0002656402066349983, -0.00024603866040706635, -0.00022643711417913437, -0.0002068355679512024, -0.00018723402172327042, -0.00016763247549533844, -0.00014803092926740646, -0.0001284293830394745, -0.00010882783681154251, -8.922629058361053e-05, -6.962474435567856e-05, -5.002319812774658e-05, -3.0421651899814606e-05, -1.082010567188263e-05, 8.781440556049347e-06, 2.8382986783981323e-05, 4.79845330119133e-05, 6.758607923984528e-05, 8.718762546777725e-05, 0.00010678917169570923, 0.0001263907179236412, 0.00014599226415157318, 0.00016559381037950516, 0.00018519535660743713, 0.0002047969028353691, 0.00022439844906330109, 0.00024399999529123306, 0.00026360154151916504, 0.000283203087747097, 0.000302804633975029, 0.00032240618020296097, 0.00034200772643089294, 0.0003616092726588249, 0.0003812108188867569, 0.0004008123651146889, 0.00042041391134262085, 0.0004400154575705528, 0.0004596170037984848, 0.0004792185500264168, 0.0004988200962543488, 0.0005184216424822807, 0.0005380231887102127, 0.0005576247349381447, 0.0005772262811660767, 0.0005968278273940086, 0.0006164293736219406, 0.0006360309198498726, 0.0006556324660778046, 0.0006752340123057365, 0.0006948355585336685, 0.0007144371047616005, 0.0007340386509895325, 0.0007536401972174644, 0.0007732417434453964, 0.0007928432896733284, 0.0008124448359012604, 0.0008320463821291924, 0.0008516479283571243, 0.0008712494745850563, 0.0008908510208129883]}, "gradients/encoder.encoder.layers.9.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 2.0, 2.0, 3.0, 19.0, 137.0, 4192006.0, 2022.0, 87.0, 16.0, 3.0], "bins": [-0.0019550323486328125, -0.0019223876297473907, -0.001889742910861969, -0.0018570981919765472, -0.0018244534730911255, -0.0017918087542057037, -0.001759164035320282, -0.0017265193164348602, -0.0016938745975494385, -0.0016612298786640167, -0.001628585159778595, -0.0015959404408931732, -0.0015632957220077515, -0.0015306510031223297, -0.001498006284236908, -0.0014653615653514862, -0.0014327168464660645, -0.0014000721275806427, -0.001367427408695221, -0.0013347826898097992, -0.0013021379709243774, -0.0012694932520389557, -0.001236848533153534, -0.0012042038142681122, -0.0011715590953826904, -0.0011389143764972687, -0.001106269657611847, -0.0010736249387264252, -0.0010409802198410034, -0.0010083355009555817, -0.0009756907820701599, -0.0009430460631847382, -0.0009104013442993164, -0.0008777566254138947, -0.0008451119065284729, -0.0008124671876430511, -0.0007798224687576294, -0.0007471777498722076, -0.0007145330309867859, -0.0006818883121013641, -0.0006492435932159424, -0.0006165988743305206, -0.0005839541554450989, -0.0005513094365596771, -0.0005186647176742554, -0.0004860199987888336, -0.00045337527990341187, -0.0004207305610179901, -0.00038808584213256836, -0.0003554411232471466, -0.00032279640436172485, -0.0002901516854763031, -0.00025750696659088135, -0.0002248622477054596, -0.00019221752882003784, -0.0001595728099346161, -0.00012692809104919434, -9.428337216377258e-05, -6.163865327835083e-05, -2.8993934392929077e-05, 3.6507844924926758e-06, 3.629550337791443e-05, 6.894022226333618e-05, 0.00010158494114875793, 0.0001342296600341797]}, "gradients/encoder.encoder.layers.9.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 16.0, 105.0, 406.0, 383.0, 87.0, 19.0, 3.0], "bins": [-0.00013959407806396484, -0.00013726390898227692, -0.000134933739900589, -0.00013260357081890106, -0.00013027340173721313, -0.0001279432326555252, -0.00012561306357383728, -0.00012328289449214935, -0.00012095272541046143, -0.0001186225563287735, -0.00011629238724708557, -0.00011396221816539764, -0.00011163204908370972, -0.00010930188000202179, -0.00010697171092033386, -0.00010464154183864594, -0.00010231137275695801, -9.998120367527008e-05, -9.765103459358215e-05, -9.532086551189423e-05, -9.29906964302063e-05, -9.066052734851837e-05, -8.833035826683044e-05, -8.600018918514252e-05, -8.367002010345459e-05, -8.133985102176666e-05, -7.900968194007874e-05, -7.667951285839081e-05, -7.434934377670288e-05, -7.201917469501495e-05, -6.968900561332703e-05, -6.73588365316391e-05, -6.502866744995117e-05, -6.269849836826324e-05, -6.036832928657532e-05, -5.803816020488739e-05, -5.570799112319946e-05, -5.3377822041511536e-05, -5.104765295982361e-05, -4.871748387813568e-05, -4.6387314796447754e-05, -4.405714571475983e-05, -4.17269766330719e-05, -3.939680755138397e-05, -3.7066638469696045e-05, -3.473646938800812e-05, -3.240630030632019e-05, -3.0076131224632263e-05, -2.7745962142944336e-05, -2.541579306125641e-05, -2.308562397956848e-05, -2.0755454897880554e-05, -1.8425285816192627e-05, -1.60951167345047e-05, -1.3764947652816772e-05, -1.1434778571128845e-05, -9.104609489440918e-06, -6.774440407752991e-06, -4.4442713260650635e-06, -2.1141022443771362e-06, 2.1606683731079102e-07, 2.5462359189987183e-06, 4.8764050006866455e-06, 7.206574082374573e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.9.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 1.0, 6.0, 3.0, 5.0, 9.0, 5.0, 10.0, 12.0, 18.0, 40.0, 30.0, 42.0, 61.0, 109.0, 102.0, 157.0, 170.0, 260.0, 338.0, 451.0, 694.0, 1563.0, 5579.0, 4178915.0, 2644.0, 985.0, 532.0, 363.0, 304.0, 204.0, 172.0, 132.0, 86.0, 62.0, 55.0, 49.0, 35.0, 22.0, 14.0, 18.0, 16.0, 7.0, 4.0, 4.0, 1.0, 3.0, 2.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00013649463653564453, -0.00013148225843906403, -0.00012646988034248352, -0.00012145750224590302, -0.00011644512414932251, -0.000111432746052742, -0.0001064203679561615, -0.000101407989859581, -9.639561176300049e-05, -9.138323366641998e-05, -8.637085556983948e-05, -8.135847747325897e-05, -7.634609937667847e-05, -7.133372128009796e-05, -6.632134318351746e-05, -6.130896508693695e-05, -5.6296586990356445e-05, -5.128420889377594e-05, -4.6271830797195435e-05, -4.125945270061493e-05, -3.6247074604034424e-05, -3.123469650745392e-05, -2.6222318410873413e-05, -2.1209940314292908e-05, -1.6197562217712402e-05, -1.1185184121131897e-05, -6.172806024551392e-06, -1.1604279279708862e-06, 3.851950168609619e-06, 8.864328265190125e-06, 1.387670636177063e-05, 1.8889084458351135e-05, 2.390146255493164e-05, 2.8913840651512146e-05, 3.392621874809265e-05, 3.893859684467316e-05, 4.395097494125366e-05, 4.896335303783417e-05, 5.397573113441467e-05, 5.898810923099518e-05, 6.400048732757568e-05, 6.901286542415619e-05, 7.40252435207367e-05, 7.90376216173172e-05, 8.40499997138977e-05, 8.906237781047821e-05, 9.407475590705872e-05, 9.908713400363922e-05, 0.00010409951210021973, 0.00010911189019680023, 0.00011412426829338074, 0.00011913664638996124, 0.00012414902448654175, 0.00012916140258312225, 0.00013417378067970276, 0.00013918615877628326, 0.00014419853687286377, 0.00014921091496944427, 0.00015422329306602478, 0.00015923567116260529, 0.0001642480492591858, 0.0001692604273557663, 0.0001742728054523468, 0.0001792851835489273, 0.0001842975616455078]}, "gradients/encoder.encoder.layers.9.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 3.0, 1.0, 1.0, 4069.0, 6.0, 0.0, 1.0, 3.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.6047229766845703e-05, -2.496037632226944e-05, -2.3873522877693176e-05, -2.2786669433116913e-05, -2.169981598854065e-05, -2.0612962543964386e-05, -1.9526109099388123e-05, -1.843925565481186e-05, -1.7352402210235596e-05, -1.6265548765659332e-05, -1.5178695321083069e-05, -1.4091841876506805e-05, -1.3004988431930542e-05, -1.1918134987354279e-05, -1.0831281542778015e-05, -9.744428098201752e-06, -8.657574653625488e-06, -7.570721209049225e-06, -6.4838677644729614e-06, -5.397014319896698e-06, -4.3101608753204346e-06, -3.223307430744171e-06, -2.1364539861679077e-06, -1.0496005415916443e-06, 3.725290298461914e-08, 1.1241063475608826e-06, 2.210959792137146e-06, 3.2978132367134094e-06, 4.384666681289673e-06, 5.471520125865936e-06, 6.5583735704422e-06, 7.645227015018463e-06, 8.732080459594727e-06, 9.81893390417099e-06, 1.0905787348747253e-05, 1.1992640793323517e-05, 1.307949423789978e-05, 1.4166347682476044e-05, 1.5253201127052307e-05, 1.634005457162857e-05, 1.7426908016204834e-05, 1.8513761460781097e-05, 1.960061490535736e-05, 2.0687468349933624e-05, 2.1774321794509888e-05, 2.286117523908615e-05, 2.3948028683662415e-05, 2.5034882128238678e-05, 2.612173557281494e-05, 2.7208589017391205e-05, 2.8295442461967468e-05, 2.938229590654373e-05, 3.0469149351119995e-05, 3.155600279569626e-05, 3.264285624027252e-05, 3.3729709684848785e-05, 3.481656312942505e-05, 3.590341657400131e-05, 3.6990270018577576e-05, 3.807712346315384e-05, 3.91639769077301e-05, 4.0250830352306366e-05, 4.133768379688263e-05, 4.242453724145889e-05, 4.3511390686035156e-05]}, "gradients/encoder.encoder.layers.9.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 4.0, 4.0, 3.0, 7.0, 8.0, 7.0, 9.0, 15.0, 30.0, 26.0, 33.0, 57.0, 96.0, 223.0, 169.0, 87.0, 73.0, 41.0, 23.0, 25.0, 19.0, 10.0, 7.0, 13.0, 7.0, 2.0, 1.0, 3.0, 4.0, 2.0, 2.0, 0.0, 1.0, 1.0, 1.0, 2.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.2395615309942514e-05, -4.053958400618285e-05, -3.8683552702423185e-05, -3.682752139866352e-05, -3.4971493732882664e-05, -3.3115462429123e-05, -3.1259431125363335e-05, -2.940339982160367e-05, -2.7547368517844006e-05, -2.5691337214084342e-05, -2.383530772931408e-05, -2.1979276425554417e-05, -2.0123245121794753e-05, -1.8267215637024492e-05, -1.6411184333264828e-05, -1.4555153029505163e-05, -1.2699123544734903e-05, -1.084309315046994e-05, -8.987061846710276e-06, -7.131031452445313e-06, -5.275000603433e-06, -3.4189697544206865e-06, -1.562939360155724e-06, 2.930919436039403e-07, 2.149122337868903e-06, 4.005153186881216e-06, 5.86118403589353e-06, 7.717214430158492e-06, 9.573244824423455e-06, 1.1429276128183119e-05, 1.3285306522448082e-05, 1.5141337826207746e-05, 1.699736822047271e-05, 1.8853399524232373e-05, 2.0709429009002633e-05, 2.2565460312762298e-05, 2.4421491616521962e-05, 2.6277521101292223e-05, 2.8133552405051887e-05, 2.998958370881155e-05, 3.1845615012571216e-05, 3.370164631633088e-05, 3.5557677620090544e-05, 3.741370892385021e-05, 3.9269736589631066e-05, 4.112576789339073e-05, 4.2981799197150394e-05, 4.483783050091006e-05, 4.6693858166690916e-05, 4.854988947045058e-05, 5.0405920774210244e-05, 5.226195207796991e-05, 5.4117979743750766e-05, 5.597401104751043e-05, 5.7830042351270095e-05, 5.968607365502976e-05, 6.154210859676823e-05, 6.33981399005279e-05, 6.525417120428756e-05, 6.711020250804722e-05, 6.896623381180689e-05, 7.082226511556655e-05, 7.26782891433686e-05, 7.453432772308588e-05, 7.639035175088793e-05]}, "gradients/encoder.encoder.layers.9.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 6.0, 4.0, 5.0, 8.0, 7.0, 6.0, 8.0, 17.0, 17.0, 16.0, 19.0, 18.0, 21.0, 25.0, 30.0, 42.0, 40.0, 43.0, 44.0, 48.0, 43.0, 36.0, 45.0, 45.0, 38.0, 42.0, 37.0, 36.0, 29.0, 35.0, 30.0, 24.0, 23.0, 21.0, 26.0, 17.0, 17.0, 13.0, 9.0, 6.0, 5.0, 2.0, 4.0, 2.0, 0.0, 3.0, 3.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 2.0], "bins": [-3.11732292175293e-05, -3.016740083694458e-05, -2.9161572456359863e-05, -2.8155744075775146e-05, -2.714991569519043e-05, -2.6144087314605713e-05, -2.5138258934020996e-05, -2.413243055343628e-05, -2.3126602172851562e-05, -2.2120773792266846e-05, -2.111494541168213e-05, -2.0109117031097412e-05, -1.9103288650512695e-05, -1.809746026992798e-05, -1.7091631889343262e-05, -1.6085803508758545e-05, -1.5079975128173828e-05, -1.4074146747589111e-05, -1.3068318367004395e-05, -1.2062489986419678e-05, -1.1056661605834961e-05, -1.0050833225250244e-05, -9.045004844665527e-06, -8.03917646408081e-06, -7.033348083496094e-06, -6.027519702911377e-06, -5.02169132232666e-06, -4.015862941741943e-06, -3.0100345611572266e-06, -2.0042061805725098e-06, -9.98377799987793e-07, 7.450580596923828e-09, 1.0132789611816406e-06, 2.0191073417663574e-06, 3.0249357223510742e-06, 4.030764102935791e-06, 5.036592483520508e-06, 6.042420864105225e-06, 7.048249244689941e-06, 8.054077625274658e-06, 9.059906005859375e-06, 1.0065734386444092e-05, 1.1071562767028809e-05, 1.2077391147613525e-05, 1.3083219528198242e-05, 1.4089047908782959e-05, 1.5094876289367676e-05, 1.6100704669952393e-05, 1.710653305053711e-05, 1.8112361431121826e-05, 1.9118189811706543e-05, 2.012401819229126e-05, 2.1129846572875977e-05, 2.2135674953460693e-05, 2.314150333404541e-05, 2.4147331714630127e-05, 2.5153160095214844e-05, 2.615898847579956e-05, 2.7164816856384277e-05, 2.8170645236968994e-05, 2.917647361755371e-05, 3.0182301998138428e-05, 3.1188130378723145e-05, 3.219395875930786e-05, 3.319978713989258e-05]}, "gradients/encoder.encoder.layers.9.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 0.0, 2.0, 2.0, 6.0, 3.0, 3.0, 5.0, 5.0, 10.0, 6.0, 5.0, 16.0, 8.0, 15.0, 14.0, 16.0, 23.0, 24.0, 16.0, 24.0, 29.0, 32.0, 38.0, 38.0, 53.0, 110.0, 694.0, 341644.0, 704381.0, 831.0, 100.0, 62.0, 49.0, 49.0, 37.0, 23.0, 23.0, 21.0, 21.0, 22.0, 11.0, 24.0, 15.0, 11.0, 11.0, 4.0, 6.0, 8.0, 7.0, 4.0, 1.0, 4.0, 1.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.0003199577331542969, -0.000309966504573822, -0.00029997527599334717, -0.0002899840474128723, -0.00027999281883239746, -0.0002700015902519226, -0.00026001036167144775, -0.0002500191330909729, -0.00024002790451049805, -0.0002300366759300232, -0.00022004544734954834, -0.00021005421876907349, -0.00020006299018859863, -0.00019007176160812378, -0.00018008053302764893, -0.00017008930444717407, -0.00016009807586669922, -0.00015010684728622437, -0.0001401156187057495, -0.00013012439012527466, -0.0001201331615447998, -0.00011014193296432495, -0.0001001507043838501, -9.015947580337524e-05, -8.016824722290039e-05, -7.017701864242554e-05, -6.0185790061950684e-05, -5.019456148147583e-05, -4.0203332901000977e-05, -3.0212104320526123e-05, -2.022087574005127e-05, -1.0229647159576416e-05, -2.384185791015625e-07, 9.752810001373291e-06, 1.9744038581848145e-05, 2.9735267162322998e-05, 3.972649574279785e-05, 4.9717724323272705e-05, 5.970895290374756e-05, 6.970018148422241e-05, 7.969141006469727e-05, 8.968263864517212e-05, 9.967386722564697e-05, 0.00010966509580612183, 0.00011965632438659668, 0.00012964755296707153, 0.0001396387815475464, 0.00014963001012802124, 0.0001596212387084961, 0.00016961246728897095, 0.0001796036958694458, 0.00018959492444992065, 0.0001995861530303955, 0.00020957738161087036, 0.00021956861019134521, 0.00022955983877182007, 0.00023955106735229492, 0.0002495422959327698, 0.00025953352451324463, 0.0002695247530937195, 0.00027951598167419434, 0.0002895072102546692, 0.00029949843883514404, 0.0003094896674156189, 0.00031948089599609375]}, "gradients/encoder.encoder.layers.9.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 17.0, 106.0, 414.0, 380.0, 82.0, 17.0, 3.0], "bins": [-0.00013911724090576172, -0.00013679452240467072, -0.0001344718039035797, -0.0001321490854024887, -0.0001298263669013977, -0.0001275036484003067, -0.0001251809298992157, -0.0001228582113981247, -0.00012053549289703369, -0.00011821277439594269, -0.00011589005589485168, -0.00011356733739376068, -0.00011124461889266968, -0.00010892190039157867, -0.00010659918189048767, -0.00010427646338939667, -0.00010195374488830566, -9.963102638721466e-05, -9.730830788612366e-05, -9.498558938503265e-05, -9.266287088394165e-05, -9.034015238285065e-05, -8.801743388175964e-05, -8.569471538066864e-05, -8.337199687957764e-05, -8.104927837848663e-05, -7.872655987739563e-05, -7.640384137630463e-05, -7.408112287521362e-05, -7.175840437412262e-05, -6.943568587303162e-05, -6.711296737194061e-05, -6.479024887084961e-05, -6.24675303697586e-05, -6.01448118686676e-05, -5.78220933675766e-05, -5.5499374866485596e-05, -5.317665636539459e-05, -5.085393786430359e-05, -4.8531219363212585e-05, -4.620850086212158e-05, -4.388578236103058e-05, -4.1563063859939575e-05, -3.924034535884857e-05, -3.691762685775757e-05, -3.4594908356666565e-05, -3.227218985557556e-05, -2.9949471354484558e-05, -2.7626752853393555e-05, -2.530403435230255e-05, -2.2981315851211548e-05, -2.0658597350120544e-05, -1.833587884902954e-05, -1.6013160347938538e-05, -1.3690441846847534e-05, -1.136772334575653e-05, -9.045004844665527e-06, -6.722286343574524e-06, -4.3995678424835205e-06, -2.076849341392517e-06, 2.4586915969848633e-07, 2.5685876607894897e-06, 4.891306161880493e-06, 7.214024662971497e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.9.attention.v_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 2.0, 1.0, 1.0, 4.0, 4.0, 9.0, 11.0, 15.0, 25.0, 28.0, 61.0, 95.0, 117.0, 154.0, 232.0, 338.0, 477.0, 672.0, 886.0, 1335.0, 1911.0, 2550.0, 3733.0, 5201.0, 7590.0, 10527.0, 16195.0, 25953.0, 887437.0, 28137.0, 16724.0, 11561.0, 7907.0, 5469.0, 3771.0, 2741.0, 1977.0, 1401.0, 962.0, 692.0, 507.0, 353.0, 254.0, 178.0, 120.0, 85.0, 58.0, 41.0, 29.0, 14.0, 8.0, 8.0, 5.0, 2.0, 3.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-7.331371307373047e-05, -7.106270641088486e-05, -6.881169974803925e-05, -6.656069308519363e-05, -6.430968642234802e-05, -6.205867975950241e-05, -5.98076730966568e-05, -5.755666643381119e-05, -5.5305659770965576e-05, -5.3054653108119965e-05, -5.080364644527435e-05, -4.855263978242874e-05, -4.630163311958313e-05, -4.405062645673752e-05, -4.179961979389191e-05, -3.9548613131046295e-05, -3.7297606468200684e-05, -3.504659980535507e-05, -3.279559314250946e-05, -3.054458647966385e-05, -2.8293579816818237e-05, -2.6042573153972626e-05, -2.3791566491127014e-05, -2.1540559828281403e-05, -1.928955316543579e-05, -1.703854650259018e-05, -1.4787539839744568e-05, -1.2536533176898956e-05, -1.0285526514053345e-05, -8.034519851207733e-06, -5.783513188362122e-06, -3.53250652551651e-06, -1.2814998626708984e-06, 9.695068001747131e-07, 3.2205134630203247e-06, 5.471520125865936e-06, 7.722526788711548e-06, 9.97353345155716e-06, 1.2224540114402771e-05, 1.4475546777248383e-05, 1.6726553440093994e-05, 1.8977560102939606e-05, 2.1228566765785217e-05, 2.347957342863083e-05, 2.573058009147644e-05, 2.7981586754322052e-05, 3.0232593417167664e-05, 3.2483600080013275e-05, 3.473460674285889e-05, 3.69856134057045e-05, 3.923662006855011e-05, 4.148762673139572e-05, 4.373863339424133e-05, 4.5989640057086945e-05, 4.8240646719932556e-05, 5.049165338277817e-05, 5.274266004562378e-05, 5.499366670846939e-05, 5.7244673371315e-05, 5.9495680034160614e-05, 6.174668669700623e-05, 6.399769335985184e-05, 6.624870002269745e-05, 6.849970668554306e-05, 7.075071334838867e-05]}, "gradients/encoder.encoder.layers.9.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 3.0, 2.0, 1.0, 3.0, 3.0, 3.0, 2.0, 10.0, 4.0, 5.0, 1.0, 2.0, 9.0, 4.0, 4.0, 2.0, 2.0, 8.0, 1.0, 0.0, 6.0, 6.0, 2.0, 1.0, 7.0, 15.0, 801.0, 9.0, 6.0, 4.0, 11.0, 5.0, 3.0, 4.0, 4.0, 4.0, 4.0, 7.0, 4.0, 4.0, 6.0, 3.0, 6.0, 3.0, 4.0, 5.0, 5.0, 2.0, 3.0, 1.0, 2.0, 2.0, 1.0, 1.0], "bins": [-0.0001373291015625, -0.00013355538249015808, -0.00012978166341781616, -0.00012600794434547424, -0.00012223422527313232, -0.0001184605062007904, -0.00011468678712844849, -0.00011091306805610657, -0.00010713934898376465, -0.00010336562991142273, -9.959191083908081e-05, -9.581819176673889e-05, -9.204447269439697e-05, -8.827075362205505e-05, -8.449703454971313e-05, -8.072331547737122e-05, -7.69495964050293e-05, -7.317587733268738e-05, -6.940215826034546e-05, -6.562843918800354e-05, -6.185472011566162e-05, -5.80810010433197e-05, -5.430728197097778e-05, -5.0533562898635864e-05, -4.6759843826293945e-05, -4.2986124753952026e-05, -3.921240568161011e-05, -3.543868660926819e-05, -3.166496753692627e-05, -2.789124846458435e-05, -2.411752939224243e-05, -2.0343810319900513e-05, -1.6570091247558594e-05, -1.2796372175216675e-05, -9.022653102874756e-06, -5.248934030532837e-06, -1.475214958190918e-06, 2.298504114151001e-06, 6.07222318649292e-06, 9.845942258834839e-06, 1.3619661331176758e-05, 1.7393380403518677e-05, 2.1167099475860596e-05, 2.4940818548202515e-05, 2.8714537620544434e-05, 3.248825669288635e-05, 3.626197576522827e-05, 4.003569483757019e-05, 4.380941390991211e-05, 4.758313298225403e-05, 5.135685205459595e-05, 5.5130571126937866e-05, 5.8904290199279785e-05, 6.26780092716217e-05, 6.645172834396362e-05, 7.022544741630554e-05, 7.399916648864746e-05, 7.777288556098938e-05, 8.15466046333313e-05, 8.532032370567322e-05, 8.909404277801514e-05, 9.286776185035706e-05, 9.664148092269897e-05, 0.0001004151999950409, 0.00010418891906738281]}, "gradients/encoder.encoder.layers.9.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 0.0, 1.0, 2.0, 0.0, 0.0, 1.0, 4.0, 5.0, 3.0, 5.0, 8.0, 3.0, 14.0, 12.0, 23.0, 22.0, 31.0, 38.0, 48.0, 79.0, 114.0, 239.0, 92.0, 79.0, 55.0, 33.0, 21.0, 17.0, 12.0, 8.0, 8.0, 7.0, 3.0, 8.0, 2.0, 4.0, 5.0, 4.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0004114470793865621, -0.0003945648204535246, -0.0003776825324166566, -0.0003608002734836191, -0.0003439179854467511, -0.0003270357265137136, -0.0003101534675806761, -0.00029327120864763856, -0.0002763889206107706, -0.00025950666167773306, -0.0002426243736408651, -0.00022574211470782757, -0.00020885984122287482, -0.00019197756773792207, -0.00017509530880488455, -0.0001582130353199318, -0.00014133076183497906, -0.0001244484883500263, -0.00010756622214103118, -9.068395593203604e-05, -7.38016824470833e-05, -5.6919408962130547e-05, -4.003714275313541e-05, -2.315487654414028e-05, -6.2726030591875315e-06, 1.060966678778641e-05, 2.749193663476035e-05, 4.437420648173429e-05, 6.125647632870823e-05, 7.813874981366098e-05, 9.502101602265611e-05, 0.00011190328223165125, 0.0001287856139242649, 0.00014566788740921766, 0.0001625501608941704, 0.00017943241982720792, 0.00019631469331216067, 0.00021319696679711342, 0.00023007922573015094, 0.00024696148466318846, 0.00026384377270005643, 0.00028072603163309395, 0.00029760831966996193, 0.00031449057860299945, 0.00033137283753603697, 0.00034825512557290494, 0.00036513738450594246, 0.00038201967254281044, 0.00039890193147584796, 0.0004157841904088855, 0.00043266647844575346, 0.000449548737378791, 0.00046643102541565895, 0.00048331328434869647, 0.000500195543281734, 0.0005170778022147715, 0.000533960061147809, 0.0005508423200808465, 0.0005677245790138841, 0.0005846068961545825, 0.00060148915508762, 0.0006183714140206575, 0.0006352536729536951, 0.0006521359318867326, 0.000669018249027431]}, "gradients/encoder.encoder.layers.9.layer_norm.bias": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 4.0, 3.0, 6.0, 10.0, 3.0, 24.0, 25.0, 27.0, 51.0, 47.0, 70.0, 91.0, 86.0, 122.0, 98.0, 82.0, 70.0, 61.0, 39.0, 35.0, 20.0, 16.0, 13.0, 7.0, 4.0, 3.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0003839731216430664, -0.0003607003018260002, -0.000337427482008934, -0.00031415466219186783, -0.00029088184237480164, -0.00026760902255773544, -0.00024433620274066925, -0.00022106338292360306, -0.00019779056310653687, -0.00017451774328947067, -0.00015124492347240448, -0.0001279721036553383, -0.0001046992838382721, -8.14264640212059e-05, -5.815364420413971e-05, -3.488082438707352e-05, -1.1608004570007324e-05, 1.1664815247058868e-05, 3.493763506412506e-05, 5.8210454881191254e-05, 8.148327469825745e-05, 0.00010475609451532364, 0.00012802891433238983, 0.00015130173414945602, 0.00017457455396652222, 0.0001978473737835884, 0.0002211201936006546, 0.0002443930134177208, 0.000267665833234787, 0.0002909386530518532, 0.00031421147286891937, 0.00033748429268598557, 0.00036075711250305176, 0.00038402993232011795, 0.00040730275213718414, 0.00043057557195425034, 0.00045384839177131653, 0.0004771212115883827, 0.0005003940314054489, 0.0005236668512225151, 0.0005469396710395813, 0.0005702124908566475, 0.0005934853106737137, 0.0006167581304907799, 0.0006400309503078461, 0.0006633037701249123, 0.0006865765899419785, 0.0007098494097590446, 0.0007331222295761108, 0.000756395049393177, 0.0007796678692102432, 0.0008029406890273094, 0.0008262135088443756, 0.0008494863286614418, 0.000872759148478508, 0.0008960319682955742, 0.0009193047881126404, 0.0009425776079297066, 0.0009658504277467728, 0.000989123247563839, 0.0010123960673809052, 0.0010356688871979713, 0.0010589417070150375, 0.0010822145268321037, 0.00110548734664917]}, "gradients/encoder.encoder.layers.8.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 1.0, 3.0, 1.0, 4.0, 5.0, 41.0, 313.0, 4189499.0, 4107.0, 288.0, 27.0, 5.0], "bins": [-0.0006780624389648438, -0.0006667440757155418, -0.0006554257124662399, -0.000644107349216938, -0.0006327889859676361, -0.0006214706227183342, -0.0006101522594690323, -0.0005988338962197304, -0.0005875155329704285, -0.0005761971697211266, -0.0005648788064718246, -0.0005535604432225227, -0.0005422420799732208, -0.0005309237167239189, -0.000519605353474617, -0.0005082869902253151, -0.0004969686269760132, -0.0004856502637267113, -0.00047433190047740936, -0.00046301353722810745, -0.00045169517397880554, -0.00044037681072950363, -0.0004290584474802017, -0.0004177400842308998, -0.0004064217209815979, -0.000395103357732296, -0.0003837849944829941, -0.00037246663123369217, -0.00036114826798439026, -0.00034982990473508835, -0.00033851154148578644, -0.00032719317823648453, -0.0003158748149871826, -0.0003045564517378807, -0.0002932380884885788, -0.0002819197252392769, -0.000270601361989975, -0.00025928299874067307, -0.00024796463549137115, -0.00023664627224206924, -0.00022532790899276733, -0.00021400954574346542, -0.0002026911824941635, -0.0001913728192448616, -0.0001800544559955597, -0.00016873609274625778, -0.00015741772949695587, -0.00014609936624765396, -0.00013478100299835205, -0.00012346263974905014, -0.00011214427649974823, -0.00010082591325044632, -8.950755000114441e-05, -7.81891867518425e-05, -6.687082350254059e-05, -5.555246025323868e-05, -4.423409700393677e-05, -3.291573375463486e-05, -2.1597370505332947e-05, -1.0279007256031036e-05, 1.039355993270874e-06, 1.2357719242572784e-05, 2.3676082491874695e-05, 3.4994445741176605e-05, 4.6312808990478516e-05]}, "gradients/encoder.encoder.layers.8.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 17.0, 106.0, 414.0, 380.0, 82.0, 17.0, 3.0], "bins": [-0.00013911724090576172, -0.00013679452240467072, -0.0001344718039035797, -0.0001321490854024887, -0.0001298263669013977, -0.0001275036484003067, -0.0001251809298992157, -0.0001228582113981247, -0.00012053549289703369, -0.00011821277439594269, -0.00011589005589485168, -0.00011356733739376068, -0.00011124461889266968, -0.00010892190039157867, -0.00010659918189048767, -0.00010427646338939667, -0.00010195374488830566, -9.963102638721466e-05, -9.730830788612366e-05, -9.498558938503265e-05, -9.266287088394165e-05, -9.034015238285065e-05, -8.801743388175964e-05, -8.569471538066864e-05, -8.337199687957764e-05, -8.104927837848663e-05, -7.872655987739563e-05, -7.640384137630463e-05, -7.408112287521362e-05, -7.175840437412262e-05, -6.943568587303162e-05, -6.711296737194061e-05, -6.479024887084961e-05, -6.24675303697586e-05, -6.01448118686676e-05, -5.78220933675766e-05, -5.5499374866485596e-05, -5.317665636539459e-05, -5.085393786430359e-05, -4.8531219363212585e-05, -4.620850086212158e-05, -4.388578236103058e-05, -4.1563063859939575e-05, -3.924034535884857e-05, -3.691762685775757e-05, -3.4594908356666565e-05, -3.227218985557556e-05, -2.9949471354484558e-05, -2.7626752853393555e-05, -2.530403435230255e-05, -2.2981315851211548e-05, -2.0658597350120544e-05, -1.833587884902954e-05, -1.6013160347938538e-05, -1.3690441846847534e-05, -1.136772334575653e-05, -9.045004844665527e-06, -6.722286343574524e-06, -4.3995678424835205e-06, -2.076849341392517e-06, 2.4586915969848633e-07, 2.5685876607894897e-06, 4.891306161880493e-06, 7.214024662971497e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.8.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 4.0, 5.0, 7.0, 12.0, 5.0, 13.0, 29.0, 43.0, 59.0, 54.0, 77.0, 130.0, 151.0, 211.0, 309.0, 471.0, 682.0, 1217.0, 3533.0, 4168304.0, 14026.0, 2086.0, 920.0, 607.0, 403.0, 266.0, 174.0, 137.0, 101.0, 69.0, 72.0, 43.0, 14.0, 19.0, 14.0, 20.0, 5.0, 0.0, 1.0, 6.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-8.958578109741211e-05, -8.701067417860031e-05, -8.443556725978851e-05, -8.186046034097672e-05, -7.928535342216492e-05, -7.671024650335312e-05, -7.413513958454132e-05, -7.156003266572952e-05, -6.898492574691772e-05, -6.640981882810593e-05, -6.383471190929413e-05, -6.125960499048233e-05, -5.868449807167053e-05, -5.6109391152858734e-05, -5.3534284234046936e-05, -5.095917731523514e-05, -4.838407039642334e-05, -4.580896347761154e-05, -4.3233856558799744e-05, -4.0658749639987946e-05, -3.808364272117615e-05, -3.550853580236435e-05, -3.293342888355255e-05, -3.0358321964740753e-05, -2.7783215045928955e-05, -2.5208108127117157e-05, -2.263300120830536e-05, -2.005789428949356e-05, -1.7482787370681763e-05, -1.4907680451869965e-05, -1.2332573533058167e-05, -9.757466614246368e-06, -7.18235969543457e-06, -4.607252776622772e-06, -2.032145857810974e-06, 5.42961061000824e-07, 3.118067979812622e-06, 5.69317489862442e-06, 8.268281817436218e-06, 1.0843388736248016e-05, 1.3418495655059814e-05, 1.5993602573871613e-05, 1.856870949268341e-05, 2.114381641149521e-05, 2.3718923330307007e-05, 2.6294030249118805e-05, 2.8869137167930603e-05, 3.14442440867424e-05, 3.40193510055542e-05, 3.6594457924366e-05, 3.9169564843177795e-05, 4.1744671761989594e-05, 4.431977868080139e-05, 4.689488559961319e-05, 4.946999251842499e-05, 5.2045099437236786e-05, 5.4620206356048584e-05, 5.719531327486038e-05, 5.977042019367218e-05, 6.234552711248398e-05, 6.492063403129578e-05, 6.749574095010757e-05, 7.007084786891937e-05, 7.264595478773117e-05, 7.522106170654297e-05]}, "gradients/encoder.encoder.layers.8.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 1.0, 6.0, 6.0, 35.0, 4014.0, 8.0, 6.0, 1.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.230571746826172e-05, -3.138277679681778e-05, -3.045983612537384e-05, -2.95368954539299e-05, -2.8613954782485962e-05, -2.7691014111042023e-05, -2.6768073439598083e-05, -2.5845132768154144e-05, -2.4922192096710205e-05, -2.3999251425266266e-05, -2.3076310753822327e-05, -2.2153370082378387e-05, -2.1230429410934448e-05, -2.030748873949051e-05, -1.938454806804657e-05, -1.846160739660263e-05, -1.753866672515869e-05, -1.6615726053714752e-05, -1.5692785382270813e-05, -1.4769844710826874e-05, -1.3846904039382935e-05, -1.2923963367938995e-05, -1.2001022696495056e-05, -1.1078082025051117e-05, -1.0155141353607178e-05, -9.232200682163239e-06, -8.3092600107193e-06, -7.38631933927536e-06, -6.463378667831421e-06, -5.540437996387482e-06, -4.6174973249435425e-06, -3.6945566534996033e-06, -2.771615982055664e-06, -1.8486753106117249e-06, -9.257346391677856e-07, -2.7939677238464355e-09, 9.201467037200928e-07, 1.843087375164032e-06, 2.766028046607971e-06, 3.6889687180519104e-06, 4.61190938949585e-06, 5.534850060939789e-06, 6.457790732383728e-06, 7.380731403827667e-06, 8.303672075271606e-06, 9.226612746715546e-06, 1.0149553418159485e-05, 1.1072494089603424e-05, 1.1995434761047363e-05, 1.2918375432491302e-05, 1.3841316103935242e-05, 1.4764256775379181e-05, 1.568719744682312e-05, 1.661013811826706e-05, 1.7533078789711e-05, 1.8456019461154938e-05, 1.9378960132598877e-05, 2.0301900804042816e-05, 2.1224841475486755e-05, 2.2147782146930695e-05, 2.3070722818374634e-05, 2.3993663489818573e-05, 2.4916604161262512e-05, 2.583954483270645e-05, 2.676248550415039e-05]}, "gradients/encoder.encoder.layers.8.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 2.0, 1.0, 1.0, 2.0, 4.0, 1.0, 3.0, 8.0, 14.0, 11.0, 27.0, 24.0, 45.0, 76.0, 119.0, 270.0, 202.0, 82.0, 39.0, 30.0, 23.0, 9.0, 6.0, 7.0, 5.0, 2.0, 1.0, 0.0, 3.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00011514888319652528, -0.00011258056474616751, -0.00011001224629580975, -0.00010744392784545198, -0.00010487560939509422, -0.00010230728366877884, -9.973897249437869e-05, -9.717064676806331e-05, -9.460232831770554e-05, -9.203400986734778e-05, -8.946569141699001e-05, -8.689737296663225e-05, -8.432905451627448e-05, -8.176073606591672e-05, -7.919241033960134e-05, -7.662409188924357e-05, -7.405577343888581e-05, -7.148745498852804e-05, -6.891913653817028e-05, -6.635081808781251e-05, -6.378249963745475e-05, -6.121417391113937e-05, -5.864585909876041e-05, -5.607753701042384e-05, -5.350922583602369e-05, -5.094090738566592e-05, -4.837258893530816e-05, -4.5804270484950393e-05, -4.323594839661382e-05, -4.0667629946256056e-05, -3.809931149589829e-05, -3.553098940756172e-05, -3.2962670957203954e-05, -3.039435250684619e-05, -2.782603223749902e-05, -2.5257713787141256e-05, -2.2689393517794088e-05, -2.0121075067436323e-05, -1.7552756617078558e-05, -1.4984436347731389e-05, -1.2416117897373624e-05, -9.847798537521157e-06, -7.2794796324160416e-06, -4.711160727310926e-06, -2.142841367458459e-06, 4.2547799239400774e-07, 2.9937964427517727e-06, 5.562116712098941e-06, 8.130435162456706e-06, 1.0698754522309173e-05, 1.326707388216164e-05, 1.5835392332519405e-05, 1.8403712601866573e-05, 2.0972031052224338e-05, 2.3540349502582103e-05, 2.610866977192927e-05, 2.8676988222287036e-05, 3.1245308491634205e-05, 3.381362694199197e-05, 3.6381945392349735e-05, 3.89502638427075e-05, 4.151858593104407e-05, 4.408690438140184e-05, 4.66552228317596e-05, 4.922354128211737e-05]}, "gradients/encoder.encoder.layers.8.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 3.0, 4.0, 0.0, 1.0, 1.0, 3.0, 4.0, 2.0, 6.0, 7.0, 6.0, 7.0, 11.0, 10.0, 11.0, 17.0, 22.0, 21.0, 17.0, 25.0, 28.0, 43.0, 35.0, 32.0, 44.0, 55.0, 45.0, 49.0, 46.0, 35.0, 41.0, 50.0, 42.0, 31.0, 26.0, 28.0, 27.0, 24.0, 21.0, 20.0, 16.0, 19.0, 9.0, 15.0, 19.0, 8.0, 1.0, 4.0, 7.0, 5.0, 2.0, 5.0, 4.0, 1.0, 1.0, 1.0, 4.0, 0.0, 0.0, 0.0, 2.0], "bins": [-2.9742717742919922e-05, -2.8781592845916748e-05, -2.7820467948913574e-05, -2.68593430519104e-05, -2.5898218154907227e-05, -2.4937093257904053e-05, -2.397596836090088e-05, -2.3014843463897705e-05, -2.205371856689453e-05, -2.1092593669891357e-05, -2.0131468772888184e-05, -1.917034387588501e-05, -1.8209218978881836e-05, -1.7248094081878662e-05, -1.6286969184875488e-05, -1.5325844287872314e-05, -1.436471939086914e-05, -1.3403594493865967e-05, -1.2442469596862793e-05, -1.1481344699859619e-05, -1.0520219802856445e-05, -9.559094905853271e-06, -8.597970008850098e-06, -7.636845111846924e-06, -6.67572021484375e-06, -5.714595317840576e-06, -4.753470420837402e-06, -3.7923455238342285e-06, -2.8312206268310547e-06, -1.8700957298278809e-06, -9.08970832824707e-07, 5.21540641784668e-08, 1.0132789611816406e-06, 1.9744038581848145e-06, 2.9355287551879883e-06, 3.896653652191162e-06, 4.857778549194336e-06, 5.81890344619751e-06, 6.780028343200684e-06, 7.741153240203857e-06, 8.702278137207031e-06, 9.663403034210205e-06, 1.0624527931213379e-05, 1.1585652828216553e-05, 1.2546777725219727e-05, 1.35079026222229e-05, 1.4469027519226074e-05, 1.5430152416229248e-05, 1.6391277313232422e-05, 1.7352402210235596e-05, 1.831352710723877e-05, 1.9274652004241943e-05, 2.0235776901245117e-05, 2.119690179824829e-05, 2.2158026695251465e-05, 2.311915159225464e-05, 2.4080276489257812e-05, 2.5041401386260986e-05, 2.600252628326416e-05, 2.6963651180267334e-05, 2.7924776077270508e-05, 2.888590097427368e-05, 2.9847025871276855e-05, 3.080815076828003e-05, 3.17692756652832e-05]}, "gradients/encoder.encoder.layers.8.attention.out_proj.weight": {"_type": "histogram", "values": [2.0, 2.0, 0.0, 2.0, 3.0, 3.0, 5.0, 4.0, 8.0, 5.0, 6.0, 11.0, 6.0, 13.0, 12.0, 16.0, 17.0, 19.0, 20.0, 24.0, 24.0, 26.0, 27.0, 33.0, 30.0, 33.0, 47.0, 82.0, 450.0, 56000.0, 988593.0, 2482.0, 135.0, 57.0, 42.0, 20.0, 31.0, 37.0, 42.0, 38.0, 20.0, 24.0, 14.0, 22.0, 13.0, 10.0, 15.0, 7.0, 5.0, 9.0, 8.0, 4.0, 5.0, 1.0, 5.0, 0.0, 1.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0003018379211425781, -0.0002918541431427002, -0.00028187036514282227, -0.00027188658714294434, -0.0002619028091430664, -0.0002519190311431885, -0.00024193525314331055, -0.00023195147514343262, -0.0002219676971435547, -0.00021198391914367676, -0.00020200014114379883, -0.0001920163631439209, -0.00018203258514404297, -0.00017204880714416504, -0.0001620650291442871, -0.00015208125114440918, -0.00014209747314453125, -0.00013211369514465332, -0.0001221299171447754, -0.00011214613914489746, -0.00010216236114501953, -9.21785831451416e-05, -8.219480514526367e-05, -7.221102714538574e-05, -6.222724914550781e-05, -5.224347114562988e-05, -4.225969314575195e-05, -3.2275915145874023e-05, -2.2292137145996094e-05, -1.2308359146118164e-05, -2.3245811462402344e-06, 7.659196853637695e-06, 1.7642974853515625e-05, 2.7626752853393555e-05, 3.7610530853271484e-05, 4.7594308853149414e-05, 5.7578086853027344e-05, 6.756186485290527e-05, 7.75456428527832e-05, 8.752942085266113e-05, 9.751319885253906e-05, 0.00010749697685241699, 0.00011748075485229492, 0.00012746453285217285, 0.00013744831085205078, 0.0001474320888519287, 0.00015741586685180664, 0.00016739964485168457, 0.0001773834228515625, 0.00018736720085144043, 0.00019735097885131836, 0.0002073347568511963, 0.00021731853485107422, 0.00022730231285095215, 0.00023728609085083008, 0.000247269868850708, 0.00025725364685058594, 0.00026723742485046387, 0.0002772212028503418, 0.0002872049808502197, 0.00029718875885009766, 0.0003071725368499756, 0.0003171563148498535, 0.00032714009284973145, 0.0003371238708496094]}, "gradients/encoder.encoder.layers.8.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 17.0, 106.0, 413.0, 377.0, 87.0, 16.0, 3.0], "bins": [-0.00013875961303710938, -0.00013644248247146606, -0.00013412535190582275, -0.00013180822134017944, -0.00012949109077453613, -0.00012717396020889282, -0.0001248568296432495, -0.0001225396990776062, -0.00012022256851196289, -0.00011790543794631958, -0.00011558830738067627, -0.00011327117681503296, -0.00011095404624938965, -0.00010863691568374634, -0.00010631978511810303, -0.00010400265455245972, -0.0001016855239868164, -9.93683934211731e-05, -9.705126285552979e-05, -9.473413228988647e-05, -9.241700172424316e-05, -9.009987115859985e-05, -8.778274059295654e-05, -8.546561002731323e-05, -8.314847946166992e-05, -8.083134889602661e-05, -7.85142183303833e-05, -7.619708776473999e-05, -7.387995719909668e-05, -7.156282663345337e-05, -6.924569606781006e-05, -6.692856550216675e-05, -6.461143493652344e-05, -6.229430437088013e-05, -5.9977173805236816e-05, -5.7660043239593506e-05, -5.5342912673950195e-05, -5.3025782108306885e-05, -5.0708651542663574e-05, -4.8391520977020264e-05, -4.607439041137695e-05, -4.375725984573364e-05, -4.144012928009033e-05, -3.912299871444702e-05, -3.680586814880371e-05, -3.44887375831604e-05, -3.217160701751709e-05, -2.985447645187378e-05, -2.753734588623047e-05, -2.5220215320587158e-05, -2.2903084754943848e-05, -2.0585954189300537e-05, -1.8268823623657227e-05, -1.5951693058013916e-05, -1.3634562492370605e-05, -1.1317431926727295e-05, -9.000301361083984e-06, -6.683170795440674e-06, -4.366040229797363e-06, -2.0489096641540527e-06, 2.682209014892578e-07, 2.5853514671325684e-06, 4.902482032775879e-06, 7.2196125984191895e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.8.attention.v_proj.weight": {"_type": "histogram", "values": [2.0, 1.0, 2.0, 0.0, 2.0, 0.0, 2.0, 3.0, 2.0, 6.0, 4.0, 3.0, 7.0, 2.0, 7.0, 10.0, 13.0, 19.0, 29.0, 74.0, 106.0, 191.0, 327.0, 575.0, 928.0, 1550.0, 2544.0, 4280.0, 7050.0, 12230.0, 20767.0, 59393.0, 886496.0, 21350.0, 12435.0, 7121.0, 4420.0, 2625.0, 1609.0, 962.0, 590.0, 348.0, 198.0, 120.0, 73.0, 24.0, 18.0, 9.0, 14.0, 6.0, 2.0, 2.0, 4.0, 1.0, 5.0, 7.0, 0.0, 2.0, 1.0, 2.0, 2.0, 0.0, 0.0, 1.0], "bins": [-9.632110595703125e-05, -9.331293404102325e-05, -9.030476212501526e-05, -8.729659020900726e-05, -8.428841829299927e-05, -8.128024637699127e-05, -7.827207446098328e-05, -7.526390254497528e-05, -7.225573062896729e-05, -6.924755871295929e-05, -6.62393867969513e-05, -6.32312148809433e-05, -6.02230429649353e-05, -5.721487104892731e-05, -5.420669913291931e-05, -5.1198527216911316e-05, -4.819035530090332e-05, -4.5182183384895325e-05, -4.217401146888733e-05, -3.9165839552879333e-05, -3.615766763687134e-05, -3.314949572086334e-05, -3.0141323804855347e-05, -2.713315188884735e-05, -2.4124979972839355e-05, -2.111680805683136e-05, -1.8108636140823364e-05, -1.5100464224815369e-05, -1.2092292308807373e-05, -9.084120392799377e-06, -6.075948476791382e-06, -3.0677765607833862e-06, -5.960464477539063e-08, 2.948567271232605e-06, 5.956739187240601e-06, 8.964911103248596e-06, 1.1973083019256592e-05, 1.4981254935264587e-05, 1.7989426851272583e-05, 2.099759876728058e-05, 2.4005770683288574e-05, 2.701394259929657e-05, 3.0022114515304565e-05, 3.303028643131256e-05, 3.603845834732056e-05, 3.904663026332855e-05, 4.205480217933655e-05, 4.5062974095344543e-05, 4.807114601135254e-05, 5.1079317927360535e-05, 5.408748984336853e-05, 5.7095661759376526e-05, 6.010383367538452e-05, 6.311200559139252e-05, 6.612017750740051e-05, 6.912834942340851e-05, 7.21365213394165e-05, 7.51446932554245e-05, 7.81528651714325e-05, 8.116103708744049e-05, 8.416920900344849e-05, 8.717738091945648e-05, 9.018555283546448e-05, 9.319372475147247e-05, 9.620189666748047e-05]}, "gradients/encoder.encoder.layers.8.attention.v_proj.bias": {"_type": "histogram", "values": [2.0, 1.0, 2.0, 0.0, 2.0, 1.0, 1.0, 3.0, 2.0, 6.0, 6.0, 1.0, 7.0, 2.0, 5.0, 6.0, 3.0, 3.0, 5.0, 7.0, 5.0, 7.0, 2.0, 4.0, 3.0, 3.0, 2.0, 5.0, 6.0, 3.0, 7.0, 799.0, 20.0, 13.0, 10.0, 5.0, 3.0, 2.0, 3.0, 4.0, 1.0, 0.0, 3.0, 3.0, 5.0, 1.0, 1.0, 3.0, 4.0, 3.0, 3.0, 1.0, 5.0, 2.0, 5.0, 5.0, 0.0, 2.0, 1.0, 3.0, 1.0, 0.0, 0.0, 1.0], "bins": [-9.959936141967773e-05, -9.64803621172905e-05, -9.336136281490326e-05, -9.024236351251602e-05, -8.712336421012878e-05, -8.400436490774155e-05, -8.088536560535431e-05, -7.776636630296707e-05, -7.464736700057983e-05, -7.15283676981926e-05, -6.840936839580536e-05, -6.529036909341812e-05, -6.217136979103088e-05, -5.9052370488643646e-05, -5.593337118625641e-05, -5.281437188386917e-05, -4.9695372581481934e-05, -4.6576373279094696e-05, -4.345737397670746e-05, -4.033837467432022e-05, -3.7219375371932983e-05, -3.4100376069545746e-05, -3.098137676715851e-05, -2.786237746477127e-05, -2.4743378162384033e-05, -2.1624378859996796e-05, -1.8505379557609558e-05, -1.538638025522232e-05, -1.2267380952835083e-05, -9.148381650447845e-06, -6.029382348060608e-06, -2.9103830456733704e-06, 2.086162567138672e-07, 3.3276155591011047e-06, 6.446614861488342e-06, 9.56561416387558e-06, 1.2684613466262817e-05, 1.5803612768650055e-05, 1.8922612071037292e-05, 2.204161137342453e-05, 2.5160610675811768e-05, 2.8279609978199005e-05, 3.139860928058624e-05, 3.451760858297348e-05, 3.763660788536072e-05, 4.0755607187747955e-05, 4.387460649013519e-05, 4.699360579252243e-05, 5.011260509490967e-05, 5.3231604397296906e-05, 5.635060369968414e-05, 5.946960300207138e-05, 6.258860230445862e-05, 6.570760160684586e-05, 6.88266009092331e-05, 7.194560021162033e-05, 7.506459951400757e-05, 7.81835988163948e-05, 8.130259811878204e-05, 8.442159742116928e-05, 8.754059672355652e-05, 9.065959602594376e-05, 9.3778595328331e-05, 9.689759463071823e-05, 0.00010001659393310547]}, "gradients/encoder.encoder.layers.8.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 2.0, 2.0, 4.0, 0.0, 2.0, 4.0, 6.0, 7.0, 10.0, 7.0, 4.0, 12.0, 15.0, 30.0, 24.0, 33.0, 38.0, 55.0, 57.0, 146.0, 200.0, 109.0, 63.0, 38.0, 27.0, 27.0, 26.0, 15.0, 12.0, 10.0, 4.0, 6.0, 2.0, 0.0, 2.0, 5.0, 4.0, 0.0, 0.0, 4.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0], "bins": [-0.0005134514067322016, -0.0004996698116883636, -0.00048588827485218644, -0.0004721067089121789, -0.0004583251429721713, -0.00044454357703216374, -0.00043076201109215617, -0.0004169804451521486, -0.00040319887921214104, -0.00038941731327213347, -0.0003756357473321259, -0.00036185418139211833, -0.00034807261545211077, -0.0003342910495121032, -0.00032050948357209563, -0.00030672791763208807, -0.0002929463516920805, -0.00027916478575207293, -0.00026538321981206536, -0.0002516016538720578, -0.00023782008793205023, -0.00022403852199204266, -0.0002102569560520351, -0.00019647539011202753, -0.00018269382417201996, -0.0001689122582320124, -0.00015513069229200482, -0.00014134912635199726, -0.0001275675604119897, -0.00011378599447198212, -0.00010000442853197455, -8.622286259196699e-05, -7.244132575578988e-05, -5.865975981578231e-05, -4.487819387577474e-05, -3.1096627935767174e-05, -1.7315061995759606e-05, -3.533496055752039e-06, 1.0248069884255528e-05, 2.4029635824263096e-05, 3.781120176427066e-05, 5.159276770427823e-05, 6.53743336442858e-05, 7.915589958429337e-05, 9.293746552430093e-05, 0.0001067190314643085, 0.00012050059740431607, 0.00013428216334432364, 0.0001480637292843312, 0.00016184529522433877, 0.00017562686116434634, 0.0001894084271043539, 0.00020318999304436147, 0.00021697155898436904, 0.0002307531249243766, 0.0002445346908643842, 0.00025831625680439174, 0.0002720978227443993, 0.0002858793886844069, 0.00029966095462441444, 0.000313442520564422, 0.0003272240865044296, 0.00034100565244443715, 0.0003547872183844447, 0.0003685687843244523]}, "gradients/encoder.encoder.layers.8.layer_norm.bias": {"_type": "histogram", "values": [3.0, 0.0, 9.0, 2.0, 8.0, 10.0, 14.0, 30.0, 42.0, 38.0, 69.0, 74.0, 92.0, 109.0, 106.0, 93.0, 79.0, 69.0, 53.0, 40.0, 25.0, 26.0, 11.0, 10.0, 6.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0002974271774291992, -0.0002765767276287079, -0.00025572627782821655, -0.00023487582802772522, -0.0002140253782272339, -0.00019317492842674255, -0.00017232447862625122, -0.0001514740288257599, -0.00013062357902526855, -0.00010977312922477722, -8.892267942428589e-05, -6.807222962379456e-05, -4.722177982330322e-05, -2.637133002281189e-05, -5.520880222320557e-06, 1.5329569578170776e-05, 3.618001937866211e-05, 5.703046917915344e-05, 7.788091897964478e-05, 9.873136878013611e-05, 0.00011958181858062744, 0.00014043226838111877, 0.0001612827181816101, 0.00018213316798210144, 0.00020298361778259277, 0.0002238340675830841, 0.00024468451738357544, 0.00026553496718406677, 0.0002863854169845581, 0.00030723586678504944, 0.00032808631658554077, 0.0003489367663860321, 0.00036978721618652344, 0.00039063766598701477, 0.0004114881157875061, 0.00043233856558799744, 0.00045318901538848877, 0.0004740394651889801, 0.0004948899149894714, 0.0005157403647899628, 0.0005365908145904541, 0.0005574412643909454, 0.0005782917141914368, 0.0005991421639919281, 0.0006199926137924194, 0.0006408430635929108, 0.0006616935133934021, 0.0006825439631938934, 0.0007033944129943848, 0.0007242448627948761, 0.0007450953125953674, 0.0007659457623958588, 0.0007867962121963501, 0.0008076466619968414, 0.0008284971117973328, 0.0008493475615978241, 0.0008701980113983154, 0.0008910484611988068, 0.0009118989109992981, 0.0009327493607997894, 0.0009535998106002808, 0.0009744502604007721, 0.0009953007102012634, 0.0010161511600017548, 0.001037001609802246]}, "gradients/encoder.encoder.layers.7.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 5.0, 2.0, 1.0, 2.0, 3.0, 4.0, 3.0, 4.0, 1.0, 13.0, 7.0, 11.0, 16.0, 20.0, 28.0, 69.0, 415.0, 4171059.0, 21395.0, 1214.0, 18.0, 4.0], "bins": [-0.000942230224609375, -0.0009264955297112465, -0.000910760834813118, -0.0008950261399149895, -0.000879291445016861, -0.0008635567501187325, -0.0008478220552206039, -0.0008320873603224754, -0.0008163526654243469, -0.0008006179705262184, -0.0007848832756280899, -0.0007691485807299614, -0.0007534138858318329, -0.0007376791909337044, -0.0007219444960355759, -0.0007062098011374474, -0.0006904751062393188, -0.0006747404113411903, -0.0006590057164430618, -0.0006432710215449333, -0.0006275363266468048, -0.0006118016317486763, -0.0005960669368505478, -0.0005803322419524193, -0.0005645975470542908, -0.0005488628521561623, -0.0005331281572580338, -0.0005173934623599052, -0.0005016587674617767, -0.0004859240725636482, -0.0004701893776655197, -0.0004544546827673912, -0.0004387199878692627, -0.0004229852929711342, -0.0004072505980730057, -0.00039151590317487717, -0.00037578120827674866, -0.00036004651337862015, -0.00034431181848049164, -0.00032857712358236313, -0.0003128424286842346, -0.0002971077337861061, -0.0002813730388879776, -0.0002656383439898491, -0.0002499036490917206, -0.00023416895419359207, -0.00021843425929546356, -0.00020269956439733505, -0.00018696486949920654, -0.00017123017460107803, -0.00015549547970294952, -0.00013976078480482101, -0.0001240260899066925, -0.000108291395008564, -9.255670011043549e-05, -7.682200521230698e-05, -6.108731031417847e-05, -4.535261541604996e-05, -2.9617920517921448e-05, -1.3883225619792938e-05, 1.8514692783355713e-06, 1.758616417646408e-05, 3.332085907459259e-05, 4.90555539727211e-05, 6.479024887084961e-05]}, "gradients/encoder.encoder.layers.7.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 17.0, 106.0, 413.0, 377.0, 87.0, 16.0, 3.0], "bins": [-0.00013875961303710938, -0.00013644248247146606, -0.00013412535190582275, -0.00013180822134017944, -0.00012949109077453613, -0.00012717396020889282, -0.0001248568296432495, -0.0001225396990776062, -0.00012022256851196289, -0.00011790543794631958, -0.00011558830738067627, -0.00011327117681503296, -0.00011095404624938965, -0.00010863691568374634, -0.00010631978511810303, -0.00010400265455245972, -0.0001016855239868164, -9.93683934211731e-05, -9.705126285552979e-05, -9.473413228988647e-05, -9.241700172424316e-05, -9.009987115859985e-05, -8.778274059295654e-05, -8.546561002731323e-05, -8.314847946166992e-05, -8.083134889602661e-05, -7.85142183303833e-05, -7.619708776473999e-05, -7.387995719909668e-05, -7.156282663345337e-05, -6.924569606781006e-05, -6.692856550216675e-05, -6.461143493652344e-05, -6.229430437088013e-05, -5.9977173805236816e-05, -5.7660043239593506e-05, -5.5342912673950195e-05, -5.3025782108306885e-05, -5.0708651542663574e-05, -4.8391520977020264e-05, -4.607439041137695e-05, -4.375725984573364e-05, -4.144012928009033e-05, -3.912299871444702e-05, -3.680586814880371e-05, -3.44887375831604e-05, -3.217160701751709e-05, -2.985447645187378e-05, -2.753734588623047e-05, -2.5220215320587158e-05, -2.2903084754943848e-05, -2.0585954189300537e-05, -1.8268823623657227e-05, -1.5951693058013916e-05, -1.3634562492370605e-05, -1.1317431926727295e-05, -9.000301361083984e-06, -6.683170795440674e-06, -4.366040229797363e-06, -2.0489096641540527e-06, 2.682209014892578e-07, 2.5853514671325684e-06, 4.902482032775879e-06, 7.2196125984191895e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.7.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 1.0, 0.0, 3.0, 3.0, 7.0, 5.0, 3.0, 9.0, 12.0, 19.0, 22.0, 51.0, 75.0, 156.0, 294.0, 754.0, 1646.0, 4099.0, 12109.0, 54259.0, 3979675.0, 115046.0, 16853.0, 5430.0, 2107.0, 897.0, 357.0, 157.0, 88.0, 57.0, 27.0, 18.0, 10.0, 16.0, 5.0, 6.0, 5.0, 1.0, 8.0, 2.0, 2.0, 1.0, 2.0, 1.0], "bins": [-0.00011283159255981445, -0.0001100543886423111, -0.00010727718472480774, -0.00010449998080730438, -0.00010172277688980103, -9.894557297229767e-05, -9.616836905479431e-05, -9.339116513729095e-05, -9.06139612197876e-05, -8.783675730228424e-05, -8.505955338478088e-05, -8.228234946727753e-05, -7.950514554977417e-05, -7.672794163227081e-05, -7.395073771476746e-05, -7.11735337972641e-05, -6.839632987976074e-05, -6.561912596225739e-05, -6.284192204475403e-05, -6.006471812725067e-05, -5.7287514209747314e-05, -5.451031029224396e-05, -5.17331063747406e-05, -4.8955902457237244e-05, -4.617869853973389e-05, -4.340149462223053e-05, -4.062429070472717e-05, -3.7847086787223816e-05, -3.506988286972046e-05, -3.22926789522171e-05, -2.9515475034713745e-05, -2.6738271117210388e-05, -2.396106719970703e-05, -2.1183863282203674e-05, -1.8406659364700317e-05, -1.562945544719696e-05, -1.2852251529693604e-05, -1.0075047612190247e-05, -7.29784369468689e-06, -4.520639777183533e-06, -1.7434358596801758e-06, 1.0337680578231812e-06, 3.810971975326538e-06, 6.588175892829895e-06, 9.365379810333252e-06, 1.2142583727836609e-05, 1.4919787645339966e-05, 1.7696991562843323e-05, 2.047419548034668e-05, 2.3251399397850037e-05, 2.6028603315353394e-05, 2.880580723285675e-05, 3.158301115036011e-05, 3.4360215067863464e-05, 3.713741898536682e-05, 3.991462290287018e-05, 4.2691826820373535e-05, 4.546903073787689e-05, 4.824623465538025e-05, 5.1023438572883606e-05, 5.380064249038696e-05, 5.657784640789032e-05, 5.935505032539368e-05, 6.213225424289703e-05, 6.490945816040039e-05]}, "gradients/encoder.encoder.layers.7.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 1.0, 0.0, 3.0, 2.0, 2.0, 3.0, 0.0, 2.0, 5.0, 6.0, 5.0, 8.0, 8.0, 20.0, 12.0, 22.0, 21.0, 47.0, 137.0, 489.0, 2046.0, 769.0, 274.0, 79.0, 36.0, 14.0, 14.0, 10.0, 8.0, 7.0, 5.0, 6.0, 4.0, 6.0, 1.0, 4.0, 0.0, 0.0, 7.0, 2.0, 2.0, 0.0, 3.0, 1.0], "bins": [-7.605552673339844e-05, -7.418449968099594e-05, -7.231347262859344e-05, -7.044244557619095e-05, -6.857141852378845e-05, -6.670039147138596e-05, -6.482936441898346e-05, -6.295833736658096e-05, -6.108731031417847e-05, -5.921628326177597e-05, -5.7345256209373474e-05, -5.547422915697098e-05, -5.360320210456848e-05, -5.1732175052165985e-05, -4.986114799976349e-05, -4.799012094736099e-05, -4.6119093894958496e-05, -4.4248066842556e-05, -4.2377039790153503e-05, -4.050601273775101e-05, -3.863498568534851e-05, -3.6763958632946014e-05, -3.489293158054352e-05, -3.302190452814102e-05, -3.1150877475738525e-05, -2.927985042333603e-05, -2.7408823370933533e-05, -2.5537796318531036e-05, -2.366676926612854e-05, -2.1795742213726044e-05, -1.9924715161323547e-05, -1.805368810892105e-05, -1.6182661056518555e-05, -1.4311634004116058e-05, -1.2440606951713562e-05, -1.0569579899311066e-05, -8.69855284690857e-06, -6.827525794506073e-06, -4.956498742103577e-06, -3.0854716897010803e-06, -1.214444637298584e-06, 6.565824151039124e-07, 2.5276094675064087e-06, 4.398636519908905e-06, 6.269663572311401e-06, 8.140690624713898e-06, 1.0011717677116394e-05, 1.188274472951889e-05, 1.3753771781921387e-05, 1.5624798834323883e-05, 1.749582588672638e-05, 1.9366852939128876e-05, 2.1237879991531372e-05, 2.310890704393387e-05, 2.4979934096336365e-05, 2.685096114873886e-05, 2.8721988201141357e-05, 3.0593015253543854e-05, 3.246404230594635e-05, 3.4335069358348846e-05, 3.620609641075134e-05, 3.807712346315384e-05, 3.9948150515556335e-05, 4.181917756795883e-05, 4.369020462036133e-05]}, "gradients/encoder.encoder.layers.7.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 4.0, 1.0, 1.0, 4.0, 6.0, 9.0, 8.0, 15.0, 24.0, 36.0, 48.0, 127.0, 307.0, 188.0, 84.0, 62.0, 26.0, 22.0, 13.0, 13.0, 4.0, 4.0, 5.0, 0.0, 2.0, 2.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00047509444993920624, -0.00046063034096732736, -0.0004461662610992789, -0.00043170215212740004, -0.0004172380722593516, -0.0004027739632874727, -0.0003883098834194243, -0.0003738457744475454, -0.0003593816654756665, -0.00034491755650378764, -0.0003304534766357392, -0.0003159893676638603, -0.0003015252877958119, -0.000287061178823933, -0.0002725970698520541, -0.0002581329899840057, -0.00024366891011595726, -0.0002292048156959936, -0.00021474072127602994, -0.00020027661230415106, -0.00018581253243610263, -0.00017134842346422374, -0.00015688432904426008, -0.00014242023462429643, -0.00012795614020433277, -0.00011349204578436911, -9.902795136440545e-05, -8.456384966848418e-05, -7.009975524852052e-05, -5.5635660828556865e-05, -4.1171559132635593e-05, -2.6707464712671936e-05, -1.2243370292708278e-05, 2.2207259462447837e-06, 1.6684822185197845e-05, 3.114892024314031e-05, 4.561301466310397e-05, 6.0077109083067626e-05, 7.45412107789889e-05, 8.900530519895256e-05, 0.00010346939961891621, 0.00011793349403887987, 0.00013239758845884353, 0.0001468616828788072, 0.00016132579185068607, 0.0001757898717187345, 0.0001902539806906134, 0.00020471807511057705, 0.0002191821695305407, 0.00023364626395050436, 0.000248110358370468, 0.0002625744673423469, 0.00027703854721039534, 0.0002915026561822742, 0.0003059667651541531, 0.00032043084502220154, 0.00033489492489024997, 0.00034935903386212885, 0.0003638231137301773, 0.00037828722270205617, 0.0003927513025701046, 0.0004072154115419835, 0.00042167952051386237, 0.0004361436003819108, 0.0004506077093537897]}, "gradients/encoder.encoder.layers.7.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 2.0, 5.0, 3.0, 4.0, 11.0, 8.0, 12.0, 17.0, 17.0, 24.0, 29.0, 34.0, 40.0, 41.0, 56.0, 49.0, 62.0, 43.0, 46.0, 57.0, 59.0, 55.0, 56.0, 58.0, 38.0, 37.0, 35.0, 26.0, 24.0, 20.0, 11.0, 7.0, 11.0, 5.0, 5.0, 1.0, 4.0, 0.0, 2.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.00023698806762695312, -0.00023020431399345398, -0.00022342056035995483, -0.0002166368067264557, -0.00020985305309295654, -0.0002030692994594574, -0.00019628554582595825, -0.0001895017921924591, -0.00018271803855895996, -0.00017593428492546082, -0.00016915053129196167, -0.00016236677765846252, -0.00015558302402496338, -0.00014879927039146423, -0.0001420155167579651, -0.00013523176312446594, -0.0001284480094909668, -0.00012166425585746765, -0.0001148805022239685, -0.00010809674859046936, -0.00010131299495697021, -9.452924132347107e-05, -8.774548768997192e-05, -8.096173405647278e-05, -7.417798042297363e-05, -6.739422678947449e-05, -6.061047315597534e-05, -5.3826719522476196e-05, -4.704296588897705e-05, -4.0259212255477905e-05, -3.347545862197876e-05, -2.6691704988479614e-05, -1.990795135498047e-05, -1.3124197721481323e-05, -6.340444087982178e-06, 4.4330954551696777e-07, 7.227063179016113e-06, 1.4010816812515259e-05, 2.0794570446014404e-05, 2.757832407951355e-05, 3.4362077713012695e-05, 4.114583134651184e-05, 4.7929584980010986e-05, 5.471333861351013e-05, 6.149709224700928e-05, 6.828084588050842e-05, 7.506459951400757e-05, 8.184835314750671e-05, 8.863210678100586e-05, 9.5415860414505e-05, 0.00010219961404800415, 0.0001089833676815033, 0.00011576712131500244, 0.0001225508749485016, 0.00012933462858200073, 0.00013611838221549988, 0.00014290213584899902, 0.00014968588948249817, 0.00015646964311599731, 0.00016325339674949646, 0.0001700371503829956, 0.00017682090401649475, 0.0001836046576499939, 0.00019038841128349304, 0.0001971721649169922]}, "gradients/encoder.encoder.layers.7.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 0.0, 0.0, 2.0, 2.0, 0.0, 2.0, 2.0, 2.0, 5.0, 6.0, 12.0, 11.0, 14.0, 24.0, 17.0, 20.0, 26.0, 25.0, 26.0, 32.0, 29.0, 28.0, 57.0, 71.0, 551.0, 696932.0, 349755.0, 461.0, 78.0, 46.0, 53.0, 51.0, 37.0, 45.0, 19.0, 34.0, 16.0, 14.0, 12.0, 16.0, 13.0, 5.0, 5.0, 5.0, 2.0, 4.0, 0.0, 0.0, 1.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0003972053527832031, -0.00038350000977516174, -0.00036979466676712036, -0.000356089323759079, -0.0003423839807510376, -0.0003286786377429962, -0.00031497329473495483, -0.00030126795172691345, -0.00028756260871887207, -0.0002738572657108307, -0.0002601519227027893, -0.0002464465796947479, -0.00023274123668670654, -0.00021903589367866516, -0.00020533055067062378, -0.0001916252076625824, -0.00017791986465454102, -0.00016421452164649963, -0.00015050917863845825, -0.00013680383563041687, -0.0001230984926223755, -0.0001093931496143341, -9.568780660629272e-05, -8.198246359825134e-05, -6.827712059020996e-05, -5.457177758216858e-05, -4.08664345741272e-05, -2.7161091566085815e-05, -1.3455748558044434e-05, 2.4959444999694824e-07, 1.395493745803833e-05, 2.7660280466079712e-05, 4.1365623474121094e-05, 5.5070966482162476e-05, 6.877630949020386e-05, 8.248165249824524e-05, 9.618699550628662e-05, 0.000109892338514328, 0.00012359768152236938, 0.00013730302453041077, 0.00015100836753845215, 0.00016471371054649353, 0.0001784190535545349, 0.0001921243965625763, 0.00020582973957061768, 0.00021953508257865906, 0.00023324042558670044, 0.0002469457685947418, 0.0002606511116027832, 0.0002743564546108246, 0.00028806179761886597, 0.00030176714062690735, 0.00031547248363494873, 0.0003291778266429901, 0.0003428831696510315, 0.0003565885126590729, 0.00037029385566711426, 0.00038399919867515564, 0.000397704541683197, 0.0004114098846912384, 0.0004251152276992798, 0.00043882057070732117, 0.00045252591371536255, 0.00046623125672340393, 0.0004799365997314453]}, "gradients/encoder.encoder.layers.7.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 19.0, 121.0, 408.0, 372.0, 82.0, 14.0, 3.0], "bins": [-0.0001373291015625, -0.00013503432273864746, -0.00013273954391479492, -0.00013044476509094238, -0.00012814998626708984, -0.0001258552074432373, -0.00012356042861938477, -0.00012126564979553223, -0.00011897087097167969, -0.00011667609214782715, -0.00011438131332397461, -0.00011208653450012207, -0.00010979175567626953, -0.00010749697685241699, -0.00010520219802856445, -0.00010290741920471191, -0.00010061264038085938, -9.831786155700684e-05, -9.60230827331543e-05, -9.372830390930176e-05, -9.143352508544922e-05, -8.913874626159668e-05, -8.684396743774414e-05, -8.45491886138916e-05, -8.225440979003906e-05, -7.995963096618652e-05, -7.766485214233398e-05, -7.537007331848145e-05, -7.30752944946289e-05, -7.078051567077637e-05, -6.848573684692383e-05, -6.619095802307129e-05, -6.389617919921875e-05, -6.160140037536621e-05, -5.930662155151367e-05, -5.701184272766113e-05, -5.4717063903808594e-05, -5.2422285079956055e-05, -5.0127506256103516e-05, -4.7832727432250977e-05, -4.553794860839844e-05, -4.32431697845459e-05, -4.094839096069336e-05, -3.865361213684082e-05, -3.635883331298828e-05, -3.406405448913574e-05, -3.17692756652832e-05, -2.9474496841430664e-05, -2.7179718017578125e-05, -2.4884939193725586e-05, -2.2590160369873047e-05, -2.0295381546020508e-05, -1.800060272216797e-05, -1.570582389831543e-05, -1.341104507446289e-05, -1.1116266250610352e-05, -8.821487426757812e-06, -6.5267086029052734e-06, -4.231929779052734e-06, -1.9371509552001953e-06, 3.5762786865234375e-07, 2.652406692504883e-06, 4.947185516357422e-06, 7.241964340209961e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.7.attention.v_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 5.0, 1.0, 1.0, 2.0, 4.0, 3.0, 2.0, 6.0, 2.0, 2.0, 3.0, 8.0, 6.0, 16.0, 12.0, 24.0, 46.0, 84.0, 139.0, 307.0, 473.0, 875.0, 1477.0, 2442.0, 4336.0, 7977.0, 14098.0, 30485.0, 918019.0, 33353.0, 15338.0, 8289.0, 4547.0, 2481.0, 1597.0, 930.0, 510.0, 268.0, 148.0, 75.0, 54.0, 33.0, 25.0, 13.0, 17.0, 6.0, 5.0, 8.0, 5.0, 4.0, 2.0, 2.0, 1.0, 1.0, 3.0, 0.0, 2.0, 0.0, 2.0], "bins": [-0.00012493133544921875, -0.00012120697647333145, -0.00011748261749744415, -0.00011375825852155685, -0.00011003389954566956, -0.00010630954056978226, -0.00010258518159389496, -9.886082261800766e-05, -9.513646364212036e-05, -9.141210466623306e-05, -8.768774569034576e-05, -8.396338671445847e-05, -8.023902773857117e-05, -7.651466876268387e-05, -7.279030978679657e-05, -6.906595081090927e-05, -6.534159183502197e-05, -6.161723285913467e-05, -5.7892873883247375e-05, -5.416851490736008e-05, -5.044415593147278e-05, -4.671979695558548e-05, -4.299543797969818e-05, -3.927107900381088e-05, -3.5546720027923584e-05, -3.1822361052036285e-05, -2.8098002076148987e-05, -2.4373643100261688e-05, -2.064928412437439e-05, -1.692492514848709e-05, -1.3200566172599792e-05, -9.476207196712494e-06, -5.751848220825195e-06, -2.0274892449378967e-06, 1.6968697309494019e-06, 5.4212287068367004e-06, 9.145587682723999e-06, 1.2869946658611298e-05, 1.6594305634498596e-05, 2.0318664610385895e-05, 2.4043023586273193e-05, 2.7767382562160492e-05, 3.149174153804779e-05, 3.521610051393509e-05, 3.894045948982239e-05, 4.2664818465709686e-05, 4.6389177441596985e-05, 5.0113536417484283e-05, 5.383789539337158e-05, 5.756225436925888e-05, 6.128661334514618e-05, 6.501097232103348e-05, 6.873533129692078e-05, 7.245969027280807e-05, 7.618404924869537e-05, 7.990840822458267e-05, 8.363276720046997e-05, 8.735712617635727e-05, 9.108148515224457e-05, 9.480584412813187e-05, 9.853020310401917e-05, 0.00010225456207990646, 0.00010597892105579376, 0.00010970328003168106, 0.00011342763900756836]}, "gradients/encoder.encoder.layers.7.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 6.0, 0.0, 1.0, 2.0, 4.0, 3.0, 2.0, 5.0, 3.0, 2.0, 1.0, 5.0, 1.0, 5.0, 1.0, 4.0, 2.0, 6.0, 5.0, 6.0, 2.0, 2.0, 3.0, 5.0, 8.0, 5.0, 12.0, 18.0, 782.0, 16.0, 8.0, 5.0, 6.0, 6.0, 4.0, 1.0, 5.0, 4.0, 6.0, 4.0, 7.0, 3.0, 4.0, 5.0, 3.0, 3.0, 3.0, 7.0, 4.0, 4.0, 3.0, 1.0, 1.0, 1.0, 3.0, 0.0, 2.0, 0.0, 2.0], "bins": [-0.00011420249938964844, -0.00011079292744398117, -0.0001073833554983139, -0.00010397378355264664, -0.00010056421160697937, -9.71546396613121e-05, -9.374506771564484e-05, -9.033549576997757e-05, -8.69259238243103e-05, -8.351635187864304e-05, -8.010677993297577e-05, -7.66972079873085e-05, -7.328763604164124e-05, -6.987806409597397e-05, -6.64684921503067e-05, -6.305892020463943e-05, -5.964934825897217e-05, -5.62397763133049e-05, -5.2830204367637634e-05, -4.942063242197037e-05, -4.60110604763031e-05, -4.2601488530635834e-05, -3.919191658496857e-05, -3.57823446393013e-05, -3.237277269363403e-05, -2.8963200747966766e-05, -2.55536288022995e-05, -2.2144056856632233e-05, -1.8734484910964966e-05, -1.53249129652977e-05, -1.1915341019630432e-05, -8.505769073963165e-06, -5.0961971282958984e-06, -1.6866251826286316e-06, 1.7229467630386353e-06, 5.132518708705902e-06, 8.542090654373169e-06, 1.1951662600040436e-05, 1.5361234545707703e-05, 1.877080649137497e-05, 2.2180378437042236e-05, 2.5589950382709503e-05, 2.899952232837677e-05, 3.240909427404404e-05, 3.5818666219711304e-05, 3.922823816537857e-05, 4.263781011104584e-05, 4.6047382056713104e-05, 4.945695400238037e-05, 5.286652594804764e-05, 5.6276097893714905e-05, 5.968566983938217e-05, 6.309524178504944e-05, 6.65048137307167e-05, 6.991438567638397e-05, 7.332395762205124e-05, 7.67335295677185e-05, 8.014310151338577e-05, 8.355267345905304e-05, 8.69622454047203e-05, 9.037181735038757e-05, 9.378138929605484e-05, 9.719096124172211e-05, 0.00010060053318738937, 0.00010401010513305664]}, "gradients/encoder.encoder.layers.7.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 2.0, 3.0, 2.0, 1.0, 1.0, 3.0, 3.0, 3.0, 3.0, 5.0, 8.0, 11.0, 13.0, 8.0, 16.0, 34.0, 20.0, 37.0, 53.0, 82.0, 139.0, 228.0, 105.0, 61.0, 46.0, 27.0, 28.0, 20.0, 8.0, 12.0, 9.0, 8.0, 4.0, 3.0, 2.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 1.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.0004374687559902668, -0.0004242838185746223, -0.00041109888115897775, -0.0003979139437433332, -0.0003847290063276887, -0.0003715440980158746, -0.0003583591606002301, -0.00034517422318458557, -0.00033198928576894104, -0.0003188043483532965, -0.000305619410937652, -0.00029243447352200747, -0.0002792495652101934, -0.0002660645986907184, -0.00025287969037890434, -0.00023969475296325982, -0.0002265098155476153, -0.00021332487813197076, -0.00020013994071632624, -0.00018695501785259694, -0.0001737700804369524, -0.00016058514302130789, -0.0001474002201575786, -0.00013421528274193406, -0.00012103034532628953, -0.00010784540791064501, -9.46604777709581e-05, -8.147554763127118e-05, -6.829061021562666e-05, -5.510567279998213e-05, -4.192074266029522e-05, -2.8735812520608306e-05, -1.555087510496378e-05, -2.36594132729806e-06, 1.081899245036766e-05, 2.400392622803338e-05, 3.71888600056991e-05, 5.0373797421343625e-05, 6.355872756103054e-05, 7.674365770071745e-05, 8.992859511636198e-05, 0.0001031135325320065, 0.00011629846267169341, 0.00012948339281138033, 0.00014266833022702485, 0.00015585326764266938, 0.00016903819050639868, 0.0001822231279220432, 0.00019540806533768773, 0.00020859300275333226, 0.00022177794016897678, 0.00023496286303270608, 0.00024814781500026584, 0.0002613327233120799, 0.00027451766072772443, 0.00028770259814336896, 0.0003008875355590135, 0.000314072472974658, 0.00032725741039030254, 0.00034044234780594707, 0.00035362725611776114, 0.0003668122226372361, 0.0003799971309490502, 0.0003931820683646947, 0.00040636700578033924]}, "gradients/encoder.encoder.layers.7.layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 4.0, 11.0, 16.0, 12.0, 18.0, 37.0, 53.0, 60.0, 70.0, 91.0, 148.0, 116.0, 88.0, 100.0, 52.0, 42.0, 30.0, 25.0, 28.0, 8.0, 6.0, 1.0, 3.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0003072023391723633, -0.0002866508439183235, -0.00026609934866428375, -0.000245547853410244, -0.00022499635815620422, -0.00020444486290216446, -0.0001838933676481247, -0.00016334187239408493, -0.00014279037714004517, -0.0001222388818860054, -0.00010168738663196564, -8.113589137792587e-05, -6.058439612388611e-05, -4.0032900869846344e-05, -1.948140561580658e-05, 1.0700896382331848e-06, 2.162158489227295e-05, 4.2173080146312714e-05, 6.272457540035248e-05, 8.327607065439224e-05, 0.00010382756590843201, 0.00012437906116247177, 0.00014493055641651154, 0.0001654820516705513, 0.00018603354692459106, 0.00020658504217863083, 0.0002271365374326706, 0.00024768803268671036, 0.0002682395279407501, 0.0002887910231947899, 0.00030934251844882965, 0.0003298940137028694, 0.0003504455089569092, 0.00037099700421094894, 0.0003915484994649887, 0.0004120999947190285, 0.00043265148997306824, 0.000453202985227108, 0.00047375448048114777, 0.0004943059757351875, 0.0005148574709892273, 0.0005354089662432671, 0.0005559604614973068, 0.0005765119567513466, 0.0005970634520053864, 0.0006176149472594261, 0.0006381664425134659, 0.0006587179377675056, 0.0006792694330215454, 0.0006998209282755852, 0.0007203724235296249, 0.0007409239187836647, 0.0007614754140377045, 0.0007820269092917442, 0.000802578404545784, 0.0008231298997998238, 0.0008436813950538635, 0.0008642328903079033, 0.000884784385561943, 0.0009053358808159828, 0.0009258873760700226, 0.0009464388713240623, 0.0009669903665781021, 0.0009875418618321419, 0.0010080933570861816]}, "gradients/encoder.encoder.layers.6.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 5.0, 0.0, 1.0, 0.0, 4.0, 6.0, 2.0, 8.0, 3.0, 12.0, 9.0, 11.0, 12.0, 23.0, 18.0, 29.0, 91.0, 443.0, 4176635.0, 16823.0, 143.0, 16.0, 3.0], "bins": [-0.0016145706176757812, -0.0015875902026891708, -0.0015606097877025604, -0.00153362937271595, -0.0015066489577293396, -0.0014796685427427292, -0.0014526881277561188, -0.0014257077127695084, -0.001398727297782898, -0.0013717468827962875, -0.0013447664678096771, -0.0013177860528230667, -0.0012908056378364563, -0.0012638252228498459, -0.0012368448078632355, -0.001209864392876625, -0.0011828839778900146, -0.0011559035629034042, -0.0011289231479167938, -0.0011019427329301834, -0.001074962317943573, -0.0010479819029569626, -0.0010210014879703522, -0.0009940210729837418, -0.0009670406579971313, -0.0009400602430105209, -0.0009130798280239105, -0.0008860994130373001, -0.0008591189980506897, -0.0008321385830640793, -0.0008051581680774689, -0.0007781777530908585, -0.000751197338104248, -0.0007242169231176376, -0.0006972365081310272, -0.0006702560931444168, -0.0006432756781578064, -0.000616295263171196, -0.0005893148481845856, -0.0005623344331979752, -0.0005353540182113647, -0.0005083736032247543, -0.0004813931882381439, -0.0004544127732515335, -0.0004274323582649231, -0.0004004519432783127, -0.00037347152829170227, -0.00034649111330509186, -0.00031951069831848145, -0.00029253028333187103, -0.0002655498683452606, -0.0002385694533586502, -0.0002115890383720398, -0.00018460862338542938, -0.00015762820839881897, -0.00013064779341220856, -0.00010366737842559814, -7.668696343898773e-05, -4.970654845237732e-05, -2.2726133465766907e-05, 4.254281520843506e-06, 3.123469650745392e-05, 5.821511149406433e-05, 8.519552648067474e-05, 0.00011217594146728516]}, "gradients/encoder.encoder.layers.6.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 19.0, 121.0, 408.0, 372.0, 82.0, 14.0, 3.0], "bins": [-0.0001373291015625, -0.00013503432273864746, -0.00013273954391479492, -0.00013044476509094238, -0.00012814998626708984, -0.0001258552074432373, -0.00012356042861938477, -0.00012126564979553223, -0.00011897087097167969, -0.00011667609214782715, -0.00011438131332397461, -0.00011208653450012207, -0.00010979175567626953, -0.00010749697685241699, -0.00010520219802856445, -0.00010290741920471191, -0.00010061264038085938, -9.831786155700684e-05, -9.60230827331543e-05, -9.372830390930176e-05, -9.143352508544922e-05, -8.913874626159668e-05, -8.684396743774414e-05, -8.45491886138916e-05, -8.225440979003906e-05, -7.995963096618652e-05, -7.766485214233398e-05, -7.537007331848145e-05, -7.30752944946289e-05, -7.078051567077637e-05, -6.848573684692383e-05, -6.619095802307129e-05, -6.389617919921875e-05, -6.160140037536621e-05, -5.930662155151367e-05, -5.701184272766113e-05, -5.4717063903808594e-05, -5.2422285079956055e-05, -5.0127506256103516e-05, -4.7832727432250977e-05, -4.553794860839844e-05, -4.32431697845459e-05, -4.094839096069336e-05, -3.865361213684082e-05, -3.635883331298828e-05, -3.406405448913574e-05, -3.17692756652832e-05, -2.9474496841430664e-05, -2.7179718017578125e-05, -2.4884939193725586e-05, -2.2590160369873047e-05, -2.0295381546020508e-05, -1.800060272216797e-05, -1.570582389831543e-05, -1.341104507446289e-05, -1.1116266250610352e-05, -8.821487426757812e-06, -6.5267086029052734e-06, -4.231929779052734e-06, -1.9371509552001953e-06, 3.5762786865234375e-07, 2.652406692504883e-06, 4.947185516357422e-06, 7.241964340209961e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.6.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 2.0, 2.0, 4.0, 7.0, 12.0, 9.0, 17.0, 28.0, 44.0, 86.0, 162.0, 262.0, 527.0, 1176.0, 2766.0, 7734.0, 28295.0, 531811.0, 3565307.0, 40014.0, 9878.0, 3389.0, 1406.0, 628.0, 337.0, 165.0, 94.0, 51.0, 27.0, 21.0, 15.0, 9.0, 3.0, 3.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00011748075485229492, -0.00011403579264879227, -0.00011059083044528961, -0.00010714586824178696, -0.0001037009060382843, -0.00010025594383478165, -9.681098163127899e-05, -9.336601942777634e-05, -8.992105722427368e-05, -8.647609502077103e-05, -8.303113281726837e-05, -7.958617061376572e-05, -7.614120841026306e-05, -7.26962462067604e-05, -6.925128400325775e-05, -6.58063217997551e-05, -6.236135959625244e-05, -5.8916397392749786e-05, -5.547143518924713e-05, -5.2026472985744476e-05, -4.858151078224182e-05, -4.5136548578739166e-05, -4.169158637523651e-05, -3.8246624171733856e-05, -3.48016619682312e-05, -3.1356699764728546e-05, -2.791173756122589e-05, -2.4466775357723236e-05, -2.102181315422058e-05, -1.7576850950717926e-05, -1.4131888747215271e-05, -1.0686926543712616e-05, -7.241964340209961e-06, -3.797002136707306e-06, -3.520399332046509e-07, 3.092922270298004e-06, 6.537884473800659e-06, 9.982846677303314e-06, 1.342780888080597e-05, 1.6872771084308624e-05, 2.031773328781128e-05, 2.3762695491313934e-05, 2.720765769481659e-05, 3.0652619898319244e-05, 3.40975821018219e-05, 3.7542544305324554e-05, 4.098750650882721e-05, 4.4432468712329865e-05, 4.787743091583252e-05, 5.1322393119335175e-05, 5.476735532283783e-05, 5.8212317526340485e-05, 6.165727972984314e-05, 6.51022419333458e-05, 6.854720413684845e-05, 7.19921663403511e-05, 7.543712854385376e-05, 7.888209074735641e-05, 8.232705295085907e-05, 8.577201515436172e-05, 8.921697735786438e-05, 9.266193956136703e-05, 9.610690176486969e-05, 9.955186396837234e-05, 0.000102996826171875]}, "gradients/encoder.encoder.layers.6.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 2.0, 2.0, 3.0, 2.0, 4.0, 3.0, 4.0, 6.0, 3.0, 12.0, 12.0, 19.0, 15.0, 30.0, 32.0, 65.0, 268.0, 968.0, 2016.0, 358.0, 83.0, 40.0, 35.0, 22.0, 19.0, 22.0, 6.0, 8.0, 3.0, 8.0, 6.0, 3.0, 2.0, 2.0, 0.0, 0.0, 1.0, 1.0, 2.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-7.534027099609375e-05, -7.313303649425507e-05, -7.092580199241638e-05, -6.87185674905777e-05, -6.651133298873901e-05, -6.430409848690033e-05, -6.209686398506165e-05, -5.988962948322296e-05, -5.768239498138428e-05, -5.547516047954559e-05, -5.326792597770691e-05, -5.1060691475868225e-05, -4.885345697402954e-05, -4.664622247219086e-05, -4.443898797035217e-05, -4.223175346851349e-05, -4.0024518966674805e-05, -3.781728446483612e-05, -3.5610049962997437e-05, -3.340281546115875e-05, -3.119558095932007e-05, -2.8988346457481384e-05, -2.67811119556427e-05, -2.4573877453804016e-05, -2.2366642951965332e-05, -2.0159408450126648e-05, -1.7952173948287964e-05, -1.574493944644928e-05, -1.3537704944610596e-05, -1.1330470442771912e-05, -9.123235940933228e-06, -6.9160014390945435e-06, -4.708766937255859e-06, -2.5015324354171753e-06, -2.942979335784912e-07, 1.912936568260193e-06, 4.120171070098877e-06, 6.327405571937561e-06, 8.534640073776245e-06, 1.074187457561493e-05, 1.2949109077453613e-05, 1.5156343579292297e-05, 1.736357808113098e-05, 1.9570812582969666e-05, 2.177804708480835e-05, 2.3985281586647034e-05, 2.6192516088485718e-05, 2.8399750590324402e-05, 3.0606985092163086e-05, 3.281421959400177e-05, 3.5021454095840454e-05, 3.722868859767914e-05, 3.943592309951782e-05, 4.1643157601356506e-05, 4.385039210319519e-05, 4.6057626605033875e-05, 4.826486110687256e-05, 5.047209560871124e-05, 5.267933011054993e-05, 5.488656461238861e-05, 5.7093799114227295e-05, 5.930103361606598e-05, 6.150826811790466e-05, 6.371550261974335e-05, 6.592273712158203e-05]}, "gradients/encoder.encoder.layers.6.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 1.0, 4.0, 3.0, 4.0, 4.0, 12.0, 4.0, 11.0, 17.0, 23.0, 26.0, 43.0, 67.0, 101.0, 233.0, 153.0, 91.0, 63.0, 35.0, 36.0, 20.0, 14.0, 11.0, 5.0, 5.0, 3.0, 7.0, 3.0, 3.0, 3.0, 1.0, 3.0, 1.0, 2.0, 2.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00025474518770352006, -0.0002448667073622346, -0.00023498822702094913, -0.0002251097612315789, -0.00021523128089029342, -0.00020535280054900795, -0.0001954743347596377, -0.00018559585441835225, -0.00017571737407706678, -0.0001658388937357813, -0.00015596041339449584, -0.0001460819476051256, -0.00013620346726384014, -0.00012632498692255467, -0.00011644651385722682, -0.00010656804079189897, -9.66895604506135e-05, -8.681108010932803e-05, -7.693260704400018e-05, -6.705413397867233e-05, -5.717565363738686e-05, -4.72971769340802e-05, -3.741870023077354e-05, -2.7540227165445685e-05, -1.7661746824160218e-05, -7.783270120853558e-06, 2.095206582453102e-06, 1.1973683285759762e-05, 2.1852159989066422e-05, 3.173063669237308e-05, 4.160911339567974e-05, 5.1487586461007595e-05, 6.136609590612352e-05, 7.124457624740899e-05, 8.112304931273684e-05, 9.100152237806469e-05, 0.00010088000271935016, 0.00011075848306063563, 0.00012063695612596348, 0.00013051542919129133, 0.0001403939095325768, 0.00015027238987386227, 0.00016015087021514773, 0.00017002933600451797, 0.00017990781634580344, 0.0001897862966870889, 0.00019966476247645915, 0.0002095432428177446, 0.00021942172315903008, 0.00022930020350031555, 0.00023917868384160101, 0.0002490571641828865, 0.0002589356154203415, 0.00026881409576162696, 0.0002786925761029124, 0.0002885710564441979, 0.00029844953678548336, 0.00030832801712676883, 0.0003182064974680543, 0.00032808497780933976, 0.00033796345815062523, 0.00034784190938808024, 0.0003577203897293657, 0.0003675988700706512, 0.00037747735041193664]}, "gradients/encoder.encoder.layers.6.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 2.0, 1.0, 0.0, 1.0, 0.0, 7.0, 7.0, 10.0, 9.0, 0.0, 9.0, 12.0, 10.0, 10.0, 30.0, 19.0, 21.0, 22.0, 23.0, 34.0, 44.0, 48.0, 34.0, 49.0, 26.0, 47.0, 41.0, 41.0, 48.0, 40.0, 36.0, 31.0, 39.0, 36.0, 32.0, 36.0, 26.0, 22.0, 24.0, 11.0, 12.0, 15.0, 11.0, 11.0, 6.0, 4.0, 4.0, 3.0, 3.0, 3.0, 2.0, 2.0, 2.0, 2.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0], "bins": [-0.00016361474990844727, -0.00015839934349060059, -0.0001531839370727539, -0.00014796853065490723, -0.00014275312423706055, -0.00013753771781921387, -0.0001323223114013672, -0.0001271069049835205, -0.00012189149856567383, -0.00011667609214782715, -0.00011146068572998047, -0.00010624527931213379, -0.00010102987289428711, -9.581446647644043e-05, -9.059906005859375e-05, -8.538365364074707e-05, -8.016824722290039e-05, -7.495284080505371e-05, -6.973743438720703e-05, -6.452202796936035e-05, -5.930662155151367e-05, -5.409121513366699e-05, -4.887580871582031e-05, -4.366040229797363e-05, -3.844499588012695e-05, -3.3229589462280273e-05, -2.8014183044433594e-05, -2.2798776626586914e-05, -1.7583370208740234e-05, -1.2367963790893555e-05, -7.152557373046875e-06, -1.9371509552001953e-06, 3.2782554626464844e-06, 8.493661880493164e-06, 1.3709068298339844e-05, 1.8924474716186523e-05, 2.4139881134033203e-05, 2.9355287551879883e-05, 3.457069396972656e-05, 3.978610038757324e-05, 4.500150680541992e-05, 5.02169132232666e-05, 5.543231964111328e-05, 6.064772605895996e-05, 6.586313247680664e-05, 7.107853889465332e-05, 7.62939453125e-05, 8.150935173034668e-05, 8.672475814819336e-05, 9.194016456604004e-05, 9.715557098388672e-05, 0.0001023709774017334, 0.00010758638381958008, 0.00011280179023742676, 0.00011801719665527344, 0.00012323260307312012, 0.0001284480094909668, 0.00013366341590881348, 0.00013887882232666016, 0.00014409422874450684, 0.00014930963516235352, 0.0001545250415802002, 0.00015974044799804688, 0.00016495585441589355, 0.00017017126083374023]}, "gradients/encoder.encoder.layers.6.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 2.0, 3.0, 1.0, 4.0, 3.0, 4.0, 3.0, 7.0, 4.0, 6.0, 13.0, 22.0, 11.0, 15.0, 16.0, 24.0, 32.0, 28.0, 33.0, 28.0, 46.0, 36.0, 55.0, 141.0, 2876.0, 1017029.0, 27334.0, 312.0, 74.0, 44.0, 42.0, 41.0, 36.0, 34.0, 29.0, 29.0, 22.0, 20.0, 27.0, 17.0, 11.0, 9.0, 14.0, 4.0, 5.0, 8.0, 5.0, 5.0, 5.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.0004379749298095703, -0.0004253461956977844, -0.00041271746158599854, -0.00040008872747421265, -0.00038745999336242676, -0.00037483125925064087, -0.000362202525138855, -0.0003495737910270691, -0.0003369450569152832, -0.0003243163228034973, -0.0003116875886917114, -0.00029905885457992554, -0.00028643012046813965, -0.00027380138635635376, -0.00026117265224456787, -0.000248543918132782, -0.0002359151840209961, -0.0002232864499092102, -0.00021065771579742432, -0.00019802898168563843, -0.00018540024757385254, -0.00017277151346206665, -0.00016014277935028076, -0.00014751404523849487, -0.00013488531112670898, -0.0001222565770149231, -0.00010962784290313721, -9.699910879135132e-05, -8.437037467956543e-05, -7.174164056777954e-05, -5.911290645599365e-05, -4.6484172344207764e-05, -3.3855438232421875e-05, -2.1226704120635986e-05, -8.597970008850098e-06, 4.030764102935791e-06, 1.665949821472168e-05, 2.928823232650757e-05, 4.191696643829346e-05, 5.4545700550079346e-05, 6.717443466186523e-05, 7.980316877365112e-05, 9.243190288543701e-05, 0.0001050606369972229, 0.00011768937110900879, 0.00013031810522079468, 0.00014294683933258057, 0.00015557557344436646, 0.00016820430755615234, 0.00018083304166793823, 0.00019346177577972412, 0.00020609050989151, 0.0002187192440032959, 0.0002313479781150818, 0.00024397671222686768, 0.00025660544633865356, 0.00026923418045043945, 0.00028186291456222534, 0.00029449164867401123, 0.0003071203827857971, 0.000319749116897583, 0.0003323778510093689, 0.0003450065851211548, 0.0003576353192329407, 0.00037026405334472656]}, "gradients/encoder.encoder.layers.6.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 2.0, 20.0, 134.0, 407.0, 348.0, 89.0, 17.0, 3.0], "bins": [-0.00013685226440429688, -0.00013456493616104126, -0.00013227760791778564, -0.00012999027967453003, -0.00012770295143127441, -0.0001254156231880188, -0.00012312829494476318, -0.00012084096670150757, -0.00011855363845825195, -0.00011626631021499634, -0.00011397898197174072, -0.00011169165372848511, -0.00010940432548522949, -0.00010711699724197388, -0.00010482966899871826, -0.00010254234075546265, -0.00010025501251220703, -9.796768426895142e-05, -9.56803560256958e-05, -9.339302778244019e-05, -9.110569953918457e-05, -8.881837129592896e-05, -8.653104305267334e-05, -8.424371480941772e-05, -8.195638656616211e-05, -7.96690583229065e-05, -7.738173007965088e-05, -7.509440183639526e-05, -7.280707359313965e-05, -7.051974534988403e-05, -6.823241710662842e-05, -6.59450888633728e-05, -6.365776062011719e-05, -6.137043237686157e-05, -5.908310413360596e-05, -5.679577589035034e-05, -5.4508447647094727e-05, -5.222111940383911e-05, -4.9933791160583496e-05, -4.764646291732788e-05, -4.5359134674072266e-05, -4.307180643081665e-05, -4.0784478187561035e-05, -3.849714994430542e-05, -3.6209821701049805e-05, -3.392249345779419e-05, -3.1635165214538574e-05, -2.934783697128296e-05, -2.7060508728027344e-05, -2.477318048477173e-05, -2.2485852241516113e-05, -2.0198523998260498e-05, -1.7911195755004883e-05, -1.5623867511749268e-05, -1.3336539268493652e-05, -1.1049211025238037e-05, -8.761882781982422e-06, -6.474554538726807e-06, -4.187226295471191e-06, -1.8998980522155762e-06, 3.8743019104003906e-07, 2.6747584342956543e-06, 4.9620866775512695e-06, 7.249414920806885e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.6.attention.v_proj.weight": {"_type": "histogram", "values": [2.0, 3.0, 0.0, 2.0, 3.0, 1.0, 1.0, 4.0, 1.0, 1.0, 0.0, 1.0, 6.0, 4.0, 5.0, 8.0, 8.0, 7.0, 11.0, 20.0, 43.0, 76.0, 146.0, 372.0, 738.0, 1296.0, 2524.0, 4562.0, 8712.0, 22113.0, 966858.0, 22232.0, 8907.0, 4585.0, 2566.0, 1305.0, 707.0, 361.0, 171.0, 74.0, 42.0, 19.0, 11.0, 13.0, 6.0, 8.0, 5.0, 6.0, 6.0, 1.0, 5.0, 1.0, 3.0, 1.0, 2.0, 1.0, 1.0, 3.0, 1.0, 1.0, 2.0, 0.0, 0.0, 2.0], "bins": [-0.00013887882232666016, -0.0001343265175819397, -0.00012977421283721924, -0.00012522190809249878, -0.00012066960334777832, -0.00011611729860305786, -0.0001115649938583374, -0.00010701268911361694, -0.00010246038436889648, -9.790807962417603e-05, -9.335577487945557e-05, -8.880347013473511e-05, -8.425116539001465e-05, -7.969886064529419e-05, -7.514655590057373e-05, -7.059425115585327e-05, -6.604194641113281e-05, -6.148964166641235e-05, -5.6937336921691895e-05, -5.2385032176971436e-05, -4.7832727432250977e-05, -4.328042268753052e-05, -3.872811794281006e-05, -3.41758131980896e-05, -2.962350845336914e-05, -2.507120370864868e-05, -2.0518898963928223e-05, -1.5966594219207764e-05, -1.1414289474487305e-05, -6.861984729766846e-06, -2.3096799850463867e-06, 2.2426247596740723e-06, 6.794929504394531e-06, 1.134723424911499e-05, 1.589953899383545e-05, 2.0451843738555908e-05, 2.5004148483276367e-05, 2.9556453227996826e-05, 3.4108757972717285e-05, 3.8661062717437744e-05, 4.32133674621582e-05, 4.776567220687866e-05, 5.231797695159912e-05, 5.687028169631958e-05, 6.142258644104004e-05, 6.59748911857605e-05, 7.052719593048096e-05, 7.507950067520142e-05, 7.963180541992188e-05, 8.418411016464233e-05, 8.873641490936279e-05, 9.328871965408325e-05, 9.784102439880371e-05, 0.00010239332914352417, 0.00010694563388824463, 0.00011149793863296509, 0.00011605024337768555, 0.000120602548122406, 0.00012515485286712646, 0.00012970715761184692, 0.00013425946235656738, 0.00013881176710128784, 0.0001433640718460083, 0.00014791637659072876, 0.00015246868133544922]}, "gradients/encoder.encoder.layers.6.attention.v_proj.bias": {"_type": "histogram", "values": [2.0, 3.0, 0.0, 2.0, 3.0, 0.0, 2.0, 4.0, 1.0, 1.0, 0.0, 1.0, 2.0, 1.0, 2.0, 2.0, 0.0, 2.0, 2.0, 3.0, 3.0, 2.0, 2.0, 6.0, 6.0, 3.0, 5.0, 3.0, 11.0, 26.0, 830.0, 14.0, 7.0, 7.0, 9.0, 3.0, 6.0, 0.0, 2.0, 4.0, 2.0, 2.0, 0.0, 4.0, 1.0, 1.0, 3.0, 4.0, 2.0, 1.0, 4.0, 1.0, 3.0, 1.0, 2.0, 1.0, 1.0, 3.0, 1.0, 0.0, 3.0, 0.0, 0.0, 2.0], "bins": [-9.167194366455078e-05, -8.866749703884125e-05, -8.566305041313171e-05, -8.265860378742218e-05, -7.965415716171265e-05, -7.664971053600311e-05, -7.364526391029358e-05, -7.064081728458405e-05, -6.763637065887451e-05, -6.463192403316498e-05, -6.162747740745544e-05, -5.862303078174591e-05, -5.561858415603638e-05, -5.261413753032684e-05, -4.960969090461731e-05, -4.6605244278907776e-05, -4.360079765319824e-05, -4.059635102748871e-05, -3.7591904401779175e-05, -3.458745777606964e-05, -3.158301115036011e-05, -2.8578564524650574e-05, -2.557411789894104e-05, -2.2569671273231506e-05, -1.9565224647521973e-05, -1.656077802181244e-05, -1.3556331396102905e-05, -1.0551884770393372e-05, -7.547438144683838e-06, -4.542991518974304e-06, -1.5385448932647705e-06, 1.4659017324447632e-06, 4.470348358154297e-06, 7.4747949838638306e-06, 1.0479241609573364e-05, 1.3483688235282898e-05, 1.648813486099243e-05, 1.9492581486701965e-05, 2.24970281124115e-05, 2.5501474738121033e-05, 2.8505921363830566e-05, 3.15103679895401e-05, 3.4514814615249634e-05, 3.751926124095917e-05, 4.05237078666687e-05, 4.3528154492378235e-05, 4.653260111808777e-05, 4.95370477437973e-05, 5.2541494369506836e-05, 5.554594099521637e-05, 5.85503876209259e-05, 6.155483424663544e-05, 6.455928087234497e-05, 6.75637274980545e-05, 7.056817412376404e-05, 7.357262074947357e-05, 7.65770673751831e-05, 7.958151400089264e-05, 8.258596062660217e-05, 8.55904072523117e-05, 8.859485387802124e-05, 9.159930050373077e-05, 9.460374712944031e-05, 9.760819375514984e-05, 0.00010061264038085938]}, "gradients/encoder.encoder.layers.6.attention.k_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 33.0, 0.0, 0.0, 0.0, 13.0, 0.0, 0.0, 0.0, 0.0, 1173.0, 0.0, 0.0, 0.0, 0.0, 1046120.0, 0.0, 0.0, 0.0, 1185.0, 0.0, 0.0, 0.0, 0.0, 16.0, 0.0, 0.0, 0.0, 21.0, 0.0, 0.0, 0.0, 0.0, 5.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 4.0], "bins": [-4.172325134277344e-07, -4.041939973831177e-07, -3.91155481338501e-07, -3.781169652938843e-07, -3.650784492492676e-07, -3.520399332046509e-07, -3.390014171600342e-07, -3.259629011154175e-07, -3.129243850708008e-07, -2.998858690261841e-07, -2.868473529815674e-07, -2.738088369369507e-07, -2.60770320892334e-07, -2.477318048477173e-07, -2.3469328880310059e-07, -2.2165477275848389e-07, -2.086162567138672e-07, -1.955777406692505e-07, -1.825392246246338e-07, -1.695007085800171e-07, -1.564621925354004e-07, -1.434236764907837e-07, -1.30385160446167e-07, -1.1734664440155029e-07, -1.043081283569336e-07, -9.12696123123169e-08, -7.82310962677002e-08, -6.51925802230835e-08, -5.21540641784668e-08, -3.91155481338501e-08, -2.60770320892334e-08, -1.30385160446167e-08, 0.0, 1.30385160446167e-08, 2.60770320892334e-08, 3.91155481338501e-08, 5.21540641784668e-08, 6.51925802230835e-08, 7.82310962677002e-08, 9.12696123123169e-08, 1.043081283569336e-07, 1.1734664440155029e-07, 1.30385160446167e-07, 1.434236764907837e-07, 1.564621925354004e-07, 1.695007085800171e-07, 1.825392246246338e-07, 1.955777406692505e-07, 2.086162567138672e-07, 2.2165477275848389e-07, 2.3469328880310059e-07, 2.477318048477173e-07, 2.60770320892334e-07, 2.738088369369507e-07, 2.868473529815674e-07, 2.998858690261841e-07, 3.129243850708008e-07, 3.259629011154175e-07, 3.390014171600342e-07, 3.520399332046509e-07, 3.650784492492676e-07, 3.781169652938843e-07, 3.91155481338501e-07, 4.041939973831177e-07, 4.172325134277344e-07]}, "gradients/encoder.encoder.layers.6.attention.k_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 8.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 999.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 9.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 5.0], "bins": [-2.384185791015625e-07, -2.3096799850463867e-07, -2.2351741790771484e-07, -2.1606683731079102e-07, -2.086162567138672e-07, -2.0116567611694336e-07, -1.9371509552001953e-07, -1.862645149230957e-07, -1.7881393432617188e-07, -1.7136335372924805e-07, -1.6391277313232422e-07, -1.564621925354004e-07, -1.4901161193847656e-07, -1.4156103134155273e-07, -1.341104507446289e-07, -1.2665987014770508e-07, -1.1920928955078125e-07, -1.1175870895385742e-07, -1.043081283569336e-07, -9.685754776000977e-08, -8.940696716308594e-08, -8.195638656616211e-08, -7.450580596923828e-08, -6.705522537231445e-08, -5.960464477539063e-08, -5.21540641784668e-08, -4.470348358154297e-08, -3.725290298461914e-08, -2.9802322387695312e-08, -2.2351741790771484e-08, -1.4901161193847656e-08, -7.450580596923828e-09, 0.0, 7.450580596923828e-09, 1.4901161193847656e-08, 2.2351741790771484e-08, 2.9802322387695312e-08, 3.725290298461914e-08, 4.470348358154297e-08, 5.21540641784668e-08, 5.960464477539063e-08, 6.705522537231445e-08, 7.450580596923828e-08, 8.195638656616211e-08, 8.940696716308594e-08, 9.685754776000977e-08, 1.043081283569336e-07, 1.1175870895385742e-07, 1.1920928955078125e-07, 1.2665987014770508e-07, 1.341104507446289e-07, 1.4156103134155273e-07, 1.4901161193847656e-07, 1.564621925354004e-07, 1.6391277313232422e-07, 1.7136335372924805e-07, 1.7881393432617188e-07, 1.862645149230957e-07, 1.9371509552001953e-07, 2.0116567611694336e-07, 2.086162567138672e-07, 2.1606683731079102e-07, 2.2351741790771484e-07, 2.3096799850463867e-07, 2.384185791015625e-07]}, "gradients/encoder.encoder.layers.6.attention.q_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 13.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 503.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1047533.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 511.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 12.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0], "bins": [-1.7881393432617188e-07, -1.73225998878479e-07, -1.6763806343078613e-07, -1.6205012798309326e-07, -1.564621925354004e-07, -1.5087425708770752e-07, -1.4528632164001465e-07, -1.3969838619232178e-07, -1.341104507446289e-07, -1.2852251529693604e-07, -1.2293457984924316e-07, -1.1734664440155029e-07, -1.1175870895385742e-07, -1.0617077350616455e-07, -1.0058283805847168e-07, -9.499490261077881e-08, -8.940696716308594e-08, -8.381903171539307e-08, -7.82310962677002e-08, -7.264316082000732e-08, -6.705522537231445e-08, -6.146728992462158e-08, -5.587935447692871e-08, -5.029141902923584e-08, -4.470348358154297e-08, -3.91155481338501e-08, -3.3527612686157227e-08, -2.7939677238464355e-08, -2.2351741790771484e-08, -1.6763806343078613e-08, -1.1175870895385742e-08, -5.587935447692871e-09, 0.0, 5.587935447692871e-09, 1.1175870895385742e-08, 1.6763806343078613e-08, 2.2351741790771484e-08, 2.7939677238464355e-08, 3.3527612686157227e-08, 3.91155481338501e-08, 4.470348358154297e-08, 5.029141902923584e-08, 5.587935447692871e-08, 6.146728992462158e-08, 6.705522537231445e-08, 7.264316082000732e-08, 7.82310962677002e-08, 8.381903171539307e-08, 8.940696716308594e-08, 9.499490261077881e-08, 1.0058283805847168e-07, 1.0617077350616455e-07, 1.1175870895385742e-07, 1.1734664440155029e-07, 1.2293457984924316e-07, 1.2852251529693604e-07, 1.341104507446289e-07, 1.3969838619232178e-07, 1.4528632164001465e-07, 1.5087425708770752e-07, 1.564621925354004e-07, 1.6205012798309326e-07, 1.6763806343078613e-07, 1.73225998878479e-07, 1.7881393432617188e-07]}, "gradients/encoder.encoder.layers.6.attention.q_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 9.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1003.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 8.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0], "bins": [-1.1920928955078125e-07, -1.1548399925231934e-07, -1.1175870895385742e-07, -1.0803341865539551e-07, -1.043081283569336e-07, -1.0058283805847168e-07, -9.685754776000977e-08, -9.313225746154785e-08, -8.940696716308594e-08, -8.568167686462402e-08, -8.195638656616211e-08, -7.82310962677002e-08, -7.450580596923828e-08, -7.078051567077637e-08, -6.705522537231445e-08, -6.332993507385254e-08, -5.960464477539063e-08, -5.587935447692871e-08, -5.21540641784668e-08, -4.842877388000488e-08, -4.470348358154297e-08, -4.0978193283081055e-08, -3.725290298461914e-08, -3.3527612686157227e-08, -2.9802322387695312e-08, -2.60770320892334e-08, -2.2351741790771484e-08, -1.862645149230957e-08, -1.4901161193847656e-08, -1.1175870895385742e-08, -7.450580596923828e-09, -3.725290298461914e-09, 0.0, 3.725290298461914e-09, 7.450580596923828e-09, 1.1175870895385742e-08, 1.4901161193847656e-08, 1.862645149230957e-08, 2.2351741790771484e-08, 2.60770320892334e-08, 2.9802322387695312e-08, 3.3527612686157227e-08, 3.725290298461914e-08, 4.0978193283081055e-08, 4.470348358154297e-08, 4.842877388000488e-08, 5.21540641784668e-08, 5.587935447692871e-08, 5.960464477539063e-08, 6.332993507385254e-08, 6.705522537231445e-08, 7.078051567077637e-08, 7.450580596923828e-08, 7.82310962677002e-08, 8.195638656616211e-08, 8.568167686462402e-08, 8.940696716308594e-08, 9.313225746154785e-08, 9.685754776000977e-08, 1.0058283805847168e-07, 1.043081283569336e-07, 1.0803341865539551e-07, 1.1175870895385742e-07, 1.1548399925231934e-07, 1.1920928955078125e-07]}, "gradients/encoder.encoder.layers.6.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 3.0, 2.0, 4.0, 5.0, 4.0, 9.0, 6.0, 14.0, 25.0, 33.0, 37.0, 68.0, 111.0, 298.0, 151.0, 86.0, 54.0, 38.0, 17.0, 9.0, 11.0, 7.0, 4.0, 8.0, 1.0, 1.0, 1.0, 3.0, 1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.0005362022202461958, -0.0005215946002863348, -0.0005069869803264737, -0.0004923794185742736, -0.00047777179861441255, -0.0004631641786545515, -0.00044855655869469047, -0.0004339489678386599, -0.0004193413769826293, -0.00040473375702276826, -0.0003901261661667377, -0.00037551854620687664, -0.00036091095535084605, -0.000346303335390985, -0.00033169571543112397, -0.0003170881245750934, -0.00030248050461523235, -0.0002878728846553713, -0.0002732652937993407, -0.0002586576738394797, -0.0002440500829834491, -0.00022944246302358806, -0.00021483485761564225, -0.00020022725220769644, -0.00018561964679975063, -0.00017101204139180481, -0.000156404435983859, -0.0001417968305759132, -0.00012718921061605215, -0.00011258161248406395, -9.797399980016053e-05, -8.336639439221472e-05, -6.87587889842689e-05, -5.415118357632309e-05, -3.954357453039847e-05, -2.4935965484473854e-05, -1.0328360076528043e-05, 4.279245331417769e-06, 1.8886858015321195e-05, 3.349446342326701e-05, 4.810206883121282e-05, 6.270967423915863e-05, 7.731727964710444e-05, 9.192489233100787e-05, 0.00010653249773895368, 0.00012114010314689949, 0.00013574771583080292, 0.00015035532123874873, 0.00016496292664669454, 0.00017957053205464035, 0.00019417813746258616, 0.0002087857574224472, 0.0002233933482784778, 0.00023800096823833883, 0.0002526085590943694, 0.00026721617905423045, 0.0002818237990140915, 0.00029643141897395253, 0.0003110390098299831, 0.00032564662978984416, 0.00034025422064587474, 0.0003548618406057358, 0.0003694694605655968, 0.0003840770514216274, 0.000398684642277658]}, "gradients/encoder.encoder.layers.6.layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 2.0, 4.0, 5.0, 11.0, 13.0, 21.0, 21.0, 42.0, 51.0, 55.0, 71.0, 76.0, 99.0, 146.0, 101.0, 71.0, 61.0, 51.0, 50.0, 15.0, 20.0, 11.0, 6.0, 7.0, 6.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0002784132957458496, -0.0002629738301038742, -0.0002475343644618988, -0.0002320948988199234, -0.000216655433177948, -0.0002012159675359726, -0.0001857765018939972, -0.0001703370362520218, -0.0001548975706100464, -0.00013945810496807098, -0.00012401863932609558, -0.00010857917368412018, -9.313970804214478e-05, -7.770024240016937e-05, -6.226077675819397e-05, -4.682131111621857e-05, -3.1381845474243164e-05, -1.594237983226776e-05, -5.029141902923584e-07, 1.4936551451683044e-05, 3.0376017093658447e-05, 4.581548273563385e-05, 6.125494837760925e-05, 7.669441401958466e-05, 9.213387966156006e-05, 0.00010757334530353546, 0.00012301281094551086, 0.00013845227658748627, 0.00015389174222946167, 0.00016933120787143707, 0.00018477067351341248, 0.00020021013915538788, 0.00021564960479736328, 0.00023108907043933868, 0.0002465285360813141, 0.0002619680017232895, 0.0002774074673652649, 0.0002928469330072403, 0.0003082863986492157, 0.0003237258642911911, 0.0003391653299331665, 0.0003546047955751419, 0.0003700442612171173, 0.0003854837268590927, 0.0004009231925010681, 0.0004163626581430435, 0.0004318021237850189, 0.0004472415894269943, 0.0004626810550689697, 0.00047812052071094513, 0.0004935599863529205, 0.0005089994519948959, 0.0005244389176368713, 0.0005398783832788467, 0.0005553178489208221, 0.0005707573145627975, 0.000586196780204773, 0.0006016362458467484, 0.0006170757114887238, 0.0006325151771306992, 0.0006479546427726746, 0.00066339410841465, 0.0006788335740566254, 0.0006942730396986008, 0.0007097125053405762]}, "gradients/encoder.encoder.layers.5.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4.0, 0.0, 3.0, 3.0, 2.0, 1.0, 1.0, 1.0, 1.0, 2.0, 2.0, 6.0, 2.0, 1.0, 5.0, 4.0, 2.0, 4.0, 2.0, 3.0, 3.0, 11.0, 11.0, 10.0, 12.0, 9.0, 4.0, 13.0, 26.0, 17.0, 21.0, 48.0, 56.0, 182.0, 1960.0, 4149292.0, 39859.0, 1814.0, 891.0, 9.0], "bins": [-0.0005602836608886719, -0.0005509192124009132, -0.0005415547639131546, -0.000532190315425396, -0.0005228258669376373, -0.0005134614184498787, -0.0005040969699621201, -0.0004947325214743614, -0.0004853680729866028, -0.00047600362449884415, -0.0004666391760110855, -0.0004572747275233269, -0.00044791027903556824, -0.0004385458305478096, -0.00042918138206005096, -0.00041981693357229233, -0.0004104524850845337, -0.00040108803659677505, -0.0003917235881090164, -0.0003823591396212578, -0.00037299469113349915, -0.0003636302426457405, -0.00035426579415798187, -0.00034490134567022324, -0.0003355368971824646, -0.00032617244869470596, -0.0003168080002069473, -0.0003074435517191887, -0.00029807910323143005, -0.0002887146547436714, -0.0002793502062559128, -0.00026998575776815414, -0.0002606213092803955, -0.00025125686079263687, -0.00024189241230487823, -0.0002325279638171196, -0.00022316351532936096, -0.00021379906684160233, -0.0002044346183538437, -0.00019507016986608505, -0.00018570572137832642, -0.00017634127289056778, -0.00016697682440280914, -0.0001576123759150505, -0.00014824792742729187, -0.00013888347893953323, -0.0001295190304517746, -0.00012015458196401596, -0.00011079013347625732, -0.00010142568498849869, -9.206123650074005e-05, -8.269678801298141e-05, -7.333233952522278e-05, -6.396789103746414e-05, -5.4603442549705505e-05, -4.523899406194687e-05, -3.587454557418823e-05, -2.6510097086429596e-05, -1.714564859867096e-05, -7.781200110912323e-06, 1.5832483768463135e-06, 1.094769686460495e-05, 2.0312145352363586e-05, 2.9676593840122223e-05, 3.904104232788086e-05]}, "gradients/encoder.encoder.layers.5.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 2.0, 20.0, 134.0, 407.0, 348.0, 89.0, 17.0, 3.0], "bins": [-0.00013685226440429688, -0.00013456493616104126, -0.00013227760791778564, -0.00012999027967453003, -0.00012770295143127441, -0.0001254156231880188, -0.00012312829494476318, -0.00012084096670150757, -0.00011855363845825195, -0.00011626631021499634, -0.00011397898197174072, -0.00011169165372848511, -0.00010940432548522949, -0.00010711699724197388, -0.00010482966899871826, -0.00010254234075546265, -0.00010025501251220703, -9.796768426895142e-05, -9.56803560256958e-05, -9.339302778244019e-05, -9.110569953918457e-05, -8.881837129592896e-05, -8.653104305267334e-05, -8.424371480941772e-05, -8.195638656616211e-05, -7.96690583229065e-05, -7.738173007965088e-05, -7.509440183639526e-05, -7.280707359313965e-05, -7.051974534988403e-05, -6.823241710662842e-05, -6.59450888633728e-05, -6.365776062011719e-05, -6.137043237686157e-05, -5.908310413360596e-05, -5.679577589035034e-05, -5.4508447647094727e-05, -5.222111940383911e-05, -4.9933791160583496e-05, -4.764646291732788e-05, -4.5359134674072266e-05, -4.307180643081665e-05, -4.0784478187561035e-05, -3.849714994430542e-05, -3.6209821701049805e-05, -3.392249345779419e-05, -3.1635165214538574e-05, -2.934783697128296e-05, -2.7060508728027344e-05, -2.477318048477173e-05, -2.2485852241516113e-05, -2.0198523998260498e-05, -1.7911195755004883e-05, -1.5623867511749268e-05, -1.3336539268493652e-05, -1.1049211025238037e-05, -8.761882781982422e-06, -6.474554538726807e-06, -4.187226295471191e-06, -1.8998980522155762e-06, 3.8743019104003906e-07, 2.6747584342956543e-06, 4.9620866775512695e-06, 7.249414920806885e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.5.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 8.0, 7.0, 16.0, 8.0, 21.0, 45.0, 87.0, 176.0, 423.0, 1225.0, 4038.0, 16620.0, 230283.0, 3900951.0, 30721.0, 6357.0, 1947.0, 720.0, 326.0, 129.0, 65.0, 41.0, 30.0, 15.0, 8.0, 7.0, 1.0, 5.0, 1.0, 2.0, 3.0, 0.0, 3.0, 1.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.08970832824707e-05, -8.742418140172958e-05, -8.395127952098846e-05, -8.047837764024734e-05, -7.700547575950623e-05, -7.35325738787651e-05, -7.005967199802399e-05, -6.658677011728287e-05, -6.311386823654175e-05, -5.964096635580063e-05, -5.616806447505951e-05, -5.269516259431839e-05, -4.922226071357727e-05, -4.574935883283615e-05, -4.227645695209503e-05, -3.880355507135391e-05, -3.533065319061279e-05, -3.1857751309871674e-05, -2.8384849429130554e-05, -2.4911947548389435e-05, -2.1439045667648315e-05, -1.7966143786907196e-05, -1.4493241906166077e-05, -1.1020340025424957e-05, -7.547438144683838e-06, -4.0745362639427185e-06, -6.016343832015991e-07, 2.8712674975395203e-06, 6.34416937828064e-06, 9.817071259021759e-06, 1.3289973139762878e-05, 1.6762875020503998e-05, 2.0235776901245117e-05, 2.3708678781986237e-05, 2.7181580662727356e-05, 3.0654482543468475e-05, 3.4127384424209595e-05, 3.7600286304950714e-05, 4.1073188185691833e-05, 4.454609006643295e-05, 4.801899194717407e-05, 5.149189382791519e-05, 5.496479570865631e-05, 5.843769758939743e-05, 6.191059947013855e-05, 6.538350135087967e-05, 6.885640323162079e-05, 7.232930511236191e-05, 7.580220699310303e-05, 7.927510887384415e-05, 8.274801075458527e-05, 8.622091263532639e-05, 8.96938145160675e-05, 9.316671639680862e-05, 9.663961827754974e-05, 0.00010011252015829086, 0.00010358542203903198, 0.0001070583239197731, 0.00011053122580051422, 0.00011400412768125534, 0.00011747702956199646, 0.00012094993144273758, 0.0001244228333234787, 0.00012789573520421982, 0.00013136863708496094]}, "gradients/encoder.encoder.layers.5.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 1.0, 2.0, 7.0, 6.0, 10.0, 5.0, 9.0, 10.0, 14.0, 19.0, 26.0, 33.0, 74.0, 209.0, 917.0, 2050.0, 404.0, 109.0, 49.0, 35.0, 20.0, 18.0, 11.0, 10.0, 9.0, 6.0, 3.0, 6.0, 2.0, 3.0, 1.0, 1.0, 2.0, 1.0, 2.0, 1.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.965066909790039e-05, -4.775635898113251e-05, -4.5862048864364624e-05, -4.396773874759674e-05, -4.207342863082886e-05, -4.0179118514060974e-05, -3.828480839729309e-05, -3.639049828052521e-05, -3.4496188163757324e-05, -3.260187804698944e-05, -3.070756793022156e-05, -2.8813257813453674e-05, -2.691894769668579e-05, -2.5024637579917908e-05, -2.3130327463150024e-05, -2.123601734638214e-05, -1.9341707229614258e-05, -1.7447397112846375e-05, -1.555308699607849e-05, -1.3658776879310608e-05, -1.1764466762542725e-05, -9.870156645774841e-06, -7.975846529006958e-06, -6.081536412239075e-06, -4.187226295471191e-06, -2.292916178703308e-06, -3.986060619354248e-07, 1.4957040548324585e-06, 3.390014171600342e-06, 5.284324288368225e-06, 7.178634405136108e-06, 9.072944521903992e-06, 1.0967254638671875e-05, 1.2861564755439758e-05, 1.4755874872207642e-05, 1.6650184988975525e-05, 1.8544495105743408e-05, 2.043880522251129e-05, 2.2333115339279175e-05, 2.4227425456047058e-05, 2.612173557281494e-05, 2.8016045689582825e-05, 2.9910355806350708e-05, 3.180466592311859e-05, 3.3698976039886475e-05, 3.559328615665436e-05, 3.748759627342224e-05, 3.9381906390190125e-05, 4.127621650695801e-05, 4.317052662372589e-05, 4.5064836740493774e-05, 4.695914685726166e-05, 4.885345697402954e-05, 5.0747767090797424e-05, 5.264207720756531e-05, 5.453638732433319e-05, 5.6430697441101074e-05, 5.832500755786896e-05, 6.021931767463684e-05, 6.211362779140472e-05, 6.400793790817261e-05, 6.590224802494049e-05, 6.779655814170837e-05, 6.969086825847626e-05, 7.158517837524414e-05]}, "gradients/encoder.encoder.layers.5.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 2.0, 1.0, 11.0, 22.0, 58.0, 245.0, 506.0, 107.0, 42.0, 15.0, 4.0, 2.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0004815867869183421, -0.00044766865903511643, -0.00041375053115189075, -0.0003798324032686651, -0.0003459142753854394, -0.0003119961475022137, -0.00027807801961898804, -0.00024415989173576236, -0.00021024176385253668, -0.000176323635969311, -0.00014240550808608532, -0.00010848738020285964, -7.456925231963396e-05, -4.065112443640828e-05, -6.732996553182602e-06, 2.7185131330043077e-05, 6.110325921326876e-05, 9.502138709649444e-05, 0.00012893951497972012, 0.0001628576428629458, 0.00019677577074617147, 0.00023069389862939715, 0.00026461202651262283, 0.0002985301543958485, 0.0003324482822790742, 0.00036636641016229987, 0.00040028453804552555, 0.00043420266592875123, 0.0004681207938119769, 0.0005020389216952026, 0.0005359570495784283, 0.000569875177461654, 0.0006037931889295578, 0.0006377113168127835, 0.0006716294446960092, 0.0007055475725792348, 0.0007394657004624605, 0.0007733838283456862, 0.0008073019562289119, 0.0008412200841121376, 0.0008751382119953632, 0.0009090563398785889, 0.0009429744677618146, 0.0009768926538527012, 0.001010810723528266, 0.0010447287932038307, 0.0010786469792947173, 0.001112565165385604, 0.0011464832350611687, 0.0011804013047367334, 0.00121431949082762, 0.0012482376769185066, 0.0012821557465940714, 0.0013160738162696362, 0.0013499920023605227, 0.0013839101884514093, 0.001417828258126974, 0.0014517463278025389, 0.0014856645138934255, 0.001519582699984312, 0.0015535007696598768, 0.0015874188393354416, 0.0016213370254263282, 0.0016552552115172148, 0.0016891732811927795]}, "gradients/encoder.encoder.layers.5.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 3.0, 5.0, 2.0, 4.0, 3.0, 8.0, 7.0, 7.0, 8.0, 8.0, 18.0, 17.0, 25.0, 31.0, 25.0, 27.0, 38.0, 39.0, 42.0, 49.0, 46.0, 58.0, 43.0, 46.0, 44.0, 48.0, 51.0, 51.0, 33.0, 40.0, 46.0, 27.0, 17.0, 23.0, 16.0, 17.0, 8.0, 15.0, 7.0, 2.0, 2.0, 5.0, 2.0, 3.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.00017958879470825195, -0.00017385277897119522, -0.0001681167632341385, -0.00016238074749708176, -0.00015664473176002502, -0.0001509087160229683, -0.00014517270028591156, -0.00013943668454885483, -0.0001337006688117981, -0.00012796465307474136, -0.00012222863733768463, -0.0001164926216006279, -0.00011075660586357117, -0.00010502059012651443, -9.92845743894577e-05, -9.354855865240097e-05, -8.781254291534424e-05, -8.20765271782875e-05, -7.634051144123077e-05, -7.060449570417404e-05, -6.486847996711731e-05, -5.913246423006058e-05, -5.3396448493003845e-05, -4.766043275594711e-05, -4.192441701889038e-05, -3.618840128183365e-05, -3.0452385544776917e-05, -2.4716369807720184e-05, -1.8980354070663452e-05, -1.324433833360672e-05, -7.508322596549988e-06, -1.7723068594932556e-06, 3.9637088775634766e-06, 9.699724614620209e-06, 1.543574035167694e-05, 2.1171756088733673e-05, 2.6907771825790405e-05, 3.264378756284714e-05, 3.837980329990387e-05, 4.41158190369606e-05, 4.9851834774017334e-05, 5.5587850511074066e-05, 6.13238662481308e-05, 6.705988198518753e-05, 7.279589772224426e-05, 7.8531913459301e-05, 8.426792919635773e-05, 9.000394493341446e-05, 9.573996067047119e-05, 0.00010147597640752792, 0.00010721199214458466, 0.00011294800788164139, 0.00011868402361869812, 0.00012442003935575485, 0.00013015605509281158, 0.00013589207082986832, 0.00014162808656692505, 0.00014736410230398178, 0.0001531001180410385, 0.00015883613377809525, 0.00016457214951515198, 0.0001703081652522087, 0.00017604418098926544, 0.00018178019672632217, 0.0001875162124633789]}, "gradients/encoder.encoder.layers.5.attention.out_proj.weight": {"_type": "histogram", "values": [2.0, 1.0, 2.0, 3.0, 4.0, 6.0, 5.0, 9.0, 9.0, 10.0, 13.0, 14.0, 18.0, 25.0, 19.0, 15.0, 26.0, 29.0, 33.0, 43.0, 32.0, 56.0, 60.0, 191.0, 6450.0, 1032566.0, 8337.0, 185.0, 57.0, 51.0, 41.0, 28.0, 36.0, 38.0, 33.0, 16.0, 19.0, 21.0, 14.0, 16.0, 5.0, 6.0, 4.0, 4.0, 8.0, 2.0, 4.0, 2.0, 0.0, 1.0, 1.0, 2.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0003807544708251953, -0.00036583468317985535, -0.0003509148955345154, -0.0003359951078891754, -0.00032107532024383545, -0.0003061555325984955, -0.0002912357449531555, -0.00027631595730781555, -0.0002613961696624756, -0.0002464763820171356, -0.00023155659437179565, -0.0002166368067264557, -0.00020171701908111572, -0.00018679723143577576, -0.0001718774437904358, -0.00015695765614509583, -0.00014203786849975586, -0.0001271180808544159, -0.00011219829320907593, -9.727850556373596e-05, -8.2358717918396e-05, -6.743893027305603e-05, -5.2519142627716064e-05, -3.75993549823761e-05, -2.2679567337036133e-05, -7.759779691696167e-06, 7.160007953643799e-06, 2.2079795598983765e-05, 3.699958324432373e-05, 5.1919370889663696e-05, 6.683915853500366e-05, 8.175894618034363e-05, 9.66787338256836e-05, 0.00011159852147102356, 0.00012651830911636353, 0.0001414380967617035, 0.00015635788440704346, 0.00017127767205238342, 0.0001861974596977234, 0.00020111724734306335, 0.00021603703498840332, 0.00023095682263374329, 0.00024587661027908325, 0.0002607963979244232, 0.0002757161855697632, 0.00029063597321510315, 0.0003055557608604431, 0.0003204755485057831, 0.00033539533615112305, 0.000350315123796463, 0.000365234911441803, 0.00038015469908714294, 0.0003950744867324829, 0.0004099942743778229, 0.00042491406202316284, 0.0004398338496685028, 0.0004547536373138428, 0.00046967342495918274, 0.0004845932126045227, 0.0004995130002498627, 0.0005144327878952026, 0.0005293525755405426, 0.0005442723631858826, 0.0005591921508312225, 0.0005741119384765625]}, "gradients/encoder.encoder.layers.5.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 3.0, 18.0, 149.0, 398.0, 347.0, 86.0, 15.0, 4.0], "bins": [-0.0001361370086669922, -0.00013386085629463196, -0.00013158470392227173, -0.0001293085515499115, -0.00012703239917755127, -0.00012475624680519104, -0.0001224800944328308, -0.00012020394206047058, -0.00011792778968811035, -0.00011565163731575012, -0.00011337548494338989, -0.00011109933257102966, -0.00010882318019866943, -0.0001065470278263092, -0.00010427087545394897, -0.00010199472308158875, -9.971857070922852e-05, -9.744241833686829e-05, -9.516626596450806e-05, -9.289011359214783e-05, -9.06139612197876e-05, -8.833780884742737e-05, -8.606165647506714e-05, -8.378550410270691e-05, -8.150935173034668e-05, -7.923319935798645e-05, -7.695704698562622e-05, -7.468089461326599e-05, -7.240474224090576e-05, -7.012858986854553e-05, -6.78524374961853e-05, -6.557628512382507e-05, -6.330013275146484e-05, -6.1023980379104614e-05, -5.8747828006744385e-05, -5.6471675634384155e-05, -5.4195523262023926e-05, -5.1919370889663696e-05, -4.964321851730347e-05, -4.736706614494324e-05, -4.509091377258301e-05, -4.281476140022278e-05, -4.053860902786255e-05, -3.826245665550232e-05, -3.598630428314209e-05, -3.371015191078186e-05, -3.143399953842163e-05, -2.91578471660614e-05, -2.6881694793701172e-05, -2.4605542421340942e-05, -2.2329390048980713e-05, -2.0053237676620483e-05, -1.7777085304260254e-05, -1.5500932931900024e-05, -1.3224780559539795e-05, -1.0948628187179565e-05, -8.672475814819336e-06, -6.3963234424591064e-06, -4.120171070098877e-06, -1.8440186977386475e-06, 4.3213367462158203e-07, 2.7082860469818115e-06, 4.984438419342041e-06, 7.2605907917022705e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.5.attention.v_proj.weight": {"_type": "histogram", "values": [2.0, 2.0, 2.0, 2.0, 1.0, 3.0, 1.0, 6.0, 2.0, 4.0, 3.0, 16.0, 4.0, 11.0, 29.0, 32.0, 57.0, 87.0, 141.0, 246.0, 372.0, 673.0, 1226.0, 2018.0, 3576.0, 6069.0, 11576.0, 28581.0, 919105.0, 43216.0, 14438.0, 7190.0, 4074.0, 2391.0, 1413.0, 834.0, 492.0, 260.0, 165.0, 88.0, 52.0, 33.0, 21.0, 18.0, 14.0, 2.0, 3.0, 5.0, 2.0, 0.0, 2.0, 3.0, 1.0, 2.0, 3.0, 0.0, 0.0, 1.0, 4.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-7.855892181396484e-05, -7.581524550914764e-05, -7.307156920433044e-05, -7.032789289951324e-05, -6.758421659469604e-05, -6.484054028987885e-05, -6.209686398506165e-05, -5.9353187680244446e-05, -5.6609511375427246e-05, -5.3865835070610046e-05, -5.112215876579285e-05, -4.837848246097565e-05, -4.563480615615845e-05, -4.289112985134125e-05, -4.014745354652405e-05, -3.740377724170685e-05, -3.466010093688965e-05, -3.191642463207245e-05, -2.917274832725525e-05, -2.642907202243805e-05, -2.368539571762085e-05, -2.094171941280365e-05, -1.819804310798645e-05, -1.545436680316925e-05, -1.271069049835205e-05, -9.967014193534851e-06, -7.223337888717651e-06, -4.479661583900452e-06, -1.735985279083252e-06, 1.0076910257339478e-06, 3.7513673305511475e-06, 6.495043635368347e-06, 9.238719940185547e-06, 1.1982396245002747e-05, 1.4726072549819946e-05, 1.7469748854637146e-05, 2.0213425159454346e-05, 2.2957101464271545e-05, 2.5700777769088745e-05, 2.8444454073905945e-05, 3.1188130378723145e-05, 3.3931806683540344e-05, 3.6675482988357544e-05, 3.9419159293174744e-05, 4.216283559799194e-05, 4.490651190280914e-05, 4.765018820762634e-05, 5.039386451244354e-05, 5.313754081726074e-05, 5.588121712207794e-05, 5.862489342689514e-05, 6.136856973171234e-05, 6.411224603652954e-05, 6.685592234134674e-05, 6.959959864616394e-05, 7.234327495098114e-05, 7.508695125579834e-05, 7.783062756061554e-05, 8.057430386543274e-05, 8.331798017024994e-05, 8.606165647506714e-05, 8.880533277988434e-05, 9.154900908470154e-05, 9.429268538951874e-05, 9.703636169433594e-05]}, "gradients/encoder.encoder.layers.5.attention.v_proj.bias": {"_type": "histogram", "values": [2.0, 2.0, 2.0, 2.0, 4.0, 0.0, 1.0, 5.0, 1.0, 4.0, 2.0, 4.0, 3.0, 3.0, 4.0, 2.0, 5.0, 4.0, 2.0, 7.0, 5.0, 7.0, 8.0, 9.0, 7.0, 14.0, 20.0, 35.0, 708.0, 25.0, 24.0, 16.0, 8.0, 8.0, 8.0, 1.0, 5.0, 5.0, 7.0, 5.0, 6.0, 0.0, 4.0, 3.0, 1.0, 0.0, 5.0, 2.0, 0.0, 1.0, 2.0, 3.0, 2.0, 3.0, 1.0, 0.0, 0.0, 3.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-6.723403930664062e-05, -6.487127393484116e-05, -6.250850856304169e-05, -6.014574319124222e-05, -5.778297781944275e-05, -5.542021244764328e-05, -5.305744707584381e-05, -5.069468170404434e-05, -4.833191633224487e-05, -4.5969150960445404e-05, -4.3606385588645935e-05, -4.1243620216846466e-05, -3.8880854845047e-05, -3.651808947324753e-05, -3.415532410144806e-05, -3.179255872964859e-05, -2.942979335784912e-05, -2.7067027986049652e-05, -2.4704262614250183e-05, -2.2341497242450714e-05, -1.9978731870651245e-05, -1.7615966498851776e-05, -1.5253201127052307e-05, -1.2890435755252838e-05, -1.0527670383453369e-05, -8.1649050116539e-06, -5.802139639854431e-06, -3.439374268054962e-06, -1.0766088962554932e-06, 1.2861564755439758e-06, 3.648921847343445e-06, 6.011687219142914e-06, 8.374452590942383e-06, 1.0737217962741852e-05, 1.309998333454132e-05, 1.546274870634079e-05, 1.782551407814026e-05, 2.0188279449939728e-05, 2.2551044821739197e-05, 2.4913810193538666e-05, 2.7276575565338135e-05, 2.9639340937137604e-05, 3.200210630893707e-05, 3.436487168073654e-05, 3.672763705253601e-05, 3.909040242433548e-05, 4.145316779613495e-05, 4.381593316793442e-05, 4.617869853973389e-05, 4.8541463911533356e-05, 5.0904229283332825e-05, 5.3266994655132294e-05, 5.562976002693176e-05, 5.799252539873123e-05, 6.03552907705307e-05, 6.271805614233017e-05, 6.508082151412964e-05, 6.744358688592911e-05, 6.980635225772858e-05, 7.216911762952805e-05, 7.453188300132751e-05, 7.689464837312698e-05, 7.925741374492645e-05, 8.162017911672592e-05, 8.398294448852539e-05]}, "gradients/encoder.encoder.layers.5.attention.k_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 4.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 11.0, 0.0, 0.0, 90.0, 0.0, 0.0, 54.0, 0.0, 0.0, 167.0, 0.0, 1093.0, 0.0, 0.0, 1045680.0, 0.0, 0.0, 1146.0, 0.0, 0.0, 161.0, 0.0, 0.0, 59.0, 0.0, 81.0, 0.0, 0.0, 22.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 3.0], "bins": [-8.940696716308594e-07, -8.726492524147034e-07, -8.512288331985474e-07, -8.298084139823914e-07, -8.083879947662354e-07, -7.869675755500793e-07, -7.655471563339233e-07, -7.441267371177673e-07, -7.227063179016113e-07, -7.012858986854553e-07, -6.798654794692993e-07, -6.584450602531433e-07, -6.370246410369873e-07, -6.156042218208313e-07, -5.941838026046753e-07, -5.727633833885193e-07, -5.513429641723633e-07, -5.299225449562073e-07, -5.085021257400513e-07, -4.870817065238953e-07, -4.6566128730773926e-07, -4.4424086809158325e-07, -4.2282044887542725e-07, -4.0140002965927124e-07, -3.7997961044311523e-07, -3.5855919122695923e-07, -3.371387720108032e-07, -3.157183527946472e-07, -2.942979335784912e-07, -2.728775143623352e-07, -2.514570951461792e-07, -2.300366759300232e-07, -2.086162567138672e-07, -1.8719583749771118e-07, -1.6577541828155518e-07, -1.4435499906539917e-07, -1.2293457984924316e-07, -1.0151416063308716e-07, -8.009374141693115e-08, -5.8673322200775146e-08, -3.725290298461914e-08, -1.5832483768463135e-08, 5.587935447692871e-09, 2.7008354663848877e-08, 4.842877388000488e-08, 6.984919309616089e-08, 9.12696123123169e-08, 1.126900315284729e-07, 1.341104507446289e-07, 1.555308699607849e-07, 1.7695128917694092e-07, 1.9837170839309692e-07, 2.1979212760925293e-07, 2.4121254682540894e-07, 2.6263296604156494e-07, 2.8405338525772095e-07, 3.0547380447387695e-07, 3.2689422369003296e-07, 3.4831464290618896e-07, 3.6973506212234497e-07, 3.91155481338501e-07, 4.12575900554657e-07, 4.33996319770813e-07, 4.55416738986969e-07, 4.76837158203125e-07]}, "gradients/encoder.encoder.layers.5.attention.k_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 5.0, 0.0, 0.0, 0.0, 5.0, 0.0, 0.0, 10.0, 0.0, 0.0, 0.0, 989.0, 0.0, 0.0, 10.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-7.748603820800781e-07, -7.580965757369995e-07, -7.413327693939209e-07, -7.245689630508423e-07, -7.078051567077637e-07, -6.910413503646851e-07, -6.742775440216064e-07, -6.575137376785278e-07, -6.407499313354492e-07, -6.239861249923706e-07, -6.07222318649292e-07, -5.904585123062134e-07, -5.736947059631348e-07, -5.569308996200562e-07, -5.401670932769775e-07, -5.234032869338989e-07, -5.066394805908203e-07, -4.898756742477417e-07, -4.731118679046631e-07, -4.5634806156158447e-07, -4.3958425521850586e-07, -4.2282044887542725e-07, -4.0605664253234863e-07, -3.8929283618927e-07, -3.725290298461914e-07, -3.557652235031128e-07, -3.390014171600342e-07, -3.2223761081695557e-07, -3.0547380447387695e-07, -2.8870999813079834e-07, -2.7194619178771973e-07, -2.551823854446411e-07, -2.384185791015625e-07, -2.2165477275848389e-07, -2.0489096641540527e-07, -1.8812716007232666e-07, -1.7136335372924805e-07, -1.5459954738616943e-07, -1.3783574104309082e-07, -1.210719347000122e-07, -1.043081283569336e-07, -8.754432201385498e-08, -7.078051567077637e-08, -5.4016709327697754e-08, -3.725290298461914e-08, -2.0489096641540527e-08, -3.725290298461914e-09, 1.30385160446167e-08, 2.9802322387695312e-08, 4.6566128730773926e-08, 6.332993507385254e-08, 8.009374141693115e-08, 9.685754776000977e-08, 1.1362135410308838e-07, 1.30385160446167e-07, 1.471489667892456e-07, 1.6391277313232422e-07, 1.8067657947540283e-07, 1.9744038581848145e-07, 2.1420419216156006e-07, 2.3096799850463867e-07, 2.477318048477173e-07, 2.644956111907959e-07, 2.812594175338745e-07, 2.980232238769531e-07]}, "gradients/encoder.encoder.layers.5.attention.q_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 3.0, 0.0, 2.0, 0.0, 1.0, 0.0, 10.0, 0.0, 39.0, 0.0, 30.0, 0.0, 45.0, 0.0, 0.0, 580.0, 0.0, 875.0, 0.0, 1326.0, 0.0, 1042764.0, 0.0, 1320.0, 0.0, 914.0, 0.0, 541.0, 0.0, 0.0, 50.0, 0.0, 30.0, 0.0, 33.0, 0.0, 6.0, 0.0, 0.0, 0.0, 3.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-6.556510925292969e-07, -6.277114152908325e-07, -5.997717380523682e-07, -5.718320608139038e-07, -5.438923835754395e-07, -5.159527063369751e-07, -4.880130290985107e-07, -4.600733518600464e-07, -4.3213367462158203e-07, -4.041939973831177e-07, -3.762543201446533e-07, -3.4831464290618896e-07, -3.203749656677246e-07, -2.9243528842926025e-07, -2.644956111907959e-07, -2.3655593395233154e-07, -2.086162567138672e-07, -1.8067657947540283e-07, -1.5273690223693848e-07, -1.2479722499847412e-07, -9.685754776000977e-08, -6.891787052154541e-08, -4.0978193283081055e-08, -1.30385160446167e-08, 1.4901161193847656e-08, 4.284083843231201e-08, 7.078051567077637e-08, 9.872019290924072e-08, 1.2665987014770508e-07, 1.5459954738616943e-07, 1.825392246246338e-07, 2.1047890186309814e-07, 2.384185791015625e-07, 2.6635825634002686e-07, 2.942979335784912e-07, 3.2223761081695557e-07, 3.501772880554199e-07, 3.781169652938843e-07, 4.0605664253234863e-07, 4.33996319770813e-07, 4.6193599700927734e-07, 4.898756742477417e-07, 5.178153514862061e-07, 5.457550287246704e-07, 5.736947059631348e-07, 6.016343832015991e-07, 6.295740604400635e-07, 6.575137376785278e-07, 6.854534149169922e-07, 7.133930921554565e-07, 7.413327693939209e-07, 7.692724466323853e-07, 7.972121238708496e-07, 8.25151801109314e-07, 8.530914783477783e-07, 8.810311555862427e-07, 9.08970832824707e-07, 9.369105100631714e-07, 9.648501873016357e-07, 9.927898645401e-07, 1.0207295417785645e-06, 1.0486692190170288e-06, 1.0766088962554932e-06, 1.1045485734939575e-06, 1.1324882507324219e-06]}, "gradients/encoder.encoder.layers.5.attention.q_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 0.0, 0.0, 2.0, 0.0, 0.0, 5.0, 0.0, 5.0, 0.0, 0.0, 982.0, 0.0, 0.0, 9.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 4.0, 0.0, 0.0, 0.0, 0.0, 4.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.76837158203125e-07, -4.544854164123535e-07, -4.3213367462158203e-07, -4.0978193283081055e-07, -3.8743019104003906e-07, -3.650784492492676e-07, -3.427267074584961e-07, -3.203749656677246e-07, -2.980232238769531e-07, -2.7567148208618164e-07, -2.5331974029541016e-07, -2.3096799850463867e-07, -2.086162567138672e-07, -1.862645149230957e-07, -1.6391277313232422e-07, -1.4156103134155273e-07, -1.1920928955078125e-07, -9.685754776000977e-08, -7.450580596923828e-08, -5.21540641784668e-08, -2.9802322387695312e-08, -7.450580596923828e-09, 1.4901161193847656e-08, 3.725290298461914e-08, 5.960464477539063e-08, 8.195638656616211e-08, 1.043081283569336e-07, 1.2665987014770508e-07, 1.4901161193847656e-07, 1.7136335372924805e-07, 1.9371509552001953e-07, 2.1606683731079102e-07, 2.384185791015625e-07, 2.60770320892334e-07, 2.8312206268310547e-07, 3.0547380447387695e-07, 3.2782554626464844e-07, 3.501772880554199e-07, 3.725290298461914e-07, 3.948807716369629e-07, 4.172325134277344e-07, 4.3958425521850586e-07, 4.6193599700927734e-07, 4.842877388000488e-07, 5.066394805908203e-07, 5.289912223815918e-07, 5.513429641723633e-07, 5.736947059631348e-07, 5.960464477539062e-07, 6.183981895446777e-07, 6.407499313354492e-07, 6.631016731262207e-07, 6.854534149169922e-07, 7.078051567077637e-07, 7.301568984985352e-07, 7.525086402893066e-07, 7.748603820800781e-07, 7.972121238708496e-07, 8.195638656616211e-07, 8.419156074523926e-07, 8.642673492431641e-07, 8.866190910339355e-07, 9.08970832824707e-07, 9.313225746154785e-07, 9.5367431640625e-07]}, "gradients/encoder.encoder.layers.5.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0, 4.0, 3.0, 1.0, 2.0, 6.0, 2.0, 7.0, 7.0, 6.0, 19.0, 16.0, 29.0, 38.0, 52.0, 80.0, 133.0, 306.0, 106.0, 55.0, 41.0, 30.0, 13.0, 16.0, 14.0, 9.0, 8.0, 1.0, 2.0, 2.0, 1.0, 0.0, 5.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00029129706672392786, -0.00027976676938124, -0.0002682365011423826, -0.0002567062037996948, -0.00024517590645700693, -0.00023364562366623431, -0.0002221153408754617, -0.00021058504353277385, -0.00019905476074200124, -0.00018752447795122862, -0.00017599418060854077, -0.00016446389781776816, -0.00015293361502699554, -0.0001414033176843077, -0.00012987303489353508, -0.00011834274482680485, -0.00010681245476007462, -9.528216469334438e-05, -8.375187462661415e-05, -7.222159183584154e-05, -6.0691301769111305e-05, -4.9161011702381074e-05, -3.763072891160846e-05, -2.6100438844878227e-05, -1.4570148778147995e-05, -3.039860530407168e-06, 8.49042771733366e-06, 2.0020714146085083e-05, 3.1551004212815315e-05, 4.3081294279545546e-05, 5.461157707031816e-05, 6.61418671370484e-05, 7.767218630760908e-05, 8.920247637433931e-05, 0.00010073276644106954, 0.00011226304923184216, 0.00012379334657453, 0.00013532362936530262, 0.00014685391215607524, 0.00015838420949876308, 0.0001699144922895357, 0.00018144477508030832, 0.00019297507242299616, 0.00020450535521376878, 0.0002160356380045414, 0.00022756593534722924, 0.00023909621813800186, 0.0002506265009287745, 0.0002621567982714623, 0.00027368709561415017, 0.00028521736385300756, 0.0002967476611956954, 0.00030827795853838325, 0.0003198082558810711, 0.0003313385241199285, 0.0003428688214626163, 0.0003543990897014737, 0.00036592938704416156, 0.00037745965528301895, 0.0003889899526257068, 0.00040052024996839464, 0.000412050518207252, 0.00042358081554993987, 0.0004351111128926277, 0.00044664141023531556]}, "gradients/encoder.encoder.layers.5.layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 1.0, 2.0, 3.0, 3.0, 7.0, 6.0, 10.0, 13.0, 21.0, 22.0, 31.0, 47.0, 43.0, 77.0, 76.0, 74.0, 175.0, 76.0, 61.0, 67.0, 55.0, 39.0, 32.0, 29.0, 16.0, 11.0, 8.0, 6.0, 3.0, 4.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00024437904357910156, -0.0002324385568499565, -0.00022049807012081146, -0.0002085575833916664, -0.00019661709666252136, -0.0001846766099333763, -0.00017273612320423126, -0.0001607956364750862, -0.00014885514974594116, -0.0001369146630167961, -0.00012497417628765106, -0.00011303368955850601, -0.00010109320282936096, -8.915271610021591e-05, -7.721222937107086e-05, -6.527174264192581e-05, -5.333125591278076e-05, -4.139076918363571e-05, -2.945028245449066e-05, -1.750979572534561e-05, -5.5693089962005615e-06, 6.3711777329444885e-06, 1.831166446208954e-05, 3.025215119123459e-05, 4.219263792037964e-05, 5.413312464952469e-05, 6.607361137866974e-05, 7.801409810781479e-05, 8.995458483695984e-05, 0.00010189507156610489, 0.00011383555829524994, 0.000125776045024395, 0.00013771653175354004, 0.0001496570184826851, 0.00016159750521183014, 0.0001735379919409752, 0.00018547847867012024, 0.0001974189653992653, 0.00020935945212841034, 0.0002212999388575554, 0.00023324042558670044, 0.0002451809123158455, 0.00025712139904499054, 0.0002690618857741356, 0.00028100237250328064, 0.0002929428592324257, 0.00030488334596157074, 0.0003168238326907158, 0.00032876431941986084, 0.0003407048061490059, 0.00035264529287815094, 0.000364585779607296, 0.00037652626633644104, 0.0003884667530655861, 0.00040040723979473114, 0.0004123477265238762, 0.00042428821325302124, 0.0004362286999821663, 0.00044816918671131134, 0.0004601096734404564, 0.00047205016016960144, 0.0004839906468987465, 0.0004959311336278915, 0.0005078716203570366, 0.0005198121070861816]}, "gradients/encoder.encoder.layers.4.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 5.0, 7.0, 3.0, 10.0, 9.0, 10.0, 20.0, 17.0, 34.0, 50.0, 88.0, 542.0, 4182581.0, 10725.0, 168.0, 21.0, 4.0], "bins": [-0.0015239715576171875, -0.0014984887093305588, -0.00147300586104393, -0.0014475230127573013, -0.0014220401644706726, -0.0013965573161840439, -0.0013710744678974152, -0.0013455916196107864, -0.0013201087713241577, -0.001294625923037529, -0.0012691430747509003, -0.0012436602264642715, -0.0012181773781776428, -0.001192694529891014, -0.0011672116816043854, -0.0011417288333177567, -0.001116245985031128, -0.0010907631367444992, -0.0010652802884578705, -0.0010397974401712418, -0.001014314591884613, -0.0009888317435979843, -0.0009633488953113556, -0.0009378660470247269, -0.0009123831987380981, -0.0008869003504514694, -0.0008614175021648407, -0.000835934653878212, -0.0008104518055915833, -0.0007849689573049545, -0.0007594861090183258, -0.0007340032607316971, -0.0007085204124450684, -0.0006830375641584396, -0.0006575547158718109, -0.0006320718675851822, -0.0006065890192985535, -0.0005811061710119247, -0.000555623322725296, -0.0005301404744386673, -0.0005046576261520386, -0.00047917477786540985, -0.00045369192957878113, -0.0004282090812921524, -0.0004027262330055237, -0.00037724338471889496, -0.00035176053643226624, -0.0003262776881456375, -0.0003007948398590088, -0.00027531199157238007, -0.00024982914328575134, -0.00022434629499912262, -0.0001988634467124939, -0.00017338059842586517, -0.00014789775013923645, -0.00012241490185260773, -9.6932053565979e-05, -7.144920527935028e-05, -4.596635699272156e-05, -2.0483508706092834e-05, 4.999339580535889e-06, 3.0482187867164612e-05, 5.5965036153793335e-05, 8.144788444042206e-05, 0.00010693073272705078]}, "gradients/encoder.encoder.layers.4.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 3.0, 18.0, 149.0, 398.0, 347.0, 86.0, 15.0, 4.0], "bins": [-0.0001361370086669922, -0.00013386085629463196, -0.00013158470392227173, -0.0001293085515499115, -0.00012703239917755127, -0.00012475624680519104, -0.0001224800944328308, -0.00012020394206047058, -0.00011792778968811035, -0.00011565163731575012, -0.00011337548494338989, -0.00011109933257102966, -0.00010882318019866943, -0.0001065470278263092, -0.00010427087545394897, -0.00010199472308158875, -9.971857070922852e-05, -9.744241833686829e-05, -9.516626596450806e-05, -9.289011359214783e-05, -9.06139612197876e-05, -8.833780884742737e-05, -8.606165647506714e-05, -8.378550410270691e-05, -8.150935173034668e-05, -7.923319935798645e-05, -7.695704698562622e-05, -7.468089461326599e-05, -7.240474224090576e-05, -7.012858986854553e-05, -6.78524374961853e-05, -6.557628512382507e-05, -6.330013275146484e-05, -6.1023980379104614e-05, -5.8747828006744385e-05, -5.6471675634384155e-05, -5.4195523262023926e-05, -5.1919370889663696e-05, -4.964321851730347e-05, -4.736706614494324e-05, -4.509091377258301e-05, -4.281476140022278e-05, -4.053860902786255e-05, -3.826245665550232e-05, -3.598630428314209e-05, -3.371015191078186e-05, -3.143399953842163e-05, -2.91578471660614e-05, -2.6881694793701172e-05, -2.4605542421340942e-05, -2.2329390048980713e-05, -2.0053237676620483e-05, -1.7777085304260254e-05, -1.5500932931900024e-05, -1.3224780559539795e-05, -1.0948628187179565e-05, -8.672475814819336e-06, -6.3963234424591064e-06, -4.120171070098877e-06, -1.8440186977386475e-06, 4.3213367462158203e-07, 2.7082860469818115e-06, 4.984438419342041e-06, 7.2605907917022705e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.4.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 3.0, 4.0, 2.0, 3.0, 2.0, 8.0, 13.0, 25.0, 26.0, 45.0, 111.0, 129.0, 294.0, 608.0, 1410.0, 3558.0, 11690.0, 65617.0, 4006230.0, 83882.0, 14043.0, 3909.0, 1497.0, 594.0, 283.0, 142.0, 78.0, 41.0, 13.0, 14.0, 8.0, 6.0, 2.0, 0.0, 2.0, 3.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0001125335693359375, -0.00010945461690425873, -0.00010637566447257996, -0.00010329671204090118, -0.00010021775960922241, -9.713880717754364e-05, -9.405985474586487e-05, -9.09809023141861e-05, -8.790194988250732e-05, -8.482299745082855e-05, -8.174404501914978e-05, -7.866509258747101e-05, -7.558614015579224e-05, -7.250718772411346e-05, -6.942823529243469e-05, -6.634928286075592e-05, -6.327033042907715e-05, -6.0191377997398376e-05, -5.7112425565719604e-05, -5.403347313404083e-05, -5.095452070236206e-05, -4.787556827068329e-05, -4.4796615839004517e-05, -4.1717663407325745e-05, -3.863871097564697e-05, -3.55597585439682e-05, -3.248080611228943e-05, -2.9401853680610657e-05, -2.6322901248931885e-05, -2.3243948817253113e-05, -2.016499638557434e-05, -1.708604395389557e-05, -1.4007091522216797e-05, -1.0928139090538025e-05, -7.849186658859253e-06, -4.770234227180481e-06, -1.691281795501709e-06, 1.387670636177063e-06, 4.466623067855835e-06, 7.545575499534607e-06, 1.0624527931213379e-05, 1.3703480362892151e-05, 1.6782432794570923e-05, 1.9861385226249695e-05, 2.2940337657928467e-05, 2.601929008960724e-05, 2.909824252128601e-05, 3.217719495296478e-05, 3.5256147384643555e-05, 3.833509981632233e-05, 4.14140522480011e-05, 4.449300467967987e-05, 4.757195711135864e-05, 5.0650909543037415e-05, 5.3729861974716187e-05, 5.680881440639496e-05, 5.988776683807373e-05, 6.29667192697525e-05, 6.604567170143127e-05, 6.912462413311005e-05, 7.220357656478882e-05, 7.528252899646759e-05, 7.836148142814636e-05, 8.144043385982513e-05, 8.45193862915039e-05]}, "gradients/encoder.encoder.layers.4.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 3.0, 1.0, 0.0, 1.0, 2.0, 4.0, 6.0, 4.0, 4.0, 16.0, 11.0, 19.0, 20.0, 24.0, 52.0, 128.0, 619.0, 2310.0, 571.0, 119.0, 42.0, 35.0, 26.0, 16.0, 13.0, 12.0, 9.0, 2.0, 7.0, 2.0, 2.0, 1.0, 0.0, 2.0, 3.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-7.49826431274414e-05, -7.292907685041428e-05, -7.087551057338715e-05, -6.882194429636002e-05, -6.676837801933289e-05, -6.471481174230576e-05, -6.266124546527863e-05, -6.0607679188251495e-05, -5.8554112911224365e-05, -5.6500546634197235e-05, -5.4446980357170105e-05, -5.2393414080142975e-05, -5.0339847803115845e-05, -4.8286281526088715e-05, -4.6232715249061584e-05, -4.4179148972034454e-05, -4.2125582695007324e-05, -4.0072016417980194e-05, -3.8018450140953064e-05, -3.5964883863925934e-05, -3.3911317586898804e-05, -3.1857751309871674e-05, -2.9804185032844543e-05, -2.7750618755817413e-05, -2.5697052478790283e-05, -2.3643486201763153e-05, -2.1589919924736023e-05, -1.9536353647708893e-05, -1.7482787370681763e-05, -1.5429221093654633e-05, -1.3375654816627502e-05, -1.1322088539600372e-05, -9.268522262573242e-06, -7.214955985546112e-06, -5.161389708518982e-06, -3.107823431491852e-06, -1.0542571544647217e-06, 9.993091225624084e-07, 3.0528753995895386e-06, 5.106441676616669e-06, 7.160007953643799e-06, 9.213574230670929e-06, 1.1267140507698059e-05, 1.332070678472519e-05, 1.537427306175232e-05, 1.742783933877945e-05, 1.948140561580658e-05, 2.153497189283371e-05, 2.358853816986084e-05, 2.564210444688797e-05, 2.76956707239151e-05, 2.974923700094223e-05, 3.180280327796936e-05, 3.385636955499649e-05, 3.590993583202362e-05, 3.796350210905075e-05, 4.001706838607788e-05, 4.207063466310501e-05, 4.412420094013214e-05, 4.617776721715927e-05, 4.82313334941864e-05, 5.028489977121353e-05, 5.233846604824066e-05, 5.439203232526779e-05, 5.644559860229492e-05]}, "gradients/encoder.encoder.layers.4.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 6.0, 4.0, 7.0, 4.0, 14.0, 24.0, 34.0, 84.0, 142.0, 328.0, 155.0, 79.0, 50.0, 21.0, 21.0, 11.0, 13.0, 10.0, 3.0, 5.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0003142859204672277, -0.00029977576923556626, -0.0002852656180039048, -0.00027075549587607384, -0.0002562453446444124, -0.00024173519341275096, -0.00022722504218108952, -0.0002127149055013433, -0.0001982047688215971, -0.00018369461758993566, -0.00016918448091018945, -0.000154674329678528, -0.0001401641929987818, -0.00012565404176712036, -0.00011114389781141654, -9.663375385571271e-05, -8.212360262405127e-05, -6.761345866834745e-05, -5.310331471264362e-05, -3.859316711896099e-05, -2.4083023163257167e-05, -9.572875569574535e-06, 4.93726838612929e-06, 1.9447412341833115e-05, 3.395755629753694e-05, 4.8467700253240764e-05, 6.297784420894459e-05, 7.748798816464841e-05, 9.199813939630985e-05, 0.00010650828335201368, 0.0001210184273077175, 0.0001355285639874637, 0.00015003871521912515, 0.0001645488664507866, 0.0001790590031305328, 0.00019356915436219424, 0.00020807929104194045, 0.0002225894422736019, 0.00023709959350526333, 0.0002516097156330943, 0.00026611986686475575, 0.0002806300180964172, 0.00029514016932807863, 0.0003096502914559096, 0.00032416044268757105, 0.0003386705939192325, 0.0003531807451508939, 0.0003676908672787249, 0.0003822010476142168, 0.00039671119884587824, 0.0004112213500775397, 0.00042573147220537066, 0.0004402416234370321, 0.00045475177466869354, 0.000469261925900355, 0.0004837720771320164, 0.0004982821992598474, 0.0005127923213876784, 0.0005273025017231703, 0.0005418126238510013, 0.0005563228041864932, 0.0005708329263143241, 0.0005853430484421551, 0.000599853228777647, 0.000614363350905478]}, "gradients/encoder.encoder.layers.4.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 3.0, 4.0, 2.0, 4.0, 8.0, 14.0, 12.0, 20.0, 24.0, 33.0, 36.0, 56.0, 56.0, 56.0, 60.0, 67.0, 78.0, 89.0, 76.0, 60.0, 47.0, 56.0, 37.0, 37.0, 26.0, 14.0, 11.0, 8.0, 7.0, 7.0, 6.0, 1.0, 1.0, 3.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00022739171981811523, -0.00021962635219097137, -0.00021186098456382751, -0.00020409561693668365, -0.0001963302493095398, -0.00018856488168239594, -0.00018079951405525208, -0.00017303414642810822, -0.00016526877880096436, -0.0001575034111738205, -0.00014973804354667664, -0.00014197267591953278, -0.00013420730829238892, -0.00012644194066524506, -0.0001186765730381012, -0.00011091120541095734, -0.00010314583778381348, -9.538047015666962e-05, -8.761510252952576e-05, -7.98497349023819e-05, -7.208436727523804e-05, -6.431899964809418e-05, -5.655363202095032e-05, -4.878826439380646e-05, -4.10228967666626e-05, -3.325752913951874e-05, -2.5492161512374878e-05, -1.7726793885231018e-05, -9.961426258087158e-06, -2.1960586309432983e-06, 5.5693089962005615e-06, 1.3334676623344421e-05, 2.110004425048828e-05, 2.886541187763214e-05, 3.6630779504776e-05, 4.439614713191986e-05, 5.216151475906372e-05, 5.992688238620758e-05, 6.769225001335144e-05, 7.54576176404953e-05, 8.322298526763916e-05, 9.098835289478302e-05, 9.875372052192688e-05, 0.00010651908814907074, 0.0001142844557762146, 0.00012204982340335846, 0.00012981519103050232, 0.00013758055865764618, 0.00014534592628479004, 0.0001531112939119339, 0.00016087666153907776, 0.00016864202916622162, 0.00017640739679336548, 0.00018417276442050934, 0.0001919381320476532, 0.00019970349967479706, 0.00020746886730194092, 0.00021523423492908478, 0.00022299960255622864, 0.0002307649701833725, 0.00023853033781051636, 0.0002462957054376602, 0.0002540610730648041, 0.00026182644069194794, 0.0002695918083190918]}, "gradients/encoder.encoder.layers.4.attention.out_proj.weight": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 1.0, 0.0, 5.0, 5.0, 2.0, 1.0, 5.0, 7.0, 4.0, 6.0, 9.0, 13.0, 14.0, 24.0, 24.0, 24.0, 25.0, 40.0, 29.0, 38.0, 57.0, 57.0, 209.0, 11519.0, 1031597.0, 4300.0, 174.0, 59.0, 33.0, 49.0, 34.0, 27.0, 26.0, 21.0, 25.0, 12.0, 21.0, 13.0, 14.0, 6.0, 12.0, 11.0, 3.0, 7.0, 1.0, 3.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0005784034729003906, -0.0005610957741737366, -0.0005437880754470825, -0.0005264803767204285, -0.0005091726779937744, -0.0004918649792671204, -0.0004745572805404663, -0.00045724958181381226, -0.0004399418830871582, -0.00042263418436050415, -0.0004053264856338501, -0.00038801878690719604, -0.000370711088180542, -0.00035340338945388794, -0.0003360956907272339, -0.00031878799200057983, -0.0003014802932739258, -0.00028417259454727173, -0.0002668648958206177, -0.0002495571970939636, -0.00023224949836730957, -0.00021494179964065552, -0.00019763410091400146, -0.0001803264021873474, -0.00016301870346069336, -0.0001457110047340393, -0.00012840330600738525, -0.0001110956072807312, -9.378790855407715e-05, -7.64802098274231e-05, -5.917251110076904e-05, -4.186481237411499e-05, -2.4557113647460938e-05, -7.249414920806885e-06, 1.0058283805847168e-05, 2.736598253250122e-05, 4.4673681259155273e-05, 6.198137998580933e-05, 7.928907871246338e-05, 9.659677743911743e-05, 0.00011390447616577148, 0.00013121217489242554, 0.0001485198736190796, 0.00016582757234573364, 0.0001831352710723877, 0.00020044296979904175, 0.0002177506685256958, 0.00023505836725234985, 0.0002523660659790039, 0.00026967376470565796, 0.000286981463432312, 0.00030428916215896606, 0.0003215968608856201, 0.00033890455961227417, 0.0003562122583389282, 0.0003735199570655823, 0.00039082765579223633, 0.0004081353545188904, 0.00042544305324554443, 0.0004427507519721985, 0.00046005845069885254, 0.0004773661494255066, 0.0004946738481521606, 0.0005119815468788147, 0.0005292892456054688]}, "gradients/encoder.encoder.layers.4.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 4.0, 30.0, 148.0, 399.0, 324.0, 100.0, 11.0, 4.0], "bins": [-0.0001347064971923828, -0.00013245269656181335, -0.0001301988959312439, -0.00012794509530067444, -0.00012569129467010498, -0.00012343749403953552, -0.00012118369340896606, -0.0001189298927783966, -0.00011667609214782715, -0.00011442229151725769, -0.00011216849088668823, -0.00010991469025611877, -0.00010766088962554932, -0.00010540708899497986, -0.0001031532883644104, -0.00010089948773384094, -9.864568710327148e-05, -9.639188647270203e-05, -9.413808584213257e-05, -9.188428521156311e-05, -8.963048458099365e-05, -8.73766839504242e-05, -8.512288331985474e-05, -8.286908268928528e-05, -8.061528205871582e-05, -7.836148142814636e-05, -7.61076807975769e-05, -7.385388016700745e-05, -7.160007953643799e-05, -6.934627890586853e-05, -6.709247827529907e-05, -6.483867764472961e-05, -6.258487701416016e-05, -6.03310763835907e-05, -5.807727575302124e-05, -5.582347512245178e-05, -5.3569674491882324e-05, -5.1315873861312866e-05, -4.906207323074341e-05, -4.680827260017395e-05, -4.455447196960449e-05, -4.2300671339035034e-05, -4.0046870708465576e-05, -3.779307007789612e-05, -3.553926944732666e-05, -3.32854688167572e-05, -3.1031668186187744e-05, -2.8777867555618286e-05, -2.6524066925048828e-05, -2.427026629447937e-05, -2.2016465663909912e-05, -1.9762665033340454e-05, -1.7508864402770996e-05, -1.5255063772201538e-05, -1.300126314163208e-05, -1.0747462511062622e-05, -8.493661880493164e-06, -6.239861249923706e-06, -3.986060619354248e-06, -1.73225998878479e-06, 5.21540641784668e-07, 2.775341272354126e-06, 5.029141902923584e-06, 7.282942533493042e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.4.attention.v_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 3.0, 3.0, 3.0, 2.0, 1.0, 3.0, 5.0, 11.0, 6.0, 15.0, 20.0, 37.0, 59.0, 85.0, 157.0, 282.0, 475.0, 897.0, 1571.0, 3138.0, 7070.0, 18148.0, 68934.0, 891252.0, 34664.0, 11669.0, 4958.0, 2273.0, 1206.0, 708.0, 404.0, 209.0, 132.0, 63.0, 35.0, 21.0, 14.0, 11.0, 12.0, 1.0, 4.0, 4.0, 3.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-8.302927017211914e-05, -7.974449545145035e-05, -7.645972073078156e-05, -7.317494601011276e-05, -6.989017128944397e-05, -6.660539656877518e-05, -6.332062184810638e-05, -6.003584712743759e-05, -5.67510724067688e-05, -5.3466297686100006e-05, -5.018152296543121e-05, -4.689674824476242e-05, -4.361197352409363e-05, -4.0327198803424835e-05, -3.704242408275604e-05, -3.375764936208725e-05, -3.0472874641418457e-05, -2.7188099920749664e-05, -2.390332520008087e-05, -2.061855047941208e-05, -1.7333775758743286e-05, -1.4049001038074493e-05, -1.07642263174057e-05, -7.479451596736908e-06, -4.194676876068115e-06, -9.099021553993225e-07, 2.3748725652694702e-06, 5.659647285938263e-06, 8.944422006607056e-06, 1.2229196727275848e-05, 1.551397144794464e-05, 1.8798746168613434e-05, 2.2083520889282227e-05, 2.536829560995102e-05, 2.8653070330619812e-05, 3.1937845051288605e-05, 3.52226197719574e-05, 3.850739449262619e-05, 4.179216921329498e-05, 4.5076943933963776e-05, 4.836171865463257e-05, 5.164649337530136e-05, 5.4931268095970154e-05, 5.8216042816638947e-05, 6.150081753730774e-05, 6.478559225797653e-05, 6.807036697864532e-05, 7.135514169931412e-05, 7.463991641998291e-05, 7.79246911406517e-05, 8.12094658613205e-05, 8.449424058198929e-05, 8.777901530265808e-05, 9.106379002332687e-05, 9.434856474399567e-05, 9.763333946466446e-05, 0.00010091811418533325, 0.00010420288890600204, 0.00010748766362667084, 0.00011077243834733963, 0.00011405721306800842, 0.00011734198778867722, 0.00012062676250934601, 0.0001239115372300148, 0.0001271963119506836]}, "gradients/encoder.encoder.layers.4.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 2.0, 2.0, 2.0, 2.0, 2.0, 1.0, 3.0, 2.0, 4.0, 2.0, 1.0, 2.0, 1.0, 9.0, 4.0, 7.0, 13.0, 6.0, 17.0, 16.0, 26.0, 23.0, 35.0, 98.0, 578.0, 37.0, 25.0, 13.0, 13.0, 12.0, 13.0, 11.0, 8.0, 8.0, 5.0, 0.0, 5.0, 4.0, 3.0, 1.0, 0.0, 0.0, 4.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-7.534027099609375e-05, -7.232930511236191e-05, -6.931833922863007e-05, -6.630737334489822e-05, -6.329640746116638e-05, -6.028544157743454e-05, -5.72744756937027e-05, -5.4263509809970856e-05, -5.1252543926239014e-05, -4.824157804250717e-05, -4.523061215877533e-05, -4.221964627504349e-05, -3.9208680391311646e-05, -3.6197714507579803e-05, -3.318674862384796e-05, -3.017578274011612e-05, -2.7164816856384277e-05, -2.4153850972652435e-05, -2.1142885088920593e-05, -1.813191920518875e-05, -1.512095332145691e-05, -1.2109987437725067e-05, -9.099021553993225e-06, -6.088055670261383e-06, -3.077089786529541e-06, -6.612390279769897e-08, 2.944841980934143e-06, 5.955807864665985e-06, 8.966773748397827e-06, 1.197773963212967e-05, 1.4988705515861511e-05, 1.7999671399593353e-05, 2.1010637283325195e-05, 2.4021603167057037e-05, 2.703256905078888e-05, 3.004353493452072e-05, 3.3054500818252563e-05, 3.6065466701984406e-05, 3.907643258571625e-05, 4.208739846944809e-05, 4.509836435317993e-05, 4.8109330236911774e-05, 5.1120296120643616e-05, 5.413126200437546e-05, 5.71422278881073e-05, 6.015319377183914e-05, 6.316415965557098e-05, 6.617512553930283e-05, 6.918609142303467e-05, 7.219705730676651e-05, 7.520802319049835e-05, 7.82189890742302e-05, 8.122995495796204e-05, 8.424092084169388e-05, 8.725188672542572e-05, 9.026285260915756e-05, 9.32738184928894e-05, 9.628478437662125e-05, 9.929575026035309e-05, 0.00010230671614408493, 0.00010531768202781677, 0.00010832864791154861, 0.00011133961379528046, 0.0001143505796790123, 0.00011736154556274414]}, "gradients/encoder.encoder.layers.4.attention.k_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 2.0, 2.0, 7.0, 10.0, 9.0, 16.0, 47.0, 50.0, 84.0, 68.0, 97.0, 214.0, 270.0, 751.0, 992.0, 3825.0, 7453.0, 36096.0, 984605.0, 7498.0, 3860.0, 1037.0, 716.0, 257.0, 148.0, 159.0, 74.0, 73.0, 32.0, 38.0, 41.0, 10.0, 18.0, 3.0, 4.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0], "bins": [-4.76837158203125e-06, -4.624016582965851e-06, -4.479661583900452e-06, -4.3353065848350525e-06, -4.190951585769653e-06, -4.046596586704254e-06, -3.902241587638855e-06, -3.757886588573456e-06, -3.6135315895080566e-06, -3.4691765904426575e-06, -3.3248215913772583e-06, -3.180466592311859e-06, -3.03611159324646e-06, -2.891756594181061e-06, -2.7474015951156616e-06, -2.6030465960502625e-06, -2.4586915969848633e-06, -2.314336597919464e-06, -2.169981598854065e-06, -2.0256265997886658e-06, -1.8812716007232666e-06, -1.7369166016578674e-06, -1.5925616025924683e-06, -1.448206603527069e-06, -1.30385160446167e-06, -1.1594966053962708e-06, -1.0151416063308716e-06, -8.707866072654724e-07, -7.264316082000732e-07, -5.820766091346741e-07, -4.377216100692749e-07, -2.9336661100387573e-07, -1.4901161193847656e-07, -4.6566128730773926e-09, 1.3969838619232178e-07, 2.8405338525772095e-07, 4.284083843231201e-07, 5.727633833885193e-07, 7.171183824539185e-07, 8.614733815193176e-07, 1.0058283805847168e-06, 1.150183379650116e-06, 1.2945383787155151e-06, 1.4388933777809143e-06, 1.5832483768463135e-06, 1.7276033759117126e-06, 1.8719583749771118e-06, 2.016313374042511e-06, 2.16066837310791e-06, 2.3050233721733093e-06, 2.4493783712387085e-06, 2.5937333703041077e-06, 2.738088369369507e-06, 2.882443368434906e-06, 3.026798367500305e-06, 3.1711533665657043e-06, 3.3155083656311035e-06, 3.4598633646965027e-06, 3.604218363761902e-06, 3.748573362827301e-06, 3.8929283618927e-06, 4.037283360958099e-06, 4.1816383600234985e-06, 4.325993359088898e-06, 4.470348358154297e-06]}, "gradients/encoder.encoder.layers.4.attention.k_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 5.0, 0.0, 2.0, 5.0, 4.0, 1.0, 4.0, 2.0, 8.0, 8.0, 9.0, 23.0, 71.0, 776.0, 35.0, 29.0, 5.0, 5.0, 8.0, 2.0, 2.0, 4.0, 1.0, 1.0, 2.0, 2.0, 2.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0], "bins": [-4.231929779052734e-06, -4.104338586330414e-06, -3.976747393608093e-06, -3.849156200885773e-06, -3.721565008163452e-06, -3.5939738154411316e-06, -3.466382622718811e-06, -3.3387914299964905e-06, -3.21120023727417e-06, -3.0836090445518494e-06, -2.956017851829529e-06, -2.8284266591072083e-06, -2.7008354663848877e-06, -2.573244273662567e-06, -2.4456530809402466e-06, -2.318061888217926e-06, -2.1904706954956055e-06, -2.062879502773285e-06, -1.9352883100509644e-06, -1.8076971173286438e-06, -1.6801059246063232e-06, -1.5525147318840027e-06, -1.4249235391616821e-06, -1.2973323464393616e-06, -1.169741153717041e-06, -1.0421499609947205e-06, -9.145587682723999e-07, -7.869675755500793e-07, -6.593763828277588e-07, -5.317851901054382e-07, -4.041939973831177e-07, -2.766028046607971e-07, -1.4901161193847656e-07, -2.1420419216156006e-08, 1.0617077350616455e-07, 2.337619662284851e-07, 3.6135315895080566e-07, 4.889443516731262e-07, 6.165355443954468e-07, 7.441267371177673e-07, 8.717179298400879e-07, 9.993091225624084e-07, 1.126900315284729e-06, 1.2544915080070496e-06, 1.3820827007293701e-06, 1.5096738934516907e-06, 1.6372650861740112e-06, 1.7648562788963318e-06, 1.8924474716186523e-06, 2.020038664340973e-06, 2.1476298570632935e-06, 2.275221049785614e-06, 2.4028122425079346e-06, 2.530403435230255e-06, 2.6579946279525757e-06, 2.7855858206748962e-06, 2.913177013397217e-06, 3.0407682061195374e-06, 3.168359398841858e-06, 3.2959505915641785e-06, 3.423541784286499e-06, 3.5511329770088196e-06, 3.67872416973114e-06, 3.8063153624534607e-06, 3.933906555175781e-06]}, "gradients/encoder.encoder.layers.4.attention.q_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 1.0, 1.0, 1.0, 0.0, 5.0, 0.0, 1.0, 6.0, 7.0, 7.0, 6.0, 15.0, 37.0, 41.0, 57.0, 146.0, 169.0, 240.0, 329.0, 864.0, 885.0, 1479.0, 2213.0, 6833.0, 13517.0, 62158.0, 916898.0, 29203.0, 5269.0, 2872.0, 2505.0, 888.0, 614.0, 434.0, 387.0, 154.0, 107.0, 67.0, 64.0, 25.0, 18.0, 13.0, 10.0, 5.0, 7.0, 5.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-3.933906555175781e-06, -3.798864781856537e-06, -3.6638230085372925e-06, -3.528781235218048e-06, -3.3937394618988037e-06, -3.2586976885795593e-06, -3.123655915260315e-06, -2.9886141419410706e-06, -2.853572368621826e-06, -2.7185305953025818e-06, -2.5834888219833374e-06, -2.448447048664093e-06, -2.3134052753448486e-06, -2.1783635020256042e-06, -2.04332172870636e-06, -1.9082799553871155e-06, -1.773238182067871e-06, -1.6381964087486267e-06, -1.5031546354293823e-06, -1.368112862110138e-06, -1.2330710887908936e-06, -1.0980293154716492e-06, -9.629875421524048e-07, -8.279457688331604e-07, -6.92903995513916e-07, -5.578622221946716e-07, -4.2282044887542725e-07, -2.8777867555618286e-07, -1.5273690223693848e-07, -1.7695128917694092e-08, 1.1734664440155029e-07, 2.523884177207947e-07, 3.8743019104003906e-07, 5.224719643592834e-07, 6.575137376785278e-07, 7.925555109977722e-07, 9.275972843170166e-07, 1.062639057636261e-06, 1.1976808309555054e-06, 1.3327226042747498e-06, 1.4677643775939941e-06, 1.6028061509132385e-06, 1.737847924232483e-06, 1.8728896975517273e-06, 2.0079314708709717e-06, 2.142973244190216e-06, 2.2780150175094604e-06, 2.413056790828705e-06, 2.5480985641479492e-06, 2.6831403374671936e-06, 2.818182110786438e-06, 2.9532238841056824e-06, 3.0882656574249268e-06, 3.223307430744171e-06, 3.3583492040634155e-06, 3.49339097738266e-06, 3.6284327507019043e-06, 3.7634745240211487e-06, 3.898516297340393e-06, 4.0335580706596375e-06, 4.168599843978882e-06, 4.303641617298126e-06, 4.438683390617371e-06, 4.573725163936615e-06, 4.708766937255859e-06]}, "gradients/encoder.encoder.layers.4.attention.q_proj.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0, 0.0, 3.0, 2.0, 2.0, 1.0, 1.0, 1.0, 2.0, 4.0, 1.0, 2.0, 3.0, 3.0, 3.0, 6.0, 8.0, 6.0, 14.0, 16.0, 91.0, 614.0, 96.0, 45.0, 21.0, 14.0, 12.0, 8.0, 8.0, 5.0, 3.0, 2.0, 1.0, 3.0, 1.0, 2.0, 1.0, 1.0, 1.0, 1.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.635883331298828e-06, -3.5101547837257385e-06, -3.384426236152649e-06, -3.2586976885795593e-06, -3.1329691410064697e-06, -3.00724059343338e-06, -2.8815120458602905e-06, -2.755783498287201e-06, -2.6300549507141113e-06, -2.5043264031410217e-06, -2.378597855567932e-06, -2.2528693079948425e-06, -2.127140760421753e-06, -2.0014122128486633e-06, -1.8756836652755737e-06, -1.7499551177024841e-06, -1.6242265701293945e-06, -1.498498022556305e-06, -1.3727694749832153e-06, -1.2470409274101257e-06, -1.1213123798370361e-06, -9.955838322639465e-07, -8.698552846908569e-07, -7.441267371177673e-07, -6.183981895446777e-07, -4.926696419715881e-07, -3.6694109439849854e-07, -2.4121254682540894e-07, -1.1548399925231934e-07, 1.0244548320770264e-08, 1.3597309589385986e-07, 2.6170164346694946e-07, 3.8743019104003906e-07, 5.131587386131287e-07, 6.388872861862183e-07, 7.646158337593079e-07, 8.903443813323975e-07, 1.016072928905487e-06, 1.1418014764785767e-06, 1.2675300240516663e-06, 1.3932585716247559e-06, 1.5189871191978455e-06, 1.644715666770935e-06, 1.7704442143440247e-06, 1.8961727619171143e-06, 2.021901309490204e-06, 2.1476298570632935e-06, 2.273358404636383e-06, 2.3990869522094727e-06, 2.5248154997825623e-06, 2.650544047355652e-06, 2.7762725949287415e-06, 2.902001142501831e-06, 3.0277296900749207e-06, 3.1534582376480103e-06, 3.2791867852211e-06, 3.4049153327941895e-06, 3.530643880367279e-06, 3.6563724279403687e-06, 3.7821009755134583e-06, 3.907829523086548e-06, 4.0335580706596375e-06, 4.159286618232727e-06, 4.285015165805817e-06, 4.410743713378906e-06]}, "gradients/encoder.encoder.layers.4.layer_norm.weight": {"_type": "histogram", "values": [3.0, 2.0, 0.0, 2.0, 2.0, 5.0, 4.0, 2.0, 2.0, 5.0, 5.0, 14.0, 11.0, 19.0, 20.0, 27.0, 44.0, 54.0, 95.0, 239.0, 199.0, 84.0, 55.0, 33.0, 23.0, 13.0, 19.0, 9.0, 6.0, 6.0, 7.0, 1.0, 5.0, 2.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00020547576423268765, -0.00019518677436280996, -0.00018489778449293226, -0.00017460879462305456, -0.00016431980475317687, -0.00015403081488329917, -0.00014374181046150625, -0.00013345282059162855, -0.00012316383072175086, -0.00011287484085187316, -0.00010258585098199546, -9.229686111211777e-05, -8.200787124224007e-05, -7.171888137236238e-05, -6.142988422652707e-05, -5.114089435664937e-05, -4.085191176272929e-05, -3.056292189285159e-05, -2.027393020398449e-05, -9.984938515117392e-06, 3.040513547603041e-07, 1.0593041224638e-05, 2.0882034732494503e-05, 3.11710246023722e-05, 4.1460014472249895e-05, 5.174900434212759e-05, 6.203799421200529e-05, 7.23269913578406e-05, 8.26159812277183e-05, 9.290497109759599e-05, 0.00010319396096747369, 0.00011348295083735138, 0.00012377192615531385, 0.00013406091602519155, 0.00014434990589506924, 0.00015463889576494694, 0.00016492788563482463, 0.00017521687550470233, 0.00018550586537458003, 0.00019579485524445772, 0.00020608384511433542, 0.00021637283498421311, 0.0002266618248540908, 0.0002369508147239685, 0.0002472398045938462, 0.0002575287944637239, 0.0002678177843336016, 0.0002781067742034793, 0.00028839579317718744, 0.00029868478304706514, 0.00030897377291694283, 0.00031926276278682053, 0.0003295517526566982, 0.0003398407425265759, 0.0003501297323964536, 0.0003604187222663313, 0.000370707712136209, 0.0003809967020060867, 0.0003912856918759644, 0.0004015746817458421, 0.0004118636716157198, 0.0004221526614855975, 0.0004324416513554752, 0.0004427306412253529, 0.0004530196310952306]}, "gradients/encoder.encoder.layers.4.layer_norm.bias": {"_type": "histogram", "values": [3.0, 3.0, 12.0, 12.0, 19.0, 20.0, 33.0, 47.0, 61.0, 91.0, 75.0, 205.0, 109.0, 88.0, 65.0, 60.0, 51.0, 27.0, 14.0, 16.0, 6.0, 2.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00016361474990844727, -0.00014958065003156662, -0.00013554655015468597, -0.00012151245027780533, -0.00010747835040092468, -9.344425052404404e-05, -7.941015064716339e-05, -6.537605077028275e-05, -5.13419508934021e-05, -3.7307851016521454e-05, -2.3273751139640808e-05, -9.239651262760162e-06, 4.794448614120483e-06, 1.882854849100113e-05, 3.2862648367881775e-05, 4.689674824476242e-05, 6.0930848121643066e-05, 7.496494799852371e-05, 8.899904787540436e-05, 0.000103033147752285, 0.00011706724762916565, 0.0001311013475060463, 0.00014513544738292694, 0.0001591695472598076, 0.00017320364713668823, 0.00018723774701356888, 0.00020127184689044952, 0.00021530594676733017, 0.00022934004664421082, 0.00024337414652109146, 0.0002574082463979721, 0.00027144234627485275, 0.0002854764461517334, 0.00029951054602861404, 0.0003135446459054947, 0.00032757874578237534, 0.000341612845659256, 0.00035564694553613663, 0.0003696810454130173, 0.0003837151452898979, 0.00039774924516677856, 0.0004117833450436592, 0.00042581744492053986, 0.0004398515447974205, 0.00045388564467430115, 0.0004679197445511818, 0.00048195384442806244, 0.0004959879443049431, 0.0005100220441818237, 0.0005240561440587044, 0.000538090243935585, 0.0005521243438124657, 0.0005661584436893463, 0.000580192543566227, 0.0005942266434431076, 0.0006082607433199883, 0.0006222948431968689, 0.0006363289430737495, 0.0006503630429506302, 0.0006643971428275108, 0.0006784312427043915, 0.0006924653425812721, 0.0007064994424581528, 0.0007205335423350334, 0.0007345676422119141]}, "gradients/encoder.encoder.layers.3.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 2.0, 2.0, 4.0, 2.0, 2.0, 0.0, 3.0, 6.0, 9.0, 6.0, 16.0, 28.0, 66.0, 365.0, 4189160.0, 4504.0, 107.0, 12.0, 4.0], "bins": [-0.00164794921875, -0.001620362512767315, -0.0015927758067846298, -0.0015651891008019447, -0.0015376023948192596, -0.0015100156888365746, -0.0014824289828538895, -0.0014548422768712044, -0.0014272555708885193, -0.0013996688649058342, -0.0013720821589231491, -0.001344495452940464, -0.001316908746957779, -0.0012893220409750938, -0.0012617353349924088, -0.0012341486290097237, -0.0012065619230270386, -0.0011789752170443535, -0.0011513885110616684, -0.0011238018050789833, -0.0010962150990962982, -0.0010686283931136131, -0.001041041687130928, -0.001013454981148243, -0.0009858682751655579, -0.0009582815691828728, -0.0009306948632001877, -0.0009031081572175026, -0.0008755214512348175, -0.0008479347452521324, -0.0008203480392694473, -0.0007927613332867622, -0.0007651746273040771, -0.0007375879213213921, -0.000710001215338707, -0.0006824145093560219, -0.0006548278033733368, -0.0006272410973906517, -0.0005996543914079666, -0.0005720676854252815, -0.0005444809794425964, -0.0005168942734599113, -0.0004893075674772263, -0.00046172086149454117, -0.0004341341555118561, -0.000406547449529171, -0.0003789607435464859, -0.0003513740375638008, -0.0003237873315811157, -0.00029620062559843063, -0.00026861391961574554, -0.00024102721363306046, -0.00021344050765037537, -0.00018585380166769028, -0.0001582670956850052, -0.0001306803897023201, -0.00010309368371963501, -7.550697773694992e-05, -4.792027175426483e-05, -2.0333565771579742e-05, 7.253140211105347e-06, 3.4839846193790436e-05, 6.242655217647552e-05, 9.001325815916061e-05, 0.0001175999641418457]}, "gradients/encoder.encoder.layers.3.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 4.0, 30.0, 154.0, 395.0, 322.0, 100.0, 11.0, 4.0], "bins": [-0.00013446807861328125, -0.00013221800327301025, -0.00012996792793273926, -0.00012771785259246826, -0.00012546777725219727, -0.00012321770191192627, -0.00012096762657165527, -0.00011871755123138428, -0.00011646747589111328, -0.00011421740055084229, -0.00011196732521057129, -0.00010971724987030029, -0.0001074671745300293, -0.0001052170991897583, -0.0001029670238494873, -0.00010071694850921631, -9.846687316894531e-05, -9.621679782867432e-05, -9.396672248840332e-05, -9.171664714813232e-05, -8.946657180786133e-05, -8.721649646759033e-05, -8.496642112731934e-05, -8.271634578704834e-05, -8.046627044677734e-05, -7.821619510650635e-05, -7.596611976623535e-05, -7.371604442596436e-05, -7.146596908569336e-05, -6.921589374542236e-05, -6.696581840515137e-05, -6.471574306488037e-05, -6.246566772460938e-05, -6.021559238433838e-05, -5.796551704406738e-05, -5.571544170379639e-05, -5.346536636352539e-05, -5.1215291023254395e-05, -4.89652156829834e-05, -4.67151403427124e-05, -4.4465065002441406e-05, -4.221498966217041e-05, -3.9964914321899414e-05, -3.771483898162842e-05, -3.546476364135742e-05, -3.3214688301086426e-05, -3.096461296081543e-05, -2.8714537620544434e-05, -2.6464462280273438e-05, -2.421438694000244e-05, -2.1964311599731445e-05, -1.971423625946045e-05, -1.7464160919189453e-05, -1.5214085578918457e-05, -1.2964010238647461e-05, -1.0713934898376465e-05, -8.463859558105469e-06, -6.213784217834473e-06, -3.9637088775634766e-06, -1.7136335372924805e-06, 5.364418029785156e-07, 2.7865171432495117e-06, 5.036592483520508e-06, 7.286667823791504e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.3.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 0.0, 1.0, 2.0, 0.0, 3.0, 2.0, 7.0, 6.0, 9.0, 15.0, 24.0, 24.0, 32.0, 60.0, 82.0, 114.0, 215.0, 452.0, 900.0, 2023.0, 5258.0, 17112.0, 349416.0, 3784517.0, 23691.0, 6279.0, 2145.0, 909.0, 408.0, 217.0, 135.0, 74.0, 56.0, 43.0, 23.0, 17.0, 9.0, 5.0, 1.0, 5.0, 4.0, 3.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00010532140731811523, -0.00010248366743326187, -9.964592754840851e-05, -9.680818766355515e-05, -9.397044777870178e-05, -9.113270789384842e-05, -8.829496800899506e-05, -8.545722812414169e-05, -8.261948823928833e-05, -7.978174835443497e-05, -7.69440084695816e-05, -7.410626858472824e-05, -7.126852869987488e-05, -6.843078881502151e-05, -6.559304893016815e-05, -6.275530904531479e-05, -5.9917569160461426e-05, -5.707982927560806e-05, -5.42420893907547e-05, -5.140434950590134e-05, -4.8566609621047974e-05, -4.572886973619461e-05, -4.289112985134125e-05, -4.0053389966487885e-05, -3.721565008163452e-05, -3.437791019678116e-05, -3.1540170311927795e-05, -2.8702430427074432e-05, -2.586469054222107e-05, -2.3026950657367706e-05, -2.0189210772514343e-05, -1.735147088766098e-05, -1.4513731002807617e-05, -1.1675991117954254e-05, -8.838251233100891e-06, -6.000511348247528e-06, -3.162771463394165e-06, -3.25031578540802e-07, 2.512708306312561e-06, 5.350448191165924e-06, 8.188188076019287e-06, 1.102592796087265e-05, 1.3863667845726013e-05, 1.6701407730579376e-05, 1.953914761543274e-05, 2.2376887500286102e-05, 2.5214627385139465e-05, 2.805236726999283e-05, 3.089010715484619e-05, 3.3727847039699554e-05, 3.656558692455292e-05, 3.940332680940628e-05, 4.2241066694259644e-05, 4.5078806579113007e-05, 4.791654646396637e-05, 5.075428634881973e-05, 5.3592026233673096e-05, 5.642976611852646e-05, 5.926750600337982e-05, 6.210524588823318e-05, 6.494298577308655e-05, 6.778072565793991e-05, 7.061846554279327e-05, 7.345620542764664e-05, 7.62939453125e-05]}, "gradients/encoder.encoder.layers.3.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 3.0, 3.0, 2.0, 0.0, 7.0, 8.0, 8.0, 3.0, 14.0, 15.0, 23.0, 36.0, 159.0, 2318.0, 1241.0, 147.0, 39.0, 23.0, 9.0, 11.0, 8.0, 3.0, 2.0, 1.0, 2.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.357929229736328e-05, -9.104888886213303e-05, -8.851848542690277e-05, -8.598808199167252e-05, -8.345767855644226e-05, -8.0927275121212e-05, -7.839687168598175e-05, -7.58664682507515e-05, -7.333606481552124e-05, -7.080566138029099e-05, -6.827525794506073e-05, -6.574485450983047e-05, -6.321445107460022e-05, -6.0684047639369965e-05, -5.815364420413971e-05, -5.5623240768909454e-05, -5.30928373336792e-05, -5.0562433898448944e-05, -4.803203046321869e-05, -4.5501627027988434e-05, -4.297122359275818e-05, -4.0440820157527924e-05, -3.791041672229767e-05, -3.538001328706741e-05, -3.284960985183716e-05, -3.0319206416606903e-05, -2.7788802981376648e-05, -2.5258399546146393e-05, -2.2727996110916138e-05, -2.0197592675685883e-05, -1.7667189240455627e-05, -1.5136785805225372e-05, -1.2606382369995117e-05, -1.0075978934764862e-05, -7.545575499534607e-06, -5.015172064304352e-06, -2.4847686290740967e-06, 4.563480615615845e-08, 2.5760382413864136e-06, 5.106441676616669e-06, 7.636845111846924e-06, 1.0167248547077179e-05, 1.2697651982307434e-05, 1.522805541753769e-05, 1.7758458852767944e-05, 2.02888622879982e-05, 2.2819265723228455e-05, 2.534966915845871e-05, 2.7880072593688965e-05, 3.041047602891922e-05, 3.2940879464149475e-05, 3.547128289937973e-05, 3.8001686334609985e-05, 4.053208976984024e-05, 4.3062493205070496e-05, 4.559289664030075e-05, 4.8123300075531006e-05, 5.065370351076126e-05, 5.3184106945991516e-05, 5.571451038122177e-05, 5.8244913816452026e-05, 6.077531725168228e-05, 6.330572068691254e-05, 6.583612412214279e-05, 6.836652755737305e-05]}, "gradients/encoder.encoder.layers.3.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 5.0, 5.0, 7.0, 17.0, 44.0, 148.0, 439.0, 202.0, 81.0, 28.0, 19.0, 6.0, 5.0, 3.0, 3.0, 0.0, 1.0, 1.0, 1.0, 1.0], "bins": [-0.0010156158823519945, -0.0009955749846994877, -0.0009755341452546418, -0.0009554932476021349, -0.000935452408157289, -0.0009154115105047822, -0.0008953706710599363, -0.0008753297734074295, -0.0008552889339625835, -0.0008352480363100767, -0.0008152071968652308, -0.000795166299212724, -0.0007751254597678781, -0.0007550845621153712, -0.0007350437226705253, -0.0007150028250180185, -0.0006949619273655117, -0.0006749210297130048, -0.0006548801902681589, -0.0006348392926156521, -0.0006147984531708062, -0.0005947575555182993, -0.0005747167160734534, -0.0005546758184209466, -0.0005346349207684398, -0.0005145940231159329, -0.000494553183671087, -0.00047451231512241066, -0.0004544714465737343, -0.00043443054892122746, -0.0004143896803725511, -0.0003943488118238747, -0.00037430800148285925, -0.0003542671329341829, -0.0003342262643855065, -0.00031418539583683014, -0.0002941444981843233, -0.0002741036587394774, -0.00025406276108697057, -0.0002340218925382942, -0.00021398102398961782, -0.00019394015544094145, -0.00017389928689226508, -0.00015385840379167348, -0.0001338175352429971, -0.00011377666669432074, -9.373579086968675e-05, -7.369491504505277e-05, -5.3654046496376395e-05, -3.3613174309721217e-05, -1.3572302123066038e-05, 6.468570063589141e-06, 2.650944225024432e-05, 4.655031079892069e-05, 6.659118662355468e-05, 8.663206244818866e-05, 0.00010667293099686503, 0.0001267137995455414, 0.00014675466809421778, 0.00016679555119480938, 0.00018683641974348575, 0.00020687728829216212, 0.00022691817139275372, 0.0002469590399414301, 0.00026699990849010646]}, "gradients/encoder.encoder.layers.3.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 3.0, 2.0, 7.0, 12.0, 14.0, 26.0, 44.0, 73.0, 87.0, 90.0, 110.0, 98.0, 98.0, 112.0, 79.0, 61.0, 29.0, 24.0, 19.0, 10.0, 3.0, 3.0, 3.0, 2.0, 2.0, 0.0, 2.0, 1.0, 1.0, 1.0, 0.0, 2.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00016885995864868164, -0.00015962868928909302, -0.0001503974199295044, -0.00014116615056991577, -0.00013193488121032715, -0.00012270361185073853, -0.0001134723424911499, -0.00010424107313156128, -9.500980377197266e-05, -8.577853441238403e-05, -7.654726505279541e-05, -6.731599569320679e-05, -5.8084726333618164e-05, -4.885345697402954e-05, -3.962218761444092e-05, -3.0390918254852295e-05, -2.1159648895263672e-05, -1.1928379535675049e-05, -2.6971101760864258e-06, 6.534159183502197e-06, 1.576542854309082e-05, 2.4996697902679443e-05, 3.4227967262268066e-05, 4.345923662185669e-05, 5.269050598144531e-05, 6.192177534103394e-05, 7.115304470062256e-05, 8.038431406021118e-05, 8.96155834197998e-05, 9.884685277938843e-05, 0.00010807812213897705, 0.00011730939149856567, 0.0001265406608581543, 0.00013577193021774292, 0.00014500319957733154, 0.00015423446893692017, 0.0001634657382965088, 0.0001726970076560974, 0.00018192827701568604, 0.00019115954637527466, 0.00020039081573486328, 0.0002096220850944519, 0.00021885335445404053, 0.00022808462381362915, 0.00023731589317321777, 0.0002465471625328064, 0.000255778431892395, 0.00026500970125198364, 0.00027424097061157227, 0.0002834722399711609, 0.0002927035093307495, 0.00030193477869033813, 0.00031116604804992676, 0.0003203973174095154, 0.000329628586769104, 0.0003388598561286926, 0.00034809112548828125, 0.0003573223948478699, 0.0003665536642074585, 0.0003757849335670471, 0.00038501620292663574, 0.00039424747228622437, 0.000403478741645813, 0.0004127100110054016, 0.00042194128036499023]}, "gradients/encoder.encoder.layers.3.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 5.0, 0.0, 1.0, 3.0, 1.0, 5.0, 3.0, 3.0, 6.0, 6.0, 13.0, 11.0, 10.0, 25.0, 24.0, 37.0, 40.0, 40.0, 48.0, 44.0, 100.0, 784.0, 888486.0, 157939.0, 512.0, 72.0, 52.0, 46.0, 46.0, 41.0, 29.0, 24.0, 19.0, 20.0, 20.0, 12.0, 8.0, 10.0, 10.0, 4.0, 2.0, 3.0, 2.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.00070953369140625, -0.0006886124610900879, -0.0006676912307739258, -0.0006467700004577637, -0.0006258487701416016, -0.0006049275398254395, -0.0005840063095092773, -0.0005630850791931152, -0.0005421638488769531, -0.000521242618560791, -0.0005003213882446289, -0.0004794001579284668, -0.0004584789276123047, -0.0004375576972961426, -0.00041663646697998047, -0.00039571523666381836, -0.00037479400634765625, -0.00035387277603149414, -0.00033295154571533203, -0.0003120303153991699, -0.0002911090850830078, -0.0002701878547668457, -0.0002492666244506836, -0.00022834539413452148, -0.00020742416381835938, -0.00018650293350219727, -0.00016558170318603516, -0.00014466047286987305, -0.00012373924255371094, -0.00010281801223754883, -8.189678192138672e-05, -6.097555160522461e-05, -4.00543212890625e-05, -1.913309097290039e-05, 1.7881393432617188e-06, 2.2709369659423828e-05, 4.363059997558594e-05, 6.455183029174805e-05, 8.547306060791016e-05, 0.00010639429092407227, 0.00012731552124023438, 0.00014823675155639648, 0.0001691579818725586, 0.0001900792121887207, 0.0002110004425048828, 0.00023192167282104492, 0.00025284290313720703, 0.00027376413345336914, 0.00029468536376953125, 0.00031560659408569336, 0.00033652782440185547, 0.0003574490547180176, 0.0003783702850341797, 0.0003992915153503418, 0.0004202127456665039, 0.000441133975982666, 0.0004620552062988281, 0.00048297643661499023, 0.0005038976669311523, 0.0005248188972473145, 0.0005457401275634766, 0.0005666613578796387, 0.0005875825881958008, 0.0006085038185119629, 0.000629425048828125]}, "gradients/encoder.encoder.layers.3.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 2.0, 4.0, 40.0, 175.0, 395.0, 289.0, 96.0, 17.0, 3.0], "bins": [-0.00013184547424316406, -0.00012963637709617615, -0.00012742727994918823, -0.00012521818280220032, -0.0001230090856552124, -0.00012079998850822449, -0.00011859089136123657, -0.00011638179421424866, -0.00011417269706726074, -0.00011196359992027283, -0.00010975450277328491, -0.000107545405626297, -0.00010533630847930908, -0.00010312721133232117, -0.00010091811418533325, -9.870901703834534e-05, -9.649991989135742e-05, -9.429082274436951e-05, -9.208172559738159e-05, -8.987262845039368e-05, -8.766353130340576e-05, -8.545443415641785e-05, -8.324533700942993e-05, -8.103623986244202e-05, -7.88271427154541e-05, -7.661804556846619e-05, -7.440894842147827e-05, -7.219985127449036e-05, -6.999075412750244e-05, -6.778165698051453e-05, -6.557255983352661e-05, -6.33634626865387e-05, -6.115436553955078e-05, -5.8945268392562866e-05, -5.673617124557495e-05, -5.4527074098587036e-05, -5.231797695159912e-05, -5.0108879804611206e-05, -4.789978265762329e-05, -4.5690685510635376e-05, -4.348158836364746e-05, -4.1272491216659546e-05, -3.906339406967163e-05, -3.6854296922683716e-05, -3.46451997756958e-05, -3.2436102628707886e-05, -3.022700548171997e-05, -2.8017908334732056e-05, -2.580881118774414e-05, -2.3599714040756226e-05, -2.139061689376831e-05, -1.9181519746780396e-05, -1.697242259979248e-05, -1.4763325452804565e-05, -1.255422830581665e-05, -1.0345131158828735e-05, -8.13603401184082e-06, -5.926936864852905e-06, -3.7178397178649902e-06, -1.5087425708770752e-06, 7.003545761108398e-07, 2.909451723098755e-06, 5.11854887008667e-06, 7.327646017074585e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.3.attention.v_proj.weight": {"_type": "histogram", "values": [1.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 3.0, 2.0, 3.0, 4.0, 5.0, 10.0, 11.0, 23.0, 21.0, 39.0, 47.0, 66.0, 122.0, 153.0, 270.0, 416.0, 654.0, 1014.0, 1675.0, 2735.0, 5142.0, 9743.0, 19680.0, 41689.0, 110105.0, 720762.0, 71616.0, 30487.0, 14512.0, 7537.0, 3888.0, 2411.0, 1379.0, 848.0, 474.0, 317.0, 203.0, 141.0, 109.0, 74.0, 59.0, 37.0, 20.0, 15.0, 11.0, 9.0, 8.0, 5.0, 3.0, 2.0, 3.0, 2.0, 2.0, 1.0], "bins": [-6.276369094848633e-05, -6.098579615354538e-05, -5.920790135860443e-05, -5.743000656366348e-05, -5.5652111768722534e-05, -5.3874216973781586e-05, -5.209632217884064e-05, -5.031842738389969e-05, -4.854053258895874e-05, -4.676263779401779e-05, -4.498474299907684e-05, -4.3206848204135895e-05, -4.1428953409194946e-05, -3.9651058614254e-05, -3.787316381931305e-05, -3.60952690243721e-05, -3.431737422943115e-05, -3.2539479434490204e-05, -3.0761584639549255e-05, -2.8983689844608307e-05, -2.720579504966736e-05, -2.542790025472641e-05, -2.365000545978546e-05, -2.1872110664844513e-05, -2.0094215869903564e-05, -1.8316321074962616e-05, -1.6538426280021667e-05, -1.4760531485080719e-05, -1.298263669013977e-05, -1.1204741895198822e-05, -9.426847100257874e-06, -7.648952305316925e-06, -5.8710575103759766e-06, -4.093162715435028e-06, -2.3152679204940796e-06, -5.373731255531311e-07, 1.2405216693878174e-06, 3.018416464328766e-06, 4.796311259269714e-06, 6.574206054210663e-06, 8.352100849151611e-06, 1.012999564409256e-05, 1.1907890439033508e-05, 1.3685785233974457e-05, 1.5463680028915405e-05, 1.7241574823856354e-05, 1.9019469618797302e-05, 2.079736441373825e-05, 2.25752592086792e-05, 2.4353154003620148e-05, 2.6131048798561096e-05, 2.7908943593502045e-05, 2.9686838388442993e-05, 3.146473318338394e-05, 3.324262797832489e-05, 3.502052277326584e-05, 3.679841756820679e-05, 3.8576312363147736e-05, 4.0354207158088684e-05, 4.213210195302963e-05, 4.390999674797058e-05, 4.568789154291153e-05, 4.746578633785248e-05, 4.9243681132793427e-05, 5.1021575927734375e-05]}, "gradients/encoder.encoder.layers.3.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 1.0, 4.0, 1.0, 5.0, 5.0, 6.0, 5.0, 12.0, 15.0, 18.0, 18.0, 24.0, 15.0, 20.0, 35.0, 27.0, 30.0, 39.0, 96.0, 311.0, 58.0, 39.0, 33.0, 20.0, 23.0, 33.0, 22.0, 20.0, 11.0, 16.0, 10.0, 8.0, 9.0, 6.0, 6.0, 1.0, 3.0, 1.0, 2.0, 1.0, 3.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 1.0], "bins": [-6.580352783203125e-05, -6.392970681190491e-05, -6.205588579177856e-05, -6.018206477165222e-05, -5.830824375152588e-05, -5.6434422731399536e-05, -5.456060171127319e-05, -5.268678069114685e-05, -5.081295967102051e-05, -4.8939138650894165e-05, -4.706531763076782e-05, -4.519149661064148e-05, -4.331767559051514e-05, -4.1443854570388794e-05, -3.957003355026245e-05, -3.769621253013611e-05, -3.5822391510009766e-05, -3.394857048988342e-05, -3.207474946975708e-05, -3.0200928449630737e-05, -2.8327107429504395e-05, -2.6453286409378052e-05, -2.457946538925171e-05, -2.2705644369125366e-05, -2.0831823348999023e-05, -1.895800232887268e-05, -1.7084181308746338e-05, -1.5210360288619995e-05, -1.3336539268493652e-05, -1.146271824836731e-05, -9.588897228240967e-06, -7.715076208114624e-06, -5.841255187988281e-06, -3.9674341678619385e-06, -2.0936131477355957e-06, -2.1979212760925293e-07, 1.6540288925170898e-06, 3.5278499126434326e-06, 5.401670932769775e-06, 7.275491952896118e-06, 9.149312973022461e-06, 1.1023133993148804e-05, 1.2896955013275146e-05, 1.477077603340149e-05, 1.6644597053527832e-05, 1.8518418073654175e-05, 2.0392239093780518e-05, 2.226606011390686e-05, 2.4139881134033203e-05, 2.6013702154159546e-05, 2.788752317428589e-05, 2.976134419441223e-05, 3.1635165214538574e-05, 3.350898623466492e-05, 3.538280725479126e-05, 3.72566282749176e-05, 3.9130449295043945e-05, 4.100427031517029e-05, 4.287809133529663e-05, 4.4751912355422974e-05, 4.6625733375549316e-05, 4.849955439567566e-05, 5.0373375415802e-05, 5.2247196435928345e-05, 5.412101745605469e-05]}, "gradients/encoder.encoder.layers.3.attention.k_proj.weight": {"_type": "histogram", "values": [2.0, 1.0, 4.0, 2.0, 0.0, 0.0, 2.0, 4.0, 5.0, 4.0, 9.0, 17.0, 6.0, 26.0, 24.0, 46.0, 37.0, 95.0, 83.0, 195.0, 146.0, 244.0, 558.0, 541.0, 1366.0, 1442.0, 3870.0, 4780.0, 16061.0, 28717.0, 824382.0, 107584.0, 28637.0, 16137.0, 4755.0, 3978.0, 1475.0, 1306.0, 534.0, 545.0, 218.0, 235.0, 104.0, 96.0, 99.0, 47.0, 43.0, 26.0, 26.0, 11.0, 19.0, 8.0, 6.0, 3.0, 1.0, 4.0, 4.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 2.0], "bins": [-4.5299530029296875e-06, -4.383735358715057e-06, -4.237517714500427e-06, -4.091300070285797e-06, -3.945082426071167e-06, -3.798864781856537e-06, -3.6526471376419067e-06, -3.5064294934272766e-06, -3.3602118492126465e-06, -3.2139942049980164e-06, -3.0677765607833862e-06, -2.921558916568756e-06, -2.775341272354126e-06, -2.629123628139496e-06, -2.4829059839248657e-06, -2.3366883397102356e-06, -2.1904706954956055e-06, -2.0442530512809753e-06, -1.8980354070663452e-06, -1.751817762851715e-06, -1.605600118637085e-06, -1.4593824744224548e-06, -1.3131648302078247e-06, -1.1669471859931946e-06, -1.0207295417785645e-06, -8.745118975639343e-07, -7.282942533493042e-07, -5.820766091346741e-07, -4.3585896492004395e-07, -2.896413207054138e-07, -1.434236764907837e-07, 2.7939677238464355e-09, 1.4901161193847656e-07, 2.952292561531067e-07, 4.414469003677368e-07, 5.876645445823669e-07, 7.338821887969971e-07, 8.800998330116272e-07, 1.0263174772262573e-06, 1.1725351214408875e-06, 1.3187527656555176e-06, 1.4649704098701477e-06, 1.6111880540847778e-06, 1.757405698299408e-06, 1.903623342514038e-06, 2.0498409867286682e-06, 2.1960586309432983e-06, 2.3422762751579285e-06, 2.4884939193725586e-06, 2.6347115635871887e-06, 2.780929207801819e-06, 2.927146852016449e-06, 3.073364496231079e-06, 3.2195821404457092e-06, 3.3657997846603394e-06, 3.5120174288749695e-06, 3.6582350730895996e-06, 3.8044527173042297e-06, 3.95067036151886e-06, 4.09688800573349e-06, 4.24310564994812e-06, 4.38932329416275e-06, 4.53554093837738e-06, 4.6817585825920105e-06, 4.827976226806641e-06]}, "gradients/encoder.encoder.layers.3.attention.k_proj.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 2.0, 0.0, 0.0, 4.0, 1.0, 2.0, 9.0, 9.0, 4.0, 11.0, 13.0, 16.0, 17.0, 16.0, 34.0, 45.0, 152.0, 389.0, 109.0, 49.0, 25.0, 20.0, 13.0, 18.0, 10.0, 7.0, 8.0, 3.0, 5.0, 3.0, 4.0, 1.0, 1.0, 0.0, 0.0, 2.0, 2.0, 3.0, 2.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-4.827976226806641e-06, -4.673376679420471e-06, -4.518777132034302e-06, -4.364177584648132e-06, -4.209578037261963e-06, -4.0549784898757935e-06, -3.900378942489624e-06, -3.7457793951034546e-06, -3.591179847717285e-06, -3.4365803003311157e-06, -3.2819807529449463e-06, -3.127381205558777e-06, -2.9727816581726074e-06, -2.818182110786438e-06, -2.6635825634002686e-06, -2.508983016014099e-06, -2.3543834686279297e-06, -2.1997839212417603e-06, -2.045184373855591e-06, -1.8905848264694214e-06, -1.735985279083252e-06, -1.5813857316970825e-06, -1.426786184310913e-06, -1.2721866369247437e-06, -1.1175870895385742e-06, -9.629875421524048e-07, -8.083879947662354e-07, -6.537884473800659e-07, -4.991888999938965e-07, -3.4458935260772705e-07, -1.8998980522155762e-07, -3.5390257835388184e-08, 1.1920928955078125e-07, 2.738088369369507e-07, 4.284083843231201e-07, 5.830079317092896e-07, 7.37607479095459e-07, 8.922070264816284e-07, 1.0468065738677979e-06, 1.2014061212539673e-06, 1.3560056686401367e-06, 1.5106052160263062e-06, 1.6652047634124756e-06, 1.819804310798645e-06, 1.9744038581848145e-06, 2.129003405570984e-06, 2.2836029529571533e-06, 2.4382025003433228e-06, 2.592802047729492e-06, 2.7474015951156616e-06, 2.902001142501831e-06, 3.0566006898880005e-06, 3.21120023727417e-06, 3.3657997846603394e-06, 3.520399332046509e-06, 3.6749988794326782e-06, 3.829598426818848e-06, 3.984197974205017e-06, 4.1387975215911865e-06, 4.293397068977356e-06, 4.447996616363525e-06, 4.602596163749695e-06, 4.757195711135864e-06, 4.911795258522034e-06, 5.066394805908203e-06]}, "gradients/encoder.encoder.layers.3.attention.q_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 3.0, 1.0, 2.0, 6.0, 5.0, 7.0, 7.0, 16.0, 23.0, 21.0, 44.0, 57.0, 62.0, 150.0, 269.0, 278.0, 641.0, 1149.0, 1311.0, 3601.0, 8639.0, 13272.0, 69999.0, 849181.0, 57781.0, 25929.0, 8385.0, 2724.0, 2282.0, 1149.0, 436.0, 407.0, 279.0, 119.0, 115.0, 83.0, 31.0, 31.0, 32.0, 8.0, 13.0, 5.0, 3.0, 6.0, 2.0, 3.0, 1.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.708766937255859e-06, -4.5495107769966125e-06, -4.390254616737366e-06, -4.230998456478119e-06, -4.071742296218872e-06, -3.912486135959625e-06, -3.7532299757003784e-06, -3.5939738154411316e-06, -3.4347176551818848e-06, -3.275461494922638e-06, -3.116205334663391e-06, -2.9569491744041443e-06, -2.7976930141448975e-06, -2.6384368538856506e-06, -2.479180693626404e-06, -2.319924533367157e-06, -2.16066837310791e-06, -2.0014122128486633e-06, -1.8421560525894165e-06, -1.6828998923301697e-06, -1.5236437320709229e-06, -1.364387571811676e-06, -1.2051314115524292e-06, -1.0458752512931824e-06, -8.866190910339355e-07, -7.273629307746887e-07, -5.681067705154419e-07, -4.0885061025619507e-07, -2.4959444999694824e-07, -9.033828973770142e-08, 6.891787052154541e-08, 2.2817403078079224e-07, 3.8743019104003906e-07, 5.466863512992859e-07, 7.059425115585327e-07, 8.651986718177795e-07, 1.0244548320770264e-06, 1.1837109923362732e-06, 1.34296715259552e-06, 1.5022233128547668e-06, 1.6614794731140137e-06, 1.8207356333732605e-06, 1.9799917936325073e-06, 2.139247953891754e-06, 2.298504114151001e-06, 2.457760274410248e-06, 2.6170164346694946e-06, 2.7762725949287415e-06, 2.9355287551879883e-06, 3.094784915447235e-06, 3.254041075706482e-06, 3.4132972359657288e-06, 3.5725533962249756e-06, 3.7318095564842224e-06, 3.891065716743469e-06, 4.050321877002716e-06, 4.209578037261963e-06, 4.36883419752121e-06, 4.5280903577804565e-06, 4.687346518039703e-06, 4.84660267829895e-06, 5.005858838558197e-06, 5.165114998817444e-06, 5.324371159076691e-06, 5.4836273193359375e-06]}, "gradients/encoder.encoder.layers.3.attention.q_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 3.0, 5.0, 2.0, 6.0, 2.0, 5.0, 9.0, 9.0, 10.0, 13.0, 18.0, 23.0, 54.0, 50.0, 86.0, 399.0, 72.0, 56.0, 38.0, 23.0, 42.0, 20.0, 10.0, 11.0, 13.0, 2.0, 7.0, 3.0, 4.0, 3.0, 3.0, 3.0, 3.0, 2.0, 0.0, 4.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.112720489501953e-06, -3.973022103309631e-06, -3.8333237171173096e-06, -3.693625330924988e-06, -3.553926944732666e-06, -3.4142285585403442e-06, -3.2745301723480225e-06, -3.1348317861557007e-06, -2.995133399963379e-06, -2.855435013771057e-06, -2.7157366275787354e-06, -2.5760382413864136e-06, -2.436339855194092e-06, -2.29664146900177e-06, -2.1569430828094482e-06, -2.0172446966171265e-06, -1.8775463104248047e-06, -1.737847924232483e-06, -1.5981495380401611e-06, -1.4584511518478394e-06, -1.3187527656555176e-06, -1.1790543794631958e-06, -1.039355993270874e-06, -8.996576070785522e-07, -7.599592208862305e-07, -6.202608346939087e-07, -4.805624485015869e-07, -3.4086406230926514e-07, -2.0116567611694336e-07, -6.146728992462158e-08, 7.82310962677002e-08, 2.1792948246002197e-07, 3.5762786865234375e-07, 4.973262548446655e-07, 6.370246410369873e-07, 7.767230272293091e-07, 9.164214134216309e-07, 1.0561197996139526e-06, 1.1958181858062744e-06, 1.3355165719985962e-06, 1.475214958190918e-06, 1.6149133443832397e-06, 1.7546117305755615e-06, 1.8943101167678833e-06, 2.034008502960205e-06, 2.173706889152527e-06, 2.3134052753448486e-06, 2.4531036615371704e-06, 2.592802047729492e-06, 2.732500433921814e-06, 2.8721988201141357e-06, 3.0118972063064575e-06, 3.1515955924987793e-06, 3.291293978691101e-06, 3.430992364883423e-06, 3.5706907510757446e-06, 3.7103891372680664e-06, 3.850087523460388e-06, 3.98978590965271e-06, 4.129484295845032e-06, 4.2691826820373535e-06, 4.408881068229675e-06, 4.548579454421997e-06, 4.688277840614319e-06, 4.827976226806641e-06]}, "gradients/encoder.encoder.layers.3.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 2.0, 2.0, 2.0, 3.0, 2.0, 7.0, 6.0, 9.0, 7.0, 9.0, 17.0, 15.0, 16.0, 40.0, 39.0, 47.0, 73.0, 121.0, 244.0, 109.0, 64.0, 43.0, 31.0, 25.0, 21.0, 16.0, 12.0, 4.0, 4.0, 4.0, 4.0, 2.0, 3.0, 3.0, 1.0, 1.0, 1.0, 2.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 2.0], "bins": [-0.00022549787536263466, -0.00021832733182236552, -0.00021115678828209639, -0.00020398625929374248, -0.00019681571575347334, -0.0001896451722132042, -0.0001824746432248503, -0.00017530409968458116, -0.00016813355614431202, -0.0001609630126040429, -0.00015379246906377375, -0.00014662194007541984, -0.0001394513965351507, -0.00013228085299488157, -0.00012511032400652766, -0.00011793978046625853, -0.00011076923692598939, -0.00010359869338572025, -9.642815712140873e-05, -8.925762085709721e-05, -8.208707731682807e-05, -7.491653377655894e-05, -6.774599751224741e-05, -6.0575457609957084e-05, -5.3404917707666755e-05, -4.6234377805376425e-05, -3.9063837903086096e-05, -3.189329800079577e-05, -2.4722758098505437e-05, -1.7552218196215108e-05, -1.0381678293924779e-05, -3.2111383916344494e-06, 3.95940151065588e-06, 1.112994141294621e-05, 1.830048131523654e-05, 2.5471021217526868e-05, 3.26415611198172e-05, 3.981210102210753e-05, 4.6982640924397856e-05, 5.4153180826688185e-05, 6.132372072897851e-05, 6.849426426924765e-05, 7.566480053355917e-05, 8.28353367978707e-05, 9.000588033813983e-05, 9.717642387840897e-05, 0.00010434696014272049, 0.00011151749640703201, 0.00011868803994730115, 0.00012585858348757029, 0.00013302912702783942, 0.00014019965601619333, 0.00014737019955646247, 0.0001545407430967316, 0.0001617112720850855, 0.00016888181562535465, 0.00017605235916562378, 0.00018322290270589292, 0.00019039344624616206, 0.00019756397523451596, 0.0002047345187747851, 0.00021190506231505424, 0.00021907559130340815, 0.00022624613484367728, 0.00023341667838394642]}, "gradients/encoder.encoder.layers.3.layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 1.0, 3.0, 6.0, 23.0, 20.0, 33.0, 56.0, 70.0, 92.0, 140.0, 223.0, 108.0, 77.0, 57.0, 43.0, 26.0, 17.0, 9.0, 10.0, 5.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00018358230590820312, -0.00016972236335277557, -0.00015586242079734802, -0.00014200247824192047, -0.00012814253568649292, -0.00011428259313106537, -0.00010042265057563782, -8.656270802021027e-05, -7.270276546478271e-05, -5.8842822909355164e-05, -4.498288035392761e-05, -3.112293779850006e-05, -1.726299524307251e-05, -3.4030526876449585e-06, 1.0456889867782593e-05, 2.4316832423210144e-05, 3.8176774978637695e-05, 5.2036717534065247e-05, 6.58966600894928e-05, 7.975660264492035e-05, 9.36165452003479e-05, 0.00010747648775577545, 0.000121336430311203, 0.00013519637286663055, 0.0001490563154220581, 0.00016291625797748566, 0.0001767762005329132, 0.00019063614308834076, 0.0002044960856437683, 0.00021835602819919586, 0.0002322159707546234, 0.00024607591331005096, 0.0002599358558654785, 0.00027379579842090607, 0.0002876557409763336, 0.00030151568353176117, 0.0003153756260871887, 0.00032923556864261627, 0.0003430955111980438, 0.0003569554537534714, 0.0003708153963088989, 0.0003846753388643265, 0.00039853528141975403, 0.0004123952239751816, 0.00042625516653060913, 0.0004401151090860367, 0.00045397505164146423, 0.0004678349941968918, 0.00048169493675231934, 0.0004955548793077469, 0.0005094148218631744, 0.000523274764418602, 0.0005371347069740295, 0.0005509946495294571, 0.0005648545920848846, 0.0005787145346403122, 0.0005925744771957397, 0.0006064344197511673, 0.0006202943623065948, 0.0006341543048620224, 0.00064801424741745, 0.0006618741899728775, 0.000675734132528305, 0.0006895940750837326, 0.0007034540176391602]}, "gradients/encoder.encoder.layers.2.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0, 0.0, 2.0, 0.0, 2.0, 1.0, 0.0, 4.0, 1.0, 3.0, 5.0, 2.0, 5.0, 1.0, 8.0, 4.0, 9.0, 16.0, 9.0, 12.0, 10.0, 25.0, 43.0, 79.0, 316.0, 10066.0, 4181205.0, 2358.0, 94.0, 12.0, 3.0], "bins": [-0.0009822845458984375, -0.0009657079353928566, -0.0009491313248872757, -0.0009325547143816948, -0.0009159781038761139, -0.000899401493370533, -0.0008828248828649521, -0.0008662482723593712, -0.0008496716618537903, -0.0008330950513482094, -0.0008165184408426285, -0.0007999418303370476, -0.0007833652198314667, -0.0007667886093258858, -0.0007502119988203049, -0.000733635388314724, -0.0007170587778091431, -0.0007004821673035622, -0.0006839055567979813, -0.0006673289462924004, -0.0006507523357868195, -0.0006341757252812386, -0.0006175991147756577, -0.0006010225042700768, -0.0005844458937644958, -0.000567869283258915, -0.000551292672753334, -0.0005347160622477531, -0.0005181394517421722, -0.0005015628412365913, -0.00048498623073101044, -0.00046840962022542953, -0.00045183300971984863, -0.00043525639921426773, -0.00041867978870868683, -0.0004021031782031059, -0.000385526567697525, -0.0003689499571919441, -0.0003523733466863632, -0.0003357967361807823, -0.0003192201256752014, -0.0003026435151696205, -0.0002860669046640396, -0.0002694902941584587, -0.0002529136836528778, -0.0002363370731472969, -0.000219760462641716, -0.0002031838521361351, -0.0001866072416305542, -0.0001700306311249733, -0.0001534540206193924, -0.0001368774101138115, -0.00012030079960823059, -0.00010372418910264969, -8.714757859706879e-05, -7.057096809148788e-05, -5.399435758590698e-05, -3.741774708032608e-05, -2.0841136574745178e-05, -4.264526069164276e-06, 1.2312084436416626e-05, 2.8888694941997528e-05, 4.546530544757843e-05, 6.204191595315933e-05, 7.861852645874023e-05]}, "gradients/encoder.encoder.layers.2.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 2.0, 1.0, 19.0, 85.0, 239.0, 383.0, 218.0, 61.0, 10.0, 3.0], "bins": [-0.00012153387069702148, -0.00011948589235544205, -0.00011743791401386261, -0.00011538993567228317, -0.00011334195733070374, -0.0001112939789891243, -0.00010924600064754486, -0.00010719802230596542, -0.00010515004396438599, -0.00010310206562280655, -0.00010105408728122711, -9.900610893964767e-05, -9.695813059806824e-05, -9.49101522564888e-05, -9.286217391490936e-05, -9.081419557332993e-05, -8.876621723175049e-05, -8.671823889017105e-05, -8.467026054859161e-05, -8.262228220701218e-05, -8.057430386543274e-05, -7.85263255238533e-05, -7.647834718227386e-05, -7.443036884069443e-05, -7.238239049911499e-05, -7.033441215753555e-05, -6.828643381595612e-05, -6.623845547437668e-05, -6.419047713279724e-05, -6.21424987912178e-05, -6.009452044963837e-05, -5.804654210805893e-05, -5.599856376647949e-05, -5.3950585424900055e-05, -5.190260708332062e-05, -4.985462874174118e-05, -4.780665040016174e-05, -4.5758672058582306e-05, -4.371069371700287e-05, -4.166271537542343e-05, -3.9614737033843994e-05, -3.756675869226456e-05, -3.551878035068512e-05, -3.347080200910568e-05, -3.1422823667526245e-05, -2.9374845325946808e-05, -2.732686698436737e-05, -2.5278888642787933e-05, -2.3230910301208496e-05, -2.118293195962906e-05, -1.913495361804962e-05, -1.7086975276470184e-05, -1.5038996934890747e-05, -1.299101859331131e-05, -1.0943040251731873e-05, -8.895061910152435e-06, -6.847083568572998e-06, -4.799105226993561e-06, -2.7511268854141235e-06, -7.031485438346863e-07, 1.344829797744751e-06, 3.3928081393241882e-06, 5.4407864809036255e-06, 7.488764822483063e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.2.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 4.0, 0.0, 3.0, 4.0, 3.0, 7.0, 4.0, 11.0, 14.0, 23.0, 34.0, 51.0, 73.0, 146.0, 228.0, 405.0, 796.0, 1445.0, 3150.0, 7307.0, 20940.0, 187853.0, 3900474.0, 48824.0, 12727.0, 4998.0, 2244.0, 1081.0, 587.0, 316.0, 214.0, 116.0, 76.0, 44.0, 32.0, 20.0, 14.0, 7.0, 11.0, 7.0, 0.0, 2.0, 2.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-7.31348991394043e-05, -7.100123912096024e-05, -6.886757910251617e-05, -6.673391908407211e-05, -6.460025906562805e-05, -6.246659904718399e-05, -6.033293902873993e-05, -5.819927901029587e-05, -5.606561899185181e-05, -5.3931958973407745e-05, -5.1798298954963684e-05, -4.966463893651962e-05, -4.753097891807556e-05, -4.53973188996315e-05, -4.326365888118744e-05, -4.112999886274338e-05, -3.8996338844299316e-05, -3.6862678825855255e-05, -3.4729018807411194e-05, -3.259535878896713e-05, -3.046169877052307e-05, -2.832803875207901e-05, -2.619437873363495e-05, -2.4060718715190887e-05, -2.1927058696746826e-05, -1.9793398678302765e-05, -1.7659738659858704e-05, -1.5526078641414642e-05, -1.3392418622970581e-05, -1.125875860452652e-05, -9.125098586082458e-06, -6.991438567638397e-06, -4.857778549194336e-06, -2.7241185307502747e-06, -5.904585123062134e-07, 1.543201506137848e-06, 3.676861524581909e-06, 5.8105215430259705e-06, 7.944181561470032e-06, 1.0077841579914093e-05, 1.2211501598358154e-05, 1.4345161616802216e-05, 1.6478821635246277e-05, 1.8612481653690338e-05, 2.07461416721344e-05, 2.287980169057846e-05, 2.5013461709022522e-05, 2.7147121727466583e-05, 2.9280781745910645e-05, 3.1414441764354706e-05, 3.354810178279877e-05, 3.568176180124283e-05, 3.781542181968689e-05, 3.994908183813095e-05, 4.208274185657501e-05, 4.4216401875019073e-05, 4.6350061893463135e-05, 4.8483721911907196e-05, 5.061738193035126e-05, 5.275104194879532e-05, 5.488470196723938e-05, 5.701836198568344e-05, 5.91520220041275e-05, 6.128568202257156e-05, 6.341934204101562e-05]}, "gradients/encoder.encoder.layers.2.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 1.0, 1.0, 2.0, 4.0, 5.0, 8.0, 6.0, 3.0, 6.0, 11.0, 12.0, 13.0, 37.0, 62.0, 204.0, 1075.0, 2166.0, 279.0, 70.0, 27.0, 18.0, 15.0, 9.0, 8.0, 13.0, 6.0, 5.0, 2.0, 3.0, 3.0, 1.0, 3.0, 3.0, 2.0, 2.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0], "bins": [-6.592273712158203e-05, -6.40973448753357e-05, -6.227195262908936e-05, -6.044656038284302e-05, -5.862116813659668e-05, -5.679577589035034e-05, -5.4970383644104004e-05, -5.3144991397857666e-05, -5.131959915161133e-05, -4.949420690536499e-05, -4.766881465911865e-05, -4.5843422412872314e-05, -4.4018030166625977e-05, -4.219263792037964e-05, -4.03672456741333e-05, -3.854185342788696e-05, -3.6716461181640625e-05, -3.489106893539429e-05, -3.306567668914795e-05, -3.124028444290161e-05, -2.9414892196655273e-05, -2.7589499950408936e-05, -2.5764107704162598e-05, -2.393871545791626e-05, -2.2113323211669922e-05, -2.0287930965423584e-05, -1.8462538719177246e-05, -1.6637146472930908e-05, -1.481175422668457e-05, -1.2986361980438232e-05, -1.1160969734191895e-05, -9.335577487945557e-06, -7.510185241699219e-06, -5.684792995452881e-06, -3.859400749206543e-06, -2.034008502960205e-06, -2.086162567138672e-07, 1.6167759895324707e-06, 3.4421682357788086e-06, 5.2675604820251465e-06, 7.092952728271484e-06, 8.918344974517822e-06, 1.074373722076416e-05, 1.2569129467010498e-05, 1.4394521713256836e-05, 1.6219913959503174e-05, 1.8045306205749512e-05, 1.987069845199585e-05, 2.1696090698242188e-05, 2.3521482944488525e-05, 2.5346875190734863e-05, 2.71722674369812e-05, 2.899765968322754e-05, 3.082305192947388e-05, 3.2648444175720215e-05, 3.447383642196655e-05, 3.629922866821289e-05, 3.812462091445923e-05, 3.9950013160705566e-05, 4.1775405406951904e-05, 4.360079765319824e-05, 4.542618989944458e-05, 4.725158214569092e-05, 4.9076974391937256e-05, 5.0902366638183594e-05]}, "gradients/encoder.encoder.layers.2.final_layer_norm.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 4.0, 9.0, 9.0, 6.0, 8.0, 30.0, 37.0, 53.0, 96.0, 166.0, 261.0, 116.0, 72.0, 46.0, 24.0, 18.0, 23.0, 19.0, 2.0, 7.0, 4.0, 1.0, 2.0, 2.0, 4.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00018931913655251265, -0.00017949122411664575, -0.00016966329712886363, -0.00015983538469299674, -0.00015000745770521462, -0.00014017954526934773, -0.00013035163283348083, -0.00012052370584569871, -0.00011069578613387421, -0.0001008678664220497, -9.10399467102252e-05, -8.121202699840069e-05, -7.13841145625338e-05, -6.155618757475168e-05, -5.172827513888478e-05, -4.1900355427060276e-05, -3.207243571523577e-05, -2.2244516003411263e-05, -1.241659811057616e-05, -2.5886802177410573e-06, 7.239239494083449e-06, 1.7067159205907956e-05, 2.6895075279753655e-05, 3.672299499157816e-05, 4.655091470340267e-05, 5.6378834415227175e-05, 6.620675412705168e-05, 7.603467383887619e-05, 8.586258627474308e-05, 9.56905132625252e-05, 0.00010551842569839209, 0.0001153463454102166, 0.0001251742651220411, 0.000135002177557908, 0.00014483010454569012, 0.000154658016981557, 0.00016448594396933913, 0.00017431385640520602, 0.00018414176884107292, 0.00019396969582885504, 0.00020379762281663716, 0.00021362553525250405, 0.00022345346224028617, 0.00023328137467615306, 0.00024310930166393518, 0.0002529372286517173, 0.00026276512653566897, 0.0002725930535234511, 0.00028242095140740275, 0.0002922488783951849, 0.00030207677627913654, 0.00031190470326691866, 0.0003217326302547008, 0.0003315605572424829, 0.00034138845512643456, 0.0003512163821142167, 0.0003610443091019988, 0.0003708722360897809, 0.0003807001339737326, 0.0003905280609615147, 0.00040035598794929683, 0.00041018391493707895, 0.0004200118128210306, 0.00042983973980881274, 0.00043966766679659486]}, "gradients/encoder.encoder.layers.2.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 1.0, 2.0, 1.0, 1.0, 4.0, 7.0, 10.0, 8.0, 9.0, 13.0, 18.0, 22.0, 32.0, 31.0, 27.0, 33.0, 41.0, 50.0, 46.0, 58.0, 43.0, 63.0, 42.0, 62.0, 46.0, 53.0, 37.0, 44.0, 29.0, 28.0, 34.0, 23.0, 20.0, 14.0, 16.0, 12.0, 6.0, 7.0, 6.0, 4.0, 3.0, 3.0, 2.0, 5.0, 1.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.00017440319061279297, -0.00016975123435258865, -0.00016509927809238434, -0.00016044732183218002, -0.0001557953655719757, -0.0001511434093117714, -0.00014649145305156708, -0.00014183949679136276, -0.00013718754053115845, -0.00013253558427095413, -0.00012788362801074982, -0.0001232316717505455, -0.00011857971549034119, -0.00011392775923013687, -0.00010927580296993256, -0.00010462384670972824, -9.997189044952393e-05, -9.531993418931961e-05, -9.06679779291153e-05, -8.601602166891098e-05, -8.136406540870667e-05, -7.671210914850235e-05, -7.206015288829803e-05, -6.740819662809372e-05, -6.27562403678894e-05, -5.810428410768509e-05, -5.3452327847480774e-05, -4.880037158727646e-05, -4.4148415327072144e-05, -3.949645906686783e-05, -3.484450280666351e-05, -3.0192546546459198e-05, -2.5540590286254883e-05, -2.0888634026050568e-05, -1.6236677765846252e-05, -1.1584721505641937e-05, -6.932765245437622e-06, -2.280808985233307e-06, 2.3711472749710083e-06, 7.0231035351753235e-06, 1.1675059795379639e-05, 1.6327016055583954e-05, 2.097897231578827e-05, 2.5630928575992584e-05, 3.02828848361969e-05, 3.4934841096401215e-05, 3.958679735660553e-05, 4.4238753616809845e-05, 4.889070987701416e-05, 5.3542666137218475e-05, 5.819462239742279e-05, 6.28465786576271e-05, 6.749853491783142e-05, 7.215049117803574e-05, 7.680244743824005e-05, 8.145440369844437e-05, 8.610635995864868e-05, 9.0758316218853e-05, 9.541027247905731e-05, 0.00010006222873926163, 0.00010471418499946594, 0.00010936614125967026, 0.00011401809751987457, 0.00011867005378007889, 0.0001233220100402832]}, "gradients/encoder.encoder.layers.2.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 3.0, 1.0, 0.0, 3.0, 2.0, 3.0, 1.0, 3.0, 5.0, 5.0, 5.0, 8.0, 9.0, 17.0, 15.0, 20.0, 26.0, 32.0, 32.0, 43.0, 68.0, 141.0, 1241.0, 717936.0, 327445.0, 1037.0, 123.0, 72.0, 45.0, 39.0, 38.0, 39.0, 19.0, 15.0, 14.0, 9.0, 14.0, 10.0, 6.0, 5.0, 4.0, 2.0, 5.0, 5.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.00045609474182128906, -0.0004422627389431, -0.0004284307360649109, -0.0004145987331867218, -0.0004007667303085327, -0.00038693472743034363, -0.00037310272455215454, -0.00035927072167396545, -0.00034543871879577637, -0.0003316067159175873, -0.0003177747130393982, -0.0003039427101612091, -0.00029011070728302, -0.00027627870440483093, -0.00026244670152664185, -0.00024861469864845276, -0.00023478269577026367, -0.00022095069289207458, -0.0002071186900138855, -0.0001932866871356964, -0.00017945468425750732, -0.00016562268137931824, -0.00015179067850112915, -0.00013795867562294006, -0.00012412667274475098, -0.00011029466986656189, -9.64626669883728e-05, -8.263066411018372e-05, -6.879866123199463e-05, -5.496665835380554e-05, -4.1134655475616455e-05, -2.7302652597427368e-05, -1.3470649719238281e-05, 3.6135315895080566e-07, 1.4193356037139893e-05, 2.802535891532898e-05, 4.1857361793518066e-05, 5.568936467170715e-05, 6.952136754989624e-05, 8.335337042808533e-05, 9.718537330627441e-05, 0.0001110173761844635, 0.0001248493790626526, 0.00013868138194084167, 0.00015251338481903076, 0.00016634538769721985, 0.00018017739057540894, 0.00019400939345359802, 0.0002078413963317871, 0.0002216733992099762, 0.00023550540208816528, 0.00024933740496635437, 0.00026316940784454346, 0.00027700141072273254, 0.00029083341360092163, 0.0003046654164791107, 0.0003184974193572998, 0.0003323294222354889, 0.000346161425113678, 0.00035999342799186707, 0.00037382543087005615, 0.00038765743374824524, 0.0004014894366264343, 0.0004153214395046234, 0.0004291534423828125]}, "gradients/encoder.encoder.layers.2.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0, 3.0, 25.0, 96.0, 249.0, 332.0, 218.0, 72.0, 19.0, 5.0], "bins": [-0.00012052059173583984, -0.00011848937720060349, -0.00011645816266536713, -0.00011442694813013077, -0.00011239573359489441, -0.00011036451905965805, -0.00010833330452442169, -0.00010630208998918533, -0.00010427087545394897, -0.00010223966091871262, -0.00010020844638347626, -9.81772318482399e-05, -9.614601731300354e-05, -9.411480277776718e-05, -9.208358824253082e-05, -9.005237370729446e-05, -8.80211591720581e-05, -8.598994463682175e-05, -8.395873010158539e-05, -8.192751556634903e-05, -7.989630103111267e-05, -7.786508649587631e-05, -7.583387196063995e-05, -7.38026574254036e-05, -7.177144289016724e-05, -6.974022835493088e-05, -6.770901381969452e-05, -6.567779928445816e-05, -6.36465847492218e-05, -6.161537021398544e-05, -5.9584155678749084e-05, -5.7552941143512726e-05, -5.552172660827637e-05, -5.349051207304001e-05, -5.145929753780365e-05, -4.942808300256729e-05, -4.739686846733093e-05, -4.5365653932094574e-05, -4.3334439396858215e-05, -4.130322486162186e-05, -3.92720103263855e-05, -3.724079579114914e-05, -3.520958125591278e-05, -3.317836672067642e-05, -3.1147152185440063e-05, -2.9115937650203705e-05, -2.7084723114967346e-05, -2.5053508579730988e-05, -2.302229404449463e-05, -2.099107950925827e-05, -1.895986497402191e-05, -1.6928650438785553e-05, -1.4897435903549194e-05, -1.2866221368312836e-05, -1.0835006833076477e-05, -8.803792297840118e-06, -6.77257776260376e-06, -4.741363227367401e-06, -2.7101486921310425e-06, -6.789341568946838e-07, 1.3522803783416748e-06, 3.3834949135780334e-06, 5.414709448814392e-06, 7.445923984050751e-06, 9.47713851928711e-06]}, "gradients/encoder.encoder.layers.2.attention.v_proj.weight": {"_type": "histogram", "values": [2.0, 2.0, 0.0, 2.0, 2.0, 0.0, 0.0, 2.0, 2.0, 5.0, 5.0, 7.0, 10.0, 18.0, 29.0, 40.0, 57.0, 113.0, 165.0, 251.0, 411.0, 735.0, 1419.0, 3091.0, 6696.0, 15933.0, 45948.0, 698864.0, 211462.0, 38009.0, 13708.0, 5757.0, 2819.0, 1280.0, 670.0, 413.0, 246.0, 126.0, 97.0, 62.0, 28.0, 23.0, 21.0, 5.0, 13.0, 7.0, 3.0, 2.0, 5.0, 4.0, 2.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.310773849487305e-05, -5.120597779750824e-05, -4.930421710014343e-05, -4.7402456402778625e-05, -4.550069570541382e-05, -4.359893500804901e-05, -4.1697174310684204e-05, -3.97954136133194e-05, -3.789365291595459e-05, -3.599189221858978e-05, -3.4090131521224976e-05, -3.218837082386017e-05, -3.028661012649536e-05, -2.8384849429130554e-05, -2.6483088731765747e-05, -2.458132803440094e-05, -2.2679567337036133e-05, -2.0777806639671326e-05, -1.887604594230652e-05, -1.697428524494171e-05, -1.5072524547576904e-05, -1.3170763850212097e-05, -1.126900315284729e-05, -9.367242455482483e-06, -7.465481758117676e-06, -5.563721060752869e-06, -3.6619603633880615e-06, -1.7601996660232544e-06, 1.4156103134155273e-07, 2.04332172870636e-06, 3.945082426071167e-06, 5.846843123435974e-06, 7.748603820800781e-06, 9.650364518165588e-06, 1.1552125215530396e-05, 1.3453885912895203e-05, 1.535564661026001e-05, 1.7257407307624817e-05, 1.9159168004989624e-05, 2.106092870235443e-05, 2.2962689399719238e-05, 2.4864450097084045e-05, 2.6766210794448853e-05, 2.866797149181366e-05, 3.056973218917847e-05, 3.2471492886543274e-05, 3.437325358390808e-05, 3.627501428127289e-05, 3.8176774978637695e-05, 4.00785356760025e-05, 4.198029637336731e-05, 4.388205707073212e-05, 4.5783817768096924e-05, 4.768557846546173e-05, 4.958733916282654e-05, 5.1489099860191345e-05, 5.339086055755615e-05, 5.529262125492096e-05, 5.7194381952285767e-05, 5.9096142649650574e-05, 6.099790334701538e-05, 6.289966404438019e-05, 6.4801424741745e-05, 6.67031854391098e-05, 6.860494613647461e-05]}, "gradients/encoder.encoder.layers.2.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0, 2.0, 4.0, 6.0, 7.0, 6.0, 8.0, 13.0, 12.0, 15.0, 7.0, 21.0, 27.0, 35.0, 42.0, 52.0, 125.0, 286.0, 66.0, 55.0, 35.0, 42.0, 35.0, 31.0, 24.0, 11.0, 11.0, 10.0, 9.0, 3.0, 7.0, 1.0, 5.0, 0.0, 1.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.500980377197266e-05, -9.245332330465317e-05, -8.989684283733368e-05, -8.734036237001419e-05, -8.47838819026947e-05, -8.222740143537521e-05, -7.967092096805573e-05, -7.711444050073624e-05, -7.455796003341675e-05, -7.200147956609726e-05, -6.944499909877777e-05, -6.688851863145828e-05, -6.43320381641388e-05, -6.17755576968193e-05, -5.921907722949982e-05, -5.666259676218033e-05, -5.410611629486084e-05, -5.154963582754135e-05, -4.899315536022186e-05, -4.6436674892902374e-05, -4.3880194425582886e-05, -4.13237139582634e-05, -3.876723349094391e-05, -3.621075302362442e-05, -3.365427255630493e-05, -3.109779208898544e-05, -2.8541311621665955e-05, -2.5984831154346466e-05, -2.3428350687026978e-05, -2.087187021970749e-05, -1.8315389752388e-05, -1.5758909285068512e-05, -1.3202428817749023e-05, -1.0645948350429535e-05, -8.089467883110046e-06, -5.532987415790558e-06, -2.9765069484710693e-06, -4.200264811515808e-07, 2.1364539861679077e-06, 4.692934453487396e-06, 7.249414920806885e-06, 9.805895388126373e-06, 1.2362375855445862e-05, 1.491885632276535e-05, 1.747533679008484e-05, 2.0031817257404327e-05, 2.2588297724723816e-05, 2.5144778192043304e-05, 2.7701258659362793e-05, 3.025773912668228e-05, 3.281421959400177e-05, 3.537070006132126e-05, 3.792718052864075e-05, 4.0483660995960236e-05, 4.3040141463279724e-05, 4.559662193059921e-05, 4.81531023979187e-05, 5.070958286523819e-05, 5.326606333255768e-05, 5.582254379987717e-05, 5.8379024267196655e-05, 6.0935504734516144e-05, 6.349198520183563e-05, 6.604846566915512e-05, 6.860494613647461e-05]}, "gradients/encoder.encoder.layers.2.attention.k_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 2.0, 0.0, 1.0, 1.0, 2.0, 3.0, 3.0, 1.0, 2.0, 7.0, 13.0, 16.0, 27.0, 42.0, 52.0, 102.0, 92.0, 203.0, 334.0, 765.0, 1128.0, 2937.0, 5497.0, 20794.0, 69450.0, 845919.0, 69105.0, 20689.0, 5553.0, 3080.0, 1315.0, 514.0, 377.0, 178.0, 128.0, 71.0, 52.0, 31.0, 20.0, 18.0, 22.0, 9.0, 6.0, 2.0, 4.0, 3.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-7.68899917602539e-06, -7.418915629386902e-06, -7.148832082748413e-06, -6.878748536109924e-06, -6.6086649894714355e-06, -6.338581442832947e-06, -6.068497896194458e-06, -5.798414349555969e-06, -5.5283308029174805e-06, -5.258247256278992e-06, -4.988163709640503e-06, -4.718080163002014e-06, -4.447996616363525e-06, -4.177913069725037e-06, -3.907829523086548e-06, -3.637745976448059e-06, -3.3676624298095703e-06, -3.0975788831710815e-06, -2.8274953365325928e-06, -2.557411789894104e-06, -2.2873282432556152e-06, -2.0172446966171265e-06, -1.7471611499786377e-06, -1.477077603340149e-06, -1.2069940567016602e-06, -9.369105100631714e-07, -6.668269634246826e-07, -3.9674341678619385e-07, -1.2665987014770508e-07, 1.434236764907837e-07, 4.1350722312927246e-07, 6.835907697677612e-07, 9.5367431640625e-07, 1.2237578630447388e-06, 1.4938414096832275e-06, 1.7639249563217163e-06, 2.034008502960205e-06, 2.304092049598694e-06, 2.5741755962371826e-06, 2.8442591428756714e-06, 3.11434268951416e-06, 3.384426236152649e-06, 3.6545097827911377e-06, 3.9245933294296265e-06, 4.194676876068115e-06, 4.464760422706604e-06, 4.734843969345093e-06, 5.0049275159835815e-06, 5.27501106262207e-06, 5.545094609260559e-06, 5.815178155899048e-06, 6.085261702537537e-06, 6.355345249176025e-06, 6.625428795814514e-06, 6.895512342453003e-06, 7.165595889091492e-06, 7.4356794357299805e-06, 7.70576298236847e-06, 7.975846529006958e-06, 8.245930075645447e-06, 8.516013622283936e-06, 8.786097168922424e-06, 9.056180715560913e-06, 9.326264262199402e-06, 9.59634780883789e-06]}, "gradients/encoder.encoder.layers.2.attention.k_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0, 1.0, 1.0, 2.0, 1.0, 2.0, 5.0, 1.0, 5.0, 5.0, 3.0, 11.0, 5.0, 3.0, 8.0, 6.0, 20.0, 19.0, 36.0, 42.0, 51.0, 76.0, 308.0, 128.0, 73.0, 62.0, 28.0, 35.0, 16.0, 15.0, 5.0, 9.0, 4.0, 5.0, 2.0, 4.0, 4.0, 1.0, 3.0, 1.0, 2.0, 2.0, 0.0, 2.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-5.424022674560547e-06, -5.2480027079582214e-06, -5.071982741355896e-06, -4.8959627747535706e-06, -4.719942808151245e-06, -4.54392284154892e-06, -4.367902874946594e-06, -4.191882908344269e-06, -4.015862941741943e-06, -3.839842975139618e-06, -3.6638230085372925e-06, -3.487803041934967e-06, -3.3117830753326416e-06, -3.135763108730316e-06, -2.9597431421279907e-06, -2.7837231755256653e-06, -2.60770320892334e-06, -2.4316832423210144e-06, -2.255663275718689e-06, -2.0796433091163635e-06, -1.903623342514038e-06, -1.7276033759117126e-06, -1.5515834093093872e-06, -1.3755634427070618e-06, -1.1995434761047363e-06, -1.0235235095024109e-06, -8.475035429000854e-07, -6.7148357629776e-07, -4.954636096954346e-07, -3.1944364309310913e-07, -1.434236764907837e-07, 3.259629011154175e-08, 2.086162567138672e-07, 3.8463622331619263e-07, 5.606561899185181e-07, 7.366761565208435e-07, 9.126961231231689e-07, 1.0887160897254944e-06, 1.2647360563278198e-06, 1.4407560229301453e-06, 1.6167759895324707e-06, 1.7927959561347961e-06, 1.9688159227371216e-06, 2.144835889339447e-06, 2.3208558559417725e-06, 2.496875822544098e-06, 2.6728957891464233e-06, 2.8489157557487488e-06, 3.0249357223510742e-06, 3.2009556889533997e-06, 3.376975655555725e-06, 3.5529956221580505e-06, 3.729015588760376e-06, 3.905035555362701e-06, 4.081055521965027e-06, 4.257075488567352e-06, 4.433095455169678e-06, 4.609115421772003e-06, 4.785135388374329e-06, 4.961155354976654e-06, 5.1371753215789795e-06, 5.313195288181305e-06, 5.48921525478363e-06, 5.665235221385956e-06, 5.841255187988281e-06]}, "gradients/encoder.encoder.layers.2.attention.q_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 2.0, 5.0, 2.0, 9.0, 4.0, 14.0, 23.0, 24.0, 32.0, 61.0, 55.0, 128.0, 212.0, 333.0, 589.0, 1127.0, 2114.0, 4348.0, 10687.0, 33298.0, 114723.0, 791944.0, 60477.0, 16345.0, 6104.0, 2685.0, 1355.0, 709.0, 445.0, 253.0, 146.0, 88.0, 70.0, 44.0, 33.0, 25.0, 16.0, 10.0, 7.0, 5.0, 7.0, 3.0, 3.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.417533874511719e-06, -9.125098586082458e-06, -8.832663297653198e-06, -8.540228009223938e-06, -8.247792720794678e-06, -7.955357432365417e-06, -7.662922143936157e-06, -7.370486855506897e-06, -7.078051567077637e-06, -6.7856162786483765e-06, -6.493180990219116e-06, -6.200745701789856e-06, -5.908310413360596e-06, -5.6158751249313354e-06, -5.323439836502075e-06, -5.031004548072815e-06, -4.738569259643555e-06, -4.4461339712142944e-06, -4.153698682785034e-06, -3.861263394355774e-06, -3.5688281059265137e-06, -3.2763928174972534e-06, -2.983957529067993e-06, -2.691522240638733e-06, -2.3990869522094727e-06, -2.1066516637802124e-06, -1.8142163753509521e-06, -1.521781086921692e-06, -1.2293457984924316e-06, -9.369105100631714e-07, -6.444752216339111e-07, -3.520399332046509e-07, -5.960464477539063e-08, 2.3283064365386963e-07, 5.252659320831299e-07, 8.177012205123901e-07, 1.1101365089416504e-06, 1.4025717973709106e-06, 1.695007085800171e-06, 1.987442374229431e-06, 2.2798776626586914e-06, 2.5723129510879517e-06, 2.864748239517212e-06, 3.157183527946472e-06, 3.4496188163757324e-06, 3.7420541048049927e-06, 4.034489393234253e-06, 4.326924681663513e-06, 4.6193599700927734e-06, 4.911795258522034e-06, 5.204230546951294e-06, 5.496665835380554e-06, 5.7891011238098145e-06, 6.081536412239075e-06, 6.373971700668335e-06, 6.666406989097595e-06, 6.9588422775268555e-06, 7.251277565956116e-06, 7.543712854385376e-06, 7.836148142814636e-06, 8.128583431243896e-06, 8.421018719673157e-06, 8.713454008102417e-06, 9.005889296531677e-06, 9.298324584960938e-06]}, "gradients/encoder.encoder.layers.2.attention.q_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 1.0, 2.0, 1.0, 3.0, 1.0, 2.0, 5.0, 2.0, 1.0, 2.0, 2.0, 9.0, 8.0, 5.0, 11.0, 10.0, 13.0, 22.0, 27.0, 16.0, 40.0, 40.0, 63.0, 173.0, 210.0, 91.0, 42.0, 38.0, 30.0, 28.0, 26.0, 19.0, 13.0, 17.0, 8.0, 7.0, 2.0, 4.0, 6.0, 3.0, 5.0, 5.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-9.238719940185547e-06, -8.976086974143982e-06, -8.713454008102417e-06, -8.450821042060852e-06, -8.188188076019287e-06, -7.925555109977722e-06, -7.662922143936157e-06, -7.400289177894592e-06, -7.137656211853027e-06, -6.875023245811462e-06, -6.6123902797698975e-06, -6.3497573137283325e-06, -6.087124347686768e-06, -5.824491381645203e-06, -5.561858415603638e-06, -5.299225449562073e-06, -5.036592483520508e-06, -4.773959517478943e-06, -4.511326551437378e-06, -4.248693585395813e-06, -3.986060619354248e-06, -3.723427653312683e-06, -3.460794687271118e-06, -3.1981617212295532e-06, -2.9355287551879883e-06, -2.6728957891464233e-06, -2.4102628231048584e-06, -2.1476298570632935e-06, -1.8849968910217285e-06, -1.6223639249801636e-06, -1.3597309589385986e-06, -1.0970979928970337e-06, -8.344650268554688e-07, -5.718320608139038e-07, -3.0919909477233887e-07, -4.6566128730773926e-08, 2.1606683731079102e-07, 4.78699803352356e-07, 7.413327693939209e-07, 1.0039657354354858e-06, 1.2665987014770508e-06, 1.5292316675186157e-06, 1.7918646335601807e-06, 2.0544975996017456e-06, 2.3171305656433105e-06, 2.5797635316848755e-06, 2.8423964977264404e-06, 3.1050294637680054e-06, 3.3676624298095703e-06, 3.6302953958511353e-06, 3.8929283618927e-06, 4.155561327934265e-06, 4.41819429397583e-06, 4.680827260017395e-06, 4.94346022605896e-06, 5.206093192100525e-06, 5.46872615814209e-06, 5.731359124183655e-06, 5.99399209022522e-06, 6.256625056266785e-06, 6.51925802230835e-06, 6.7818909883499146e-06, 7.0445239543914795e-06, 7.3071569204330444e-06, 7.569789886474609e-06]}, "gradients/encoder.encoder.layers.2.layer_norm.weight": {"_type": "histogram", "values": [3.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 3.0, 4.0, 1.0, 1.0, 5.0, 7.0, 9.0, 14.0, 9.0, 18.0, 17.0, 57.0, 81.0, 137.0, 312.0, 113.0, 76.0, 50.0, 27.0, 28.0, 8.0, 9.0, 7.0, 8.0, 3.0, 2.0, 0.0, 2.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00024026446044445038, -0.0002307893882971257, -0.00022131431614980102, -0.00021183924400247633, -0.00020236417185515165, -0.00019288909970782697, -0.0001834140275605023, -0.0001739389554131776, -0.00016446388326585293, -0.00015498881111852825, -0.00014551373897120357, -0.00013603866682387888, -0.0001265635946765542, -0.00011708852252922952, -0.00010761345038190484, -9.813837823458016e-05, -8.866330608725548e-05, -7.91882339399308e-05, -6.971316179260612e-05, -6.0238089645281434e-05, -5.076301749795675e-05, -4.128794535063207e-05, -3.181287320330739e-05, -2.233780105598271e-05, -1.2862728908658028e-05, -3.3876567613333464e-06, 6.087415385991335e-06, 1.5562487533316016e-05, 2.5037559680640697e-05, 3.451263182796538e-05, 4.398770397529006e-05, 5.346277612261474e-05, 6.293787737376988e-05, 7.241294952109456e-05, 8.188802166841924e-05, 9.136309381574392e-05, 0.0001008381659630686, 0.00011031323811039329, 0.00011978831025771797, 0.00012926338240504265, 0.00013873845455236733, 0.000148213526699692, 0.0001576885988470167, 0.00016716367099434137, 0.00017663874314166605, 0.00018611381528899074, 0.00019558888743631542, 0.0002050639595836401, 0.00021453903173096478, 0.00022401410387828946, 0.00023348917602561414, 0.00024296424817293882, 0.0002524393203202635, 0.0002619143924675882, 0.00027138946461491287, 0.00028086453676223755, 0.00029033960890956223, 0.0002998146810568869, 0.0003092897532042116, 0.0003187648253515363, 0.00032823989749886096, 0.00033771496964618564, 0.0003471900417935103, 0.000356665113940835, 0.0003661401860881597]}, "gradients/encoder.encoder.layers.2.layer_norm.bias": {"_type": "histogram", "values": [2.0, 2.0, 2.0, 1.0, 3.0, 11.0, 10.0, 21.0, 26.0, 30.0, 33.0, 52.0, 67.0, 83.0, 145.0, 184.0, 73.0, 80.0, 51.0, 33.0, 34.0, 24.0, 24.0, 10.0, 8.0, 7.0, 4.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00018531084060668945, -0.00017300061881542206, -0.00016069039702415466, -0.00014838017523288727, -0.00013606995344161987, -0.00012375973165035248, -0.00011144950985908508, -9.913928806781769e-05, -8.682906627655029e-05, -7.45188444852829e-05, -6.22086226940155e-05, -4.989840090274811e-05, -3.758817911148071e-05, -2.5277957320213318e-05, -1.2967735528945923e-05, -6.575137376785278e-07, 1.1652708053588867e-05, 2.3962929844856262e-05, 3.627315163612366e-05, 4.858337342739105e-05, 6.089359521865845e-05, 7.320381700992584e-05, 8.551403880119324e-05, 9.782426059246063e-05, 0.00011013448238372803, 0.00012244470417499542, 0.00013475492596626282, 0.0001470651477575302, 0.0001593753695487976, 0.000171685591340065, 0.0001839958131313324, 0.0001963060349225998, 0.0002086162567138672, 0.00022092647850513458, 0.00023323670029640198, 0.00024554692208766937, 0.00025785714387893677, 0.00027016736567020416, 0.00028247758746147156, 0.00029478780925273895, 0.00030709803104400635, 0.00031940825283527374, 0.00033171847462654114, 0.00034402869641780853, 0.00035633891820907593, 0.0003686491400003433, 0.0003809593617916107, 0.0003932695835828781, 0.0004055798053741455, 0.0004178900271654129, 0.0004302002489566803, 0.0004425104707479477, 0.0004548206925392151, 0.0004671309143304825, 0.0004794411361217499, 0.0004917513579130173, 0.0005040615797042847, 0.0005163718014955521, 0.0005286820232868195, 0.0005409922450780869, 0.0005533024668693542, 0.0005656126886606216, 0.000577922910451889, 0.0005902331322431564, 0.0006025433540344238]}, "gradients/encoder.encoder.layers.1.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 3.0, 1.0, 2.0, 1.0, 0.0, 2.0, 0.0, 1.0, 4.0, 4.0, 2.0, 11.0, 4.0, 7.0, 6.0, 8.0, 19.0, 24.0, 56.0, 130.0, 1513.0, 4176105.0, 14535.0, 1307.0, 424.0, 83.0, 23.0, 12.0, 2.0, 1.0, 1.0, 1.0, 2.0, 0.0, 0.0, 1.0], "bins": [-0.0003325939178466797, -0.00032590795308351517, -0.00031922198832035065, -0.0003125360235571861, -0.0003058500587940216, -0.0002991640940308571, -0.00029247812926769257, -0.00028579216450452805, -0.0002791061997413635, -0.000272420234978199, -0.0002657342702150345, -0.00025904830545186996, -0.00025236234068870544, -0.0002456763759255409, -0.0002389904111623764, -0.00023230444639921188, -0.00022561848163604736, -0.00021893251687288284, -0.00021224655210971832, -0.0002055605873465538, -0.00019887462258338928, -0.00019218865782022476, -0.00018550269305706024, -0.00017881672829389572, -0.0001721307635307312, -0.00016544479876756668, -0.00015875883400440216, -0.00015207286924123764, -0.00014538690447807312, -0.0001387009397149086, -0.00013201497495174408, -0.00012532901018857956, -0.00011864304542541504, -0.00011195708066225052, -0.000105271115899086, -9.858515113592148e-05, -9.189918637275696e-05, -8.521322160959244e-05, -7.852725684642792e-05, -7.18412920832634e-05, -6.515532732009888e-05, -5.846936255693436e-05, -5.1783397793769836e-05, -4.5097433030605316e-05, -3.8411468267440796e-05, -3.1725503504276276e-05, -2.5039538741111755e-05, -1.8353573977947235e-05, -1.1667609214782715e-05, -4.981644451618195e-06, 1.7043203115463257e-06, 8.390285074710846e-06, 1.5076249837875366e-05, 2.1762214601039886e-05, 2.8448179364204407e-05, 3.513414412736893e-05, 4.182010889053345e-05, 4.850607365369797e-05, 5.519203841686249e-05, 6.187800318002701e-05, 6.856396794319153e-05, 7.524993270635605e-05, 8.193589746952057e-05, 8.862186223268509e-05, 9.530782699584961e-05]}, "gradients/encoder.encoder.layers.1.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 5.0, 15.0, 46.0, 138.0, 267.0, 253.0, 187.0, 70.0, 28.0, 6.0, 5.0], "bins": [-0.00010329484939575195, -0.000101516954600811, -9.973905980587006e-05, -9.796116501092911e-05, -9.618327021598816e-05, -9.440537542104721e-05, -9.262748062610626e-05, -9.084958583116531e-05, -8.907169103622437e-05, -8.729379624128342e-05, -8.551590144634247e-05, -8.373800665140152e-05, -8.196011185646057e-05, -8.018221706151962e-05, -7.840432226657867e-05, -7.662642747163773e-05, -7.484853267669678e-05, -7.307063788175583e-05, -7.129274308681488e-05, -6.951484829187393e-05, -6.773695349693298e-05, -6.595905870199203e-05, -6.418116390705109e-05, -6.240326911211014e-05, -6.062537431716919e-05, -5.884747952222824e-05, -5.706958472728729e-05, -5.5291689932346344e-05, -5.3513795137405396e-05, -5.173590034246445e-05, -4.99580055475235e-05, -4.818011075258255e-05, -4.64022159576416e-05, -4.462432116270065e-05, -4.2846426367759705e-05, -4.1068531572818756e-05, -3.929063677787781e-05, -3.751274198293686e-05, -3.573484718799591e-05, -3.395695239305496e-05, -3.2179057598114014e-05, -3.0401162803173065e-05, -2.8623268008232117e-05, -2.6845373213291168e-05, -2.506747841835022e-05, -2.328958362340927e-05, -2.1511688828468323e-05, -1.9733794033527374e-05, -1.7955899238586426e-05, -1.6178004443645477e-05, -1.4400109648704529e-05, -1.262221485376358e-05, -1.0844320058822632e-05, -9.066425263881683e-06, -7.288530468940735e-06, -5.510635673999786e-06, -3.732740879058838e-06, -1.9548460841178894e-06, -1.7695128917694092e-07, 1.6009435057640076e-06, 3.378838300704956e-06, 5.1567330956459045e-06, 6.934627890586853e-06, 8.712522685527802e-06, 1.049041748046875e-05]}, "gradients/encoder.encoder.layers.1.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 3.0, 2.0, 1.0, 8.0, 8.0, 16.0, 23.0, 35.0, 52.0, 78.0, 104.0, 189.0, 431.0, 978.0, 2852.0, 9552.0, 65717.0, 4011482.0, 86208.0, 11175.0, 3122.0, 1152.0, 493.0, 240.0, 137.0, 72.0, 50.0, 47.0, 22.0, 14.0, 12.0, 8.0, 5.0, 0.0, 4.0, 1.0, 0.0, 1.0, 0.0, 3.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.316734313964844e-05, -5.167163908481598e-05, -5.017593502998352e-05, -4.868023097515106e-05, -4.7184526920318604e-05, -4.5688822865486145e-05, -4.4193118810653687e-05, -4.269741475582123e-05, -4.120171070098877e-05, -3.970600664615631e-05, -3.821030259132385e-05, -3.6714598536491394e-05, -3.5218894481658936e-05, -3.372319042682648e-05, -3.222748637199402e-05, -3.073178231716156e-05, -2.92360782623291e-05, -2.7740374207496643e-05, -2.6244670152664185e-05, -2.4748966097831726e-05, -2.3253262042999268e-05, -2.175755798816681e-05, -2.026185393333435e-05, -1.8766149878501892e-05, -1.7270445823669434e-05, -1.5774741768836975e-05, -1.4279037714004517e-05, -1.2783333659172058e-05, -1.12876296043396e-05, -9.791925549507141e-06, -8.296221494674683e-06, -6.800517439842224e-06, -5.304813385009766e-06, -3.809109330177307e-06, -2.3134052753448486e-06, -8.177012205123901e-07, 6.780028343200684e-07, 2.173706889152527e-06, 3.6694109439849854e-06, 5.165114998817444e-06, 6.660819053649902e-06, 8.15652310848236e-06, 9.65222716331482e-06, 1.1147931218147278e-05, 1.2643635272979736e-05, 1.4139339327812195e-05, 1.5635043382644653e-05, 1.7130747437477112e-05, 1.862645149230957e-05, 2.012215554714203e-05, 2.1617859601974487e-05, 2.3113563656806946e-05, 2.4609267711639404e-05, 2.6104971766471863e-05, 2.760067582130432e-05, 2.909637987613678e-05, 3.059208393096924e-05, 3.20877879858017e-05, 3.3583492040634155e-05, 3.5079196095466614e-05, 3.657490015029907e-05, 3.807060420513153e-05, 3.956630825996399e-05, 4.106201231479645e-05, 4.2557716369628906e-05]}, "gradients/encoder.encoder.layers.1.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 4.0, 3.0, 2.0, 0.0, 5.0, 4.0, 8.0, 12.0, 13.0, 16.0, 47.0, 147.0, 615.0, 2180.0, 689.0, 194.0, 49.0, 27.0, 23.0, 11.0, 4.0, 7.0, 9.0, 6.0, 2.0, 4.0, 3.0, 2.0, 0.0, 0.0, 2.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-5.1021575927734375e-05, -4.9627386033535004e-05, -4.823319613933563e-05, -4.683900624513626e-05, -4.544481635093689e-05, -4.405062645673752e-05, -4.265643656253815e-05, -4.1262246668338776e-05, -3.9868056774139404e-05, -3.847386687994003e-05, -3.707967698574066e-05, -3.568548709154129e-05, -3.429129719734192e-05, -3.289710730314255e-05, -3.1502917408943176e-05, -3.0108727514743805e-05, -2.8714537620544434e-05, -2.7320347726345062e-05, -2.592615783214569e-05, -2.453196793794632e-05, -2.3137778043746948e-05, -2.1743588149547577e-05, -2.0349398255348206e-05, -1.8955208361148834e-05, -1.7561018466949463e-05, -1.616682857275009e-05, -1.477263867855072e-05, -1.3378448784351349e-05, -1.1984258890151978e-05, -1.0590068995952606e-05, -9.195879101753235e-06, -7.801689207553864e-06, -6.407499313354492e-06, -5.013309419155121e-06, -3.6191195249557495e-06, -2.224929630756378e-06, -8.307397365570068e-07, 5.634501576423645e-07, 1.957640051841736e-06, 3.351829946041107e-06, 4.7460198402404785e-06, 6.14020973443985e-06, 7.534399628639221e-06, 8.928589522838593e-06, 1.0322779417037964e-05, 1.1716969311237335e-05, 1.3111159205436707e-05, 1.4505349099636078e-05, 1.589953899383545e-05, 1.729372888803482e-05, 1.8687918782234192e-05, 2.0082108676433563e-05, 2.1476298570632935e-05, 2.2870488464832306e-05, 2.4264678359031677e-05, 2.565886825323105e-05, 2.705305814743042e-05, 2.844724804162979e-05, 2.9841437935829163e-05, 3.1235627830028534e-05, 3.2629817724227905e-05, 3.4024007618427277e-05, 3.541819751262665e-05, 3.681238740682602e-05, 3.820657730102539e-05]}, "gradients/encoder.encoder.layers.1.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 0.0, 2.0, 2.0, 3.0, 17.0, 32.0, 94.0, 264.0, 372.0, 123.0, 58.0, 22.0, 12.0, 10.0, 1.0, 2.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0001865794329205528, -0.00017427325656171888, -0.00016196706565096974, -0.00014966088929213583, -0.0001373546983813867, -0.0001250485220225528, -0.00011274233838776127, -0.00010043615475296974, -8.812997111817822e-05, -7.58237874833867e-05, -6.351760384859517e-05, -5.1211423851782456e-05, -3.890524021699093e-05, -2.6599060220178217e-05, -1.4292876585386693e-05, -1.9866929505951703e-06, 1.0319490684196353e-05, 2.2625674318987876e-05, 3.49318579537794e-05, 4.7238037950592116e-05, 5.954422158538364e-05, 7.185040158219635e-05, 8.415658521698788e-05, 9.64627688517794e-05, 0.00010876895248657092, 0.00012107513612136245, 0.00013338131248019636, 0.0001456875033909455, 0.0001579936797497794, 0.00017029987066052854, 0.00018260604701936245, 0.00019491222337819636, 0.00020721842884086072, 0.00021952460519969463, 0.00023183079611044377, 0.00024413697246927768, 0.0002564431633800268, 0.0002687493397388607, 0.00028105551609769464, 0.000293361721560359, 0.0003056678979191929, 0.0003179740742780268, 0.00033028025063686073, 0.0003425864560995251, 0.000354892632458359, 0.0003671988088171929, 0.0003795049851760268, 0.0003918111906386912, 0.00040411733789369464, 0.00041642351425252855, 0.00042872969061136246, 0.0004410358960740268, 0.00045334207243286073, 0.00046564824879169464, 0.00047795442515052855, 0.0004902606015093625, 0.0005025668069720268, 0.0005148730124346912, 0.0005271791596896946, 0.000539485365152359, 0.0005517915124073625, 0.0005640977178700268, 0.0005764039233326912, 0.0005887100705876946, 0.000601016276050359]}, "gradients/encoder.encoder.layers.1.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 3.0, 5.0, 1.0, 0.0, 5.0, 4.0, 6.0, 6.0, 8.0, 6.0, 15.0, 12.0, 15.0, 8.0, 12.0, 14.0, 20.0, 27.0, 37.0, 44.0, 28.0, 48.0, 36.0, 49.0, 50.0, 54.0, 64.0, 50.0, 52.0, 47.0, 42.0, 27.0, 36.0, 31.0, 30.0, 19.0, 17.0, 21.0, 12.0, 12.0, 8.0, 11.0, 6.0, 7.0, 0.0, 1.0, 5.0, 0.0, 1.0, 2.0, 0.0, 1.0, 2.0, 3.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-8.279085159301758e-05, -7.971841841936111e-05, -7.664598524570465e-05, -7.357355207204819e-05, -7.050111889839172e-05, -6.742868572473526e-05, -6.43562525510788e-05, -6.128381937742233e-05, -5.821138620376587e-05, -5.5138953030109406e-05, -5.206651985645294e-05, -4.899408668279648e-05, -4.5921653509140015e-05, -4.284922033548355e-05, -3.977678716182709e-05, -3.6704353988170624e-05, -3.363192081451416e-05, -3.0559487640857697e-05, -2.7487054467201233e-05, -2.441462129354477e-05, -2.1342188119888306e-05, -1.8269754946231842e-05, -1.5197321772575378e-05, -1.2124888598918915e-05, -9.052455425262451e-06, -5.9800222516059875e-06, -2.907589077949524e-06, 1.648440957069397e-07, 3.2372772693634033e-06, 6.309710443019867e-06, 9.38214361667633e-06, 1.2454576790332794e-05, 1.5527009963989258e-05, 1.859944313764572e-05, 2.1671876311302185e-05, 2.474430948495865e-05, 2.7816742658615112e-05, 3.0889175832271576e-05, 3.396160900592804e-05, 3.70340421795845e-05, 4.010647535324097e-05, 4.317890852689743e-05, 4.6251341700553894e-05, 4.932377487421036e-05, 5.239620804786682e-05, 5.5468641221523285e-05, 5.854107439517975e-05, 6.161350756883621e-05, 6.468594074249268e-05, 6.775837391614914e-05, 7.08308070898056e-05, 7.390324026346207e-05, 7.697567343711853e-05, 8.0048106610775e-05, 8.312053978443146e-05, 8.619297295808792e-05, 8.926540613174438e-05, 9.233783930540085e-05, 9.541027247905731e-05, 9.848270565271378e-05, 0.00010155513882637024, 0.0001046275720000267, 0.00010770000517368317, 0.00011077243834733963, 0.0001138448715209961]}, "gradients/encoder.encoder.layers.1.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 5.0, 3.0, 1.0, 4.0, 2.0, 1.0, 3.0, 6.0, 10.0, 12.0, 11.0, 20.0, 26.0, 30.0, 48.0, 54.0, 79.0, 255.0, 6876.0, 1018548.0, 21713.0, 492.0, 101.0, 58.0, 44.0, 43.0, 28.0, 20.0, 13.0, 11.0, 13.0, 9.0, 8.0, 5.0, 3.0, 5.0, 3.0, 2.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.00024628639221191406, -0.00023895874619483948, -0.0002316311001777649, -0.0002243034541606903, -0.00021697580814361572, -0.00020964816212654114, -0.00020232051610946655, -0.00019499287009239197, -0.00018766522407531738, -0.0001803375780582428, -0.0001730099320411682, -0.00016568228602409363, -0.00015835464000701904, -0.00015102699398994446, -0.00014369934797286987, -0.0001363717019557953, -0.0001290440559387207, -0.00012171640992164612, -0.00011438876390457153, -0.00010706111788749695, -9.973347187042236e-05, -9.240582585334778e-05, -8.50781798362732e-05, -7.775053381919861e-05, -7.042288780212402e-05, -6.309524178504944e-05, -5.5767595767974854e-05, -4.843994975090027e-05, -4.1112303733825684e-05, -3.37846577167511e-05, -2.6457011699676514e-05, -1.912936568260193e-05, -1.1801719665527344e-05, -4.474073648452759e-06, 2.853572368621826e-06, 1.0181218385696411e-05, 1.7508864402770996e-05, 2.483651041984558e-05, 3.2164156436920166e-05, 3.949180245399475e-05, 4.6819448471069336e-05, 5.414709448814392e-05, 6.14747405052185e-05, 6.880238652229309e-05, 7.613003253936768e-05, 8.345767855644226e-05, 9.078532457351685e-05, 9.811297059059143e-05, 0.00010544061660766602, 0.0001127682626247406, 0.00012009590864181519, 0.00012742355465888977, 0.00013475120067596436, 0.00014207884669303894, 0.00014940649271011353, 0.0001567341387271881, 0.0001640617847442627, 0.00017138943076133728, 0.00017871707677841187, 0.00018604472279548645, 0.00019337236881256104, 0.00020070001482963562, 0.0002080276608467102, 0.0002153553068637848, 0.00022268295288085938]}, "gradients/encoder.encoder.layers.1.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 1.0, 9.0, 33.0, 88.0, 181.0, 241.0, 231.0, 146.0, 57.0, 17.0, 11.0, 3.0], "bins": [-0.00010192394256591797, -0.00010015815496444702, -9.839236736297607e-05, -9.662657976150513e-05, -9.486079216003418e-05, -9.309500455856323e-05, -9.132921695709229e-05, -8.956342935562134e-05, -8.779764175415039e-05, -8.603185415267944e-05, -8.42660665512085e-05, -8.250027894973755e-05, -8.07344913482666e-05, -7.896870374679565e-05, -7.720291614532471e-05, -7.543712854385376e-05, -7.367134094238281e-05, -7.190555334091187e-05, -7.013976573944092e-05, -6.837397813796997e-05, -6.660819053649902e-05, -6.484240293502808e-05, -6.307661533355713e-05, -6.131082773208618e-05, -5.9545040130615234e-05, -5.777925252914429e-05, -5.601346492767334e-05, -5.424767732620239e-05, -5.2481889724731445e-05, -5.07161021232605e-05, -4.895031452178955e-05, -4.7184526920318604e-05, -4.5418739318847656e-05, -4.365295171737671e-05, -4.188716411590576e-05, -4.0121376514434814e-05, -3.835558891296387e-05, -3.658980131149292e-05, -3.482401371002197e-05, -3.3058226108551025e-05, -3.129243850708008e-05, -2.952665090560913e-05, -2.7760863304138184e-05, -2.5995075702667236e-05, -2.422928810119629e-05, -2.2463500499725342e-05, -2.0697712898254395e-05, -1.8931925296783447e-05, -1.71661376953125e-05, -1.5400350093841553e-05, -1.3634562492370605e-05, -1.1868774890899658e-05, -1.0102987289428711e-05, -8.337199687957764e-06, -6.571412086486816e-06, -4.805624485015869e-06, -3.039836883544922e-06, -1.2740492820739746e-06, 4.917383193969727e-07, 2.25752592086792e-06, 4.023313522338867e-06, 5.7891011238098145e-06, 7.554888725280762e-06, 9.320676326751709e-06, 1.1086463928222656e-05]}, "gradients/encoder.encoder.layers.1.attention.v_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 3.0, 2.0, 2.0, 4.0, 5.0, 3.0, 2.0, 15.0, 22.0, 17.0, 21.0, 19.0, 44.0, 67.0, 101.0, 139.0, 215.0, 445.0, 1132.0, 5320.0, 46701.0, 959404.0, 29253.0, 3708.0, 943.0, 365.0, 204.0, 120.0, 78.0, 50.0, 42.0, 28.0, 20.0, 19.0, 12.0, 9.0, 7.0, 9.0, 1.0, 1.0, 3.0, 5.0, 2.0, 3.0, 2.0, 2.0, 1.0], "bins": [-0.00010204315185546875, -9.938608855009079e-05, -9.672902524471283e-05, -9.407196193933487e-05, -9.141489863395691e-05, -8.875783532857895e-05, -8.610077202320099e-05, -8.344370871782303e-05, -8.078664541244507e-05, -7.812958210706711e-05, -7.547251880168915e-05, -7.281545549631119e-05, -7.015839219093323e-05, -6.750132888555527e-05, -6.484426558017731e-05, -6.218720227479935e-05, -5.953013896942139e-05, -5.6873075664043427e-05, -5.4216012358665466e-05, -5.1558949053287506e-05, -4.8901885747909546e-05, -4.6244822442531586e-05, -4.3587759137153625e-05, -4.0930695831775665e-05, -3.8273632526397705e-05, -3.5616569221019745e-05, -3.2959505915641785e-05, -3.0302442610263824e-05, -2.7645379304885864e-05, -2.4988315999507904e-05, -2.2331252694129944e-05, -1.9674189388751984e-05, -1.7017126083374023e-05, -1.4360062777996063e-05, -1.1702999472618103e-05, -9.045936167240143e-06, -6.388872861862183e-06, -3.7318095564842224e-06, -1.0747462511062622e-06, 1.582317054271698e-06, 4.239380359649658e-06, 6.896443665027618e-06, 9.553506970405579e-06, 1.2210570275783539e-05, 1.4867633581161499e-05, 1.752469688653946e-05, 2.018176019191742e-05, 2.283882349729538e-05, 2.549588680267334e-05, 2.81529501080513e-05, 3.081001341342926e-05, 3.346707671880722e-05, 3.612414002418518e-05, 3.878120332956314e-05, 4.14382666349411e-05, 4.409532994031906e-05, 4.675239324569702e-05, 4.940945655107498e-05, 5.206651985645294e-05, 5.47235831618309e-05, 5.738064646720886e-05, 6.003770977258682e-05, 6.269477307796478e-05, 6.535183638334274e-05, 6.80088996887207e-05]}, "gradients/encoder.encoder.layers.1.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 3.0, 0.0, 2.0, 1.0, 2.0, 5.0, 6.0, 4.0, 4.0, 8.0, 8.0, 13.0, 16.0, 12.0, 16.0, 20.0, 21.0, 30.0, 46.0, 65.0, 131.0, 249.0, 92.0, 52.0, 43.0, 33.0, 25.0, 25.0, 14.0, 7.0, 11.0, 17.0, 5.0, 3.0, 5.0, 8.0, 4.0, 4.0, 2.0, 1.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.97834587097168e-05, -5.780719220638275e-05, -5.5830925703048706e-05, -5.385465919971466e-05, -5.1878392696380615e-05, -4.990212619304657e-05, -4.7925859689712524e-05, -4.594959318637848e-05, -4.3973326683044434e-05, -4.199706017971039e-05, -4.002079367637634e-05, -3.80445271730423e-05, -3.606826066970825e-05, -3.4091994166374207e-05, -3.211572766304016e-05, -3.0139461159706116e-05, -2.816319465637207e-05, -2.6186928153038025e-05, -2.421066164970398e-05, -2.2234395146369934e-05, -2.025812864303589e-05, -1.8281862139701843e-05, -1.6305595636367798e-05, -1.4329329133033752e-05, -1.2353062629699707e-05, -1.0376796126365662e-05, -8.400529623031616e-06, -6.424263119697571e-06, -4.447996616363525e-06, -2.47173011302948e-06, -4.954636096954346e-07, 1.4808028936386108e-06, 3.4570693969726562e-06, 5.433335900306702e-06, 7.409602403640747e-06, 9.385868906974792e-06, 1.1362135410308838e-05, 1.3338401913642883e-05, 1.531466841697693e-05, 1.7290934920310974e-05, 1.926720142364502e-05, 2.1243467926979065e-05, 2.321973443031311e-05, 2.5196000933647156e-05, 2.71722674369812e-05, 2.9148533940315247e-05, 3.112480044364929e-05, 3.310106694698334e-05, 3.507733345031738e-05, 3.705359995365143e-05, 3.9029866456985474e-05, 4.100613296031952e-05, 4.2982399463653564e-05, 4.495866596698761e-05, 4.6934932470321655e-05, 4.89111989736557e-05, 5.0887465476989746e-05, 5.286373198032379e-05, 5.483999848365784e-05, 5.681626498699188e-05, 5.879253149032593e-05, 6.076879799365997e-05, 6.274506449699402e-05, 6.472133100032806e-05, 6.669759750366211e-05]}, "gradients/encoder.encoder.layers.1.attention.k_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 7.0, 0.0, 3.0, 3.0, 4.0, 5.0, 7.0, 11.0, 8.0, 17.0, 23.0, 22.0, 23.0, 33.0, 41.0, 39.0, 79.0, 146.0, 270.0, 472.0, 1158.0, 3131.0, 9091.0, 174048.0, 840855.0, 13506.0, 3181.0, 1178.0, 518.0, 210.0, 127.0, 90.0, 64.0, 44.0, 24.0, 22.0, 24.0, 25.0, 13.0, 7.0, 8.0, 5.0, 6.0, 8.0, 4.0, 3.0, 4.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0], "bins": [-1.1742115020751953e-05, -1.138634979724884e-05, -1.1030584573745728e-05, -1.0674819350242615e-05, -1.0319054126739502e-05, -9.96328890323639e-06, -9.607523679733276e-06, -9.251758456230164e-06, -8.89599323272705e-06, -8.540228009223938e-06, -8.184462785720825e-06, -7.828697562217712e-06, -7.4729323387146e-06, -7.117167115211487e-06, -6.761401891708374e-06, -6.405636668205261e-06, -6.0498714447021484e-06, -5.694106221199036e-06, -5.338340997695923e-06, -4.98257577419281e-06, -4.626810550689697e-06, -4.2710453271865845e-06, -3.915280103683472e-06, -3.559514880180359e-06, -3.203749656677246e-06, -2.8479844331741333e-06, -2.4922192096710205e-06, -2.1364539861679077e-06, -1.780688762664795e-06, -1.4249235391616821e-06, -1.0691583156585693e-06, -7.133930921554565e-07, -3.5762786865234375e-07, -1.862645149230957e-09, 3.5390257835388184e-07, 7.096678018569946e-07, 1.0654330253601074e-06, 1.4211982488632202e-06, 1.776963472366333e-06, 2.132728695869446e-06, 2.4884939193725586e-06, 2.8442591428756714e-06, 3.200024366378784e-06, 3.555789589881897e-06, 3.91155481338501e-06, 4.2673200368881226e-06, 4.623085260391235e-06, 4.978850483894348e-06, 5.334615707397461e-06, 5.690380930900574e-06, 6.0461461544036865e-06, 6.401911377906799e-06, 6.757676601409912e-06, 7.113441824913025e-06, 7.469207048416138e-06, 7.82497227191925e-06, 8.180737495422363e-06, 8.536502718925476e-06, 8.892267942428589e-06, 9.248033165931702e-06, 9.603798389434814e-06, 9.959563612937927e-06, 1.031532883644104e-05, 1.0671094059944153e-05, 1.1026859283447266e-05]}, "gradients/encoder.encoder.layers.1.attention.k_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 4.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 3.0, 2.0, 6.0, 6.0, 9.0, 20.0, 18.0, 44.0, 53.0, 199.0, 393.0, 105.0, 52.0, 23.0, 23.0, 11.0, 9.0, 2.0, 7.0, 4.0, 2.0, 5.0, 1.0, 0.0, 2.0, 0.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-8.821487426757812e-06, -8.548609912395477e-06, -8.275732398033142e-06, -8.002854883670807e-06, -7.729977369308472e-06, -7.4570998549461365e-06, -7.184222340583801e-06, -6.911344826221466e-06, -6.638467311859131e-06, -6.365589797496796e-06, -6.0927122831344604e-06, -5.819834768772125e-06, -5.54695725440979e-06, -5.274079740047455e-06, -5.00120222568512e-06, -4.7283247113227844e-06, -4.455447196960449e-06, -4.182569682598114e-06, -3.909692168235779e-06, -3.6368146538734436e-06, -3.3639371395111084e-06, -3.091059625148773e-06, -2.818182110786438e-06, -2.5453045964241028e-06, -2.2724270820617676e-06, -1.9995495676994324e-06, -1.7266720533370972e-06, -1.453794538974762e-06, -1.1809170246124268e-06, -9.080395102500916e-07, -6.351619958877563e-07, -3.6228448152542114e-07, -8.940696716308594e-08, 1.8347054719924927e-07, 4.5634806156158447e-07, 7.292255759239197e-07, 1.0021030902862549e-06, 1.27498060464859e-06, 1.5478581190109253e-06, 1.8207356333732605e-06, 2.0936131477355957e-06, 2.366490662097931e-06, 2.639368176460266e-06, 2.9122456908226013e-06, 3.1851232051849365e-06, 3.4580007195472717e-06, 3.730878233909607e-06, 4.003755748271942e-06, 4.276633262634277e-06, 4.5495107769966125e-06, 4.822388291358948e-06, 5.095265805721283e-06, 5.368143320083618e-06, 5.641020834445953e-06, 5.9138983488082886e-06, 6.186775863170624e-06, 6.459653377532959e-06, 6.732530891895294e-06, 7.005408406257629e-06, 7.278285920619965e-06, 7.5511634349823e-06, 7.824040949344635e-06, 8.09691846370697e-06, 8.369795978069305e-06, 8.64267349243164e-06]}, "gradients/encoder.encoder.layers.1.attention.q_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 3.0, 0.0, 5.0, 3.0, 0.0, 7.0, 8.0, 10.0, 5.0, 13.0, 22.0, 30.0, 39.0, 74.0, 112.0, 214.0, 601.0, 1904.0, 10842.0, 809138.0, 211452.0, 11045.0, 1890.0, 586.0, 239.0, 123.0, 56.0, 40.0, 23.0, 20.0, 16.0, 10.0, 5.0, 7.0, 8.0, 1.0, 4.0, 1.0, 2.0, 3.0, 1.0, 0.0, 2.0, 2.0, 1.0, 3.0], "bins": [-1.5497207641601562e-05, -1.5089288353919983e-05, -1.4681369066238403e-05, -1.4273449778556824e-05, -1.3865530490875244e-05, -1.3457611203193665e-05, -1.3049691915512085e-05, -1.2641772627830505e-05, -1.2233853340148926e-05, -1.1825934052467346e-05, -1.1418014764785767e-05, -1.1010095477104187e-05, -1.0602176189422607e-05, -1.0194256901741028e-05, -9.786337614059448e-06, -9.378418326377869e-06, -8.970499038696289e-06, -8.56257975101471e-06, -8.15466046333313e-06, -7.74674117565155e-06, -7.338821887969971e-06, -6.930902600288391e-06, -6.5229833126068115e-06, -6.115064024925232e-06, -5.707144737243652e-06, -5.299225449562073e-06, -4.891306161880493e-06, -4.4833868741989136e-06, -4.075467586517334e-06, -3.6675482988357544e-06, -3.259629011154175e-06, -2.8517097234725952e-06, -2.4437904357910156e-06, -2.035871148109436e-06, -1.6279518604278564e-06, -1.2200325727462769e-06, -8.121132850646973e-07, -4.041939973831177e-07, 3.725290298461914e-09, 4.116445779800415e-07, 8.195638656616211e-07, 1.2274831533432007e-06, 1.6354024410247803e-06, 2.04332172870636e-06, 2.4512410163879395e-06, 2.859160304069519e-06, 3.2670795917510986e-06, 3.6749988794326782e-06, 4.082918167114258e-06, 4.490837454795837e-06, 4.898756742477417e-06, 5.306676030158997e-06, 5.714595317840576e-06, 6.122514605522156e-06, 6.530433893203735e-06, 6.938353180885315e-06, 7.3462724685668945e-06, 7.754191756248474e-06, 8.162111043930054e-06, 8.570030331611633e-06, 8.977949619293213e-06, 9.385868906974792e-06, 9.793788194656372e-06, 1.0201707482337952e-05, 1.0609626770019531e-05]}, "gradients/encoder.encoder.layers.1.attention.q_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 2.0, 0.0, 2.0, 4.0, 2.0, 10.0, 8.0, 7.0, 7.0, 17.0, 16.0, 22.0, 44.0, 52.0, 85.0, 192.0, 183.0, 110.0, 61.0, 68.0, 33.0, 24.0, 21.0, 15.0, 8.0, 2.0, 3.0, 2.0, 2.0, 2.0, 2.0, 3.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-6.973743438720703e-06, -6.7176297307014465e-06, -6.46151602268219e-06, -6.205402314662933e-06, -5.949288606643677e-06, -5.69317489862442e-06, -5.4370611906051636e-06, -5.180947482585907e-06, -4.92483377456665e-06, -4.668720066547394e-06, -4.412606358528137e-06, -4.156492650508881e-06, -3.900378942489624e-06, -3.6442652344703674e-06, -3.388151526451111e-06, -3.1320378184318542e-06, -2.8759241104125977e-06, -2.619810402393341e-06, -2.3636966943740845e-06, -2.107582986354828e-06, -1.8514692783355713e-06, -1.5953555703163147e-06, -1.339241862297058e-06, -1.0831281542778015e-06, -8.270144462585449e-07, -5.709007382392883e-07, -3.1478703022003174e-07, -5.8673322200775146e-08, 1.9744038581848145e-07, 4.5355409383773804e-07, 7.096678018569946e-07, 9.657815098762512e-07, 1.2218952178955078e-06, 1.4780089259147644e-06, 1.734122633934021e-06, 1.9902363419532776e-06, 2.246350049972534e-06, 2.5024637579917908e-06, 2.7585774660110474e-06, 3.014691174030304e-06, 3.2708048820495605e-06, 3.526918590068817e-06, 3.7830322980880737e-06, 4.03914600610733e-06, 4.295259714126587e-06, 4.5513734221458435e-06, 4.8074871301651e-06, 5.063600838184357e-06, 5.319714546203613e-06, 5.57582825422287e-06, 5.8319419622421265e-06, 6.088055670261383e-06, 6.34416937828064e-06, 6.600283086299896e-06, 6.856396794319153e-06, 7.1125105023384094e-06, 7.368624210357666e-06, 7.624737918376923e-06, 7.88085162639618e-06, 8.136965334415436e-06, 8.393079042434692e-06, 8.649192750453949e-06, 8.905306458473206e-06, 9.161420166492462e-06, 9.417533874511719e-06]}, "gradients/encoder.encoder.layers.1.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 2.0, 4.0, 3.0, 6.0, 28.0, 237.0, 659.0, 59.0, 11.0, 3.0, 3.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0011221261229366064, -0.0010955407051369548, -0.0010689552873373032, -0.0010423698695376515, -0.001015784451738, -0.0009891990339383483, -0.0009626136161386967, -0.0009360281401313841, -0.0009094427223317325, -0.0008828573045320809, -0.0008562718867324293, -0.0008296864689327776, -0.000803101051133126, -0.0007765155751258135, -0.0007499301573261619, -0.0007233447395265102, -0.0006967593217268586, -0.000670173903927207, -0.0006435884861275554, -0.0006170030683279037, -0.0005904176505282521, -0.0005638322327286005, -0.0005372468149289489, -0.0005106613389216363, -0.00048407597932964563, -0.000457490561529994, -0.0004309051437303424, -0.00040431972593069077, -0.0003777342790272087, -0.00035114886122755706, -0.00032456344342790544, -0.00029797799652442336, -0.00027139257872477174, -0.0002448071609251201, -0.00021822172857355326, -0.00019163631077390164, -0.0001650508784223348, -0.00013846546062268317, -0.00011188004282303154, -8.52946104714647e-05, -5.870919267181307e-05, -3.2123767596203834e-05, -5.538346158573404e-06, 2.1047075279057026e-05, 4.763250035466626e-05, 7.42179254302755e-05, 0.00010080334322992712, 0.00012738877558149397, 0.0001539741933811456, 0.00018055961118079722, 0.00020714504353236407, 0.0002337304613320157, 0.00026031589368358254, 0.00028690131148323417, 0.0003134867292828858, 0.0003400721470825374, 0.00036665756488218904, 0.00039324298268184066, 0.0004198284004814923, 0.0004464138182811439, 0.000472999265184626, 0.0004995847120881081, 0.0005261701298877597, 0.0005527555476874113, 0.0005793409654870629]}, "gradients/encoder.encoder.layers.1.layer_norm.bias": {"_type": "histogram", "values": [2.0, 0.0, 3.0, 2.0, 4.0, 3.0, 5.0, 11.0, 6.0, 10.0, 10.0, 19.0, 32.0, 18.0, 37.0, 49.0, 29.0, 60.0, 55.0, 238.0, 111.0, 43.0, 37.0, 43.0, 32.0, 24.0, 26.0, 26.0, 26.0, 16.0, 5.0, 9.0, 11.0, 5.0, 3.0, 0.0, 3.0, 3.0, 1.0, 1.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00014251470565795898, -0.00013531558215618134, -0.0001281164586544037, -0.00012091733515262604, -0.00011371821165084839, -0.00010651908814907074, -9.931996464729309e-05, -9.212084114551544e-05, -8.492171764373779e-05, -7.772259414196014e-05, -7.05234706401825e-05, -6.332434713840485e-05, -5.61252236366272e-05, -4.892610013484955e-05, -4.17269766330719e-05, -3.452785313129425e-05, -2.73287296295166e-05, -2.0129606127738953e-05, -1.2930482625961304e-05, -5.731359124183655e-06, 1.4677643775939941e-06, 8.666887879371643e-06, 1.5866011381149292e-05, 2.306513488292694e-05, 3.026425838470459e-05, 3.746338188648224e-05, 4.466250538825989e-05, 5.186162889003754e-05, 5.9060752391815186e-05, 6.625987589359283e-05, 7.345899939537048e-05, 8.065812289714813e-05, 8.785724639892578e-05, 9.505636990070343e-05, 0.00010225549340248108, 0.00010945461690425873, 0.00011665374040603638, 0.00012385286390781403, 0.00013105198740959167, 0.00013825111091136932, 0.00014545023441314697, 0.00015264935791492462, 0.00015984848141670227, 0.00016704760491847992, 0.00017424672842025757, 0.00018144585192203522, 0.00018864497542381287, 0.00019584409892559052, 0.00020304322242736816, 0.0002102423459291458, 0.00021744146943092346, 0.0002246405929327011, 0.00023183971643447876, 0.0002390388399362564, 0.00024623796343803406, 0.0002534370869398117, 0.00026063621044158936, 0.000267835333943367, 0.00027503445744514465, 0.0002822335809469223, 0.00028943270444869995, 0.0002966318279504776, 0.00030383095145225525, 0.0003110300749540329, 0.00031822919845581055]}, "gradients/encoder.encoder.layers.0.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0, 2.0, 0.0, 2.0, 1.0, 1.0, 1.0, 0.0, 2.0, 5.0, 4.0, 9.0, 10.0, 7.0, 5.0, 11.0, 13.0, 18.0, 13.0, 15.0, 28.0, 36.0, 56.0, 70.0, 264.0, 2983.0, 4089193.0, 97680.0, 1561.0, 747.0, 659.0, 430.0, 254.0, 92.0, 40.0, 24.0, 18.0, 9.0, 8.0, 6.0, 7.0, 2.0, 3.0, 1.0, 0.0, 3.0], "bins": [-0.00016629695892333984, -0.00016258377581834793, -0.00015887059271335602, -0.0001551574096083641, -0.0001514442265033722, -0.00014773104339838028, -0.00014401786029338837, -0.00014030467718839645, -0.00013659149408340454, -0.00013287831097841263, -0.00012916512787342072, -0.0001254519447684288, -0.00012173876166343689, -0.00011802557855844498, -0.00011431239545345306, -0.00011059921234846115, -0.00010688602924346924, -0.00010317284613847733, -9.945966303348541e-05, -9.57464799284935e-05, -9.203329682350159e-05, -8.832011371850967e-05, -8.460693061351776e-05, -8.089374750852585e-05, -7.718056440353394e-05, -7.346738129854202e-05, -6.975419819355011e-05, -6.60410150885582e-05, -6.232783198356628e-05, -5.861464887857437e-05, -5.490146577358246e-05, -5.1188282668590546e-05, -4.747509956359863e-05, -4.376191645860672e-05, -4.004873335361481e-05, -3.6335550248622894e-05, -3.262236714363098e-05, -2.890918403863907e-05, -2.5196000933647156e-05, -2.1482817828655243e-05, -1.776963472366333e-05, -1.4056451618671417e-05, -1.0343268513679504e-05, -6.6300854086875916e-06, -2.9169023036956787e-06, 7.962808012962341e-07, 4.509463906288147e-06, 8.22264701128006e-06, 1.1935830116271973e-05, 1.5649013221263885e-05, 1.93621963262558e-05, 2.307537943124771e-05, 2.6788562536239624e-05, 3.0501745641231537e-05, 3.421492874622345e-05, 3.792811185121536e-05, 4.1641294956207275e-05, 4.535447806119919e-05, 4.90676611661911e-05, 5.2780844271183014e-05, 5.649402737617493e-05, 6.020721048116684e-05, 6.392039358615875e-05, 6.763357669115067e-05, 7.134675979614258e-05]}, "gradients/encoder.encoder.layers.0.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 0.0, 3.0, 20.0, 56.0, 138.0, 209.0, 234.0, 196.0, 96.0, 44.0, 12.0, 6.0, 4.0], "bins": [-9.524822235107422e-05, -9.358394891023636e-05, -9.19196754693985e-05, -9.025540202856064e-05, -8.859112858772278e-05, -8.692685514688492e-05, -8.526258170604706e-05, -8.35983082652092e-05, -8.193403482437134e-05, -8.026976138353348e-05, -7.860548794269562e-05, -7.694121450185776e-05, -7.52769410610199e-05, -7.361266762018204e-05, -7.194839417934418e-05, -7.028412073850632e-05, -6.861984729766846e-05, -6.69555738568306e-05, -6.529130041599274e-05, -6.362702697515488e-05, -6.196275353431702e-05, -6.0298480093479156e-05, -5.8634206652641296e-05, -5.6969933211803436e-05, -5.5305659770965576e-05, -5.3641386330127716e-05, -5.1977112889289856e-05, -5.0312839448451996e-05, -4.8648566007614136e-05, -4.6984292566776276e-05, -4.5320019125938416e-05, -4.3655745685100555e-05, -4.1991472244262695e-05, -4.0327198803424835e-05, -3.8662925362586975e-05, -3.6998651921749115e-05, -3.5334378480911255e-05, -3.3670105040073395e-05, -3.2005831599235535e-05, -3.0341558158397675e-05, -2.8677284717559814e-05, -2.7013011276721954e-05, -2.5348737835884094e-05, -2.3684464395046234e-05, -2.2020190954208374e-05, -2.0355917513370514e-05, -1.8691644072532654e-05, -1.7027370631694794e-05, -1.5363097190856934e-05, -1.3698823750019073e-05, -1.2034550309181213e-05, -1.0370276868343353e-05, -8.706003427505493e-06, -7.041729986667633e-06, -5.377456545829773e-06, -3.713183104991913e-06, -2.0489096641540527e-06, -3.8463622331619263e-07, 1.2796372175216675e-06, 2.9439106583595276e-06, 4.608184099197388e-06, 6.272457540035248e-06, 7.936730980873108e-06, 9.601004421710968e-06, 1.1265277862548828e-05]}, "gradients/encoder.encoder.layers.0.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 3.0, 0.0, 5.0, 2.0, 3.0, 2.0, 8.0, 8.0, 18.0, 16.0, 14.0, 22.0, 35.0, 76.0, 78.0, 125.0, 227.0, 446.0, 1006.0, 3335.0, 21601.0, 3995241.0, 161932.0, 7152.0, 1594.0, 604.0, 286.0, 146.0, 95.0, 70.0, 35.0, 16.0, 31.0, 9.0, 11.0, 16.0, 6.0, 5.0, 7.0, 5.0, 1.0, 1.0, 1.0, 1.0, 0.0, 2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-7.992982864379883e-05, -7.748976349830627e-05, -7.504969835281372e-05, -7.260963320732117e-05, -7.016956806182861e-05, -6.772950291633606e-05, -6.52894377708435e-05, -6.284937262535095e-05, -6.04093074798584e-05, -5.7969242334365845e-05, -5.552917718887329e-05, -5.308911204338074e-05, -5.0649046897888184e-05, -4.820898175239563e-05, -4.5768916606903076e-05, -4.332885146141052e-05, -4.088878631591797e-05, -3.8448721170425415e-05, -3.600865602493286e-05, -3.356859087944031e-05, -3.1128525733947754e-05, -2.86884605884552e-05, -2.6248395442962646e-05, -2.3808330297470093e-05, -2.136826515197754e-05, -1.8928200006484985e-05, -1.648813486099243e-05, -1.4048069715499878e-05, -1.1608004570007324e-05, -9.16793942451477e-06, -6.727874279022217e-06, -4.287809133529663e-06, -1.8477439880371094e-06, 5.923211574554443e-07, 3.032386302947998e-06, 5.472451448440552e-06, 7.912516593933105e-06, 1.035258173942566e-05, 1.2792646884918213e-05, 1.5232712030410767e-05, 1.767277717590332e-05, 2.0112842321395874e-05, 2.2552907466888428e-05, 2.499297261238098e-05, 2.7433037757873535e-05, 2.987310290336609e-05, 3.231316804885864e-05, 3.4753233194351196e-05, 3.719329833984375e-05, 3.9633363485336304e-05, 4.207342863082886e-05, 4.451349377632141e-05, 4.6953558921813965e-05, 4.939362406730652e-05, 5.183368921279907e-05, 5.4273754358291626e-05, 5.671381950378418e-05, 5.9153884649276733e-05, 6.159394979476929e-05, 6.403401494026184e-05, 6.64740800857544e-05, 6.891414523124695e-05, 7.13542103767395e-05, 7.379427552223206e-05, 7.623434066772461e-05]}, "gradients/encoder.encoder.layers.0.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 3.0, 2.0, 3.0, 4.0, 3.0, 5.0, 5.0, 7.0, 10.0, 10.0, 9.0, 18.0, 22.0, 41.0, 45.0, 77.0, 170.0, 383.0, 859.0, 1294.0, 620.0, 221.0, 89.0, 69.0, 37.0, 23.0, 18.0, 9.0, 4.0, 7.0, 3.0, 4.0, 1.0, 3.0, 4.0, 1.0, 0.0, 1.0, 1.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.900859832763672e-05, -5.7336874306201935e-05, -5.566515028476715e-05, -5.399342626333237e-05, -5.232170224189758e-05, -5.06499782204628e-05, -4.8978254199028015e-05, -4.730653017759323e-05, -4.563480615615845e-05, -4.396308213472366e-05, -4.229135811328888e-05, -4.0619634091854095e-05, -3.894791007041931e-05, -3.727618604898453e-05, -3.5604462027549744e-05, -3.393273800611496e-05, -3.2261013984680176e-05, -3.058928996324539e-05, -2.8917565941810608e-05, -2.7245841920375824e-05, -2.557411789894104e-05, -2.3902393877506256e-05, -2.2230669856071472e-05, -2.0558945834636688e-05, -1.8887221813201904e-05, -1.721549779176712e-05, -1.5543773770332336e-05, -1.3872049748897552e-05, -1.2200325727462769e-05, -1.0528601706027985e-05, -8.8568776845932e-06, -7.185153663158417e-06, -5.513429641723633e-06, -3.841705620288849e-06, -2.169981598854065e-06, -4.98257577419281e-07, 1.173466444015503e-06, 2.845190465450287e-06, 4.516914486885071e-06, 6.188638508319855e-06, 7.860362529754639e-06, 9.532086551189423e-06, 1.1203810572624207e-05, 1.287553459405899e-05, 1.4547258615493774e-05, 1.621898263692856e-05, 1.7890706658363342e-05, 1.9562430679798126e-05, 2.123415470123291e-05, 2.2905878722667694e-05, 2.4577602744102478e-05, 2.6249326765537262e-05, 2.7921050786972046e-05, 2.959277480840683e-05, 3.1264498829841614e-05, 3.29362228512764e-05, 3.460794687271118e-05, 3.6279670894145966e-05, 3.795139491558075e-05, 3.9623118937015533e-05, 4.129484295845032e-05, 4.29665669798851e-05, 4.4638291001319885e-05, 4.631001502275467e-05, 4.798173904418945e-05]}, "gradients/encoder.encoder.layers.0.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 3.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 3.0, 10.0, 13.0, 10.0, 32.0, 80.0, 239.0, 383.0, 173.0, 29.0, 21.0, 0.0, 6.0, 3.0, 3.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0008997381664812565, -0.0008795215981081128, -0.0008593050297349691, -0.0008390884031541646, -0.0008188718347810209, -0.0007986552664078772, -0.0007784386980347335, -0.0007582221296615899, -0.0007380055030807853, -0.0007177889347076416, -0.0006975723663344979, -0.0006773557397536933, -0.0006571391713805497, -0.000636922603007406, -0.0006167060346342623, -0.0005964894662611187, -0.000576272897887975, -0.0005560563295148313, -0.0005358397611416876, -0.000515623134560883, -0.0004954065661877394, -0.0004751899978145957, -0.000454973429441452, -0.00043475686106830835, -0.0004145402635913342, -0.00039432369521819055, -0.0003741070977412164, -0.00035389052936807275, -0.0003336739609949291, -0.00031345736351795495, -0.00029324079514481127, -0.00027302419766783714, -0.0002528076875023544, -0.00023259110457729548, -0.00021237452165223658, -0.0001921579532790929, -0.000171941370354034, -0.0001517247874289751, -0.00013150821905583143, -0.00011129163613077253, -9.107505320571363e-05, -7.085847028065473e-05, -5.064189463155344e-05, -3.0425315344473347e-05, -1.0208736057393253e-05, 1.0007846867665648e-05, 3.0224422516766936e-05, 5.044099816586822e-05, 7.065758109092712e-05, 9.087416401598603e-05, 0.00011109073966508731, 0.0001313073153141886, 0.0001515238982392475, 0.0001717404811643064, 0.00019195704953745008, 0.00021217363246250898, 0.00023239021538756788, 0.00025260678376071155, 0.0002728233812376857, 0.00029303994961082935, 0.000313256517983973, 0.00033347311546094716, 0.00035368968383409083, 0.00037390628131106496, 0.00039412284968420863]}, "gradients/encoder.encoder.layers.0.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 3.0, 0.0, 1.0, 0.0, 2.0, 3.0, 5.0, 6.0, 4.0, 8.0, 14.0, 10.0, 13.0, 25.0, 43.0, 51.0, 58.0, 72.0, 85.0, 107.0, 87.0, 58.0, 87.0, 61.0, 52.0, 38.0, 31.0, 25.0, 24.0, 17.0, 12.0, 4.0, 0.0, 3.0, 5.0, 0.0, 3.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00020903348922729492, -0.00019850581884384155, -0.00018797814846038818, -0.00017745047807693481, -0.00016692280769348145, -0.00015639513731002808, -0.0001458674669265747, -0.00013533979654312134, -0.00012481212615966797, -0.0001142844557762146, -0.00010375678539276123, -9.322911500930786e-05, -8.270144462585449e-05, -7.217377424240112e-05, -6.164610385894775e-05, -5.1118433475494385e-05, -4.0590763092041016e-05, -3.0063092708587646e-05, -1.9535422325134277e-05, -9.007751941680908e-06, 1.519918441772461e-06, 1.204758882522583e-05, 2.25752592086792e-05, 3.310292959213257e-05, 4.363059997558594e-05, 5.415827035903931e-05, 6.468594074249268e-05, 7.521361112594604e-05, 8.574128150939941e-05, 9.626895189285278e-05, 0.00010679662227630615, 0.00011732429265975952, 0.0001278519630432129, 0.00013837963342666626, 0.00014890730381011963, 0.000159434974193573, 0.00016996264457702637, 0.00018049031496047974, 0.0001910179853439331, 0.00020154565572738647, 0.00021207332611083984, 0.0002226009964942932, 0.00023312866687774658, 0.00024365633726119995, 0.0002541840076446533, 0.0002647116780281067, 0.00027523934841156006, 0.00028576701879501343, 0.0002962946891784668, 0.00030682235956192017, 0.00031735002994537354, 0.0003278777003288269, 0.0003384053707122803, 0.00034893304109573364, 0.000359460711479187, 0.0003699883818626404, 0.00038051605224609375, 0.0003910437226295471, 0.0004015713930130005, 0.00041209906339645386, 0.0004226267337799072, 0.0004331544041633606, 0.00044368207454681396, 0.00045420974493026733, 0.0004647374153137207]}, "gradients/encoder.encoder.layers.0.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 0.0, 2.0, 1.0, 5.0, 2.0, 2.0, 4.0, 3.0, 1.0, 5.0, 8.0, 11.0, 14.0, 20.0, 26.0, 42.0, 78.0, 220.0, 1741.0, 169927.0, 872479.0, 3413.0, 305.0, 93.0, 42.0, 33.0, 27.0, 16.0, 9.0, 14.0, 4.0, 6.0, 3.0, 2.0, 2.0, 2.0, 0.0, 4.0, 1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0001118779182434082, -0.00010803434997797012, -0.00010419078171253204, -0.00010034721344709396, -9.650364518165588e-05, -9.26600769162178e-05, -8.881650865077972e-05, -8.497294038534164e-05, -8.112937211990356e-05, -7.728580385446548e-05, -7.34422355890274e-05, -6.959866732358932e-05, -6.575509905815125e-05, -6.191153079271317e-05, -5.8067962527275085e-05, -5.4224394261837006e-05, -5.0380825996398926e-05, -4.6537257730960846e-05, -4.2693689465522766e-05, -3.8850121200084686e-05, -3.5006552934646606e-05, -3.1162984669208527e-05, -2.7319416403770447e-05, -2.3475848138332367e-05, -1.9632279872894287e-05, -1.5788711607456207e-05, -1.1945143342018127e-05, -8.101575076580048e-06, -4.258006811141968e-06, -4.1443854570388794e-07, 3.429129719734192e-06, 7.272697985172272e-06, 1.1116266250610352e-05, 1.4959834516048431e-05, 1.880340278148651e-05, 2.264697104692459e-05, 2.649053931236267e-05, 3.033410757780075e-05, 3.417767584323883e-05, 3.802124410867691e-05, 4.186481237411499e-05, 4.570838063955307e-05, 4.955194890499115e-05, 5.339551717042923e-05, 5.723908543586731e-05, 6.108265370130539e-05, 6.492622196674347e-05, 6.876979023218155e-05, 7.261335849761963e-05, 7.645692676305771e-05, 8.030049502849579e-05, 8.414406329393387e-05, 8.798763155937195e-05, 9.183119982481003e-05, 9.567476809024811e-05, 9.951833635568619e-05, 0.00010336190462112427, 0.00010720547288656235, 0.00011104904115200043, 0.00011489260941743851, 0.00011873617768287659, 0.00012257974594831467, 0.00012642331421375275, 0.00013026688247919083, 0.0001341104507446289]}, "gradients/encoder.encoder.layers.0.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 3.0, 4.0, 20.0, 42.0, 73.0, 122.0, 167.0, 172.0, 176.0, 103.0, 70.0, 29.0, 17.0, 8.0, 5.0, 3.0, 2.0, 1.0, 1.0], "bins": [-8.034706115722656e-05, -7.881224155426025e-05, -7.727742195129395e-05, -7.574260234832764e-05, -7.420778274536133e-05, -7.267296314239502e-05, -7.113814353942871e-05, -6.96033239364624e-05, -6.80685043334961e-05, -6.653368473052979e-05, -6.499886512756348e-05, -6.346404552459717e-05, -6.192922592163086e-05, -6.039440631866455e-05, -5.885958671569824e-05, -5.7324767112731934e-05, -5.5789947509765625e-05, -5.4255127906799316e-05, -5.272030830383301e-05, -5.11854887008667e-05, -4.965066909790039e-05, -4.811584949493408e-05, -4.6581029891967773e-05, -4.5046210289001465e-05, -4.3511390686035156e-05, -4.197657108306885e-05, -4.044175148010254e-05, -3.890693187713623e-05, -3.737211227416992e-05, -3.583729267120361e-05, -3.4302473068237305e-05, -3.2767653465270996e-05, -3.123283386230469e-05, -2.969801425933838e-05, -2.816319465637207e-05, -2.6628375053405762e-05, -2.5093555450439453e-05, -2.3558735847473145e-05, -2.2023916244506836e-05, -2.0489096641540527e-05, -1.895427703857422e-05, -1.741945743560791e-05, -1.58846378326416e-05, -1.4349818229675293e-05, -1.2814998626708984e-05, -1.1280179023742676e-05, -9.745359420776367e-06, -8.210539817810059e-06, -6.67572021484375e-06, -5.140900611877441e-06, -3.606081008911133e-06, -2.0712614059448242e-06, -5.364418029785156e-07, 9.98377799987793e-07, 2.5331974029541016e-06, 4.06801700592041e-06, 5.602836608886719e-06, 7.137656211853027e-06, 8.672475814819336e-06, 1.0207295417785645e-05, 1.1742115020751953e-05, 1.3276934623718262e-05, 1.481175422668457e-05, 1.634657382965088e-05, 1.7881393432617188e-05]}, "gradients/encoder.encoder.layers.0.attention.v_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 1.0, 1.0, 3.0, 1.0, 5.0, 3.0, 4.0, 6.0, 8.0, 13.0, 21.0, 23.0, 18.0, 43.0, 44.0, 75.0, 88.0, 141.0, 225.0, 417.0, 881.0, 2489.0, 10729.0, 216379.0, 796811.0, 14537.0, 3289.0, 1061.0, 472.0, 251.0, 166.0, 101.0, 79.0, 48.0, 34.0, 26.0, 20.0, 5.0, 12.0, 9.0, 8.0, 7.0, 3.0, 3.0, 2.0, 1.0, 3.0, 2.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.153085708618164e-05, -3.040861338376999e-05, -2.9286369681358337e-05, -2.8164125978946686e-05, -2.7041882276535034e-05, -2.5919638574123383e-05, -2.479739487171173e-05, -2.367515116930008e-05, -2.2552907466888428e-05, -2.1430663764476776e-05, -2.0308420062065125e-05, -1.9186176359653473e-05, -1.806393265724182e-05, -1.694168895483017e-05, -1.5819445252418518e-05, -1.4697201550006866e-05, -1.3574957847595215e-05, -1.2452714145183563e-05, -1.1330470442771912e-05, -1.020822674036026e-05, -9.085983037948608e-06, -7.963739335536957e-06, -6.841495633125305e-06, -5.7192519307136536e-06, -4.597008228302002e-06, -3.4747645258903503e-06, -2.3525208234786987e-06, -1.2302771210670471e-06, -1.0803341865539551e-07, 1.014210283756256e-06, 2.1364539861679077e-06, 3.2586976885795593e-06, 4.380941390991211e-06, 5.5031850934028625e-06, 6.625428795814514e-06, 7.747672498226166e-06, 8.869916200637817e-06, 9.992159903049469e-06, 1.111440360546112e-05, 1.2236647307872772e-05, 1.3358891010284424e-05, 1.4481134712696075e-05, 1.5603378415107727e-05, 1.672562211751938e-05, 1.784786581993103e-05, 1.8970109522342682e-05, 2.0092353224754333e-05, 2.1214596927165985e-05, 2.2336840629577637e-05, 2.345908433198929e-05, 2.458132803440094e-05, 2.570357173681259e-05, 2.6825815439224243e-05, 2.7948059141635895e-05, 2.9070302844047546e-05, 3.0192546546459198e-05, 3.131479024887085e-05, 3.24370339512825e-05, 3.355927765369415e-05, 3.4681521356105804e-05, 3.5803765058517456e-05, 3.692600876092911e-05, 3.804825246334076e-05, 3.917049616575241e-05, 4.029273986816406e-05]}, "gradients/encoder.encoder.layers.0.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0, 1.0, 1.0, 5.0, 3.0, 4.0, 5.0, 2.0, 8.0, 6.0, 10.0, 10.0, 8.0, 12.0, 16.0, 20.0, 21.0, 33.0, 36.0, 61.0, 53.0, 73.0, 123.0, 115.0, 76.0, 54.0, 59.0, 41.0, 30.0, 21.0, 18.0, 21.0, 15.0, 14.0, 10.0, 4.0, 4.0, 4.0, 3.0, 1.0, 3.0, 1.0, 1.0, 2.0, 2.0, 1.0, 0.0, 4.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0], "bins": [-5.429983139038086e-05, -5.254708230495453e-05, -5.07943332195282e-05, -4.904158413410187e-05, -4.728883504867554e-05, -4.5536085963249207e-05, -4.3783336877822876e-05, -4.2030587792396545e-05, -4.0277838706970215e-05, -3.8525089621543884e-05, -3.6772340536117554e-05, -3.501959145069122e-05, -3.326684236526489e-05, -3.151409327983856e-05, -2.976134419441223e-05, -2.80085951089859e-05, -2.625584602355957e-05, -2.450309693813324e-05, -2.275034785270691e-05, -2.099759876728058e-05, -1.9244849681854248e-05, -1.7492100596427917e-05, -1.5739351511001587e-05, -1.3986602425575256e-05, -1.2233853340148926e-05, -1.0481104254722595e-05, -8.728355169296265e-06, -6.975606083869934e-06, -5.2228569984436035e-06, -3.470107913017273e-06, -1.7173588275909424e-06, 3.5390257835388184e-08, 1.7881393432617188e-06, 3.5408884286880493e-06, 5.29363751411438e-06, 7.0463865995407104e-06, 8.799135684967041e-06, 1.0551884770393372e-05, 1.2304633855819702e-05, 1.4057382941246033e-05, 1.5810132026672363e-05, 1.7562881112098694e-05, 1.9315630197525024e-05, 2.1068379282951355e-05, 2.2821128368377686e-05, 2.4573877453804016e-05, 2.6326626539230347e-05, 2.8079375624656677e-05, 2.9832124710083008e-05, 3.158487379550934e-05, 3.333762288093567e-05, 3.5090371966362e-05, 3.684312105178833e-05, 3.859587013721466e-05, 4.034861922264099e-05, 4.210136830806732e-05, 4.385411739349365e-05, 4.560686647891998e-05, 4.7359615564346313e-05, 4.9112364649772644e-05, 5.0865113735198975e-05, 5.2617862820625305e-05, 5.4370611906051636e-05, 5.6123360991477966e-05, 5.78761100769043e-05]}, "gradients/encoder.encoder.layers.0.attention.k_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 1.0, 3.0, 0.0, 0.0, 0.0, 5.0, 3.0, 6.0, 8.0, 17.0, 12.0, 18.0, 22.0, 30.0, 35.0, 44.0, 101.0, 108.0, 177.0, 261.0, 440.0, 1627.0, 2824.0, 7670.0, 30574.0, 902470.0, 88767.0, 7745.0, 2808.0, 1233.0, 593.0, 427.0, 147.0, 116.0, 82.0, 46.0, 49.0, 25.0, 19.0, 11.0, 13.0, 14.0, 7.0, 2.0, 2.0, 1.0, 3.0, 0.0, 3.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-3.7550926208496094e-06, -3.623776137828827e-06, -3.4924596548080444e-06, -3.361143171787262e-06, -3.2298266887664795e-06, -3.098510205745697e-06, -2.9671937227249146e-06, -2.835877239704132e-06, -2.7045607566833496e-06, -2.573244273662567e-06, -2.4419277906417847e-06, -2.310611307621002e-06, -2.1792948246002197e-06, -2.0479783415794373e-06, -1.9166618585586548e-06, -1.7853453755378723e-06, -1.6540288925170898e-06, -1.5227124094963074e-06, -1.391395926475525e-06, -1.2600794434547424e-06, -1.12876296043396e-06, -9.974464774131775e-07, -8.66129994392395e-07, -7.348135113716125e-07, -6.034970283508301e-07, -4.721805453300476e-07, -3.4086406230926514e-07, -2.0954757928848267e-07, -7.82310962677002e-08, 5.3085386753082275e-08, 1.8440186977386475e-07, 3.157183527946472e-07, 4.470348358154297e-07, 5.783513188362122e-07, 7.096678018569946e-07, 8.409842848777771e-07, 9.723007678985596e-07, 1.103617250919342e-06, 1.2349337339401245e-06, 1.366250216960907e-06, 1.4975666999816895e-06, 1.628883183002472e-06, 1.7601996660232544e-06, 1.8915161490440369e-06, 2.0228326320648193e-06, 2.154149115085602e-06, 2.2854655981063843e-06, 2.4167820811271667e-06, 2.5480985641479492e-06, 2.6794150471687317e-06, 2.810731530189514e-06, 2.9420480132102966e-06, 3.073364496231079e-06, 3.2046809792518616e-06, 3.335997462272644e-06, 3.4673139452934265e-06, 3.598630428314209e-06, 3.7299469113349915e-06, 3.861263394355774e-06, 3.992579877376556e-06, 4.123896360397339e-06, 4.255212843418121e-06, 4.386529326438904e-06, 4.517845809459686e-06, 4.649162292480469e-06]}, "gradients/encoder.encoder.layers.0.attention.k_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 1.0, 1.0, 0.0, 0.0, 2.0, 1.0, 2.0, 2.0, 2.0, 1.0, 4.0, 6.0, 7.0, 4.0, 2.0, 3.0, 3.0, 4.0, 6.0, 5.0, 13.0, 12.0, 15.0, 13.0, 29.0, 35.0, 49.0, 88.0, 276.0, 139.0, 79.0, 39.0, 59.0, 19.0, 18.0, 6.0, 9.0, 12.0, 7.0, 9.0, 5.0, 8.0, 1.0, 4.0, 3.0, 0.0, 2.0, 5.0, 2.0, 1.0, 1.0, 2.0, 2.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0], "bins": [-4.410743713378906e-06, -4.276633262634277e-06, -4.1425228118896484e-06, -4.0084123611450195e-06, -3.874301910400391e-06, -3.7401914596557617e-06, -3.606081008911133e-06, -3.471970558166504e-06, -3.337860107421875e-06, -3.203749656677246e-06, -3.069639205932617e-06, -2.9355287551879883e-06, -2.8014183044433594e-06, -2.6673078536987305e-06, -2.5331974029541016e-06, -2.3990869522094727e-06, -2.2649765014648438e-06, -2.130866050720215e-06, -1.996755599975586e-06, -1.862645149230957e-06, -1.7285346984863281e-06, -1.5944242477416992e-06, -1.4603137969970703e-06, -1.3262033462524414e-06, -1.1920928955078125e-06, -1.0579824447631836e-06, -9.238719940185547e-07, -7.897615432739258e-07, -6.556510925292969e-07, -5.21540641784668e-07, -3.8743019104003906e-07, -2.5331974029541016e-07, -1.1920928955078125e-07, 1.4901161193847656e-08, 1.4901161193847656e-07, 2.8312206268310547e-07, 4.172325134277344e-07, 5.513429641723633e-07, 6.854534149169922e-07, 8.195638656616211e-07, 9.5367431640625e-07, 1.087784767150879e-06, 1.2218952178955078e-06, 1.3560056686401367e-06, 1.4901161193847656e-06, 1.6242265701293945e-06, 1.7583370208740234e-06, 1.8924474716186523e-06, 2.0265579223632812e-06, 2.16066837310791e-06, 2.294778823852539e-06, 2.428889274597168e-06, 2.562999725341797e-06, 2.6971101760864258e-06, 2.8312206268310547e-06, 2.9653310775756836e-06, 3.0994415283203125e-06, 3.2335519790649414e-06, 3.3676624298095703e-06, 3.5017728805541992e-06, 3.635883331298828e-06, 3.769993782043457e-06, 3.904104232788086e-06, 4.038214683532715e-06, 4.172325134277344e-06]}, "gradients/encoder.encoder.layers.0.attention.q_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 0.0, 2.0, 2.0, 2.0, 2.0, 5.0, 5.0, 4.0, 13.0, 5.0, 18.0, 19.0, 27.0, 58.0, 70.0, 96.0, 152.0, 272.0, 476.0, 1128.0, 7529.0, 30297.0, 905649.0, 83556.0, 13342.0, 3417.0, 1197.0, 648.0, 184.0, 108.0, 85.0, 50.0, 35.0, 33.0, 26.0, 9.0, 10.0, 7.0, 5.0, 3.0, 4.0, 7.0, 3.0, 2.0, 1.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.933906555175781e-06, -3.8063153624534607e-06, -3.67872416973114e-06, -3.5511329770088196e-06, -3.423541784286499e-06, -3.2959505915641785e-06, -3.168359398841858e-06, -3.0407682061195374e-06, -2.913177013397217e-06, -2.7855858206748962e-06, -2.6579946279525757e-06, -2.530403435230255e-06, -2.4028122425079346e-06, -2.275221049785614e-06, -2.1476298570632935e-06, -2.020038664340973e-06, -1.8924474716186523e-06, -1.7648562788963318e-06, -1.6372650861740112e-06, -1.5096738934516907e-06, -1.3820827007293701e-06, -1.2544915080070496e-06, -1.126900315284729e-06, -9.993091225624084e-07, -8.717179298400879e-07, -7.441267371177673e-07, -6.165355443954468e-07, -4.889443516731262e-07, -3.6135315895080566e-07, -2.337619662284851e-07, -1.0617077350616455e-07, 2.1420419216156006e-08, 1.4901161193847656e-07, 2.766028046607971e-07, 4.041939973831177e-07, 5.317851901054382e-07, 6.593763828277588e-07, 7.869675755500793e-07, 9.145587682723999e-07, 1.0421499609947205e-06, 1.169741153717041e-06, 1.2973323464393616e-06, 1.4249235391616821e-06, 1.5525147318840027e-06, 1.6801059246063232e-06, 1.8076971173286438e-06, 1.9352883100509644e-06, 2.062879502773285e-06, 2.1904706954956055e-06, 2.318061888217926e-06, 2.4456530809402466e-06, 2.573244273662567e-06, 2.7008354663848877e-06, 2.8284266591072083e-06, 2.956017851829529e-06, 3.0836090445518494e-06, 3.21120023727417e-06, 3.3387914299964905e-06, 3.466382622718811e-06, 3.5939738154411316e-06, 3.721565008163452e-06, 3.849156200885773e-06, 3.976747393608093e-06, 4.104338586330414e-06, 4.231929779052734e-06]}, "gradients/encoder.encoder.layers.0.attention.q_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 2.0, 1.0, 1.0, 1.0, 4.0, 3.0, 3.0, 4.0, 9.0, 14.0, 3.0, 7.0, 7.0, 15.0, 18.0, 20.0, 24.0, 45.0, 45.0, 83.0, 124.0, 196.0, 116.0, 55.0, 58.0, 27.0, 18.0, 16.0, 10.0, 12.0, 13.0, 11.0, 11.0, 6.0, 7.0, 5.0, 5.0, 3.0, 2.0, 4.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.7550926208496094e-06, -3.6265701055526733e-06, -3.4980475902557373e-06, -3.3695250749588013e-06, -3.2410025596618652e-06, -3.112480044364929e-06, -2.983957529067993e-06, -2.855435013771057e-06, -2.726912498474121e-06, -2.598389983177185e-06, -2.469867467880249e-06, -2.341344952583313e-06, -2.212822437286377e-06, -2.084299921989441e-06, -1.955777406692505e-06, -1.8272548913955688e-06, -1.6987323760986328e-06, -1.5702098608016968e-06, -1.4416873455047607e-06, -1.3131648302078247e-06, -1.1846423149108887e-06, -1.0561197996139526e-06, -9.275972843170166e-07, -7.990747690200806e-07, -6.705522537231445e-07, -5.420297384262085e-07, -4.1350722312927246e-07, -2.849847078323364e-07, -1.564621925354004e-07, -2.7939677238464355e-08, 1.0058283805847168e-07, 2.2910535335540771e-07, 3.5762786865234375e-07, 4.861503839492798e-07, 6.146728992462158e-07, 7.431954145431519e-07, 8.717179298400879e-07, 1.000240445137024e-06, 1.12876296043396e-06, 1.257285475730896e-06, 1.385807991027832e-06, 1.514330506324768e-06, 1.642853021621704e-06, 1.7713755369186401e-06, 1.8998980522155762e-06, 2.028420567512512e-06, 2.1569430828094482e-06, 2.2854655981063843e-06, 2.4139881134033203e-06, 2.5425106287002563e-06, 2.6710331439971924e-06, 2.7995556592941284e-06, 2.9280781745910645e-06, 3.0566006898880005e-06, 3.1851232051849365e-06, 3.3136457204818726e-06, 3.4421682357788086e-06, 3.5706907510757446e-06, 3.6992132663726807e-06, 3.827735781669617e-06, 3.956258296966553e-06, 4.084780812263489e-06, 4.213303327560425e-06, 4.341825842857361e-06, 4.470348358154297e-06]}, "gradients/encoder.encoder.layers.0.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 8.0, 10.0, 26.0, 53.0, 537.0, 237.0, 85.0, 26.0, 19.0, 6.0, 3.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00023801394854672253, -0.00022764672758057714, -0.00021727950661443174, -0.00020691227109637111, -0.00019654505013022572, -0.00018617782916408032, -0.0001758105936460197, -0.0001654433726798743, -0.0001550761517137289, -0.0001447089307475835, -0.0001343417097814381, -0.0001239744742633775, -0.00011360725329723209, -0.0001032400323310867, -9.287280408898368e-05, -8.250557584688067e-05, -7.213835488073528e-05, -6.177113391458988e-05, -5.140390567248687e-05, -4.103668106836267e-05, -3.0669456464238465e-05, -2.030223186011426e-05, -9.935007255990058e-06, 4.3222098611295223e-07, 1.0799441952258348e-05, 2.1166666556382552e-05, 3.1533891160506755e-05, 4.190111576463096e-05, 5.226834036875516e-05, 6.263556133490056e-05, 7.300278957700357e-05, 8.337001781910658e-05, 9.373726788908243e-05, 0.00010410448885522783, 0.00011447171709733084, 0.00012483894533943385, 0.00013520616630557925, 0.00014557338727172464, 0.00015594062278978527, 0.00016630784375593066, 0.00017667506472207606, 0.00018704228568822145, 0.00019740950665436685, 0.00020777674217242748, 0.00021814396313857287, 0.00022851118410471827, 0.0002388784196227789, 0.0002492456405889243, 0.0002596128615550697, 0.0002699800825212151, 0.0002803473034873605, 0.0002907145244535059, 0.00030108174541965127, 0.0003114489954896271, 0.0003218162164557725, 0.0003321834374219179, 0.0003425506583880633, 0.0003529178793542087, 0.0003632851003203541, 0.0003736523212864995, 0.00038401957135647535, 0.00039438679232262075, 0.00040475401328876615, 0.00041512123425491154, 0.00042548845522105694]}, "gradients/encoder.encoder.layers.0.layer_norm.bias": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 1.0, 0.0, 1.0, 3.0, 2.0, 1.0, 3.0, 0.0, 2.0, 2.0, 7.0, 6.0, 9.0, 11.0, 16.0, 22.0, 15.0, 19.0, 24.0, 17.0, 27.0, 37.0, 20.0, 69.0, 430.0, 36.0, 28.0, 26.0, 21.0, 20.0, 27.0, 21.0, 23.0, 10.0, 9.0, 11.0, 7.0, 6.0, 6.0, 3.0, 4.0, 4.0, 1.0, 1.0, 2.0, 1.0, 2.0, 2.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0001417398452758789, -0.00013655796647071838, -0.00013137608766555786, -0.00012619420886039734, -0.00012101233005523682, -0.0001158304512500763, -0.00011064857244491577, -0.00010546669363975525, -0.00010028481483459473, -9.51029360294342e-05, -8.992105722427368e-05, -8.473917841911316e-05, -7.955729961395264e-05, -7.437542080879211e-05, -6.919354200363159e-05, -6.401166319847107e-05, -5.882978439331055e-05, -5.3647905588150024e-05, -4.84660267829895e-05, -4.328414797782898e-05, -3.810226917266846e-05, -3.2920390367507935e-05, -2.7738511562347412e-05, -2.255663275718689e-05, -1.7374753952026367e-05, -1.2192875146865845e-05, -7.010996341705322e-06, -1.8291175365447998e-06, 3.3527612686157227e-06, 8.534640073776245e-06, 1.3716518878936768e-05, 1.889839768409729e-05, 2.4080276489257812e-05, 2.9262155294418335e-05, 3.444403409957886e-05, 3.962591290473938e-05, 4.48077917098999e-05, 4.9989670515060425e-05, 5.517154932022095e-05, 6.035342812538147e-05, 6.553530693054199e-05, 7.071718573570251e-05, 7.589906454086304e-05, 8.108094334602356e-05, 8.626282215118408e-05, 9.14447009563446e-05, 9.662657976150513e-05, 0.00010180845856666565, 0.00010699033737182617, 0.0001121722161769867, 0.00011735409498214722, 0.00012253597378730774, 0.00012771785259246826, 0.00013289973139762878, 0.0001380816102027893, 0.00014326348900794983, 0.00014844536781311035, 0.00015362724661827087, 0.0001588091254234314, 0.00016399100422859192, 0.00016917288303375244, 0.00017435476183891296, 0.00017953664064407349, 0.000184718519449234, 0.00018990039825439453]}, "gradients/encoder.encoder.pos_conv_embed.conv.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 3.0, 3.0, 13.0, 14.0, 11.0, 25.0, 41.0, 55.0, 102.0, 422.0, 135.0, 79.0, 39.0, 23.0, 24.0, 13.0, 7.0, 5.0, 2.0, 1.0, 2.0, 1.0], "bins": [-5.227327346801758e-05, -5.125999450683594e-05, -5.02467155456543e-05, -4.9233436584472656e-05, -4.8220157623291016e-05, -4.7206878662109375e-05, -4.6193599700927734e-05, -4.5180320739746094e-05, -4.416704177856445e-05, -4.315376281738281e-05, -4.214048385620117e-05, -4.112720489501953e-05, -4.011392593383789e-05, -3.910064697265625e-05, -3.808736801147461e-05, -3.707408905029297e-05, -3.606081008911133e-05, -3.504753112792969e-05, -3.403425216674805e-05, -3.3020973205566406e-05, -3.2007694244384766e-05, -3.0994415283203125e-05, -2.9981136322021484e-05, -2.8967857360839844e-05, -2.7954578399658203e-05, -2.6941299438476562e-05, -2.5928020477294922e-05, -2.491474151611328e-05, -2.390146255493164e-05, -2.288818359375e-05, -2.187490463256836e-05, -2.086162567138672e-05, -1.9848346710205078e-05, -1.8835067749023438e-05, -1.7821788787841797e-05, -1.6808509826660156e-05, -1.5795230865478516e-05, -1.4781951904296875e-05, -1.3768672943115234e-05, -1.2755393981933594e-05, -1.1742115020751953e-05, -1.0728836059570312e-05, -9.715557098388672e-06, -8.702278137207031e-06, -7.68899917602539e-06, -6.67572021484375e-06, -5.662441253662109e-06, -4.649162292480469e-06, -3.635883331298828e-06, -2.6226043701171875e-06, -1.6093254089355469e-06, -5.960464477539062e-07, 4.172325134277344e-07, 1.430511474609375e-06, 2.4437904357910156e-06, 3.4570693969726562e-06, 4.470348358154297e-06, 5.4836273193359375e-06, 6.496906280517578e-06, 7.510185241699219e-06, 8.52346420288086e-06, 9.5367431640625e-06, 1.055002212524414e-05, 1.1563301086425781e-05, 1.2576580047607422e-05]}, "gradients/encoder.encoder.pos_conv_embed.conv.weight_v": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 2.0, 6.0, 10.0, 10.0, 26.0, 27.0, 85.0, 374.0, 8369494.0, 18154.0, 263.0, 50.0, 42.0, 27.0, 15.0, 5.0, 2.0, 2.0, 2.0, 0.0, 0.0, 3.0, 1.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00028274135547690094, -0.0002660163736436516, -0.00024929142091423273, -0.0002325664390809834, -0.00021584148635156453, -0.0001991165045183152, -0.0001823915372369811, -0.000165666569955647, -0.0001489416026743129, -0.0001322166353929788, -0.00011549166811164469, -9.876669355435297e-05, -8.204172627301887e-05, -6.531675899168476e-05, -4.859178443439305e-05, -3.1866817153058946e-05, -1.5141849871724844e-05, 1.5831192285986617e-06, 1.8308088328922167e-05, 3.503305924823508e-05, 5.175802652956918e-05, 6.848299381090328e-05, 8.5207968368195e-05, 0.0001019329356495291, 0.0001186579029308632, 0.0001353828702121973, 0.0001521078374935314, 0.0001688328047748655, 0.00018555778660811484, 0.0002022827393375337, 0.00021900772117078304, 0.00023573268845211715, 0.0002524576848372817, 0.00026918266667053103, 0.0002859076193999499, 0.00030263260123319924, 0.0003193575539626181, 0.00033608253579586744, 0.0003528075176291168, 0.00036953247035853565, 0.0003862574230879545, 0.00040298240492120385, 0.0004197073576506227, 0.00043643233948387206, 0.00045315729221329093, 0.00046988227404654026, 0.0004866072558797896, 0.0005033322377130389, 0.0005200571613386273, 0.0005367821431718767, 0.000553507125005126, 0.0005702320486307144, 0.0005869570304639637, 0.0006036820122972131, 0.0006204069941304624, 0.0006371319759637117, 0.0006538569577969611, 0.0006705819396302104, 0.0006873069214634597, 0.0007040318450890481, 0.0007207568269222975, 0.0007374818087555468, 0.0007542067905887961, 0.0007709317142143846, 0.0007876566960476339]}, "gradients/encoder.encoder.pos_conv_embed.conv.weight_g": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 0.0, 1.0, 0.0, 6.0, 4.0, 4.0, 2.0, 0.0, 2.0, 2.0, 0.0, 0.0, 0.0, 3.0, 3.0, 1.0, 0.0, 0.0, 2.0, 2.0, 2.0, 0.0, 0.0, 0.0, 4.0, 1.0, 5.0, 1.0, 2.0, 1.0, 6.0, 7.0, 2.0, 10.0, 1.0, 7.0, 9.0, 10.0, 4.0, 4.0, 5.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.00017444408149458468, -0.0001705993345240131, -0.00016675458755344152, -0.00016290985513478518, -0.0001590651081642136, -0.00015522036119364202, -0.00015137562877498567, -0.0001475308818044141, -0.00014368613483384252, -0.00013984138786327094, -0.00013599664089269936, -0.000132151908474043, -0.00012830716150347143, -0.00012446241453289986, -0.00012061767483828589, -0.00011677293514367193, -0.00011292818817310035, -0.00010908344120252877, -0.00010523870150791481, -0.00010139396181330085, -9.754921484272927e-05, -9.370446787215769e-05, -8.985972817754373e-05, -8.601498848292977e-05, -8.217024151235819e-05, -7.832549454178661e-05, -7.448075484717265e-05, -7.063601515255868e-05, -6.679126818198711e-05, -6.294652121141553e-05, -5.9101781516801566e-05, -5.5257038184208795e-05, -5.141230940353125e-05, -4.756756607093848e-05, -4.372282273834571e-05, -3.987807940575294e-05, -3.603333607316017e-05, -3.21885927405674e-05, -2.834384940797463e-05, -2.449910607538186e-05, -2.065436274278909e-05, -1.680961941019632e-05, -1.2964876077603549e-05, -9.120132745010778e-06, -5.275389412418008e-06, -1.4306460798252374e-06, 2.414097252767533e-06, 6.2588405853603035e-06, 1.0103583917953074e-05, 1.3948327250545844e-05, 1.7793070583138615e-05, 2.1637813915731385e-05, 2.5482557248324156e-05, 2.9327300580916926e-05, 3.31720439135097e-05, 3.701678724610247e-05, 4.086153057869524e-05, 4.470627391128801e-05, 4.855101724388078e-05, 5.239576057647355e-05, 5.624050390906632e-05, 6.008524724165909e-05, 6.392999057425186e-05, 6.777473026886582e-05, 7.16194772394374e-05]}, "gradients/encoder.feature_projection.projection.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 2.0, 1.0, 1.0, 1.0, 0.0, 5.0, 0.0, 3.0, 2.0, 4.0, 2.0, 5.0, 5.0, 6.0, 3.0, 6.0, 7.0, 8.0, 7.0, 15.0, 17.0, 16.0, 30.0, 50.0, 124.0, 802.0, 20812.0, 494201.0, 7225.0, 584.0, 147.0, 66.0, 32.0, 25.0, 18.0, 19.0, 9.0, 3.0, 5.0, 4.0, 4.0, 1.0, 1.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0004763603210449219, -0.0004611760377883911, -0.00044599175453186035, -0.0004308074712753296, -0.00041562318801879883, -0.00040043890476226807, -0.0003852546215057373, -0.00037007033824920654, -0.0003548860549926758, -0.000339701771736145, -0.00032451748847961426, -0.0003093332052230835, -0.00029414892196655273, -0.00027896463871002197, -0.0002637803554534912, -0.00024859607219696045, -0.0002334117889404297, -0.00021822750568389893, -0.00020304322242736816, -0.0001878589391708374, -0.00017267465591430664, -0.00015749037265777588, -0.00014230608940124512, -0.00012712180614471436, -0.0001119375228881836, -9.675323963165283e-05, -8.156895637512207e-05, -6.638467311859131e-05, -5.120038986206055e-05, -3.6016106605529785e-05, -2.0831823348999023e-05, -5.647540092468262e-06, 9.5367431640625e-06, 2.4721026420593262e-05, 3.9905309677124023e-05, 5.5089592933654785e-05, 7.027387619018555e-05, 8.545815944671631e-05, 0.00010064244270324707, 0.00011582672595977783, 0.0001310110092163086, 0.00014619529247283936, 0.00016137957572937012, 0.00017656385898590088, 0.00019174814224243164, 0.0002069324254989624, 0.00022211670875549316, 0.00023730099201202393, 0.0002524852752685547, 0.00026766955852508545, 0.0002828538417816162, 0.00029803812503814697, 0.00031322240829467773, 0.0003284066915512085, 0.00034359097480773926, 0.00035877525806427, 0.0003739595413208008, 0.00038914382457733154, 0.0004043281078338623, 0.00041951239109039307, 0.00043469667434692383, 0.0004498809576034546, 0.00046506524085998535, 0.0004802495241165161, 0.0004954338073730469]}, "gradients/encoder.feature_projection.projection.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 5.0, 2.0, 13.0, 26.0, 36.0, 75.0, 123.0, 199.0, 192.0, 150.0, 86.0, 38.0, 33.0, 13.0, 11.0, 5.0, 5.0, 3.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0], "bins": [-6.139278411865234e-05, -6.011594086885452e-05, -5.88390976190567e-05, -5.756225436925888e-05, -5.628541111946106e-05, -5.500856786966324e-05, -5.373172461986542e-05, -5.2454881370067596e-05, -5.1178038120269775e-05, -4.9901194870471954e-05, -4.862435162067413e-05, -4.734750837087631e-05, -4.607066512107849e-05, -4.479382187128067e-05, -4.351697862148285e-05, -4.224013537168503e-05, -4.096329212188721e-05, -3.9686448872089386e-05, -3.8409605622291565e-05, -3.7132762372493744e-05, -3.585591912269592e-05, -3.45790758728981e-05, -3.330223262310028e-05, -3.202538937330246e-05, -3.074854612350464e-05, -2.9471702873706818e-05, -2.8194859623908997e-05, -2.6918016374111176e-05, -2.5641173124313354e-05, -2.4364329874515533e-05, -2.3087486624717712e-05, -2.181064337491989e-05, -2.053380012512207e-05, -1.925695687532425e-05, -1.7980113625526428e-05, -1.6703270375728607e-05, -1.5426427125930786e-05, -1.4149583876132965e-05, -1.2872740626335144e-05, -1.1595897376537323e-05, -1.0319054126739502e-05, -9.042210876941681e-06, -7.76536762714386e-06, -6.488524377346039e-06, -5.211681127548218e-06, -3.934837877750397e-06, -2.6579946279525757e-06, -1.3811513781547546e-06, -1.043081283569336e-07, 1.1725351214408875e-06, 2.4493783712387085e-06, 3.7262216210365295e-06, 5.003064870834351e-06, 6.279908120632172e-06, 7.556751370429993e-06, 8.833594620227814e-06, 1.0110437870025635e-05, 1.1387281119823456e-05, 1.2664124369621277e-05, 1.3940967619419098e-05, 1.5217810869216919e-05, 1.649465411901474e-05, 1.777149736881256e-05, 1.9048340618610382e-05, 2.0325183868408203e-05]}, "gradients/encoder.feature_projection.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 3.0, 5.0, 1.0, 6.0, 16.0, 43.0, 225.0, 135.0, 39.0, 14.0, 9.0, 3.0, 2.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.00038048738497309387, -0.0003723751287907362, -0.00036426287260837853, -0.0003561506455298513, -0.00034803838934749365, -0.000339926133165136, -0.0003318138769827783, -0.00032370162080042064, -0.000315589364618063, -0.0003074771084357053, -0.00029936485225334764, -0.0002912526251748204, -0.00028314036899246275, -0.0002750281128101051, -0.0002669158566277474, -0.00025880360044538975, -0.00025069137336686254, -0.00024257911718450487, -0.00023446687555406243, -0.00022635461937170476, -0.00021824237774126232, -0.00021013012155890465, -0.00020201786537654698, -0.0001939056091941893, -0.00018579336756374687, -0.0001776811113813892, -0.00016956886975094676, -0.0001614566135685891, -0.00015334435738623142, -0.00014523211575578898, -0.0001371198595734313, -0.00012900761794298887, -0.00012089533265680075, -0.00011278308375040069, -0.00010467083484400064, -9.655857866164297e-05, -8.844632975524291e-05, -8.033408084884286e-05, -7.222182466648519e-05, -6.410957576008514e-05, -5.599732685368508e-05, -4.7885077947285026e-05, -3.9772825402906165e-05, -3.16605728585273e-05, -2.3548323952127248e-05, -1.5436075045727193e-05, -7.3238225013483316e-06, 7.884300430305302e-07, 8.900678949430585e-06, 1.7012929674820043e-05, 2.51251804002095e-05, 3.323743294458836e-05, 4.134968185098842e-05, 4.946193075738847e-05, 5.7574183301767334e-05, 6.56864358461462e-05, 7.379868475254625e-05, 8.19109336589463e-05, 9.002318256534636e-05, 9.813543874770403e-05, 0.00010624768765410408, 0.00011435993656050414, 0.0001224721927428618, 0.00013058443437330425, 0.00013869669055566192]}, "gradients/encoder.feature_projection.layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 2.0, 3.0, 1.0, 1.0, 1.0, 1.0, 1.0, 6.0, 2.0, 7.0, 9.0, 6.0, 12.0, 23.0, 27.0, 66.0, 62.0, 79.0, 64.0, 35.0, 20.0, 14.0, 9.0, 4.0, 6.0, 2.0, 5.0, 3.0, 6.0, 2.0, 1.0, 0.0, 5.0, 3.0, 1.0, 2.0, 4.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 2.0], "bins": [-7.200241088867188e-05, -6.966479122638702e-05, -6.732717156410217e-05, -6.498955190181732e-05, -6.265193223953247e-05, -6.031431257724762e-05, -5.797669291496277e-05, -5.563907325267792e-05, -5.3301453590393066e-05, -5.0963833928108215e-05, -4.8626214265823364e-05, -4.628859460353851e-05, -4.395097494125366e-05, -4.161335527896881e-05, -3.927573561668396e-05, -3.693811595439911e-05, -3.460049629211426e-05, -3.226287662982941e-05, -2.9925256967544556e-05, -2.7587637305259705e-05, -2.5250017642974854e-05, -2.2912397980690002e-05, -2.057477831840515e-05, -1.82371586561203e-05, -1.589953899383545e-05, -1.3561919331550598e-05, -1.1224299669265747e-05, -8.886680006980896e-06, -6.549060344696045e-06, -4.211440682411194e-06, -1.8738210201263428e-06, 4.637986421585083e-07, 2.8014183044433594e-06, 5.1390379667282104e-06, 7.4766576290130615e-06, 9.814277291297913e-06, 1.2151896953582764e-05, 1.4489516615867615e-05, 1.6827136278152466e-05, 1.9164755940437317e-05, 2.1502375602722168e-05, 2.383999526500702e-05, 2.617761492729187e-05, 2.851523458957672e-05, 3.085285425186157e-05, 3.319047391414642e-05, 3.5528093576431274e-05, 3.7865713238716125e-05, 4.0203332901000977e-05, 4.254095256328583e-05, 4.487857222557068e-05, 4.721619188785553e-05, 4.955381155014038e-05, 5.189143121242523e-05, 5.422905087471008e-05, 5.6566670536994934e-05, 5.8904290199279785e-05, 6.124190986156464e-05, 6.357952952384949e-05, 6.591714918613434e-05, 6.825476884841919e-05, 7.059238851070404e-05, 7.293000817298889e-05, 7.526762783527374e-05, 7.76052474975586e-05]}, "eval/loss": 6.947468280792236, "eval/wer": 2.0097029585094353, "eval/runtime": 965.2852, "eval/samples_per_second": 2.737, "eval/steps_per_second": 0.343, "train/train_runtime": 29094.1939, "train/train_samples_per_second": 4.904, "train/train_steps_per_second": 0.153, "train/total_flos": 0.0, "train/train_loss": 6.994354631227228}
\ No newline at end of file
+{"train/loss": 6.3299, "train/learning_rate": 1.7341040462427744e-07, "train/epoch": 5.0, "train/global_step": 4460, "_runtime": 30538, "_timestamp": 1646319023, "_step": 4463, "gradients/decoder.cls.predictions.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 7.0, 2.0, 2.0, 3.0, 0.0, 3.0, 63.0, 50.0, 10.0, 10.0, 6.0, 5.0, 5.0, 0.0, 30189.0, 92.0, 30.0, 12.0, 5.0, 4.0, 2.0, 2.0, 6.0, 1.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-147.75, -143.8642578125, -139.978515625, -136.0927734375, -132.20703125, -128.3212890625, -124.435546875, -120.5498046875, -116.6640625, -112.7783203125, -108.892578125, -105.0068359375, -101.12109375, -97.2353515625, -93.349609375, -89.4638671875, -85.578125, -81.6923828125, -77.806640625, -73.9208984375, -70.03515625, -66.1494140625, -62.263671875, -58.3779296875, -54.4921875, -50.6064453125, -46.720703125, -42.8349609375, -38.94921875, -35.0634765625, -31.177734375, -27.2919921875, -23.40625, -19.5205078125, -15.634765625, -11.7490234375, -7.86328125, -3.9775390625, -0.091796875, 3.7939453125, 7.6796875, 11.5654296875, 15.451171875, 19.3369140625, 23.22265625, 27.1083984375, 30.994140625, 34.8798828125, 38.765625, 42.6513671875, 46.537109375, 50.4228515625, 54.30859375, 58.1943359375, 62.080078125, 65.9658203125, 69.8515625, 73.7373046875, 77.623046875, 81.5087890625, 85.39453125, 89.2802734375, 93.166015625, 97.0517578125, 100.9375]}, "gradients/decoder.cls.predictions.transform.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 5.0, 25.0, 891.0, 88.0, 2.0, 3.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-164.79515075683594, -157.496337890625, -150.19752502441406, -142.89871215820312, -135.59991455078125, -128.30108642578125, -121.00228881835938, -113.70347595214844, -106.4046630859375, -99.10585021972656, -91.80703735351562, -84.50823211669922, -77.20941925048828, -69.91060638427734, -62.61179733276367, -55.31298828125, -48.01417541503906, -40.715362548828125, -33.41655349731445, -26.11774253845215, -18.818931579589844, -11.520118713378906, -4.221309661865234, 3.0774993896484375, 10.376312255859375, 17.67512321472168, 24.973934173583984, 32.272743225097656, 39.571556091308594, 46.87036895751953, 54.1691780090332, 61.467987060546875, 68.76681518554688, 76.06562805175781, 83.36444091796875, 90.66324615478516, 97.9620590209961, 105.26087188720703, 112.55967712402344, 119.85848999023438, 127.15730285644531, 134.45611572265625, 141.7549285888672, 149.05374145507812, 156.3525390625, 163.6513671875, 170.95016479492188, 178.2489776611328, 185.54779052734375, 192.8466033935547, 200.14541625976562, 207.44422912597656, 214.7430419921875, 222.04183959960938, 229.3406524658203, 236.63946533203125, 243.9382781982422, 251.23709106445312, 258.535888671875, 265.834716796875, 273.1335144042969, 280.4323425292969, 287.73114013671875, 295.02996826171875, 302.3287658691406]}, "gradients/decoder.cls.predictions.transform.LayerNorm.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 1.0, 1.0, 5.0, 1.0, 7.0, 6.0, 4.0, 5.0, 10.0, 13.0, 10.0, 15.0, 21.0, 11.0, 19.0, 21.0, 21.0, 20.0, 19.0, 32.0, 30.0, 27.0, 27.0, 32.0, 33.0, 39.0, 38.0, 37.0, 40.0, 47.0, 31.0, 34.0, 30.0, 24.0, 31.0, 26.0, 26.0, 19.0, 27.0, 26.0, 22.0, 17.0, 15.0, 17.0, 10.0, 11.0, 10.0, 5.0, 12.0, 5.0, 5.0, 6.0, 8.0, 3.0, 3.0, 1.0, 2.0, 0.0, 0.0, 0.0, 3.0], "bins": [-26.483293533325195, -25.644893646240234, -24.80649185180664, -23.96809196472168, -23.12969207763672, -22.291290283203125, -21.452890396118164, -20.614490509033203, -19.77608871459961, -18.93768882751465, -18.099287033081055, -17.260887145996094, -16.422487258911133, -15.584086418151855, -14.745685577392578, -13.907285690307617, -13.068885803222656, -12.230484962463379, -11.392085075378418, -10.55368423461914, -9.71528434753418, -8.876883506774902, -8.038482666015625, -7.200082302093506, -6.361681938171387, -5.523281574249268, -4.684881210327148, -3.846480369567871, -3.008080005645752, -2.169679641723633, -1.3312788009643555, -0.49287843704223633, 0.34552001953125, 1.1839205026626587, 2.0223209857940674, 2.8607215881347656, 3.6991219520568848, 4.537522315979004, 5.375923156738281, 6.2143235206604, 7.0527238845825195, 7.891124248504639, 8.729524612426758, 9.567925453186035, 10.406326293945312, 11.244726181030273, 12.08312702178955, 12.921527862548828, 13.759927749633789, 14.598328590393066, 15.436728477478027, 16.275129318237305, 17.113529205322266, 17.95193099975586, 18.79033088684082, 19.62873077392578, 20.467132568359375, 21.305532455444336, 22.14393424987793, 22.98233413696289, 23.82073402404785, 24.659133911132812, 25.497535705566406, 26.335935592651367, 27.174335479736328]}, "gradients/decoder.cls.predictions.transform.dense.weight": {"_type": "histogram", "values": [2.0, 6.0, 2.0, 7.0, 5.0, 9.0, 17.0, 25.0, 35.0, 48.0, 60.0, 83.0, 127.0, 156.0, 241.0, 282.0, 378.0, 508.0, 762.0, 1038.0, 1293.0, 1679.0, 2204.0, 2940.0, 4063.0, 5500.0, 7760.0, 11095.0, 17096.0, 28591.0, 71575.0, 728615.0, 74624.0, 29545.0, 17317.0, 11287.0, 7870.0, 5625.0, 4136.0, 3044.0, 2335.0, 1713.0, 1272.0, 915.0, 784.0, 510.0, 414.0, 270.0, 194.0, 154.0, 118.0, 77.0, 56.0, 32.0, 26.0, 21.0, 13.0, 7.0, 6.0, 4.0, 2.0, 2.0, 0.0, 1.0], "bins": [-19.296875, -18.6845703125, -18.072265625, -17.4599609375, -16.84765625, -16.2353515625, -15.623046875, -15.0107421875, -14.3984375, -13.7861328125, -13.173828125, -12.5615234375, -11.94921875, -11.3369140625, -10.724609375, -10.1123046875, -9.5, -8.8876953125, -8.275390625, -7.6630859375, -7.05078125, -6.4384765625, -5.826171875, -5.2138671875, -4.6015625, -3.9892578125, -3.376953125, -2.7646484375, -2.15234375, -1.5400390625, -0.927734375, -0.3154296875, 0.296875, 0.9091796875, 1.521484375, 2.1337890625, 2.74609375, 3.3583984375, 3.970703125, 4.5830078125, 5.1953125, 5.8076171875, 6.419921875, 7.0322265625, 7.64453125, 8.2568359375, 8.869140625, 9.4814453125, 10.09375, 10.7060546875, 11.318359375, 11.9306640625, 12.54296875, 13.1552734375, 13.767578125, 14.3798828125, 14.9921875, 15.6044921875, 16.216796875, 16.8291015625, 17.44140625, 18.0537109375, 18.666015625, 19.2783203125, 19.890625]}, "gradients/decoder.cls.predictions.transform.dense.bias": {"_type": "histogram", "values": [1.0, 1.0, 3.0, 1.0, 1.0, 1.0, 1.0, 3.0, 5.0, 5.0, 4.0, 6.0, 5.0, 5.0, 4.0, 6.0, 7.0, 6.0, 11.0, 7.0, 11.0, 7.0, 14.0, 8.0, 15.0, 22.0, 35.0, 93.0, 411.0, 118.0, 33.0, 22.0, 11.0, 9.0, 10.0, 7.0, 11.0, 9.0, 10.0, 11.0, 13.0, 4.0, 7.0, 12.0, 3.0, 1.0, 6.0, 2.0, 5.0, 3.0, 4.0, 1.0, 2.0, 2.0, 0.0, 3.0, 2.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-5.25, -5.06671142578125, -4.8834228515625, -4.70013427734375, -4.516845703125, -4.33355712890625, -4.1502685546875, -3.96697998046875, -3.78369140625, -3.60040283203125, -3.4171142578125, -3.23382568359375, -3.050537109375, -2.86724853515625, -2.6839599609375, -2.50067138671875, -2.3173828125, -2.13409423828125, -1.9508056640625, -1.76751708984375, -1.584228515625, -1.40093994140625, -1.2176513671875, -1.03436279296875, -0.85107421875, -0.66778564453125, -0.4844970703125, -0.30120849609375, -0.117919921875, 0.06536865234375, 0.2486572265625, 0.43194580078125, 0.615234375, 0.79852294921875, 0.9818115234375, 1.16510009765625, 1.348388671875, 1.53167724609375, 1.7149658203125, 1.89825439453125, 2.08154296875, 2.26483154296875, 2.4481201171875, 2.63140869140625, 2.814697265625, 2.99798583984375, 3.1812744140625, 3.36456298828125, 3.5478515625, 3.73114013671875, 3.9144287109375, 4.09771728515625, 4.281005859375, 4.46429443359375, 4.6475830078125, 4.83087158203125, 5.01416015625, 5.19744873046875, 5.3807373046875, 5.56402587890625, 5.747314453125, 5.93060302734375, 6.1138916015625, 6.29718017578125, 6.48046875]}, "gradients/decoder.bert.encoder.layer.23.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 1.0, 3.0, 0.0, 3.0, 4.0, 3.0, 7.0, 9.0, 7.0, 15.0, 14.0, 12.0, 24.0, 38.0, 47.0, 54.0, 91.0, 164.0, 198.0, 92.0, 43.0, 38.0, 28.0, 24.0, 12.0, 15.0, 12.0, 14.0, 6.0, 5.0, 4.0, 4.0, 10.0, 1.0, 1.0, 4.0, 3.0, 0.0, 3.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-4.917340278625488, -4.77283239364624, -4.628324031829834, -4.483816146850586, -4.339308261871338, -4.19480037689209, -4.050292015075684, -3.9057841300964355, -3.7612762451171875, -3.6167681217193604, -3.4722602367401123, -3.327752113342285, -3.183244228363037, -3.03873610496521, -2.894227981567383, -2.7497200965881348, -2.6052119731903076, -2.4607038497924805, -2.3161959648132324, -2.1716878414154053, -2.0271799564361572, -1.88267183303833, -1.7381638288497925, -1.5936558246612549, -1.4491478204727173, -1.3046398162841797, -1.160131812095642, -1.0156238079071045, -0.8711157441139221, -0.7266077399253845, -0.5820996761322021, -0.43759167194366455, -0.29308366775512695, -0.14857564866542816, -0.00406762957572937, 0.14044040441513062, 0.2849484086036682, 0.4294564127922058, 0.5739644765853882, 0.7184724807739258, 0.8629804849624634, 1.007488489151001, 1.1519964933395386, 1.2965044975280762, 1.4410126209259033, 1.5855205059051514, 1.7300286293029785, 1.8745366334915161, 2.0190446376800537, 2.163552761077881, 2.308060646057129, 2.452568769454956, 2.597076654434204, 2.7415847778320312, 2.8860926628112793, 3.0306007862091064, 3.1751089096069336, 3.3196170330047607, 3.464124917984009, 3.608633041381836, 3.753140926361084, 3.897649049758911, 4.042157173156738, 4.186665058135986, 4.331172943115234]}, "gradients/decoder.bert.encoder.layer.23.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 2.0, 1.0, 5.0, 0.0, 6.0, 3.0, 9.0, 8.0, 8.0, 10.0, 11.0, 17.0, 19.0, 21.0, 27.0, 25.0, 28.0, 31.0, 39.0, 43.0, 36.0, 44.0, 43.0, 44.0, 34.0, 34.0, 35.0, 39.0, 35.0, 34.0, 39.0, 28.0, 24.0, 27.0, 24.0, 28.0, 25.0, 10.0, 20.0, 19.0, 12.0, 15.0, 14.0, 9.0, 6.0, 3.0, 5.0, 2.0, 3.0, 4.0, 2.0, 5.0, 2.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0], "bins": [-2.3368263244628906, -2.2582285404205322, -2.179630756378174, -2.1010329723358154, -2.022435188293457, -1.9438374042510986, -1.8652397394180298, -1.7866419553756714, -1.708044171333313, -1.6294463872909546, -1.5508486032485962, -1.4722508192062378, -1.393653154373169, -1.3150553703308105, -1.2364575862884521, -1.1578598022460938, -1.0792620182037354, -1.000664234161377, -0.9220664501190186, -0.8434687256813049, -0.7648709416389465, -0.6862731575965881, -0.6076754331588745, -0.5290776491165161, -0.4504798650741577, -0.3718820810317993, -0.2932843267917633, -0.2146865576505661, -0.1360887885093689, -0.0574910044670105, 0.021106749773025513, 0.09970450401306152, 0.17830228805541992, 0.2569000720977783, 0.33549782633781433, 0.41409558057785034, 0.49269336462020874, 0.5712911486625671, 0.6498888731002808, 0.7284866571426392, 0.8070844411849976, 0.885682225227356, 0.9642800092697144, 1.0428777933120728, 1.1214754581451416, 1.2000732421875, 1.2786710262298584, 1.3572688102722168, 1.4358665943145752, 1.5144643783569336, 1.593062162399292, 1.6716599464416504, 1.7502577304840088, 1.8288555145263672, 1.907453179359436, 1.9860509634017944, 2.0646486282348633, 2.1432464122772217, 2.22184419631958, 2.3004419803619385, 2.379039764404297, 2.4576375484466553, 2.5362353324890137, 2.614832878112793, 2.6934309005737305]}, "gradients/decoder.bert.encoder.layer.23.output.dense.weight": {"_type": "histogram", "values": [1.0, 2.0, 1.0, 4.0, 1.0, 14.0, 3.0, 9.0, 19.0, 32.0, 30.0, 45.0, 77.0, 120.0, 176.0, 276.0, 403.0, 594.0, 842.0, 1403.0, 1965.0, 2899.0, 4592.0, 6979.0, 10700.0, 16258.0, 26009.0, 41913.0, 69715.0, 179545.0, 3519516.0, 129494.0, 60447.0, 37977.0, 25465.0, 17498.0, 11893.0, 8362.0, 5786.0, 4002.0, 2701.0, 1961.0, 1351.0, 943.0, 643.0, 459.0, 366.0, 243.0, 185.0, 115.0, 76.0, 58.0, 33.0, 20.0, 26.0, 17.0, 6.0, 9.0, 8.0, 10.0, 3.0, 1.0, 1.0, 2.0], "bins": [-1.666015625, -1.6113433837890625, -1.556671142578125, -1.5019989013671875, -1.44732666015625, -1.3926544189453125, -1.337982177734375, -1.2833099365234375, -1.2286376953125, -1.1739654541015625, -1.119293212890625, -1.0646209716796875, -1.00994873046875, -0.9552764892578125, -0.900604248046875, -0.8459320068359375, -0.791259765625, -0.7365875244140625, -0.681915283203125, -0.6272430419921875, -0.57257080078125, -0.5178985595703125, -0.463226318359375, -0.4085540771484375, -0.3538818359375, -0.2992095947265625, -0.244537353515625, -0.1898651123046875, -0.13519287109375, -0.0805206298828125, -0.025848388671875, 0.0288238525390625, 0.08349609375, 0.1381683349609375, 0.192840576171875, 0.2475128173828125, 0.30218505859375, 0.3568572998046875, 0.411529541015625, 0.4662017822265625, 0.5208740234375, 0.5755462646484375, 0.630218505859375, 0.6848907470703125, 0.73956298828125, 0.7942352294921875, 0.848907470703125, 0.9035797119140625, 0.958251953125, 1.0129241943359375, 1.067596435546875, 1.1222686767578125, 1.17694091796875, 1.2316131591796875, 1.286285400390625, 1.3409576416015625, 1.3956298828125, 1.4503021240234375, 1.504974365234375, 1.5596466064453125, 1.61431884765625, 1.6689910888671875, 1.723663330078125, 1.7783355712890625, 1.8330078125]}, "gradients/decoder.bert.encoder.layer.23.output.dense.bias": {"_type": "histogram", "values": [1.0, 2.0, 1.0, 0.0, 2.0, 2.0, 3.0, 4.0, 4.0, 2.0, 4.0, 8.0, 4.0, 14.0, 6.0, 14.0, 12.0, 24.0, 20.0, 23.0, 18.0, 32.0, 34.0, 40.0, 38.0, 37.0, 35.0, 43.0, 30.0, 39.0, 33.0, 40.0, 48.0, 33.0, 33.0, 27.0, 33.0, 24.0, 25.0, 29.0, 20.0, 21.0, 18.0, 15.0, 24.0, 19.0, 10.0, 12.0, 13.0, 8.0, 8.0, 7.0, 2.0, 3.0, 2.0, 5.0, 1.0, 2.0, 3.0, 4.0, 1.0, 2.0, 0.0, 3.0], "bins": [-0.2115478515625, -0.20465087890625, -0.19775390625, -0.19085693359375, -0.1839599609375, -0.17706298828125, -0.170166015625, -0.16326904296875, -0.1563720703125, -0.14947509765625, -0.142578125, -0.13568115234375, -0.1287841796875, -0.12188720703125, -0.114990234375, -0.10809326171875, -0.1011962890625, -0.09429931640625, -0.08740234375, -0.08050537109375, -0.0736083984375, -0.06671142578125, -0.059814453125, -0.05291748046875, -0.0460205078125, -0.03912353515625, -0.0322265625, -0.02532958984375, -0.0184326171875, -0.01153564453125, -0.004638671875, 0.00225830078125, 0.0091552734375, 0.01605224609375, 0.02294921875, 0.02984619140625, 0.0367431640625, 0.04364013671875, 0.050537109375, 0.05743408203125, 0.0643310546875, 0.07122802734375, 0.078125, 0.08502197265625, 0.0919189453125, 0.09881591796875, 0.105712890625, 0.11260986328125, 0.1195068359375, 0.12640380859375, 0.13330078125, 0.14019775390625, 0.1470947265625, 0.15399169921875, 0.160888671875, 0.16778564453125, 0.1746826171875, 0.18157958984375, 0.1884765625, 0.19537353515625, 0.2022705078125, 0.20916748046875, 0.216064453125, 0.22296142578125, 0.2298583984375]}, "gradients/decoder.bert.encoder.layer.23.intermediate.dense.weight": {"_type": "histogram", "values": [4.0, 3.0, 6.0, 5.0, 6.0, 11.0, 15.0, 29.0, 53.0, 64.0, 101.0, 139.0, 191.0, 259.0, 393.0, 636.0, 796.0, 1321.0, 1724.0, 2580.0, 3659.0, 5434.0, 7777.0, 11250.0, 16514.0, 24196.0, 37060.0, 59868.0, 117981.0, 508225.0, 2846009.0, 297181.0, 95416.0, 52043.0, 32608.0, 22025.0, 15087.0, 10349.0, 7300.0, 5039.0, 3366.0, 2374.0, 1638.0, 1100.0, 771.0, 531.0, 399.0, 261.0, 166.0, 123.0, 71.0, 42.0, 41.0, 20.0, 15.0, 11.0, 7.0, 3.0, 3.0, 1.0, 2.0, 1.0, 0.0, 1.0], "bins": [-0.400390625, -0.38720703125, -0.3740234375, -0.36083984375, -0.34765625, -0.33447265625, -0.3212890625, -0.30810546875, -0.294921875, -0.28173828125, -0.2685546875, -0.25537109375, -0.2421875, -0.22900390625, -0.2158203125, -0.20263671875, -0.189453125, -0.17626953125, -0.1630859375, -0.14990234375, -0.13671875, -0.12353515625, -0.1103515625, -0.09716796875, -0.083984375, -0.07080078125, -0.0576171875, -0.04443359375, -0.03125, -0.01806640625, -0.0048828125, 0.00830078125, 0.021484375, 0.03466796875, 0.0478515625, 0.06103515625, 0.07421875, 0.08740234375, 0.1005859375, 0.11376953125, 0.126953125, 0.14013671875, 0.1533203125, 0.16650390625, 0.1796875, 0.19287109375, 0.2060546875, 0.21923828125, 0.232421875, 0.24560546875, 0.2587890625, 0.27197265625, 0.28515625, 0.29833984375, 0.3115234375, 0.32470703125, 0.337890625, 0.35107421875, 0.3642578125, 0.37744140625, 0.390625, 0.40380859375, 0.4169921875, 0.43017578125, 0.443359375]}, "gradients/decoder.bert.encoder.layer.23.intermediate.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 4.0, 1.0, 4.0, 7.0, 2.0, 5.0, 7.0, 11.0, 13.0, 12.0, 22.0, 22.0, 22.0, 27.0, 26.0, 28.0, 28.0, 35.0, 59.0, 71.0, 92.0, 215.0, 647.0, 1194.0, 784.0, 264.0, 106.0, 67.0, 49.0, 42.0, 28.0, 30.0, 20.0, 19.0, 22.0, 15.0, 13.0, 13.0, 17.0, 6.0, 10.0, 9.0, 3.0, 1.0, 4.0, 8.0, 1.0, 2.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0], "bins": [-0.1578369140625, -0.15313339233398438, -0.14842987060546875, -0.14372634887695312, -0.1390228271484375, -0.13431930541992188, -0.12961578369140625, -0.12491226196289062, -0.120208740234375, -0.11550521850585938, -0.11080169677734375, -0.10609817504882812, -0.1013946533203125, -0.09669113159179688, -0.09198760986328125, -0.08728408813476562, -0.08258056640625, -0.07787704467773438, -0.07317352294921875, -0.06847000122070312, -0.0637664794921875, -0.059062957763671875, -0.05435943603515625, -0.049655914306640625, -0.044952392578125, -0.040248870849609375, -0.03554534912109375, -0.030841827392578125, -0.0261383056640625, -0.021434783935546875, -0.01673126220703125, -0.012027740478515625, -0.00732421875, -0.002620697021484375, 0.00208282470703125, 0.006786346435546875, 0.0114898681640625, 0.016193389892578125, 0.02089691162109375, 0.025600433349609375, 0.030303955078125, 0.035007476806640625, 0.03971099853515625, 0.044414520263671875, 0.0491180419921875, 0.053821563720703125, 0.05852508544921875, 0.06322860717773438, 0.06793212890625, 0.07263565063476562, 0.07733917236328125, 0.08204269409179688, 0.0867462158203125, 0.09144973754882812, 0.09615325927734375, 0.10085678100585938, 0.105560302734375, 0.11026382446289062, 0.11496734619140625, 0.11967086791992188, 0.1243743896484375, 0.12907791137695312, 0.13378143310546875, 0.13848495483398438, 0.1431884765625]}, "gradients/decoder.bert.encoder.layer.23.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 1.0, 1.0, 2.0, 0.0, 1.0, 1.0, 3.0, 0.0, 6.0, 9.0, 6.0, 7.0, 9.0, 12.0, 17.0, 15.0, 22.0, 38.0, 30.0, 41.0, 64.0, 66.0, 115.0, 166.0, 91.0, 69.0, 39.0, 40.0, 39.0, 14.0, 12.0, 18.0, 8.0, 8.0, 8.0, 7.0, 5.0, 8.0, 2.0, 4.0, 0.0, 5.0, 1.0, 2.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.36776912212371826, -0.3559679687023163, -0.3441668152809143, -0.33236563205718994, -0.32056447863578796, -0.308763325214386, -0.296962171792984, -0.28516101837158203, -0.27335983514785767, -0.2615586817264557, -0.24975751340389252, -0.23795635998249054, -0.22615519165992737, -0.2143540382385254, -0.2025528848171234, -0.19075173139572144, -0.17895057797431946, -0.16714942455291748, -0.1553482562303543, -0.14354710280895233, -0.13174593448638916, -0.11994478106498718, -0.1081436276435852, -0.09634246677160263, -0.08454130589962006, -0.07274014502763748, -0.060938987880945206, -0.04913783073425293, -0.037336669862270355, -0.02553550899028778, -0.013734355568885803, -0.0019331946969032288, 0.009867966175079346, 0.02166912518441677, 0.033470284193754196, 0.04527144134044647, 0.05707260221242905, 0.06887376308441162, 0.0806749165058136, 0.09247607737779617, 0.10427723824977875, 0.11607839912176132, 0.1278795599937439, 0.13968071341514587, 0.15148186683654785, 0.16328303515911102, 0.175084188580513, 0.18688535690307617, 0.19868651032447815, 0.21048766374588013, 0.2222888320684433, 0.23408998548984528, 0.24589115381240845, 0.2576923072338104, 0.2694934606552124, 0.2812946140766144, 0.29309576749801636, 0.30489692091941833, 0.3166980743408203, 0.3284992575645447, 0.34030041098594666, 0.35210156440734863, 0.3639027178287506, 0.3757038712501526, 0.38750505447387695]}, "gradients/decoder.bert.encoder.layer.23.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 3.0, 2.0, 1.0, 4.0, 3.0, 7.0, 6.0, 3.0, 12.0, 17.0, 13.0, 12.0, 18.0, 21.0, 19.0, 29.0, 32.0, 36.0, 30.0, 41.0, 43.0, 41.0, 41.0, 37.0, 48.0, 39.0, 48.0, 34.0, 28.0, 28.0, 30.0, 34.0, 25.0, 19.0, 31.0, 31.0, 25.0, 21.0, 15.0, 14.0, 9.0, 14.0, 10.0, 13.0, 7.0, 6.0, 4.0, 4.0, 4.0, 2.0, 2.0, 3.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.223970428109169, -0.21657605469226837, -0.20918169617652893, -0.2017873227596283, -0.19439296424388885, -0.18699859082698822, -0.17960423231124878, -0.17220985889434814, -0.1648154854774475, -0.15742111206054688, -0.15002675354480743, -0.1426323801279068, -0.13523802161216736, -0.12784364819526672, -0.12044928222894669, -0.11305491626262665, -0.10566055029630661, -0.09826618432998657, -0.09087181836366653, -0.0834774523973465, -0.07608307898044586, -0.06868871301412582, -0.061294347047805786, -0.05389997735619545, -0.04650561138987541, -0.039111245423555374, -0.03171687573194504, -0.024322509765625, -0.016928141936659813, -0.009533774107694626, -0.002139408141374588, 0.005254961550235748, 0.012649327516555786, 0.020043695345520973, 0.02743806317448616, 0.0348324291408062, 0.042226798832416534, 0.04962116479873657, 0.05701553076505661, 0.06440989673137665, 0.07180427014827728, 0.07919863611459732, 0.08659300208091736, 0.093987375497818, 0.10138174146413803, 0.10877610743045807, 0.1161704733967781, 0.12356483936309814, 0.13095921277999878, 0.13835358619689941, 0.14574794471263885, 0.1531423181295395, 0.16053667664527893, 0.16793105006217957, 0.1753254234790802, 0.18271978199481964, 0.19011414051055908, 0.19750851392745972, 0.20490287244319916, 0.2122972458600998, 0.21969160437583923, 0.22708597779273987, 0.2344803512096405, 0.24187470972537994, 0.24926908314228058]}, "gradients/decoder.bert.encoder.layer.23.crossattention.output.dense.weight": {"_type": "histogram", "values": [2.0, 0.0, 3.0, 3.0, 8.0, 9.0, 15.0, 18.0, 30.0, 43.0, 61.0, 96.0, 112.0, 168.0, 251.0, 238.0, 321.0, 439.0, 543.0, 747.0, 1172.0, 1547.0, 2298.0, 3061.0, 4532.0, 6397.0, 9538.0, 14357.0, 22448.0, 35880.0, 62039.0, 117529.0, 315282.0, 211058.0, 94759.0, 51736.0, 31037.0, 19710.0, 12537.0, 8564.0, 5891.0, 3896.0, 2835.0, 1992.0, 1506.0, 967.0, 772.0, 501.0, 398.0, 303.0, 262.0, 194.0, 136.0, 119.0, 74.0, 44.0, 29.0, 28.0, 19.0, 7.0, 7.0, 5.0, 2.0, 1.0], "bins": [-0.2200927734375, -0.2133922576904297, -0.20669174194335938, -0.19999122619628906, -0.19329071044921875, -0.18659019470214844, -0.17988967895507812, -0.1731891632080078, -0.1664886474609375, -0.1597881317138672, -0.15308761596679688, -0.14638710021972656, -0.13968658447265625, -0.13298606872558594, -0.12628555297851562, -0.11958503723144531, -0.112884521484375, -0.10618400573730469, -0.09948348999023438, -0.09278297424316406, -0.08608245849609375, -0.07938194274902344, -0.07268142700195312, -0.06598091125488281, -0.0592803955078125, -0.05257987976074219, -0.045879364013671875, -0.03917884826660156, -0.03247833251953125, -0.025777816772460938, -0.019077301025390625, -0.012376785278320312, -0.00567626953125, 0.0010242462158203125, 0.007724761962890625, 0.014425277709960938, 0.02112579345703125, 0.027826309204101562, 0.034526824951171875, 0.04122734069824219, 0.0479278564453125, 0.05462837219238281, 0.061328887939453125, 0.06802940368652344, 0.07472991943359375, 0.08143043518066406, 0.08813095092773438, 0.09483146667480469, 0.101531982421875, 0.10823249816894531, 0.11493301391601562, 0.12163352966308594, 0.12833404541015625, 0.13503456115722656, 0.14173507690429688, 0.1484355926513672, 0.1551361083984375, 0.1618366241455078, 0.16853713989257812, 0.17523765563964844, 0.18193817138671875, 0.18863868713378906, 0.19533920288085938, 0.2020397186279297, 0.208740234375]}, "gradients/decoder.bert.encoder.layer.23.crossattention.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 2.0, 6.0, 3.0, 4.0, 10.0, 12.0, 8.0, 2.0, 10.0, 8.0, 7.0, 16.0, 23.0, 14.0, 26.0, 25.0, 28.0, 25.0, 28.0, 37.0, 42.0, 30.0, 43.0, 26.0, 36.0, 33.0, 39.0, 26.0, 42.0, 31.0, 32.0, 34.0, 25.0, 28.0, 27.0, 27.0, 24.0, 24.0, 22.0, 16.0, 20.0, 11.0, 16.0, 9.0, 7.0, 12.0, 4.0, 6.0, 6.0, 6.0, 7.0, 3.0, 4.0, 1.0, 2.0, 2.0, 2.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.004001617431640625, -0.003866732120513916, -0.003731846809387207, -0.003596961498260498, -0.003462076187133789, -0.00332719087600708, -0.003192305564880371, -0.003057420253753662, -0.002922534942626953, -0.002787649631500244, -0.002652764320373535, -0.002517879009246826, -0.002382993698120117, -0.002248108386993408, -0.0021132230758666992, -0.0019783377647399902, -0.0018434524536132812, -0.0017085671424865723, -0.0015736818313598633, -0.0014387965202331543, -0.0013039112091064453, -0.0011690258979797363, -0.0010341405868530273, -0.0008992552757263184, -0.0007643699645996094, -0.0006294846534729004, -0.0004945993423461914, -0.0003597140312194824, -0.00022482872009277344, -8.994340896606445e-05, 4.494190216064453e-05, 0.00017982721328735352, 0.0003147125244140625, 0.0004495978355407715, 0.0005844831466674805, 0.0007193684577941895, 0.0008542537689208984, 0.0009891390800476074, 0.0011240243911743164, 0.0012589097023010254, 0.0013937950134277344, 0.0015286803245544434, 0.0016635656356811523, 0.0017984509468078613, 0.0019333362579345703, 0.0020682215690612793, 0.0022031068801879883, 0.0023379921913146973, 0.0024728775024414062, 0.0026077628135681152, 0.0027426481246948242, 0.002877533435821533, 0.003012418746948242, 0.003147304058074951, 0.00328218936920166, 0.003417074680328369, 0.003551959991455078, 0.003686845302581787, 0.003821730613708496, 0.003956615924835205, 0.004091501235961914, 0.004226386547088623, 0.004361271858215332, 0.004496157169342041, 0.00463104248046875]}, "gradients/decoder.bert.encoder.layer.23.crossattention.self.value.weight": {"_type": "histogram", "values": [3.0, 2.0, 0.0, 3.0, 1.0, 3.0, 4.0, 9.0, 3.0, 8.0, 16.0, 17.0, 29.0, 29.0, 63.0, 83.0, 105.0, 204.0, 247.0, 406.0, 586.0, 784.0, 1221.0, 1710.0, 2599.0, 4213.0, 6495.0, 10245.0, 16047.0, 25502.0, 39694.0, 69599.0, 728527.0, 51238.0, 31628.0, 20508.0, 13148.0, 8171.0, 5233.0, 3446.0, 2202.0, 1447.0, 979.0, 620.0, 430.0, 330.0, 231.0, 163.0, 104.0, 76.0, 45.0, 37.0, 26.0, 16.0, 14.0, 5.0, 3.0, 7.0, 2.0, 3.0, 2.0, 2.0, 0.0, 3.0], "bins": [-0.0791015625, -0.07664966583251953, -0.07419776916503906, -0.0717458724975586, -0.06929397583007812, -0.06684207916259766, -0.06439018249511719, -0.06193828582763672, -0.05948638916015625, -0.05703449249267578, -0.05458259582519531, -0.052130699157714844, -0.049678802490234375, -0.047226905822753906, -0.04477500915527344, -0.04232311248779297, -0.0398712158203125, -0.03741931915283203, -0.03496742248535156, -0.032515525817871094, -0.030063629150390625, -0.027611732482910156, -0.025159835815429688, -0.02270793914794922, -0.02025604248046875, -0.01780414581298828, -0.015352249145507812, -0.012900352478027344, -0.010448455810546875, -0.007996559143066406, -0.0055446624755859375, -0.0030927658081054688, -0.000640869140625, 0.0018110275268554688, 0.0042629241943359375, 0.006714820861816406, 0.009166717529296875, 0.011618614196777344, 0.014070510864257812, 0.01652240753173828, 0.01897430419921875, 0.02142620086669922, 0.023878097534179688, 0.026329994201660156, 0.028781890869140625, 0.031233787536621094, 0.03368568420410156, 0.03613758087158203, 0.0385894775390625, 0.04104137420654297, 0.04349327087402344, 0.045945167541503906, 0.048397064208984375, 0.050848960876464844, 0.05330085754394531, 0.05575275421142578, 0.05820465087890625, 0.06065654754638672, 0.06310844421386719, 0.06556034088134766, 0.06801223754882812, 0.0704641342163086, 0.07291603088378906, 0.07536792755126953, 0.07781982421875]}, "gradients/decoder.bert.encoder.layer.23.crossattention.self.value.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 4.0, 1.0, 4.0, 6.0, 6.0, 6.0, 8.0, 16.0, 10.0, 18.0, 17.0, 31.0, 32.0, 32.0, 41.0, 35.0, 37.0, 41.0, 39.0, 39.0, 43.0, 54.0, 46.0, 35.0, 42.0, 35.0, 35.0, 47.0, 31.0, 28.0, 31.0, 22.0, 33.0, 13.0, 16.0, 14.0, 18.0, 14.0, 8.0, 9.0, 6.0, 4.0, 2.0, 3.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.003238677978515625, -0.0031309127807617188, -0.0030231475830078125, -0.0029153823852539062, -0.0028076171875, -0.0026998519897460938, -0.0025920867919921875, -0.0024843215942382812, -0.002376556396484375, -0.0022687911987304688, -0.0021610260009765625, -0.0020532608032226562, -0.00194549560546875, -0.0018377304077148438, -0.0017299652099609375, -0.0016222000122070312, -0.001514434814453125, -0.0014066696166992188, -0.0012989044189453125, -0.0011911392211914062, -0.0010833740234375, -0.0009756088256835938, -0.0008678436279296875, -0.0007600784301757812, -0.000652313232421875, -0.0005445480346679688, -0.0004367828369140625, -0.00032901763916015625, -0.00022125244140625, -0.00011348724365234375, -5.7220458984375e-06, 0.00010204315185546875, 0.000209808349609375, 0.00031757354736328125, 0.0004253387451171875, 0.0005331039428710938, 0.000640869140625, 0.0007486343383789062, 0.0008563995361328125, 0.0009641647338867188, 0.001071929931640625, 0.0011796951293945312, 0.0012874603271484375, 0.0013952255249023438, 0.00150299072265625, 0.0016107559204101562, 0.0017185211181640625, 0.0018262863159179688, 0.001934051513671875, 0.0020418167114257812, 0.0021495819091796875, 0.0022573471069335938, 0.0023651123046875, 0.0024728775024414062, 0.0025806427001953125, 0.0026884078979492188, 0.002796173095703125, 0.0029039382934570312, 0.0030117034912109375, 0.0031194686889648438, 0.00322723388671875, 0.0033349990844726562, 0.0034427642822265625, 0.0035505294799804688, 0.003658294677734375]}, "gradients/decoder.bert.encoder.layer.23.crossattention.self.key.weight": {"_type": "histogram", "values": [3.0, 5.0, 6.0, 4.0, 8.0, 13.0, 9.0, 25.0, 28.0, 21.0, 51.0, 50.0, 68.0, 85.0, 99.0, 112.0, 137.0, 196.0, 231.0, 272.0, 309.0, 387.0, 476.0, 566.0, 672.0, 799.0, 969.0, 1199.0, 1698.0, 3000.0, 6918.0, 23342.0, 980278.0, 12418.0, 4285.0, 2264.0, 1446.0, 1016.0, 855.0, 731.0, 571.0, 531.0, 439.0, 384.0, 319.0, 242.0, 229.0, 169.0, 139.0, 107.0, 92.0, 71.0, 53.0, 49.0, 36.0, 20.0, 20.0, 10.0, 12.0, 15.0, 6.0, 5.0, 3.0, 3.0], "bins": [-0.0025348663330078125, -0.00245627760887146, -0.0023776888847351074, -0.002299100160598755, -0.0022205114364624023, -0.00214192271232605, -0.0020633339881896973, -0.0019847452640533447, -0.0019061565399169922, -0.0018275678157806396, -0.0017489790916442871, -0.0016703903675079346, -0.001591801643371582, -0.0015132129192352295, -0.001434624195098877, -0.0013560354709625244, -0.0012774467468261719, -0.0011988580226898193, -0.0011202692985534668, -0.0010416805744171143, -0.0009630918502807617, -0.0008845031261444092, -0.0008059144020080566, -0.0007273256778717041, -0.0006487369537353516, -0.000570148229598999, -0.0004915595054626465, -0.00041297078132629395, -0.0003343820571899414, -0.00025579333305358887, -0.00017720460891723633, -9.861588478088379e-05, -2.002716064453125e-05, 5.856156349182129e-05, 0.00013715028762817383, 0.00021573901176452637, 0.0002943277359008789, 0.00037291646003723145, 0.000451505184173584, 0.0005300939083099365, 0.0006086826324462891, 0.0006872713565826416, 0.0007658600807189941, 0.0008444488048553467, 0.0009230375289916992, 0.0010016262531280518, 0.0010802149772644043, 0.0011588037014007568, 0.0012373924255371094, 0.001315981149673462, 0.0013945698738098145, 0.001473158597946167, 0.0015517473220825195, 0.001630336046218872, 0.0017089247703552246, 0.0017875134944915771, 0.0018661022186279297, 0.0019446909427642822, 0.0020232796669006348, 0.0021018683910369873, 0.00218045711517334, 0.0022590458393096924, 0.002337634563446045, 0.0024162232875823975, 0.00249481201171875]}, "gradients/decoder.bert.encoder.layer.23.crossattention.self.key.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 2.0, 1.0, 0.0, 3.0, 2.0, 0.0, 1.0, 2.0, 2.0, 1.0, 2.0, 0.0, 1.0, 2.0, 2.0, 4.0, 6.0, 16.0, 12.0, 806.0, 77.0, 27.0, 10.0, 9.0, 5.0, 2.0, 0.0, 1.0, 2.0, 0.0, 1.0, 0.0, 2.0, 0.0, 2.0, 2.0, 0.0, 0.0, 1.0, 1.0, 3.0, 0.0, 2.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0], "bins": [-9.644031524658203e-05, -9.322259575128555e-05, -9.000487625598907e-05, -8.67871567606926e-05, -8.356943726539612e-05, -8.035171777009964e-05, -7.713399827480316e-05, -7.391627877950668e-05, -7.06985592842102e-05, -6.748083978891373e-05, -6.426312029361725e-05, -6.104540079832077e-05, -5.782768130302429e-05, -5.4609961807727814e-05, -5.1392242312431335e-05, -4.817452281713486e-05, -4.495680332183838e-05, -4.17390838265419e-05, -3.852136433124542e-05, -3.5303644835948944e-05, -3.2085925340652466e-05, -2.8868205845355988e-05, -2.565048635005951e-05, -2.243276685476303e-05, -1.9215047359466553e-05, -1.5997327864170074e-05, -1.2779608368873596e-05, -9.561888873577118e-06, -6.34416937828064e-06, -3.1264498829841614e-06, 9.12696123123169e-08, 3.308989107608795e-06, 6.5267086029052734e-06, 9.744428098201752e-06, 1.296214759349823e-05, 1.6179867088794708e-05, 1.9397586584091187e-05, 2.2615306079387665e-05, 2.5833025574684143e-05, 2.905074506998062e-05, 3.22684645652771e-05, 3.548618406057358e-05, 3.8703903555870056e-05, 4.1921623051166534e-05, 4.513934254646301e-05, 4.835706204175949e-05, 5.157478153705597e-05, 5.479250103235245e-05, 5.8010220527648926e-05, 6.12279400229454e-05, 6.444565951824188e-05, 6.766337901353836e-05, 7.088109850883484e-05, 7.409881800413132e-05, 7.73165374994278e-05, 8.053425699472427e-05, 8.375197649002075e-05, 8.696969598531723e-05, 9.018741548061371e-05, 9.340513497591019e-05, 9.662285447120667e-05, 9.984057396650314e-05, 0.00010305829346179962, 0.0001062760129570961, 0.00010949373245239258]}, "gradients/decoder.bert.encoder.layer.23.crossattention.self.query.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 4.0, 6.0, 9.0, 7.0, 11.0, 19.0, 31.0, 42.0, 43.0, 66.0, 62.0, 122.0, 147.0, 177.0, 238.0, 304.0, 408.0, 531.0, 706.0, 851.0, 994.0, 1286.0, 1609.0, 2090.0, 2677.0, 3522.0, 5506.0, 14221.0, 72982.0, 898859.0, 17903.0, 6361.0, 3862.0, 2780.0, 2099.0, 1605.0, 1328.0, 1028.0, 900.0, 671.0, 607.0, 455.0, 368.0, 259.0, 213.0, 162.0, 112.0, 92.0, 63.0, 50.0, 39.0, 18.0, 21.0, 22.0, 11.0, 4.0, 1.0, 5.0, 1.0, 3.0], "bins": [-0.0015764236450195312, -0.0015287995338439941, -0.001481175422668457, -0.00143355131149292, -0.0013859272003173828, -0.0013383030891418457, -0.0012906789779663086, -0.0012430548667907715, -0.0011954307556152344, -0.0011478066444396973, -0.0011001825332641602, -0.001052558422088623, -0.001004934310913086, -0.0009573101997375488, -0.0009096860885620117, -0.0008620619773864746, -0.0008144378662109375, -0.0007668137550354004, -0.0007191896438598633, -0.0006715655326843262, -0.0006239414215087891, -0.000576317310333252, -0.0005286931991577148, -0.00048106908798217773, -0.0004334449768066406, -0.0003858208656311035, -0.0003381967544555664, -0.0002905726432800293, -0.0002429485321044922, -0.00019532442092895508, -0.00014770030975341797, -0.00010007619857788086, -5.245208740234375e-05, -4.827976226806641e-06, 4.279613494873047e-05, 9.042024612426758e-05, 0.0001380443572998047, 0.0001856684684753418, 0.0002332925796508789, 0.000280916690826416, 0.0003285408020019531, 0.00037616491317749023, 0.00042378902435302734, 0.00047141313552856445, 0.0005190372467041016, 0.0005666613578796387, 0.0006142854690551758, 0.0006619095802307129, 0.00070953369140625, 0.0007571578025817871, 0.0008047819137573242, 0.0008524060249328613, 0.0009000301361083984, 0.0009476542472839355, 0.0009952783584594727, 0.0010429024696350098, 0.0010905265808105469, 0.001138150691986084, 0.001185774803161621, 0.0012333989143371582, 0.0012810230255126953, 0.0013286471366882324, 0.0013762712478637695, 0.0014238953590393066, 0.0014715194702148438]}, "gradients/decoder.bert.encoder.layer.23.crossattention.self.query.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 2.0, 3.0, 1.0, 0.0, 2.0, 0.0, 3.0, 1.0, 2.0, 1.0, 1.0, 1.0, 1.0, 1.0, 2.0, 0.0, 3.0, 2.0, 1.0, 1.0, 0.0, 3.0, 6.0, 13.0, 23.0, 24.0, 796.0, 42.0, 28.0, 14.0, 15.0, 1.0, 1.0, 4.0, 0.0, 6.0, 0.0, 0.0, 3.0, 1.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0, 3.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00046515464782714844, -0.00044950470328330994, -0.00043385475873947144, -0.00041820481419563293, -0.00040255486965179443, -0.00038690492510795593, -0.00037125498056411743, -0.00035560503602027893, -0.00033995509147644043, -0.00032430514693260193, -0.00030865520238876343, -0.0002930052578449249, -0.0002773553133010864, -0.0002617053687572479, -0.0002460554242134094, -0.00023040547966957092, -0.00021475553512573242, -0.00019910559058189392, -0.00018345564603805542, -0.00016780570149421692, -0.00015215575695037842, -0.00013650581240653992, -0.00012085586786270142, -0.00010520592331886292, -8.955597877502441e-05, -7.390603423118591e-05, -5.825608968734741e-05, -4.260614514350891e-05, -2.695620059967041e-05, -1.130625605583191e-05, 4.343688488006592e-06, 1.9993633031845093e-05, 3.5643577575683594e-05, 5.1293522119522095e-05, 6.69434666633606e-05, 8.25934112071991e-05, 9.82433557510376e-05, 0.0001138933002948761, 0.0001295432448387146, 0.0001451931893825531, 0.0001608431339263916, 0.0001764930784702301, 0.0001921430230140686, 0.0002077929675579071, 0.0002234429121017456, 0.0002390928566455841, 0.0002547428011894226, 0.0002703927457332611, 0.0002860426902770996, 0.0003016926348209381, 0.0003173425793647766, 0.0003329925239086151, 0.0003486424684524536, 0.0003642924129962921, 0.0003799423575401306, 0.0003955923020839691, 0.0004112422466278076, 0.0004268921911716461, 0.0004425421357154846, 0.0004581920802593231, 0.0004738420248031616, 0.0004894919693470001, 0.0005051419138908386, 0.0005207918584346771, 0.0005364418029785156]}, "gradients/decoder.bert.encoder.layer.23.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 4.0, 2.0, 1.0, 2.0, 7.0, 3.0, 5.0, 9.0, 9.0, 16.0, 16.0, 16.0, 30.0, 26.0, 44.0, 68.0, 105.0, 167.0, 137.0, 82.0, 59.0, 53.0, 32.0, 24.0, 12.0, 22.0, 12.0, 11.0, 11.0, 7.0, 5.0, 5.0, 1.0, 2.0, 2.0, 2.0, 4.0, 2.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0], "bins": [-0.00976170040667057, -0.009496732614934444, -0.009231764823198318, -0.008966797031462193, -0.008701829239726067, -0.00843686144798994, -0.008171893656253815, -0.007906924933195114, -0.0076419576071202755, -0.0073769898153841496, -0.007112022023648024, -0.006847054231911898, -0.006582085974514484, -0.0063171181827783585, -0.0060521503910422325, -0.005787182599306107, -0.005522214807569981, -0.005257247015833855, -0.004992279224097729, -0.004727311432361603, -0.004462343640625477, -0.004197375848889351, -0.003932407591491938, -0.0036674397997558117, -0.0034024720080196857, -0.00313750421628356, -0.002872536424547434, -0.0026075683999806643, -0.0023426006082445383, -0.0020776328165084124, -0.0018126649083569646, -0.0015476970002055168, -0.0012827287428081036, -0.0010177609510719776, -0.0007527930429205298, -0.000487825192976743, -0.00022285734303295612, 4.211044870316982e-05, 0.0003070783568546176, 0.0005720462650060654, 0.0008370140567421913, 0.0011019818484783173, 0.001366949756629765, 0.0016319176647812128, 0.0018968854565173388, 0.0021618532482534647, 0.0024268212728202343, 0.0026917890645563602, 0.002956756856292486, 0.003221724648028612, 0.003486692439764738, 0.0037516604643315077, 0.004016628488898277, 0.004281596280634403, 0.004546564072370529, 0.004811531864106655, 0.005076499655842781, 0.005341467447578907, 0.005606435239315033, 0.005871403031051159, 0.006136370822787285, 0.006401338614523411, 0.006666306871920824, 0.00693127466365695, 0.007196242455393076]}, "gradients/decoder.bert.encoder.layer.23.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 3.0, 2.0, 4.0, 7.0, 5.0, 3.0, 7.0, 16.0, 11.0, 14.0, 16.0, 24.0, 19.0, 28.0, 25.0, 32.0, 28.0, 39.0, 41.0, 45.0, 46.0, 42.0, 39.0, 46.0, 36.0, 41.0, 29.0, 27.0, 33.0, 31.0, 33.0, 23.0, 24.0, 31.0, 23.0, 24.0, 18.0, 12.0, 15.0, 12.0, 14.0, 10.0, 8.0, 10.0, 4.0, 2.0, 4.0, 1.0, 4.0, 2.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.004443526268005371, -0.004299814812839031, -0.004156103823333979, -0.004012392368167639, -0.0038686811458319426, -0.0037249699234962463, -0.00358125870116055, -0.003437547478824854, -0.003293836023658514, -0.003150124801322818, -0.0030064135789871216, -0.0028627021238207817, -0.0027189909014850855, -0.0025752796791493893, -0.002431568456813693, -0.002287857234477997, -0.0021441460121423006, -0.0020004347898066044, -0.0018567234510555863, -0.0017130122287198901, -0.001569300889968872, -0.0014255896676331758, -0.0012818784452974796, -0.0011381671065464616, -0.0009944558842107654, -0.0008507446036674082, -0.0007070333231240511, -0.0005633221007883549, -0.00041961082024499774, -0.0002758995397016406, -0.00013218831736594439, 1.1523021385073662e-05, 0.00015523424372076988, 0.000298945524264127, 0.0004426567757036537, 0.0005863680271431804, 0.0007300793076865375, 0.0008737905882298946, 0.0010175018105655909, 0.001161213149316609, 0.0013049243716523051, 0.0014486355939880013, 0.0015923469327390194, 0.0017360581550747156, 0.0018797693774104118, 0.0020234808325767517, 0.0021671918220818043, 0.002310903277248144, 0.0024546144995838404, 0.0025983257219195366, 0.002742036944255233, 0.002885748166590929, 0.003029459621757269, 0.003173170844092965, 0.0033168820664286613, 0.0034605935215950012, 0.003604304511100054, 0.00374801573343575, 0.0038917269557714462, 0.004035438410937786, 0.004179149400442839, 0.0043228608556091785, 0.004466571845114231, 0.004610283300280571, 0.004753994755446911]}, "gradients/decoder.bert.encoder.layer.23.attention.output.dense.weight": {"_type": "histogram", "values": [4.0, 1.0, 3.0, 4.0, 1.0, 9.0, 14.0, 22.0, 22.0, 48.0, 53.0, 70.0, 108.0, 150.0, 199.0, 271.0, 413.0, 600.0, 874.0, 1147.0, 1774.0, 2520.0, 3644.0, 5505.0, 8105.0, 11760.0, 18098.0, 27827.0, 42815.0, 72085.0, 135524.0, 327338.0, 165602.0, 82460.0, 48349.0, 30235.0, 20174.0, 13145.0, 8687.0, 5803.0, 4050.0, 2752.0, 1905.0, 1304.0, 885.0, 657.0, 449.0, 321.0, 225.0, 167.0, 117.0, 90.0, 52.0, 42.0, 31.0, 24.0, 11.0, 10.0, 6.0, 2.0, 5.0, 2.0, 4.0, 2.0], "bins": [-0.00614166259765625, -0.005947411060333252, -0.005753159523010254, -0.005558907985687256, -0.005364656448364258, -0.00517040491104126, -0.004976153373718262, -0.004781901836395264, -0.004587650299072266, -0.004393398761749268, -0.0041991472244262695, -0.0040048956871032715, -0.0038106441497802734, -0.0036163926124572754, -0.0034221410751342773, -0.0032278895378112793, -0.0030336380004882812, -0.002839386463165283, -0.002645134925842285, -0.002450883388519287, -0.002256631851196289, -0.002062380313873291, -0.001868128776550293, -0.001673877239227295, -0.0014796257019042969, -0.0012853741645812988, -0.0010911226272583008, -0.0008968710899353027, -0.0007026195526123047, -0.0005083680152893066, -0.0003141164779663086, -0.00011986494064331055, 7.43865966796875e-05, 0.00026863813400268555, 0.0004628896713256836, 0.0006571412086486816, 0.0008513927459716797, 0.0010456442832946777, 0.0012398958206176758, 0.0014341473579406738, 0.0016283988952636719, 0.00182265043258667, 0.002016901969909668, 0.002211153507232666, 0.002405405044555664, 0.002599656581878662, 0.00279390811920166, 0.002988159656524658, 0.0031824111938476562, 0.0033766627311706543, 0.0035709142684936523, 0.0037651658058166504, 0.0039594173431396484, 0.0041536688804626465, 0.0043479204177856445, 0.004542171955108643, 0.004736423492431641, 0.004930675029754639, 0.005124926567077637, 0.005319178104400635, 0.005513429641723633, 0.005707681179046631, 0.005901932716369629, 0.006096184253692627, 0.006290435791015625]}, "gradients/decoder.bert.encoder.layer.23.attention.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 3.0, 5.0, 3.0, 2.0, 5.0, 2.0, 5.0, 9.0, 6.0, 15.0, 19.0, 20.0, 26.0, 29.0, 29.0, 22.0, 32.0, 28.0, 32.0, 41.0, 41.0, 52.0, 40.0, 40.0, 40.0, 45.0, 35.0, 35.0, 38.0, 40.0, 26.0, 30.0, 19.0, 32.0, 20.0, 29.0, 15.0, 16.0, 15.0, 20.0, 11.0, 12.0, 5.0, 7.0, 7.0, 3.0, 2.0, 2.0, 5.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.0015363693237304688, -0.0014876723289489746, -0.0014389753341674805, -0.0013902783393859863, -0.0013415813446044922, -0.001292884349822998, -0.001244187355041504, -0.0011954903602600098, -0.0011467933654785156, -0.0010980963706970215, -0.0010493993759155273, -0.0010007023811340332, -0.0009520053863525391, -0.0009033083915710449, -0.0008546113967895508, -0.0008059144020080566, -0.0007572174072265625, -0.0007085204124450684, -0.0006598234176635742, -0.0006111264228820801, -0.0005624294281005859, -0.0005137324333190918, -0.00046503543853759766, -0.0004163384437561035, -0.0003676414489746094, -0.00031894445419311523, -0.0002702474594116211, -0.00022155046463012695, -0.0001728534698486328, -0.00012415647506713867, -7.545948028564453e-05, -2.676248550415039e-05, 2.193450927734375e-05, 7.063150405883789e-05, 0.00011932849884033203, 0.00016802549362182617, 0.0002167224884033203, 0.00026541948318481445, 0.0003141164779663086, 0.00036281347274780273, 0.0004115104675292969, 0.000460207462310791, 0.0005089044570922852, 0.0005576014518737793, 0.0006062984466552734, 0.0006549954414367676, 0.0007036924362182617, 0.0007523894309997559, 0.00080108642578125, 0.0008497834205627441, 0.0008984804153442383, 0.0009471774101257324, 0.0009958744049072266, 0.0010445713996887207, 0.0010932683944702148, 0.001141965389251709, 0.0011906623840332031, 0.0012393593788146973, 0.0012880563735961914, 0.0013367533683776855, 0.0013854503631591797, 0.0014341473579406738, 0.001482844352722168, 0.0015315413475036621, 0.0015802383422851562]}, "gradients/decoder.bert.encoder.layer.23.attention.self.value.weight": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 2.0, 0.0, 3.0, 6.0, 8.0, 14.0, 18.0, 33.0, 47.0, 63.0, 103.0, 179.0, 210.0, 310.0, 551.0, 832.0, 1167.0, 1800.0, 2631.0, 3885.0, 5902.0, 9011.0, 13614.0, 20605.0, 31147.0, 49359.0, 82103.0, 160742.0, 319090.0, 138953.0, 74908.0, 46123.0, 29143.0, 19032.0, 12221.0, 8393.0, 5527.0, 3672.0, 2408.0, 1584.0, 1039.0, 743.0, 449.0, 301.0, 217.0, 165.0, 83.0, 77.0, 33.0, 21.0, 17.0, 11.0, 7.0, 4.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00319671630859375, -0.0030949413776397705, -0.002993166446685791, -0.0028913915157318115, -0.002789616584777832, -0.0026878416538238525, -0.002586066722869873, -0.0024842917919158936, -0.002382516860961914, -0.0022807419300079346, -0.002178966999053955, -0.0020771920680999756, -0.001975417137145996, -0.0018736422061920166, -0.0017718672752380371, -0.0016700923442840576, -0.0015683174133300781, -0.0014665424823760986, -0.0013647675514221191, -0.0012629926204681396, -0.0011612176895141602, -0.0010594427585601807, -0.0009576678276062012, -0.0008558928966522217, -0.0007541179656982422, -0.0006523430347442627, -0.0005505681037902832, -0.0004487931728363037, -0.0003470182418823242, -0.0002452433109283447, -0.00014346837997436523, -4.169344902038574e-05, 6.008148193359375e-05, 0.00016185641288757324, 0.00026363134384155273, 0.0003654062747955322, 0.0004671812057495117, 0.0005689561367034912, 0.0006707310676574707, 0.0007725059986114502, 0.0008742809295654297, 0.0009760558605194092, 0.0010778307914733887, 0.0011796057224273682, 0.0012813806533813477, 0.0013831555843353271, 0.0014849305152893066, 0.0015867054462432861, 0.0016884803771972656, 0.0017902553081512451, 0.0018920302391052246, 0.001993805170059204, 0.0020955801010131836, 0.002197355031967163, 0.0022991299629211426, 0.002400904893875122, 0.0025026798248291016, 0.002604454755783081, 0.0027062296867370605, 0.00280800461769104, 0.0029097795486450195, 0.003011554479598999, 0.0031133294105529785, 0.003215104341506958, 0.0033168792724609375]}, "gradients/decoder.bert.encoder.layer.23.attention.self.value.bias": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 0.0, 0.0, 2.0, 2.0, 3.0, 1.0, 2.0, 4.0, 8.0, 5.0, 11.0, 7.0, 9.0, 16.0, 17.0, 23.0, 22.0, 20.0, 17.0, 20.0, 30.0, 36.0, 28.0, 53.0, 43.0, 46.0, 44.0, 39.0, 39.0, 43.0, 43.0, 33.0, 35.0, 21.0, 30.0, 24.0, 34.0, 35.0, 28.0, 29.0, 21.0, 11.0, 10.0, 16.0, 8.0, 12.0, 7.0, 9.0, 7.0, 1.0, 4.0, 4.0, 3.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0], "bins": [-0.0009570121765136719, -0.0009261295199394226, -0.0008952468633651733, -0.0008643642067909241, -0.0008334815502166748, -0.0008025988936424255, -0.0007717162370681763, -0.000740833580493927, -0.0007099509239196777, -0.0006790682673454285, -0.0006481856107711792, -0.0006173029541969299, -0.0005864202976226807, -0.0005555376410484314, -0.0005246549844741821, -0.0004937723278999329, -0.0004628896713256836, -0.0004320070147514343, -0.00040112435817718506, -0.0003702417016029358, -0.0003393590450286865, -0.00030847638845443726, -0.000277593731880188, -0.0002467110753059387, -0.00021582841873168945, -0.00018494576215744019, -0.00015406310558319092, -0.00012318044900894165, -9.229779243469238e-05, -6.141513586044312e-05, -3.053247928619385e-05, 3.501772880554199e-07, 3.123283386230469e-05, 6.211549043655396e-05, 9.299814701080322e-05, 0.0001238808035850525, 0.00015476346015930176, 0.00018564611673355103, 0.0002165287733078003, 0.00024741142988204956, 0.00027829408645629883, 0.0003091767430305481, 0.00034005939960479736, 0.00037094205617904663, 0.0004018247127532959, 0.00043270736932754517, 0.00046359002590179443, 0.0004944726824760437, 0.000525355339050293, 0.0005562379956245422, 0.0005871206521987915, 0.0006180033087730408, 0.00064888596534729, 0.0006797686219215393, 0.0007106512784957886, 0.0007415339350700378, 0.0007724165916442871, 0.0008032992482185364, 0.0008341819047927856, 0.0008650645613670349, 0.0008959472179412842, 0.0009268298745155334, 0.0009577125310897827, 0.000988595187664032, 0.0010194778442382812]}, "gradients/decoder.bert.encoder.layer.23.attention.self.key.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 4.0, 3.0, 3.0, 4.0, 5.0, 13.0, 4.0, 11.0, 21.0, 24.0, 30.0, 46.0, 81.0, 106.0, 159.0, 241.0, 361.0, 600.0, 958.0, 1503.0, 2630.0, 4769.0, 8727.0, 18633.0, 45465.0, 160676.0, 608740.0, 122079.0, 38481.0, 16218.0, 7655.0, 4150.0, 2297.0, 1412.0, 830.0, 530.0, 379.0, 223.0, 147.0, 120.0, 57.0, 45.0, 40.0, 25.0, 19.0, 11.0, 9.0, 7.0, 2.0, 6.0, 3.0, 2.0, 0.0, 2.0, 1.0, 2.0, 0.0, 2.0, 0.0, 1.0], "bins": [-0.00016427040100097656, -0.0001588687300682068, -0.000153467059135437, -0.00014806538820266724, -0.00014266371726989746, -0.00013726204633712769, -0.0001318603754043579, -0.00012645870447158813, -0.00012105703353881836, -0.00011565536260604858, -0.00011025369167327881, -0.00010485202074050903, -9.945034980773926e-05, -9.404867887496948e-05, -8.864700794219971e-05, -8.324533700942993e-05, -7.784366607666016e-05, -7.244199514389038e-05, -6.70403242111206e-05, -6.163865327835083e-05, -5.6236982345581055e-05, -5.083531141281128e-05, -4.5433640480041504e-05, -4.003196954727173e-05, -3.463029861450195e-05, -2.9228627681732178e-05, -2.3826956748962402e-05, -1.8425285816192627e-05, -1.3023614883422852e-05, -7.621943950653076e-06, -2.2202730178833008e-06, 3.1813979148864746e-06, 8.58306884765625e-06, 1.3984739780426025e-05, 1.93864107131958e-05, 2.4788081645965576e-05, 3.018975257873535e-05, 3.559142351150513e-05, 4.09930944442749e-05, 4.639476537704468e-05, 5.179643630981445e-05, 5.719810724258423e-05, 6.2599778175354e-05, 6.800144910812378e-05, 7.340312004089355e-05, 7.880479097366333e-05, 8.42064619064331e-05, 8.960813283920288e-05, 9.500980377197266e-05, 0.00010041147470474243, 0.00010581314563751221, 0.00011121481657028198, 0.00011661648750305176, 0.00012201815843582153, 0.0001274198293685913, 0.00013282150030136108, 0.00013822317123413086, 0.00014362484216690063, 0.0001490265130996704, 0.00015442818403244019, 0.00015982985496520996, 0.00016523152589797974, 0.0001706331968307495, 0.0001760348677635193, 0.00018143653869628906]}, "gradients/decoder.bert.encoder.layer.23.attention.self.key.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 0.0, 0.0, 1.0, 4.0, 1.0, 3.0, 2.0, 4.0, 6.0, 7.0, 3.0, 4.0, 7.0, 9.0, 9.0, 6.0, 9.0, 8.0, 14.0, 15.0, 26.0, 28.0, 26.0, 28.0, 38.0, 67.0, 88.0, 115.0, 117.0, 68.0, 40.0, 42.0, 35.0, 21.0, 21.0, 36.0, 18.0, 17.0, 14.0, 7.0, 8.0, 13.0, 5.0, 3.0, 3.0, 5.0, 4.0, 2.0, 1.0, 3.0, 2.0, 2.0, 3.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-9.179115295410156e-06, -8.882023394107819e-06, -8.584931492805481e-06, -8.287839591503143e-06, -7.990747690200806e-06, -7.693655788898468e-06, -7.39656388759613e-06, -7.099471986293793e-06, -6.802380084991455e-06, -6.5052881836891174e-06, -6.20819628238678e-06, -5.911104381084442e-06, -5.6140124797821045e-06, -5.316920578479767e-06, -5.019828677177429e-06, -4.7227367758750916e-06, -4.425644874572754e-06, -4.128552973270416e-06, -3.831461071968079e-06, -3.534369170665741e-06, -3.2372772693634033e-06, -2.9401853680610657e-06, -2.643093466758728e-06, -2.3460015654563904e-06, -2.0489096641540527e-06, -1.751817762851715e-06, -1.4547258615493774e-06, -1.1576339602470398e-06, -8.605420589447021e-07, -5.634501576423645e-07, -2.6635825634002686e-07, 3.073364496231079e-08, 3.2782554626464844e-07, 6.249174475669861e-07, 9.220093488693237e-07, 1.2191012501716614e-06, 1.516193151473999e-06, 1.8132850527763367e-06, 2.1103769540786743e-06, 2.407468855381012e-06, 2.7045607566833496e-06, 3.0016526579856873e-06, 3.298744559288025e-06, 3.5958364605903625e-06, 3.8929283618927e-06, 4.190020263195038e-06, 4.4871121644973755e-06, 4.784204065799713e-06, 5.081295967102051e-06, 5.3783878684043884e-06, 5.675479769706726e-06, 5.972571671009064e-06, 6.269663572311401e-06, 6.566755473613739e-06, 6.863847374916077e-06, 7.160939276218414e-06, 7.458031177520752e-06, 7.75512307882309e-06, 8.052214980125427e-06, 8.349306881427765e-06, 8.646398782730103e-06, 8.94349068403244e-06, 9.240582585334778e-06, 9.537674486637115e-06, 9.834766387939453e-06]}, "gradients/decoder.bert.encoder.layer.23.attention.self.query.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 3.0, 5.0, 6.0, 10.0, 14.0, 23.0, 36.0, 51.0, 76.0, 122.0, 173.0, 267.0, 438.0, 639.0, 1033.0, 1470.0, 2409.0, 3999.0, 5897.0, 10117.0, 16210.0, 27534.0, 51477.0, 93532.0, 241801.0, 325242.0, 122856.0, 59062.0, 33102.0, 20125.0, 11546.0, 7244.0, 4329.0, 2706.0, 1763.0, 1115.0, 763.0, 462.0, 332.0, 209.0, 136.0, 72.0, 45.0, 45.0, 28.0, 19.0, 11.0, 7.0, 2.0, 1.0, 3.0, 4.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.2438507080078125e-05, -4.098284989595413e-05, -3.952719271183014e-05, -3.8071535527706146e-05, -3.661587834358215e-05, -3.516022115945816e-05, -3.370456397533417e-05, -3.2248906791210175e-05, -3.079324960708618e-05, -2.933759242296219e-05, -2.7881935238838196e-05, -2.6426278054714203e-05, -2.497062087059021e-05, -2.3514963686466217e-05, -2.2059306502342224e-05, -2.060364931821823e-05, -1.9147992134094238e-05, -1.7692334949970245e-05, -1.6236677765846252e-05, -1.478102058172226e-05, -1.3325363397598267e-05, -1.1869706213474274e-05, -1.041404902935028e-05, -8.958391845226288e-06, -7.502734661102295e-06, -6.047077476978302e-06, -4.591420292854309e-06, -3.135763108730316e-06, -1.6801059246063232e-06, -2.2444874048233032e-07, 1.2312084436416626e-06, 2.6868656277656555e-06, 4.1425228118896484e-06, 5.598179996013641e-06, 7.053837180137634e-06, 8.509494364261627e-06, 9.96515154838562e-06, 1.1420808732509613e-05, 1.2876465916633606e-05, 1.4332123100757599e-05, 1.5787780284881592e-05, 1.7243437469005585e-05, 1.8699094653129578e-05, 2.015475183725357e-05, 2.1610409021377563e-05, 2.3066066205501556e-05, 2.452172338962555e-05, 2.5977380573749542e-05, 2.7433037757873535e-05, 2.8888694941997528e-05, 3.034435212612152e-05, 3.1800009310245514e-05, 3.325566649436951e-05, 3.47113236784935e-05, 3.616698086261749e-05, 3.7622638046741486e-05, 3.907829523086548e-05, 4.053395241498947e-05, 4.1989609599113464e-05, 4.344526678323746e-05, 4.490092396736145e-05, 4.635658115148544e-05, 4.7812238335609436e-05, 4.926789551973343e-05, 5.072355270385742e-05]}, "gradients/decoder.bert.encoder.layer.23.attention.self.query.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 0.0, 0.0, 4.0, 3.0, 3.0, 3.0, 5.0, 3.0, 4.0, 4.0, 8.0, 15.0, 13.0, 26.0, 25.0, 27.0, 29.0, 34.0, 34.0, 49.0, 46.0, 51.0, 50.0, 63.0, 52.0, 48.0, 55.0, 38.0, 34.0, 45.0, 35.0, 35.0, 27.0, 24.0, 17.0, 13.0, 16.0, 17.0, 12.0, 10.0, 12.0, 5.0, 5.0, 3.0, 4.0, 1.0, 4.0, 1.0, 3.0, 0.0, 0.0, 1.0, 2.0], "bins": [-1.4662742614746094e-05, -1.4252029359340668e-05, -1.3841316103935242e-05, -1.3430602848529816e-05, -1.301988959312439e-05, -1.2609176337718964e-05, -1.2198463082313538e-05, -1.1787749826908112e-05, -1.1377036571502686e-05, -1.096632331609726e-05, -1.0555610060691833e-05, -1.0144896805286407e-05, -9.734183549880981e-06, -9.323470294475555e-06, -8.91275703907013e-06, -8.502043783664703e-06, -8.091330528259277e-06, -7.680617272853851e-06, -7.269904017448425e-06, -6.859190762042999e-06, -6.448477506637573e-06, -6.037764251232147e-06, -5.627050995826721e-06, -5.216337740421295e-06, -4.805624485015869e-06, -4.394911229610443e-06, -3.984197974205017e-06, -3.573484718799591e-06, -3.162771463394165e-06, -2.752058207988739e-06, -2.341344952583313e-06, -1.930631697177887e-06, -1.519918441772461e-06, -1.109205186367035e-06, -6.984919309616089e-07, -2.8777867555618286e-07, 1.2293457984924316e-07, 5.336478352546692e-07, 9.443610906600952e-07, 1.3550743460655212e-06, 1.7657876014709473e-06, 2.1765008568763733e-06, 2.5872141122817993e-06, 2.9979273676872253e-06, 3.4086406230926514e-06, 3.819353878498077e-06, 4.230067133903503e-06, 4.6407803893089294e-06, 5.0514936447143555e-06, 5.4622069001197815e-06, 5.8729201555252075e-06, 6.2836334109306335e-06, 6.6943466663360596e-06, 7.105059921741486e-06, 7.515773177146912e-06, 7.926486432552338e-06, 8.337199687957764e-06, 8.74791294336319e-06, 9.158626198768616e-06, 9.569339454174042e-06, 9.980052709579468e-06, 1.0390765964984894e-05, 1.080147922039032e-05, 1.1212192475795746e-05, 1.1622905731201172e-05]}, "gradients/decoder.bert.encoder.layer.22.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 2.0, 1.0, 1.0, 1.0, 2.0, 6.0, 8.0, 6.0, 4.0, 8.0, 14.0, 17.0, 17.0, 25.0, 28.0, 39.0, 52.0, 70.0, 94.0, 173.0, 121.0, 81.0, 54.0, 38.0, 43.0, 25.0, 21.0, 21.0, 10.0, 5.0, 3.0, 7.0, 3.0, 3.0, 3.0, 3.0, 1.0, 3.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.0029527395963668823, -0.0028672488406300545, -0.0027817580848932266, -0.0026962673291563988, -0.0026107768062502146, -0.0025252860505133867, -0.002439795294776559, -0.002354304539039731, -0.002268813783302903, -0.0021833230275660753, -0.0020978322718292475, -0.0020123417489230633, -0.0019268508767709136, -0.0018413602374494076, -0.0017558694817125797, -0.0016703787259757519, -0.0015848880866542459, -0.001499397330917418, -0.001413906691595912, -0.0013284159358590841, -0.0012429251801222563, -0.0011574344243854284, -0.0010719437850639224, -0.0009864530293270946, -0.0009009623317979276, -0.0008154716342687607, -0.0007299808785319328, -0.0006444901810027659, -0.000558999483473599, -0.0004735087277367711, -0.00038801803020760417, -0.0003025272744707763, -0.00021703657694160938, -0.000131545850308612, -4.6055138227529824e-05, 3.943557385355234e-05, 0.00012492630048654974, 0.00021041702711954713, 0.00029590772464871407, 0.0003813984803855419, 0.00046688917791470885, 0.0005523798754438758, 0.0006378706311807036, 0.0007233613287098706, 0.0008088520262390375, 0.0008943427819758654, 0.0009798335377126932, 0.001065324293449521, 0.001150814932771027, 0.001236305688507855, 0.001321796327829361, 0.0014072870835661888, 0.0014927778393030167, 0.0015782685950398445, 0.0016637592343613505, 0.0017492499900981784, 0.0018347406294196844, 0.0019202313851565123, 0.00200572214089334, 0.0020912126637995243, 0.002176703419536352, 0.00226219417527318, 0.002347684931010008, 0.0024331756867468357, 0.0025186664424836636]}, "gradients/decoder.bert.encoder.layer.22.output.LayerNorm.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 1.0, 1.0, 3.0, 0.0, 2.0, 2.0, 6.0, 4.0, 3.0, 8.0, 16.0, 15.0, 17.0, 16.0, 24.0, 27.0, 36.0, 20.0, 26.0, 40.0, 27.0, 31.0, 50.0, 41.0, 46.0, 46.0, 37.0, 35.0, 42.0, 38.0, 26.0, 29.0, 35.0, 20.0, 37.0, 26.0, 16.0, 26.0, 22.0, 19.0, 24.0, 13.0, 9.0, 12.0, 8.0, 11.0, 5.0, 4.0, 2.0, 3.0, 3.0, 2.0, 3.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0014068367891013622, -0.0013592165196314454, -0.0013115963665768504, -0.0012639760971069336, -0.0012163559440523386, -0.0011687356745824218, -0.001121115405112505, -0.00107349525205791, -0.0010258749825879931, -0.0009782547131180763, -0.0009306345600634813, -0.0008830142905935645, -0.0008353940793313086, -0.0007877738680690527, -0.0007401535985991359, -0.00069253338733688, -0.0006449131760746241, -0.0005972929648123682, -0.0005496727535501122, -0.0005020524840801954, -0.0004544322728179395, -0.0004068120615556836, -0.00035919182118959725, -0.0003115715808235109, -0.000263951369561255, -0.00021633114374708384, -0.0001687109179329127, -0.00012109069211874157, -7.347046630457044e-05, -2.58502404903993e-05, 2.1769985323771834e-05, 6.93902256898582e-05, 0.00011701032053679228, 0.00016463054635096341, 0.00021225077216513455, 0.0002598710125312209, 0.0003074912237934768, 0.0003551114350557327, 0.0004027316754218191, 0.00045035191578790545, 0.0004979721270501614, 0.0005455923383124173, 0.0005932125495746732, 0.00064083281904459, 0.0006884530303068459, 0.0007360732415691018, 0.0007836935110390186, 0.0008313137223012745, 0.0008789339335635304, 0.0009265541448257864, 0.0009741743560880423, 0.001021794625557959, 0.001069414895027876, 0.001117035048082471, 0.0011646553175523877, 0.0012122755870223045, 0.0012598957400768995, 0.0013075160095468163, 0.0013551361626014113, 0.0014027564320713282, 0.0014503765851259232, 0.00149799685459584, 0.0015456171240657568, 0.0015932372771203518, 0.0016408575465902686]}, "gradients/decoder.bert.encoder.layer.22.output.dense.weight": {"_type": "histogram", "values": [5.0, 6.0, 2.0, 17.0, 15.0, 26.0, 40.0, 45.0, 95.0, 121.0, 185.0, 240.0, 390.0, 619.0, 871.0, 1221.0, 1805.0, 2606.0, 3739.0, 5570.0, 8110.0, 11751.0, 17202.0, 25834.0, 40372.0, 67615.0, 163651.0, 1925093.0, 1616988.0, 123357.0, 59218.0, 35706.0, 23952.0, 16519.0, 11844.0, 8412.0, 6130.0, 4295.0, 3142.0, 2160.0, 1518.0, 1105.0, 782.0, 589.0, 386.0, 263.0, 197.0, 142.0, 103.0, 67.0, 42.0, 30.0, 31.0, 25.0, 16.0, 9.0, 9.0, 7.0, 4.0, 1.0, 2.0, 2.0, 3.0, 2.0], "bins": [-0.0016460418701171875, -0.0015871524810791016, -0.0015282630920410156, -0.0014693737030029297, -0.0014104843139648438, -0.0013515949249267578, -0.0012927055358886719, -0.001233816146850586, -0.0011749267578125, -0.001116037368774414, -0.0010571479797363281, -0.0009982585906982422, -0.0009393692016601562, -0.0008804798126220703, -0.0008215904235839844, -0.0007627010345458984, -0.0007038116455078125, -0.0006449222564697266, -0.0005860328674316406, -0.0005271434783935547, -0.00046825408935546875, -0.0004093647003173828, -0.0003504753112792969, -0.00029158592224121094, -0.000232696533203125, -0.00017380714416503906, -0.00011491775512695312, -5.602836608886719e-05, 2.86102294921875e-06, 6.175041198730469e-05, 0.00012063980102539062, 0.00017952919006347656, 0.0002384185791015625, 0.00029730796813964844, 0.0003561973571777344, 0.0004150867462158203, 0.00047397613525390625, 0.0005328655242919922, 0.0005917549133300781, 0.0006506443023681641, 0.00070953369140625, 0.0007684230804443359, 0.0008273124694824219, 0.0008862018585205078, 0.0009450912475585938, 0.0010039806365966797, 0.0010628700256347656, 0.0011217594146728516, 0.0011806488037109375, 0.0012395381927490234, 0.0012984275817871094, 0.0013573169708251953, 0.0014162063598632812, 0.0014750957489013672, 0.0015339851379394531, 0.001592874526977539, 0.001651763916015625, 0.001710653305053711, 0.0017695426940917969, 0.0018284320831298828, 0.0018873214721679688, 0.0019462108612060547, 0.0020051002502441406, 0.0020639896392822266, 0.0021228790283203125]}, "gradients/decoder.bert.encoder.layer.22.output.dense.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 3.0, 1.0, 4.0, 7.0, 5.0, 6.0, 13.0, 12.0, 12.0, 14.0, 22.0, 24.0, 37.0, 25.0, 42.0, 35.0, 48.0, 35.0, 51.0, 34.0, 51.0, 40.0, 42.0, 33.0, 51.0, 42.0, 29.0, 39.0, 31.0, 22.0, 28.0, 30.0, 23.0, 22.0, 21.0, 19.0, 10.0, 14.0, 9.0, 3.0, 7.0, 6.0, 4.0, 5.0, 4.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.000518798828125, -0.0005003437399864197, -0.00048188865184783936, -0.00046343356370925903, -0.0004449784755706787, -0.0004265233874320984, -0.00040806829929351807, -0.00038961321115493774, -0.0003711581230163574, -0.0003527030348777771, -0.0003342479467391968, -0.00031579285860061646, -0.00029733777046203613, -0.0002788826823234558, -0.0002604275941848755, -0.00024197250604629517, -0.00022351741790771484, -0.00020506232976913452, -0.0001866072416305542, -0.00016815215349197388, -0.00014969706535339355, -0.00013124197721481323, -0.00011278688907623291, -9.433180093765259e-05, -7.587671279907227e-05, -5.742162466049194e-05, -3.896653652191162e-05, -2.05114483833313e-05, -2.0563602447509766e-06, 1.6398727893829346e-05, 3.485381603240967e-05, 5.330890417098999e-05, 7.176399230957031e-05, 9.021908044815063e-05, 0.00010867416858673096, 0.00012712925672531128, 0.0001455843448638916, 0.00016403943300247192, 0.00018249452114105225, 0.00020094960927963257, 0.0002194046974182129, 0.0002378597855567932, 0.00025631487369537354, 0.00027476996183395386, 0.0002932250499725342, 0.0003116801381111145, 0.0003301352262496948, 0.00034859031438827515, 0.00036704540252685547, 0.0003855004906654358, 0.0004039555788040161, 0.00042241066694259644, 0.00044086575508117676, 0.0004593208432197571, 0.0004777759313583374, 0.0004962310194969177, 0.000514686107635498, 0.0005331411957740784, 0.0005515962839126587, 0.000570051372051239, 0.0005885064601898193, 0.0006069615483283997, 0.00062541663646698, 0.0006438717246055603, 0.0006623268127441406]}, "gradients/decoder.bert.encoder.layer.22.intermediate.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 1.0, 2.0, 3.0, 6.0, 9.0, 9.0, 20.0, 35.0, 52.0, 82.0, 125.0, 219.0, 353.0, 509.0, 853.0, 1411.0, 2301.0, 3798.0, 6902.0, 12844.0, 24775.0, 51349.0, 120686.0, 444426.0, 2970429.0, 351059.0, 105490.0, 46268.0, 22671.0, 11925.0, 6566.0, 3693.0, 2129.0, 1262.0, 787.0, 420.0, 292.0, 196.0, 119.0, 72.0, 47.0, 30.0, 30.0, 18.0, 10.0, 6.0, 2.0, 5.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0017795562744140625, -0.0017263293266296387, -0.0016731023788452148, -0.001619875431060791, -0.0015666484832763672, -0.0015134215354919434, -0.0014601945877075195, -0.0014069676399230957, -0.0013537406921386719, -0.001300513744354248, -0.0012472867965698242, -0.0011940598487854004, -0.0011408329010009766, -0.0010876059532165527, -0.001034379005432129, -0.000981152057647705, -0.0009279251098632812, -0.0008746981620788574, -0.0008214712142944336, -0.0007682442665100098, -0.0007150173187255859, -0.0006617903709411621, -0.0006085634231567383, -0.0005553364753723145, -0.0005021095275878906, -0.0004488825798034668, -0.00039565563201904297, -0.00034242868423461914, -0.0002892017364501953, -0.00023597478866577148, -0.00018274784088134766, -0.00012952089309692383, -7.62939453125e-05, -2.3066997528076172e-05, 3.0159950256347656e-05, 8.338689804077148e-05, 0.0001366138458251953, 0.00018984079360961914, 0.00024306774139404297, 0.0002962946891784668, 0.0003495216369628906, 0.00040274858474731445, 0.0004559755325317383, 0.0005092024803161621, 0.0005624294281005859, 0.0006156563758850098, 0.0006688833236694336, 0.0007221102714538574, 0.0007753372192382812, 0.0008285641670227051, 0.0008817911148071289, 0.0009350180625915527, 0.0009882450103759766, 0.0010414719581604004, 0.0010946989059448242, 0.001147925853729248, 0.0012011528015136719, 0.0012543797492980957, 0.0013076066970825195, 0.0013608336448669434, 0.0014140605926513672, 0.001467287540435791, 0.0015205144882202148, 0.0015737414360046387, 0.0016269683837890625]}, "gradients/decoder.bert.encoder.layer.22.intermediate.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 3.0, 1.0, 0.0, 1.0, 3.0, 5.0, 2.0, 4.0, 9.0, 8.0, 10.0, 10.0, 17.0, 41.0, 29.0, 33.0, 43.0, 60.0, 67.0, 77.0, 110.0, 131.0, 248.0, 504.0, 982.0, 673.0, 294.0, 175.0, 124.0, 90.0, 51.0, 57.0, 49.0, 29.0, 33.0, 17.0, 21.0, 13.0, 12.0, 10.0, 7.0, 7.0, 8.0, 6.0, 1.0, 4.0, 1.0, 2.0, 1.0, 2.0, 3.0, 1.0, 1.0], "bins": [-0.0004558563232421875, -0.0004430823028087616, -0.0004303082823753357, -0.0004175342619419098, -0.0004047602415084839, -0.000391986221075058, -0.0003792122006416321, -0.0003664381802082062, -0.0003536641597747803, -0.00034089013934135437, -0.00032811611890792847, -0.00031534209847450256, -0.00030256807804107666, -0.00028979405760765076, -0.00027702003717422485, -0.00026424601674079895, -0.00025147199630737305, -0.00023869797587394714, -0.00022592395544052124, -0.00021314993500709534, -0.00020037591457366943, -0.00018760189414024353, -0.00017482787370681763, -0.00016205385327339172, -0.00014927983283996582, -0.00013650581240653992, -0.00012373179197311401, -0.00011095777153968811, -9.818375110626221e-05, -8.54097306728363e-05, -7.26357102394104e-05, -5.98616898059845e-05, -4.7087669372558594e-05, -3.431364893913269e-05, -2.1539628505706787e-05, -8.765608072280884e-06, 4.0084123611450195e-06, 1.6782432794570923e-05, 2.9556453227996826e-05, 4.233047366142273e-05, 5.510449409484863e-05, 6.787851452827454e-05, 8.065253496170044e-05, 9.342655539512634e-05, 0.00010620057582855225, 0.00011897459626197815, 0.00013174861669540405, 0.00014452263712882996, 0.00015729665756225586, 0.00017007067799568176, 0.00018284469842910767, 0.00019561871886253357, 0.00020839273929595947, 0.00022116675972938538, 0.00023394078016281128, 0.0002467148005962372, 0.0002594888210296631, 0.000272262841463089, 0.0002850368618965149, 0.0002978108823299408, 0.0003105849027633667, 0.0003233589231967926, 0.0003361329436302185, 0.0003489069640636444, 0.0003616809844970703]}, "gradients/decoder.bert.encoder.layer.22.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 3.0, 0.0, 3.0, 2.0, 4.0, 1.0, 7.0, 5.0, 5.0, 11.0, 11.0, 7.0, 19.0, 23.0, 24.0, 37.0, 48.0, 60.0, 109.0, 163.0, 122.0, 86.0, 50.0, 53.0, 40.0, 19.0, 22.0, 17.0, 13.0, 11.0, 12.0, 8.0, 3.0, 5.0, 0.0, 2.0, 4.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.0010270326165482402, -0.0009966394864022732, -0.0009662463562563062, -0.0009358532261103392, -0.0009054600959643722, -0.0008750669658184052, -0.0008446738356724381, -0.0008142807055264711, -0.0007838875753805041, -0.0007534944452345371, -0.0007231013150885701, -0.0006927081849426031, -0.0006623150547966361, -0.0006319219246506691, -0.0006015287945047021, -0.0005711356643587351, -0.000540742592420429, -0.000510349462274462, -0.000479956332128495, -0.00044956320198252797, -0.00041917007183656096, -0.00038877694169059396, -0.0003583838406484574, -0.0003279907105024904, -0.0002975975803565234, -0.0002672044502105564, -0.00023681132006458938, -0.0002064182044705376, -0.0001760250743245706, -0.0001456319441786036, -0.00011523882858455181, -8.48456984385848e-05, -5.445262650027871e-05, -2.4059499992290512e-05, 6.333626515697688e-06, 3.672674938570708e-05, 6.711987953167409e-05, 9.75130096776411e-05, 0.00012790612527169287, 0.00015829925541765988, 0.00018869238556362689, 0.0002190855157095939, 0.0002494786458555609, 0.00027987174689769745, 0.00031026487704366446, 0.00034065800718963146, 0.00037105113733559847, 0.0004014442674815655, 0.0004318373976275325, 0.0004622305277734995, 0.0004926236579194665, 0.0005230167880654335, 0.0005534099182114005, 0.0005838030483573675, 0.0006141961785033345, 0.0006445893086493015, 0.0006749824387952685, 0.0007053755689412355, 0.0007357686990872025, 0.0007661618292331696, 0.0007965549593791366, 0.0008269480895251036, 0.0008573412196710706, 0.0008877343498170376, 0.0009181274217553437]}, "gradients/decoder.bert.encoder.layer.22.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 3.0, 2.0, 4.0, 2.0, 5.0, 10.0, 5.0, 11.0, 16.0, 17.0, 21.0, 29.0, 30.0, 28.0, 31.0, 30.0, 46.0, 40.0, 43.0, 50.0, 47.0, 44.0, 34.0, 43.0, 50.0, 43.0, 40.0, 49.0, 31.0, 24.0, 23.0, 32.0, 25.0, 17.0, 15.0, 14.0, 10.0, 15.0, 11.0, 5.0, 4.0, 5.0, 4.0, 3.0, 0.0, 3.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0], "bins": [-0.0006500603631138802, -0.0006297914660535753, -0.0006095225689932704, -0.0005892536719329655, -0.0005689847748726606, -0.0005487158778123558, -0.0005284469807520509, -0.0005081781418994069, -0.0004879092157352716, -0.0004676403186749667, -0.0004473714216146618, -0.00042710252455435693, -0.0004068336565978825, -0.00038656475953757763, -0.00036629586247727275, -0.00034602696541696787, -0.000325758068356663, -0.0003054891712963581, -0.00028522027423605323, -0.00026495137717574835, -0.00024468248011544347, -0.00022441359760705382, -0.00020414471509866416, -0.00018387581803835928, -0.0001636069209780544, -0.00014333802391774952, -0.00012306912685744464, -0.00010280024434905499, -8.253134728875011e-05, -6.226245022844523e-05, -4.1993560444097966e-05, -2.17246706597507e-05, -1.4557735994458199e-06, 1.8813119822880253e-05, 3.9082013245206326e-05, 5.93509066675324e-05, 7.961980008985847e-05, 9.988869715016335e-05, 0.00012015758693451062, 0.00014042647671885788, 0.00016069537377916276, 0.00018096427083946764, 0.00020123316789977252, 0.00022150205040816218, 0.00024177094746846706, 0.0002620398299768567, 0.0002823087270371616, 0.00030257762409746647, 0.00032284652115777135, 0.00034311541821807623, 0.0003633843152783811, 0.000383653212338686, 0.00040392210939899087, 0.00042419100645929575, 0.0004444598744157702, 0.00046472877147607505, 0.00048499766853637993, 0.0005052665364928544, 0.0005255354335531592, 0.0005458043306134641, 0.000566073227673769, 0.0005863421247340739, 0.0006066110217943788, 0.0006268799188546836, 0.0006471488159149885]}, "gradients/decoder.bert.encoder.layer.22.crossattention.output.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 3.0, 2.0, 1.0, 4.0, 7.0, 5.0, 8.0, 16.0, 28.0, 30.0, 48.0, 66.0, 81.0, 127.0, 196.0, 287.0, 400.0, 576.0, 857.0, 1330.0, 2015.0, 2958.0, 4960.0, 7834.0, 12825.0, 21996.0, 38710.0, 72172.0, 153822.0, 391209.0, 162668.0, 74901.0, 39914.0, 22700.0, 13169.0, 8123.0, 5045.0, 3167.0, 2041.0, 1422.0, 870.0, 607.0, 413.0, 288.0, 204.0, 146.0, 100.0, 62.0, 47.0, 35.0, 22.0, 15.0, 12.0, 9.0, 7.0, 5.0, 3.0, 3.0, 1.0, 1.0, 1.0], "bins": [-0.00228118896484375, -0.002211064100265503, -0.002140939235687256, -0.002070814371109009, -0.0020006895065307617, -0.0019305646419525146, -0.0018604397773742676, -0.0017903149127960205, -0.0017201900482177734, -0.0016500651836395264, -0.0015799403190612793, -0.0015098154544830322, -0.0014396905899047852, -0.001369565725326538, -0.001299440860748291, -0.001229315996170044, -0.0011591911315917969, -0.0010890662670135498, -0.0010189414024353027, -0.0009488165378570557, -0.0008786916732788086, -0.0008085668087005615, -0.0007384419441223145, -0.0006683170795440674, -0.0005981922149658203, -0.0005280673503875732, -0.00045794248580932617, -0.0003878176212310791, -0.00031769275665283203, -0.00024756789207458496, -0.0001774430274963379, -0.00010731816291809082, -3.719329833984375e-05, 3.293156623840332e-05, 0.00010305643081665039, 0.00017318129539489746, 0.00024330615997314453, 0.0003134310245513916, 0.00038355588912963867, 0.00045368075370788574, 0.0005238056182861328, 0.0005939304828643799, 0.000664055347442627, 0.000734180212020874, 0.0008043050765991211, 0.0008744299411773682, 0.0009445548057556152, 0.0010146796703338623, 0.0010848045349121094, 0.0011549293994903564, 0.0012250542640686035, 0.0012951791286468506, 0.0013653039932250977, 0.0014354288578033447, 0.0015055537223815918, 0.0015756785869598389, 0.001645803451538086, 0.001715928316116333, 0.00178605318069458, 0.0018561780452728271, 0.0019263029098510742, 0.0019964277744293213, 0.0020665526390075684, 0.0021366775035858154, 0.0022068023681640625]}, "gradients/decoder.bert.encoder.layer.22.crossattention.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 1.0, 4.0, 5.0, 3.0, 3.0, 7.0, 9.0, 7.0, 16.0, 21.0, 10.0, 25.0, 24.0, 22.0, 27.0, 34.0, 34.0, 39.0, 52.0, 32.0, 40.0, 58.0, 32.0, 35.0, 43.0, 53.0, 33.0, 37.0, 38.0, 36.0, 33.0, 28.0, 30.0, 21.0, 22.0, 21.0, 13.0, 9.0, 9.0, 9.0, 9.0, 6.0, 10.0, 5.0, 2.0, 3.0, 0.0, 2.0, 0.0, 2.0, 0.0, 2.0, 1.0, 1.0], "bins": [-0.00015497207641601562, -0.00015030615031719208, -0.00014564022421836853, -0.00014097429811954498, -0.00013630837202072144, -0.0001316424459218979, -0.00012697651982307434, -0.0001223105937242508, -0.00011764466762542725, -0.0001129787415266037, -0.00010831281542778015, -0.0001036468893289566, -9.898096323013306e-05, -9.431503713130951e-05, -8.964911103248596e-05, -8.498318493366241e-05, -8.031725883483887e-05, -7.565133273601532e-05, -7.098540663719177e-05, -6.631948053836823e-05, -6.165355443954468e-05, -5.698762834072113e-05, -5.232170224189758e-05, -4.7655776143074036e-05, -4.298985004425049e-05, -3.832392394542694e-05, -3.3657997846603394e-05, -2.8992071747779846e-05, -2.43261456489563e-05, -1.966021955013275e-05, -1.4994293451309204e-05, -1.0328367352485657e-05, -5.662441253662109e-06, -9.96515154838562e-07, 3.6694109439849854e-06, 8.335337042808533e-06, 1.300126314163208e-05, 1.7667189240455627e-05, 2.2333115339279175e-05, 2.6999041438102722e-05, 3.166496753692627e-05, 3.633089363574982e-05, 4.0996819734573364e-05, 4.566274583339691e-05, 5.032867193222046e-05, 5.4994598031044006e-05, 5.9660524129867554e-05, 6.43264502286911e-05, 6.899237632751465e-05, 7.36583024263382e-05, 7.832422852516174e-05, 8.299015462398529e-05, 8.765608072280884e-05, 9.232200682163239e-05, 9.698793292045593e-05, 0.00010165385901927948, 0.00010631978511810303, 0.00011098571121692657, 0.00011565163731575012, 0.00012031756341457367, 0.00012498348951339722, 0.00012964941561222076, 0.0001343153417110443, 0.00013898126780986786, 0.0001436471939086914]}, "gradients/decoder.bert.encoder.layer.22.crossattention.self.value.weight": {"_type": "histogram", "values": [3.0, 2.0, 0.0, 6.0, 9.0, 9.0, 20.0, 35.0, 41.0, 55.0, 67.0, 106.0, 124.0, 188.0, 215.0, 337.0, 373.0, 501.0, 681.0, 899.0, 1124.0, 1454.0, 2014.0, 2880.0, 3936.0, 5488.0, 7721.0, 11081.0, 16196.0, 23977.0, 36296.0, 66610.0, 721773.0, 47871.0, 29704.0, 19543.0, 13562.0, 9393.0, 6649.0, 4485.0, 3328.0, 2455.0, 1822.0, 1375.0, 1019.0, 746.0, 562.0, 424.0, 370.0, 284.0, 195.0, 163.0, 106.0, 84.0, 67.0, 46.0, 43.0, 21.0, 11.0, 11.0, 9.0, 4.0, 0.0, 3.0], "bins": [-0.0019817352294921875, -0.0019203126430511475, -0.0018588900566101074, -0.0017974674701690674, -0.0017360448837280273, -0.0016746222972869873, -0.0016131997108459473, -0.0015517771244049072, -0.0014903545379638672, -0.0014289319515228271, -0.0013675093650817871, -0.001306086778640747, -0.001244664192199707, -0.001183241605758667, -0.001121819019317627, -0.001060396432876587, -0.0009989738464355469, -0.0009375512599945068, -0.0008761286735534668, -0.0008147060871124268, -0.0007532835006713867, -0.0006918609142303467, -0.0006304383277893066, -0.0005690157413482666, -0.0005075931549072266, -0.0004461705684661865, -0.0003847479820251465, -0.00032332539558410645, -0.0002619028091430664, -0.00020048022270202637, -0.00013905763626098633, -7.763504981994629e-05, -1.621246337890625e-05, 4.521012306213379e-05, 0.00010663270950317383, 0.00016805529594421387, 0.0002294778823852539, 0.00029090046882629395, 0.000352323055267334, 0.000413745641708374, 0.00047516822814941406, 0.0005365908145904541, 0.0005980134010314941, 0.0006594359874725342, 0.0007208585739135742, 0.0007822811603546143, 0.0008437037467956543, 0.0009051263332366943, 0.0009665489196777344, 0.0010279715061187744, 0.0010893940925598145, 0.0011508166790008545, 0.0012122392654418945, 0.0012736618518829346, 0.0013350844383239746, 0.0013965070247650146, 0.0014579296112060547, 0.0015193521976470947, 0.0015807747840881348, 0.0016421973705291748, 0.0017036199569702148, 0.0017650425434112549, 0.001826465129852295, 0.001887887716293335, 0.001949310302734375]}, "gradients/decoder.bert.encoder.layer.22.crossattention.self.value.bias": {"_type": "histogram", "values": [2.0, 2.0, 1.0, 3.0, 9.0, 2.0, 1.0, 7.0, 5.0, 10.0, 5.0, 11.0, 15.0, 11.0, 18.0, 20.0, 20.0, 20.0, 18.0, 28.0, 16.0, 30.0, 25.0, 37.0, 40.0, 38.0, 35.0, 50.0, 40.0, 47.0, 38.0, 29.0, 46.0, 38.0, 23.0, 45.0, 24.0, 16.0, 24.0, 18.0, 24.0, 16.0, 13.0, 11.0, 9.0, 12.0, 11.0, 10.0, 11.0, 5.0, 5.0, 8.0, 6.0, 3.0, 4.0, 3.0, 1.0, 0.0, 1.0, 2.0, 0.0, 1.0, 0.0, 1.0], "bins": [-7.742643356323242e-05, -7.478892803192139e-05, -7.215142250061035e-05, -6.951391696929932e-05, -6.687641143798828e-05, -6.423890590667725e-05, -6.160140037536621e-05, -5.8963894844055176e-05, -5.632638931274414e-05, -5.3688883781433105e-05, -5.105137825012207e-05, -4.8413872718811035e-05, -4.57763671875e-05, -4.3138861656188965e-05, -4.050135612487793e-05, -3.7863850593566895e-05, -3.522634506225586e-05, -3.2588839530944824e-05, -2.995133399963379e-05, -2.7313828468322754e-05, -2.467632293701172e-05, -2.2038817405700684e-05, -1.940131187438965e-05, -1.6763806343078613e-05, -1.4126300811767578e-05, -1.1488795280456543e-05, -8.851289749145508e-06, -6.213784217834473e-06, -3.5762786865234375e-06, -9.387731552124023e-07, 1.6987323760986328e-06, 4.336237907409668e-06, 6.973743438720703e-06, 9.611248970031738e-06, 1.2248754501342773e-05, 1.4886260032653809e-05, 1.7523765563964844e-05, 2.016127109527588e-05, 2.2798776626586914e-05, 2.543628215789795e-05, 2.8073787689208984e-05, 3.071129322052002e-05, 3.3348798751831055e-05, 3.598630428314209e-05, 3.8623809814453125e-05, 4.126131534576416e-05, 4.3898820877075195e-05, 4.653632640838623e-05, 4.9173831939697266e-05, 5.18113374710083e-05, 5.4448843002319336e-05, 5.708634853363037e-05, 5.9723854064941406e-05, 6.236135959625244e-05, 6.499886512756348e-05, 6.763637065887451e-05, 7.027387619018555e-05, 7.291138172149658e-05, 7.554888725280762e-05, 7.818639278411865e-05, 8.082389831542969e-05, 8.346140384674072e-05, 8.609890937805176e-05, 8.873641490936279e-05, 9.137392044067383e-05]}, "gradients/decoder.bert.encoder.layer.22.crossattention.self.key.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 2.0, 0.0, 3.0, 2.0, 6.0, 3.0, 11.0, 9.0, 16.0, 18.0, 16.0, 39.0, 45.0, 46.0, 76.0, 92.0, 145.0, 193.0, 326.0, 399.0, 674.0, 949.0, 1561.0, 3367.0, 13248.0, 1019374.0, 3118.0, 1756.0, 947.0, 651.0, 456.0, 270.0, 209.0, 142.0, 112.0, 87.0, 51.0, 40.0, 23.0, 26.0, 17.0, 13.0, 6.0, 4.0, 6.0, 5.0, 4.0, 3.0, 1.0, 2.0, 0.0, 0.0, 2.0, 1.0], "bins": [-2.1755695343017578e-05, -2.1134503185749054e-05, -2.051331102848053e-05, -1.9892118871212006e-05, -1.927092671394348e-05, -1.8649734556674957e-05, -1.8028542399406433e-05, -1.740735024213791e-05, -1.6786158084869385e-05, -1.616496592760086e-05, -1.5543773770332336e-05, -1.4922581613063812e-05, -1.4301389455795288e-05, -1.3680197298526764e-05, -1.305900514125824e-05, -1.2437812983989716e-05, -1.1816620826721191e-05, -1.1195428669452667e-05, -1.0574236512184143e-05, -9.953044354915619e-06, -9.331852197647095e-06, -8.71066004037857e-06, -8.089467883110046e-06, -7.468275725841522e-06, -6.847083568572998e-06, -6.225891411304474e-06, -5.60469925403595e-06, -4.9835070967674255e-06, -4.362314939498901e-06, -3.741122782230377e-06, -3.119930624961853e-06, -2.498738467693329e-06, -1.8775463104248047e-06, -1.2563541531562805e-06, -6.351619958877563e-07, -1.3969838619232178e-08, 6.07222318649292e-07, 1.2284144759178162e-06, 1.8496066331863403e-06, 2.4707987904548645e-06, 3.0919909477233887e-06, 3.713183104991913e-06, 4.334375262260437e-06, 4.955567419528961e-06, 5.576759576797485e-06, 6.1979517340660095e-06, 6.819143891334534e-06, 7.440336048603058e-06, 8.061528205871582e-06, 8.682720363140106e-06, 9.30391252040863e-06, 9.925104677677155e-06, 1.0546296834945679e-05, 1.1167488992214203e-05, 1.1788681149482727e-05, 1.2409873306751251e-05, 1.3031065464019775e-05, 1.36522576212883e-05, 1.4273449778556824e-05, 1.4894641935825348e-05, 1.5515834093093872e-05, 1.6137026250362396e-05, 1.675821840763092e-05, 1.7379410564899445e-05, 1.800060272216797e-05]}, "gradients/decoder.bert.encoder.layer.22.crossattention.self.key.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 15.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 999.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 9.0], "bins": [-1.1920928955078125e-07, -1.1641532182693481e-07, -1.1362135410308838e-07, -1.1082738637924194e-07, -1.0803341865539551e-07, -1.0523945093154907e-07, -1.0244548320770264e-07, -9.96515154838562e-08, -9.685754776000977e-08, -9.406358003616333e-08, -9.12696123123169e-08, -8.847564458847046e-08, -8.568167686462402e-08, -8.288770914077759e-08, -8.009374141693115e-08, -7.729977369308472e-08, -7.450580596923828e-08, -7.171183824539185e-08, -6.891787052154541e-08, -6.612390279769897e-08, -6.332993507385254e-08, -6.05359673500061e-08, -5.774199962615967e-08, -5.494803190231323e-08, -5.21540641784668e-08, -4.936009645462036e-08, -4.6566128730773926e-08, -4.377216100692749e-08, -4.0978193283081055e-08, -3.818422555923462e-08, -3.5390257835388184e-08, -3.259629011154175e-08, -2.9802322387695312e-08, -2.7008354663848877e-08, -2.421438694000244e-08, -2.1420419216156006e-08, -1.862645149230957e-08, -1.5832483768463135e-08, -1.30385160446167e-08, -1.0244548320770264e-08, -7.450580596923828e-09, -4.6566128730773926e-09, -1.862645149230957e-09, 9.313225746154785e-10, 3.725290298461914e-09, 6.51925802230835e-09, 9.313225746154785e-09, 1.210719347000122e-08, 1.4901161193847656e-08, 1.7695128917694092e-08, 2.0489096641540527e-08, 2.3283064365386963e-08, 2.60770320892334e-08, 2.8870999813079834e-08, 3.166496753692627e-08, 3.4458935260772705e-08, 3.725290298461914e-08, 4.0046870708465576e-08, 4.284083843231201e-08, 4.563480615615845e-08, 4.842877388000488e-08, 5.122274160385132e-08, 5.4016709327697754e-08, 5.681067705154419e-08, 5.960464477539063e-08]}, "gradients/decoder.bert.encoder.layer.22.crossattention.self.query.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 3.0, 1.0, 2.0, 3.0, 3.0, 2.0, 4.0, 5.0, 6.0, 8.0, 16.0, 14.0, 15.0, 36.0, 53.0, 68.0, 96.0, 165.0, 270.0, 472.0, 885.0, 1576.0, 3832.0, 11212.0, 1015077.0, 8199.0, 3242.0, 1331.0, 794.0, 403.0, 297.0, 158.0, 99.0, 67.0, 51.0, 27.0, 17.0, 22.0, 12.0, 8.0, 4.0, 3.0, 4.0, 4.0, 1.0, 1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-2.288818359375e-05, -2.2259540855884552e-05, -2.1630898118019104e-05, -2.1002255380153656e-05, -2.0373612642288208e-05, -1.974496990442276e-05, -1.9116327166557312e-05, -1.8487684428691864e-05, -1.7859041690826416e-05, -1.7230398952960968e-05, -1.660175621509552e-05, -1.5973113477230072e-05, -1.5344470739364624e-05, -1.4715828001499176e-05, -1.4087185263633728e-05, -1.345854252576828e-05, -1.2829899787902832e-05, -1.2201257050037384e-05, -1.1572614312171936e-05, -1.0943971574306488e-05, -1.031532883644104e-05, -9.686686098575592e-06, -9.058043360710144e-06, -8.429400622844696e-06, -7.800757884979248e-06, -7.1721151471138e-06, -6.543472409248352e-06, -5.914829671382904e-06, -5.286186933517456e-06, -4.657544195652008e-06, -4.02890145778656e-06, -3.400258719921112e-06, -2.771615982055664e-06, -2.142973244190216e-06, -1.514330506324768e-06, -8.856877684593201e-07, -2.5704503059387207e-07, 3.7159770727157593e-07, 1.000240445137024e-06, 1.628883183002472e-06, 2.25752592086792e-06, 2.886168658733368e-06, 3.514811396598816e-06, 4.143454134464264e-06, 4.772096872329712e-06, 5.40073961019516e-06, 6.029382348060608e-06, 6.658025085926056e-06, 7.286667823791504e-06, 7.915310561656952e-06, 8.5439532995224e-06, 9.172596037387848e-06, 9.801238775253296e-06, 1.0429881513118744e-05, 1.1058524250984192e-05, 1.168716698884964e-05, 1.2315809726715088e-05, 1.2944452464580536e-05, 1.3573095202445984e-05, 1.4201737940311432e-05, 1.483038067817688e-05, 1.5459023416042328e-05, 1.6087666153907776e-05, 1.6716308891773224e-05, 1.7344951629638672e-05]}, "gradients/decoder.bert.encoder.layer.22.crossattention.self.query.bias": {"_type": "histogram", "values": [2.0, 0.0, 3.0, 0.0, 1.0, 0.0, 1.0, 0.0, 3.0, 0.0, 4.0, 0.0, 2.0, 0.0, 2.0, 0.0, 3.0, 0.0, 5.0, 0.0, 2.0, 0.0, 963.0, 0.0, 7.0, 0.0, 5.0, 0.0, 3.0, 0.0, 2.0, 0.0, 0.0, 2.0, 0.0, 2.0, 0.0, 1.0, 0.0, 2.0, 0.0, 4.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-6.556510925292969e-07, -6.26780092716217e-07, -5.979090929031372e-07, -5.690380930900574e-07, -5.401670932769775e-07, -5.112960934638977e-07, -4.824250936508179e-07, -4.5355409383773804e-07, -4.246830940246582e-07, -3.9581209421157837e-07, -3.6694109439849854e-07, -3.380700945854187e-07, -3.0919909477233887e-07, -2.8032809495925903e-07, -2.514570951461792e-07, -2.2258609533309937e-07, -1.9371509552001953e-07, -1.648440957069397e-07, -1.3597309589385986e-07, -1.0710209608078003e-07, -7.82310962677002e-08, -4.936009645462036e-08, -2.0489096641540527e-08, 8.381903171539307e-09, 3.725290298461914e-08, 6.612390279769897e-08, 9.499490261077881e-08, 1.2386590242385864e-07, 1.5273690223693848e-07, 1.816079020500183e-07, 2.1047890186309814e-07, 2.39349901676178e-07, 2.682209014892578e-07, 2.9709190130233765e-07, 3.259629011154175e-07, 3.548339009284973e-07, 3.8370490074157715e-07, 4.12575900554657e-07, 4.414469003677368e-07, 4.7031790018081665e-07, 4.991888999938965e-07, 5.280598998069763e-07, 5.569308996200562e-07, 5.85801899433136e-07, 6.146728992462158e-07, 6.435438990592957e-07, 6.724148988723755e-07, 7.012858986854553e-07, 7.301568984985352e-07, 7.59027898311615e-07, 7.878988981246948e-07, 8.167698979377747e-07, 8.456408977508545e-07, 8.745118975639343e-07, 9.033828973770142e-07, 9.32253897190094e-07, 9.611248970031738e-07, 9.899958968162537e-07, 1.0188668966293335e-06, 1.0477378964424133e-06, 1.0766088962554932e-06, 1.105479896068573e-06, 1.1343508958816528e-06, 1.1632218956947327e-06, 1.1920928955078125e-06]}, "gradients/decoder.bert.encoder.layer.22.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 1.0, 3.0, 2.0, 1.0, 5.0, 0.0, 2.0, 7.0, 9.0, 4.0, 11.0, 9.0, 14.0, 21.0, 28.0, 28.0, 29.0, 51.0, 78.0, 123.0, 164.0, 115.0, 71.0, 52.0, 47.0, 34.0, 22.0, 17.0, 16.0, 9.0, 12.0, 11.0, 1.0, 4.0, 3.0, 2.0, 2.0, 4.0, 1.0, 2.0, 1.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00023259238514583558, -0.00022542836086358875, -0.00021826433658134192, -0.0002111003122990951, -0.00020393628801684827, -0.00019677226373460144, -0.0001896082394523546, -0.00018244421517010778, -0.00017528019088786095, -0.00016811616660561413, -0.0001609521423233673, -0.00015378811804112047, -0.00014662409375887364, -0.0001394600694766268, -0.00013229604519437999, -0.00012513202091213316, -0.00011796800390584394, -0.00011080397962359712, -0.00010363995534135029, -9.647593105910346e-05, -8.931190677685663e-05, -8.214788977056742e-05, -7.498386548832059e-05, -6.781984120607376e-05, -6.0655813285848126e-05, -5.34917890036013e-05, -4.632776472135447e-05, -3.916374407708645e-05, -3.199971979483962e-05, -2.4835695512592793e-05, -1.7671671230345964e-05, -1.0507646948099136e-05, -3.3436226658523083e-06, 3.820401161647169e-06, 1.0984424989146646e-05, 1.8148448361898772e-05, 2.53124726441456e-05, 3.2476495107403025e-05, 3.964051938964985e-05, 4.680454367189668e-05, 5.396856795414351e-05, 6.113258859841153e-05, 6.829661288065836e-05, 7.546063716290519e-05, 8.262466144515201e-05, 8.978868572739884e-05, 9.695271000964567e-05, 0.0001041167342918925, 0.00011128075857413933, 0.00011844478285638615, 0.00012560879986267537, 0.0001327728241449222, 0.00013993684842716902, 0.00014710087270941585, 0.00015426489699166268, 0.0001614289212739095, 0.00016859294555615634, 0.00017575696983840317, 0.00018292099412065, 0.00019008501840289682, 0.00019724904268514365, 0.00020441306696739048, 0.0002115770912496373, 0.00021874111553188413, 0.00022590513981413096]}, "gradients/decoder.bert.encoder.layer.22.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 3.0, 2.0, 4.0, 3.0, 6.0, 8.0, 3.0, 13.0, 15.0, 19.0, 21.0, 28.0, 30.0, 30.0, 30.0, 33.0, 43.0, 39.0, 47.0, 50.0, 45.0, 44.0, 37.0, 41.0, 52.0, 41.0, 39.0, 48.0, 33.0, 20.0, 31.0, 27.0, 25.0, 17.0, 16.0, 11.0, 11.0, 15.0, 10.0, 5.0, 4.0, 5.0, 4.0, 3.0, 0.0, 4.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 1.0], "bins": [-0.00014877876674290746, -0.00014414213364943862, -0.00013950548600405455, -0.0001348688529105857, -0.00013023220526520163, -0.00012559557217173278, -0.00012095893180230632, -0.00011632229143287987, -0.00011168565833941102, -0.00010704901796998456, -0.0001024123776005581, -9.777574450708926e-05, -9.31391041376628e-05, -8.850246376823634e-05, -8.386582339880988e-05, -7.922918302938342e-05, -7.459254265995696e-05, -6.99559022905305e-05, -6.531926192110404e-05, -6.068262518965639e-05, -5.604598845820874e-05, -5.140934808878228e-05, -4.677270771935582e-05, -4.213607098790817e-05, -3.749943061848171e-05, -3.286279024905525e-05, -2.82261535176076e-05, -2.358951314818114e-05, -1.8952874597744085e-05, -1.431623604730703e-05, -9.67959567788057e-06, -5.042958946432918e-06, -4.0631857700645924e-07, 4.230320428177947e-06, 8.866959433362354e-06, 1.3503598893294111e-05, 1.8140237443731166e-05, 2.2776875994168222e-05, 2.741351636359468e-05, 3.205015309504233e-05, 3.668679346446879e-05, 4.132343383389525e-05, 4.59600705653429e-05, 5.059671093476936e-05, 5.523335130419582e-05, 5.986998803564347e-05, 6.450663204304874e-05, 6.914326513651758e-05, 7.377990550594404e-05, 7.84165458753705e-05, 8.305318624479696e-05, 8.768982661422342e-05, 9.232645970769227e-05, 9.696310007711872e-05, 0.00010159974044654518, 0.00010623637354001403, 0.0001108730211853981, 0.00011550966155482456, 0.00012014630192425102, 0.00012478293501771986, 0.00012941958266310394, 0.00013405621575657278, 0.00013869284885004163, 0.0001433294964954257, 0.00014796612958889455]}, "gradients/decoder.bert.encoder.layer.22.attention.output.dense.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 4.0, 2.0, 4.0, 2.0, 5.0, 14.0, 10.0, 21.0, 32.0, 45.0, 59.0, 75.0, 138.0, 216.0, 299.0, 446.0, 661.0, 1038.0, 1665.0, 2596.0, 4205.0, 6673.0, 10462.0, 17537.0, 29871.0, 52597.0, 103439.0, 277185.0, 298916.0, 107031.0, 54562.0, 30969.0, 18233.0, 11016.0, 6762.0, 4242.0, 2677.0, 1732.0, 1124.0, 662.0, 448.0, 284.0, 200.0, 121.0, 98.0, 60.0, 37.0, 31.0, 21.0, 14.0, 12.0, 7.0, 4.0, 2.0, 3.0, 0.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.0002779960632324219, -0.0002693161368370056, -0.00026063621044158936, -0.0002519562840461731, -0.00024327635765075684, -0.00023459643125534058, -0.00022591650485992432, -0.00021723657846450806, -0.0002085566520690918, -0.00019987672567367554, -0.00019119679927825928, -0.00018251687288284302, -0.00017383694648742676, -0.0001651570200920105, -0.00015647709369659424, -0.00014779716730117798, -0.00013911724090576172, -0.00013043731451034546, -0.0001217573881149292, -0.00011307746171951294, -0.00010439753532409668, -9.571760892868042e-05, -8.703768253326416e-05, -7.83577561378479e-05, -6.967782974243164e-05, -6.099790334701538e-05, -5.231797695159912e-05, -4.363805055618286e-05, -3.49581241607666e-05, -2.6278197765350342e-05, -1.7598271369934082e-05, -8.918344974517822e-06, -2.384185791015625e-07, 8.441507816314697e-06, 1.7121434211730957e-05, 2.5801360607147217e-05, 3.4481287002563477e-05, 4.3161213397979736e-05, 5.1841139793395996e-05, 6.0521066188812256e-05, 6.920099258422852e-05, 7.788091897964478e-05, 8.656084537506104e-05, 9.52407717704773e-05, 0.00010392069816589355, 0.00011260062456130981, 0.00012128055095672607, 0.00012996047735214233, 0.0001386404037475586, 0.00014732033014297485, 0.0001560002565383911, 0.00016468018293380737, 0.00017336010932922363, 0.0001820400357246399, 0.00019071996212005615, 0.0001993998885154724, 0.00020807981491088867, 0.00021675974130630493, 0.0002254396677017212, 0.00023411959409713745, 0.0002427995204925537, 0.00025147944688796997, 0.00026015937328338623, 0.0002688392996788025, 0.00027751922607421875]}, "gradients/decoder.bert.encoder.layer.22.attention.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 2.0, 1.0, 2.0, 3.0, 5.0, 2.0, 4.0, 8.0, 14.0, 9.0, 14.0, 19.0, 26.0, 19.0, 31.0, 38.0, 24.0, 42.0, 32.0, 41.0, 38.0, 54.0, 40.0, 43.0, 43.0, 52.0, 41.0, 48.0, 32.0, 36.0, 35.0, 26.0, 32.0, 23.0, 21.0, 22.0, 16.0, 12.0, 17.0, 13.0, 9.0, 7.0, 6.0, 4.0, 3.0, 1.0, 3.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0], "bins": [-6.842613220214844e-05, -6.606150418519974e-05, -6.369687616825104e-05, -6.133224815130234e-05, -5.896762013435364e-05, -5.660299211740494e-05, -5.423836410045624e-05, -5.187373608350754e-05, -4.950910806655884e-05, -4.714448004961014e-05, -4.477985203266144e-05, -4.241522401571274e-05, -4.005059599876404e-05, -3.768596798181534e-05, -3.532133996486664e-05, -3.295671194791794e-05, -3.059208393096924e-05, -2.822745591402054e-05, -2.586282789707184e-05, -2.349819988012314e-05, -2.113357186317444e-05, -1.876894384622574e-05, -1.640431582927704e-05, -1.4039687812328339e-05, -1.1675059795379639e-05, -9.310431778430939e-06, -6.945803761482239e-06, -4.581175744533539e-06, -2.216547727584839e-06, 1.4808028936386108e-07, 2.512708306312561e-06, 4.877336323261261e-06, 7.241964340209961e-06, 9.606592357158661e-06, 1.197122037410736e-05, 1.433584839105606e-05, 1.670047640800476e-05, 1.906510442495346e-05, 2.142973244190216e-05, 2.379436045885086e-05, 2.615898847579956e-05, 2.852361649274826e-05, 3.088824450969696e-05, 3.325287252664566e-05, 3.561750054359436e-05, 3.798212856054306e-05, 4.034675657749176e-05, 4.271138459444046e-05, 4.507601261138916e-05, 4.744064062833786e-05, 4.980526864528656e-05, 5.216989666223526e-05, 5.453452467918396e-05, 5.689915269613266e-05, 5.926378071308136e-05, 6.162840873003006e-05, 6.399303674697876e-05, 6.635766476392746e-05, 6.872229278087616e-05, 7.108692079782486e-05, 7.345154881477356e-05, 7.581617683172226e-05, 7.818080484867096e-05, 8.054543286561966e-05, 8.291006088256836e-05]}, "gradients/decoder.bert.encoder.layer.22.attention.self.value.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 3.0, 1.0, 4.0, 8.0, 16.0, 18.0, 31.0, 51.0, 54.0, 93.0, 160.0, 205.0, 311.0, 424.0, 637.0, 910.0, 1227.0, 1711.0, 2495.0, 3271.0, 4866.0, 6658.0, 9118.0, 12851.0, 17870.0, 25500.0, 38317.0, 57474.0, 90370.0, 164786.0, 264259.0, 118875.0, 72446.0, 46040.0, 31723.0, 21823.0, 15476.0, 11001.0, 7848.0, 5641.0, 4014.0, 2958.0, 2011.0, 1515.0, 1044.0, 760.0, 511.0, 365.0, 270.0, 196.0, 113.0, 93.0, 53.0, 48.0, 17.0, 9.0, 8.0, 10.0, 2.0, 4.0, 1.0], "bins": [-0.0001246929168701172, -0.00012094434350728989, -0.00011719577014446259, -0.00011344719678163528, -0.00010969862341880798, -0.00010595005005598068, -0.00010220147669315338, -9.845290333032608e-05, -9.470432996749878e-05, -9.095575660467148e-05, -8.720718324184418e-05, -8.345860987901688e-05, -7.971003651618958e-05, -7.596146315336227e-05, -7.221288979053497e-05, -6.846431642770767e-05, -6.471574306488037e-05, -6.096716970205307e-05, -5.721859633922577e-05, -5.347002297639847e-05, -4.972144961357117e-05, -4.5972876250743866e-05, -4.2224302887916565e-05, -3.8475729525089264e-05, -3.472715616226196e-05, -3.097858279943466e-05, -2.723000943660736e-05, -2.348143607378006e-05, -1.973286271095276e-05, -1.5984289348125458e-05, -1.2235715985298157e-05, -8.487142622470856e-06, -4.738569259643555e-06, -9.899958968162537e-07, 2.7585774660110474e-06, 6.507150828838348e-06, 1.025572419166565e-05, 1.400429755449295e-05, 1.775287091732025e-05, 2.1501444280147552e-05, 2.5250017642974854e-05, 2.8998591005802155e-05, 3.2747164368629456e-05, 3.6495737731456757e-05, 4.024431109428406e-05, 4.399288445711136e-05, 4.774145781993866e-05, 5.149003118276596e-05, 5.523860454559326e-05, 5.898717790842056e-05, 6.273575127124786e-05, 6.648432463407516e-05, 7.023289799690247e-05, 7.398147135972977e-05, 7.773004472255707e-05, 8.147861808538437e-05, 8.522719144821167e-05, 8.897576481103897e-05, 9.272433817386627e-05, 9.647291153669357e-05, 0.00010022148489952087, 0.00010397005826234818, 0.00010771863162517548, 0.00011146720498800278, 0.00011521577835083008]}, "gradients/decoder.bert.encoder.layer.22.attention.self.value.bias": {"_type": "histogram", "values": [1.0, 1.0, 2.0, 2.0, 0.0, 3.0, 1.0, 5.0, 5.0, 2.0, 8.0, 4.0, 10.0, 12.0, 14.0, 12.0, 12.0, 14.0, 15.0, 28.0, 20.0, 21.0, 22.0, 25.0, 35.0, 36.0, 40.0, 41.0, 32.0, 41.0, 38.0, 45.0, 37.0, 37.0, 28.0, 40.0, 41.0, 40.0, 26.0, 33.0, 24.0, 20.0, 24.0, 24.0, 14.0, 14.0, 9.0, 8.0, 5.0, 12.0, 10.0, 7.0, 2.0, 4.0, 2.0, 5.0, 4.0, 0.0, 2.0, 1.0, 0.0, 2.0, 1.0, 1.0], "bins": [-4.112720489501953e-05, -3.981124609708786e-05, -3.849528729915619e-05, -3.717932850122452e-05, -3.586336970329285e-05, -3.4547410905361176e-05, -3.3231452107429504e-05, -3.191549330949783e-05, -3.059953451156616e-05, -2.928357571363449e-05, -2.796761691570282e-05, -2.665165811777115e-05, -2.5335699319839478e-05, -2.4019740521907806e-05, -2.2703781723976135e-05, -2.1387822926044464e-05, -2.0071864128112793e-05, -1.8755905330181122e-05, -1.743994653224945e-05, -1.612398773431778e-05, -1.4808028936386108e-05, -1.3492070138454437e-05, -1.2176111340522766e-05, -1.0860152542591095e-05, -9.544193744659424e-06, -8.228234946727753e-06, -6.9122761487960815e-06, -5.59631735086441e-06, -4.280358552932739e-06, -2.964399755001068e-06, -1.648440957069397e-06, -3.3248215913772583e-07, 9.834766387939453e-07, 2.2994354367256165e-06, 3.6153942346572876e-06, 4.931353032588959e-06, 6.24731183052063e-06, 7.563270628452301e-06, 8.879229426383972e-06, 1.0195188224315643e-05, 1.1511147022247314e-05, 1.2827105820178986e-05, 1.4143064618110657e-05, 1.5459023416042328e-05, 1.6774982213974e-05, 1.809094101190567e-05, 1.940689980983734e-05, 2.0722858607769012e-05, 2.2038817405700684e-05, 2.3354776203632355e-05, 2.4670735001564026e-05, 2.5986693799495697e-05, 2.7302652597427368e-05, 2.861861139535904e-05, 2.993457019329071e-05, 3.125052899122238e-05, 3.256648778915405e-05, 3.3882446587085724e-05, 3.5198405385017395e-05, 3.6514364182949066e-05, 3.783032298088074e-05, 3.914628177881241e-05, 4.046224057674408e-05, 4.177819937467575e-05, 4.309415817260742e-05]}, "gradients/decoder.bert.encoder.layer.22.attention.self.key.weight": {"_type": "histogram", "values": [2.0, 0.0, 2.0, 0.0, 2.0, 5.0, 8.0, 6.0, 10.0, 12.0, 10.0, 19.0, 34.0, 44.0, 47.0, 75.0, 106.0, 145.0, 175.0, 330.0, 386.0, 597.0, 833.0, 1194.0, 1827.0, 3557.0, 4585.0, 7260.0, 12221.0, 20950.0, 39625.0, 82438.0, 444668.0, 250867.0, 82027.0, 39623.0, 21309.0, 12243.0, 8727.0, 4170.0, 2619.0, 1766.0, 1207.0, 800.0, 685.0, 382.0, 256.0, 199.0, 142.0, 106.0, 63.0, 82.0, 47.0, 13.0, 22.0, 19.0, 9.0, 9.0, 2.0, 2.0, 4.0, 1.0, 1.0, 1.0], "bins": [-8.165836334228516e-06, -7.918104529380798e-06, -7.670372724533081e-06, -7.422640919685364e-06, -7.1749091148376465e-06, -6.927177309989929e-06, -6.679445505142212e-06, -6.431713700294495e-06, -6.183981895446777e-06, -5.93625009059906e-06, -5.688518285751343e-06, -5.4407864809036255e-06, -5.193054676055908e-06, -4.945322871208191e-06, -4.697591066360474e-06, -4.449859261512756e-06, -4.202127456665039e-06, -3.954395651817322e-06, -3.7066638469696045e-06, -3.458932042121887e-06, -3.21120023727417e-06, -2.9634684324264526e-06, -2.7157366275787354e-06, -2.468004822731018e-06, -2.2202730178833008e-06, -1.9725412130355835e-06, -1.7248094081878662e-06, -1.477077603340149e-06, -1.2293457984924316e-06, -9.816139936447144e-07, -7.338821887969971e-07, -4.861503839492798e-07, -2.384185791015625e-07, 9.313225746154785e-09, 2.5704503059387207e-07, 5.047768354415894e-07, 7.525086402893066e-07, 1.000240445137024e-06, 1.2479722499847412e-06, 1.4957040548324585e-06, 1.7434358596801758e-06, 1.991167664527893e-06, 2.2388994693756104e-06, 2.4866312742233276e-06, 2.734363079071045e-06, 2.982094883918762e-06, 3.2298266887664795e-06, 3.4775584936141968e-06, 3.725290298461914e-06, 3.973022103309631e-06, 4.220753908157349e-06, 4.468485713005066e-06, 4.716217517852783e-06, 4.9639493227005005e-06, 5.211681127548218e-06, 5.459412932395935e-06, 5.707144737243652e-06, 5.95487654209137e-06, 6.202608346939087e-06, 6.450340151786804e-06, 6.6980719566345215e-06, 6.945803761482239e-06, 7.193535566329956e-06, 7.441267371177673e-06, 7.68899917602539e-06]}, "gradients/decoder.bert.encoder.layer.22.attention.self.key.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 1.0, 0.0, 1.0, 2.0, 2.0, 0.0, 0.0, 2.0, 5.0, 4.0, 5.0, 3.0, 9.0, 5.0, 8.0, 14.0, 16.0, 15.0, 37.0, 13.0, 29.0, 36.0, 91.0, 51.0, 52.0, 171.0, 75.0, 54.0, 50.0, 72.0, 41.0, 19.0, 39.0, 16.0, 20.0, 20.0, 3.0, 2.0, 9.0, 8.0, 1.0, 5.0, 5.0, 1.0, 0.0, 1.0, 2.0, 1.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.6226043701171875e-06, -2.5453045964241028e-06, -2.468004822731018e-06, -2.3907050490379333e-06, -2.3134052753448486e-06, -2.236105501651764e-06, -2.158805727958679e-06, -2.0815059542655945e-06, -2.0042061805725098e-06, -1.926906406879425e-06, -1.8496066331863403e-06, -1.7723068594932556e-06, -1.695007085800171e-06, -1.6177073121070862e-06, -1.5404075384140015e-06, -1.4631077647209167e-06, -1.385807991027832e-06, -1.3085082173347473e-06, -1.2312084436416626e-06, -1.1539086699485779e-06, -1.0766088962554932e-06, -9.993091225624084e-07, -9.220093488693237e-07, -8.44709575176239e-07, -7.674098014831543e-07, -6.901100277900696e-07, -6.128102540969849e-07, -5.355104804039001e-07, -4.5821070671081543e-07, -3.809109330177307e-07, -3.03611159324646e-07, -2.2631138563156128e-07, -1.4901161193847656e-07, -7.171183824539185e-08, 5.587935447692871e-09, 8.288770914077759e-08, 1.601874828338623e-07, 2.3748725652694702e-07, 3.1478703022003174e-07, 3.9208680391311646e-07, 4.6938657760620117e-07, 5.466863512992859e-07, 6.239861249923706e-07, 7.012858986854553e-07, 7.7858567237854e-07, 8.558854460716248e-07, 9.331852197647095e-07, 1.0104849934577942e-06, 1.087784767150879e-06, 1.1650845408439636e-06, 1.2423843145370483e-06, 1.319684088230133e-06, 1.3969838619232178e-06, 1.4742836356163025e-06, 1.5515834093093872e-06, 1.628883183002472e-06, 1.7061829566955566e-06, 1.7834827303886414e-06, 1.860782504081726e-06, 1.938082277774811e-06, 2.0153820514678955e-06, 2.0926818251609802e-06, 2.169981598854065e-06, 2.2472813725471497e-06, 2.3245811462402344e-06]}, "gradients/decoder.bert.encoder.layer.22.attention.self.query.weight": {"_type": "histogram", "values": [1.0, 1.0, 5.0, 1.0, 10.0, 15.0, 28.0, 41.0, 54.0, 61.0, 120.0, 99.0, 183.0, 178.0, 265.0, 309.0, 560.0, 820.0, 818.0, 1421.0, 1644.0, 2846.0, 3433.0, 6720.0, 11440.0, 15768.0, 37333.0, 63124.0, 272451.0, 422691.0, 110315.0, 37229.0, 24025.0, 12895.0, 6234.0, 5069.0, 2638.0, 2378.0, 1328.0, 1146.0, 811.0, 482.0, 469.0, 253.0, 251.0, 153.0, 145.0, 84.0, 77.0, 49.0, 31.0, 22.0, 10.0, 16.0, 4.0, 6.0, 3.0, 3.0, 2.0, 3.0, 1.0, 1.0, 1.0, 2.0], "bins": [-7.927417755126953e-06, -7.655471563339233e-06, -7.383525371551514e-06, -7.111579179763794e-06, -6.839632987976074e-06, -6.5676867961883545e-06, -6.295740604400635e-06, -6.023794412612915e-06, -5.751848220825195e-06, -5.479902029037476e-06, -5.207955837249756e-06, -4.936009645462036e-06, -4.664063453674316e-06, -4.392117261886597e-06, -4.120171070098877e-06, -3.848224878311157e-06, -3.5762786865234375e-06, -3.3043324947357178e-06, -3.032386302947998e-06, -2.7604401111602783e-06, -2.4884939193725586e-06, -2.216547727584839e-06, -1.944601535797119e-06, -1.6726553440093994e-06, -1.4007091522216797e-06, -1.12876296043396e-06, -8.568167686462402e-07, -5.848705768585205e-07, -3.129243850708008e-07, -4.0978193283081055e-08, 2.3096799850463867e-07, 5.029141902923584e-07, 7.748603820800781e-07, 1.0468065738677979e-06, 1.3187527656555176e-06, 1.5906989574432373e-06, 1.862645149230957e-06, 2.1345913410186768e-06, 2.4065375328063965e-06, 2.678483724594116e-06, 2.950429916381836e-06, 3.2223761081695557e-06, 3.4943222999572754e-06, 3.766268491744995e-06, 4.038214683532715e-06, 4.3101608753204346e-06, 4.582107067108154e-06, 4.854053258895874e-06, 5.125999450683594e-06, 5.3979456424713135e-06, 5.669891834259033e-06, 5.941838026046753e-06, 6.213784217834473e-06, 6.485730409622192e-06, 6.757676601409912e-06, 7.029622793197632e-06, 7.3015689849853516e-06, 7.573515176773071e-06, 7.845461368560791e-06, 8.11740756034851e-06, 8.38935375213623e-06, 8.66129994392395e-06, 8.93324613571167e-06, 9.20519232749939e-06, 9.47713851928711e-06]}, "gradients/decoder.bert.encoder.layer.22.attention.self.query.bias": {"_type": "histogram", "values": [2.0, 0.0, 2.0, 1.0, 2.0, 1.0, 2.0, 0.0, 1.0, 0.0, 2.0, 1.0, 3.0, 1.0, 1.0, 4.0, 4.0, 9.0, 1.0, 3.0, 10.0, 7.0, 7.0, 13.0, 4.0, 19.0, 17.0, 14.0, 41.0, 21.0, 62.0, 48.0, 52.0, 135.0, 95.0, 140.0, 46.0, 40.0, 64.0, 19.0, 39.0, 16.0, 11.0, 16.0, 10.0, 5.0, 3.0, 6.0, 8.0, 1.0, 1.0, 4.0, 1.0, 0.0, 1.0, 0.0, 2.0, 1.0, 2.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-2.86102294921875e-06, -2.7781352400779724e-06, -2.695247530937195e-06, -2.6123598217964172e-06, -2.5294721126556396e-06, -2.446584403514862e-06, -2.3636966943740845e-06, -2.280808985233307e-06, -2.1979212760925293e-06, -2.1150335669517517e-06, -2.032145857810974e-06, -1.9492581486701965e-06, -1.866370439529419e-06, -1.7834827303886414e-06, -1.7005950212478638e-06, -1.6177073121070862e-06, -1.5348196029663086e-06, -1.451931893825531e-06, -1.3690441846847534e-06, -1.2861564755439758e-06, -1.2032687664031982e-06, -1.1203810572624207e-06, -1.037493348121643e-06, -9.546056389808655e-07, -8.717179298400879e-07, -7.888302206993103e-07, -7.059425115585327e-07, -6.230548024177551e-07, -5.401670932769775e-07, -4.5727938413619995e-07, -3.7439167499542236e-07, -2.915039658546448e-07, -2.086162567138672e-07, -1.257285475730896e-07, -4.284083843231201e-08, 4.0046870708465576e-08, 1.2293457984924316e-07, 2.0582228899002075e-07, 2.8870999813079834e-07, 3.7159770727157593e-07, 4.544854164123535e-07, 5.373731255531311e-07, 6.202608346939087e-07, 7.031485438346863e-07, 7.860362529754639e-07, 8.689239621162415e-07, 9.51811671257019e-07, 1.0346993803977966e-06, 1.1175870895385742e-06, 1.2004747986793518e-06, 1.2833625078201294e-06, 1.366250216960907e-06, 1.4491379261016846e-06, 1.5320256352424622e-06, 1.6149133443832397e-06, 1.6978010535240173e-06, 1.780688762664795e-06, 1.8635764718055725e-06, 1.94646418094635e-06, 2.0293518900871277e-06, 2.1122395992279053e-06, 2.195127308368683e-06, 2.2780150175094604e-06, 2.360902726650238e-06, 2.4437904357910156e-06]}, "gradients/decoder.bert.encoder.layer.21.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 2.0, 2.0, 2.0, 0.0, 2.0, 4.0, 2.0, 4.0, 6.0, 4.0, 6.0, 10.0, 11.0, 15.0, 21.0, 27.0, 23.0, 51.0, 50.0, 48.0, 106.0, 173.0, 108.0, 81.0, 52.0, 48.0, 40.0, 25.0, 22.0, 12.0, 10.0, 12.0, 8.0, 3.0, 6.0, 2.0, 5.0, 5.0, 1.0, 0.0, 0.0, 1.0, 2.0, 3.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00010991619637934491, -0.00010608402953948826, -0.00010225185542367399, -9.841968130785972e-05, -9.458751446800306e-05, -9.075534762814641e-05, -8.692317351233214e-05, -8.309099939651787e-05, -7.925883255666122e-05, -7.542666571680456e-05, -7.15944916009903e-05, -6.776231748517603e-05, -6.393015064531937e-05, -6.009798016748391e-05, -5.626580968964845e-05, -5.243363921181299e-05, -4.8601468733977526e-05, -4.4769298256142065e-05, -4.0937127778306603e-05, -3.710495730047114e-05, -3.327278682263568e-05, -2.944061634480022e-05, -2.5608445866964757e-05, -2.1776275389129296e-05, -1.7944104911293834e-05, -1.4111934433458373e-05, -1.0279763955622911e-05, -6.44759347778745e-06, -2.6154229999519885e-06, 1.216747477883473e-06, 5.0489179557189345e-06, 8.881088433554396e-06, 1.2713251635432243e-05, 1.6545422113267705e-05, 2.0377592591103166e-05, 2.4209763068938628e-05, 2.804193354677409e-05, 3.187410402460955e-05, 3.570627450244501e-05, 3.9538444980280474e-05, 4.3370615458115935e-05, 4.72027859359514e-05, 5.103495641378686e-05, 5.486712689162232e-05, 5.869929736945778e-05, 6.253147148527205e-05, 6.63636383251287e-05, 7.019580516498536e-05, 7.402797928079963e-05, 7.78601533966139e-05, 8.169232023647055e-05, 8.55244870763272e-05, 8.935666119214147e-05, 9.318883530795574e-05, 9.70210021478124e-05, 0.00010085316898766905, 0.00010468534310348332, 0.00010851751721929759, 0.00011234968405915424, 0.0001161818508990109, 0.00012001402501482517, 0.00012384619913063943, 0.00012767835869453847, 0.00013151053281035274, 0.000135342706926167]}, "gradients/decoder.bert.encoder.layer.21.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 3.0, 0.0, 2.0, 2.0, 6.0, 5.0, 8.0, 15.0, 7.0, 11.0, 13.0, 15.0, 18.0, 29.0, 24.0, 42.0, 35.0, 43.0, 37.0, 49.0, 42.0, 41.0, 37.0, 40.0, 41.0, 46.0, 54.0, 37.0, 39.0, 36.0, 38.0, 25.0, 34.0, 22.0, 21.0, 17.0, 15.0, 17.0, 9.0, 8.0, 9.0, 7.0, 3.0, 4.0, 4.0, 1.0, 0.0, 2.0, 3.0, 0.0, 0.0, 0.0, 3.0], "bins": [-8.563237497583032e-05, -8.315257582580671e-05, -8.06727766757831e-05, -7.819297752575949e-05, -7.571317837573588e-05, -7.323338650166988e-05, -7.075358735164627e-05, -6.827378820162266e-05, -6.579398905159906e-05, -6.331418990157545e-05, -6.083439075155184e-05, -5.8354595239507034e-05, -5.5874796089483425e-05, -5.3394996939459816e-05, -5.091520142741501e-05, -4.8435402277391404e-05, -4.5955603127367795e-05, -4.3475803977344185e-05, -4.0996004827320576e-05, -3.8516209315275773e-05, -3.6036410165252164e-05, -3.3556611015228555e-05, -3.107681550318375e-05, -2.8597016353160143e-05, -2.6117217203136533e-05, -2.3637418053112924e-05, -2.1157620722078718e-05, -1.8677823391044512e-05, -1.6198024241020903e-05, -1.3718226000491995e-05, -1.1238427759963088e-05, -8.758630428928882e-06, -6.278824002947658e-06, -3.7990257624187507e-06, -1.319227521889843e-06, 1.1605707186390646e-06, 3.640368959167972e-06, 6.12016719969688e-06, 8.599965440225787e-06, 1.1079762771259993e-05, 1.3559561921283603e-05, 1.6039361071307212e-05, 1.8519158402341418e-05, 2.0998955733375624e-05, 2.3478754883399233e-05, 2.5958554033422843e-05, 2.843835136445705e-05, 3.0918148695491254e-05, 3.3397947845514864e-05, 3.587774699553847e-05, 3.835754614556208e-05, 4.0837341657606885e-05, 4.3317140807630494e-05, 4.5796939957654104e-05, 4.8276735469698906e-05, 5.0756534619722515e-05, 5.3236333769746125e-05, 5.5716132919769734e-05, 5.8195932069793344e-05, 6.0675727581838146e-05, 6.315553036984056e-05, 6.563532224390656e-05, 6.811512139393017e-05, 7.059492054395378e-05, 7.307471969397739e-05]}, "gradients/decoder.bert.encoder.layer.21.output.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 3.0, 1.0, 2.0, 4.0, 8.0, 9.0, 22.0, 25.0, 37.0, 79.0, 101.0, 147.0, 232.0, 360.0, 574.0, 851.0, 1250.0, 1916.0, 2847.0, 4116.0, 6210.0, 9638.0, 15461.0, 25588.0, 44709.0, 85996.0, 232526.0, 3018521.0, 504671.0, 104693.0, 53039.0, 30066.0, 18362.0, 11266.0, 7020.0, 4762.0, 2983.0, 2083.0, 1360.0, 930.0, 595.0, 419.0, 267.0, 204.0, 122.0, 76.0, 49.0, 30.0, 27.0, 15.0, 11.0, 7.0, 4.0, 2.0, 2.0, 1.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.00011998414993286133, -0.00011619273573160172, -0.0001124013215303421, -0.00010860990732908249, -0.00010481849312782288, -0.00010102707892656326, -9.723566472530365e-05, -9.344425052404404e-05, -8.965283632278442e-05, -8.586142212152481e-05, -8.20700079202652e-05, -7.827859371900558e-05, -7.448717951774597e-05, -7.069576531648636e-05, -6.690435111522675e-05, -6.311293691396713e-05, -5.932152271270752e-05, -5.5530108511447906e-05, -5.1738694310188293e-05, -4.794728010892868e-05, -4.415586590766907e-05, -4.0364451706409454e-05, -3.657303750514984e-05, -3.278162330389023e-05, -2.8990209102630615e-05, -2.5198794901371002e-05, -2.140738070011139e-05, -1.7615966498851776e-05, -1.3824552297592163e-05, -1.003313809633255e-05, -6.241723895072937e-06, -2.450309693813324e-06, 1.341104507446289e-06, 5.132518708705902e-06, 8.923932909965515e-06, 1.2715347111225128e-05, 1.650676131248474e-05, 2.0298175513744354e-05, 2.4089589715003967e-05, 2.788100391626358e-05, 3.167241811752319e-05, 3.5463832318782806e-05, 3.925524652004242e-05, 4.304666072130203e-05, 4.6838074922561646e-05, 5.062948912382126e-05, 5.442090332508087e-05, 5.8212317526340485e-05, 6.20037317276001e-05, 6.579514592885971e-05, 6.958656013011932e-05, 7.337797433137894e-05, 7.716938853263855e-05, 8.096080273389816e-05, 8.475221693515778e-05, 8.854363113641739e-05, 9.2335045337677e-05, 9.612645953893661e-05, 9.991787374019623e-05, 0.00010370928794145584, 0.00010750070214271545, 0.00011129211634397507, 0.00011508353054523468, 0.00011887494474649429, 0.0001226663589477539]}, "gradients/decoder.bert.encoder.layer.21.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 2.0, 0.0, 1.0, 2.0, 2.0, 1.0, 6.0, 4.0, 7.0, 10.0, 7.0, 13.0, 7.0, 12.0, 15.0, 15.0, 17.0, 26.0, 33.0, 30.0, 30.0, 45.0, 41.0, 45.0, 40.0, 30.0, 38.0, 45.0, 38.0, 37.0, 52.0, 36.0, 27.0, 40.0, 37.0, 34.0, 33.0, 30.0, 20.0, 18.0, 20.0, 11.0, 8.0, 16.0, 8.0, 5.0, 7.0, 1.0, 4.0, 4.0, 4.0, 3.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-2.6464462280273438e-05, -2.5629065930843353e-05, -2.479366958141327e-05, -2.3958273231983185e-05, -2.31228768825531e-05, -2.2287480533123016e-05, -2.1452084183692932e-05, -2.0616687834262848e-05, -1.9781291484832764e-05, -1.894589513540268e-05, -1.8110498785972595e-05, -1.727510243654251e-05, -1.6439706087112427e-05, -1.5604309737682343e-05, -1.4768913388252258e-05, -1.3933517038822174e-05, -1.309812068939209e-05, -1.2262724339962006e-05, -1.1427327990531921e-05, -1.0591931641101837e-05, -9.756535291671753e-06, -8.921138942241669e-06, -8.085742592811584e-06, -7.2503462433815e-06, -6.414949893951416e-06, -5.579553544521332e-06, -4.7441571950912476e-06, -3.908760845661163e-06, -3.073364496231079e-06, -2.237968146800995e-06, -1.4025717973709106e-06, -5.671754479408264e-07, 2.682209014892578e-07, 1.103617250919342e-06, 1.9390136003494263e-06, 2.7744099497795105e-06, 3.6098062992095947e-06, 4.445202648639679e-06, 5.280598998069763e-06, 6.115995347499847e-06, 6.951391696929932e-06, 7.786788046360016e-06, 8.6221843957901e-06, 9.457580745220184e-06, 1.0292977094650269e-05, 1.1128373444080353e-05, 1.1963769793510437e-05, 1.2799166142940521e-05, 1.3634562492370605e-05, 1.446995884180069e-05, 1.5305355191230774e-05, 1.6140751540660858e-05, 1.6976147890090942e-05, 1.7811544239521027e-05, 1.864694058895111e-05, 1.9482336938381195e-05, 2.031773328781128e-05, 2.1153129637241364e-05, 2.1988525986671448e-05, 2.2823922336101532e-05, 2.3659318685531616e-05, 2.44947150349617e-05, 2.5330111384391785e-05, 2.616550773382187e-05, 2.7000904083251953e-05]}, "gradients/decoder.bert.encoder.layer.21.intermediate.dense.weight": {"_type": "histogram", "values": [5.0, 3.0, 3.0, 3.0, 1.0, 11.0, 14.0, 19.0, 31.0, 46.0, 69.0, 125.0, 147.0, 225.0, 374.0, 545.0, 790.0, 1093.0, 1704.0, 2398.0, 3559.0, 5224.0, 7979.0, 11839.0, 18015.0, 29561.0, 45563.0, 80132.0, 142135.0, 347299.0, 2180995.0, 802832.0, 231770.0, 108105.0, 64395.0, 37133.0, 24412.0, 15098.0, 10362.0, 6512.0, 4334.0, 3050.0, 2019.0, 1414.0, 933.0, 644.0, 446.0, 291.0, 208.0, 147.0, 100.0, 64.0, 34.0, 34.0, 27.0, 11.0, 9.0, 3.0, 5.0, 1.0, 0.0, 1.0, 2.0, 1.0], "bins": [-4.851818084716797e-05, -4.694238305091858e-05, -4.536658525466919e-05, -4.37907874584198e-05, -4.221498966217041e-05, -4.063919186592102e-05, -3.906339406967163e-05, -3.748759627342224e-05, -3.591179847717285e-05, -3.433600068092346e-05, -3.276020288467407e-05, -3.118440508842468e-05, -2.9608607292175293e-05, -2.8032809495925903e-05, -2.6457011699676514e-05, -2.4881213903427124e-05, -2.3305416107177734e-05, -2.1729618310928345e-05, -2.0153820514678955e-05, -1.8578022718429565e-05, -1.7002224922180176e-05, -1.5426427125930786e-05, -1.3850629329681396e-05, -1.2274831533432007e-05, -1.0699033737182617e-05, -9.123235940933228e-06, -7.547438144683838e-06, -5.971640348434448e-06, -4.395842552185059e-06, -2.820044755935669e-06, -1.2442469596862793e-06, 3.3155083656311035e-07, 1.9073486328125e-06, 3.4831464290618896e-06, 5.058944225311279e-06, 6.634742021560669e-06, 8.210539817810059e-06, 9.786337614059448e-06, 1.1362135410308838e-05, 1.2937933206558228e-05, 1.4513731002807617e-05, 1.6089528799057007e-05, 1.7665326595306396e-05, 1.9241124391555786e-05, 2.0816922187805176e-05, 2.2392719984054565e-05, 2.3968517780303955e-05, 2.5544315576553345e-05, 2.7120113372802734e-05, 2.8695911169052124e-05, 3.0271708965301514e-05, 3.18475067615509e-05, 3.342330455780029e-05, 3.499910235404968e-05, 3.657490015029907e-05, 3.815069794654846e-05, 3.972649574279785e-05, 4.130229353904724e-05, 4.287809133529663e-05, 4.445388913154602e-05, 4.602968692779541e-05, 4.76054847240448e-05, 4.918128252029419e-05, 5.075708031654358e-05, 5.233287811279297e-05]}, "gradients/decoder.bert.encoder.layer.21.intermediate.dense.bias": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 1.0, 1.0, 2.0, 1.0, 5.0, 2.0, 1.0, 9.0, 5.0, 6.0, 10.0, 17.0, 13.0, 13.0, 21.0, 16.0, 36.0, 35.0, 29.0, 54.0, 56.0, 44.0, 77.0, 86.0, 112.0, 137.0, 198.0, 325.0, 603.0, 671.0, 389.0, 224.0, 163.0, 129.0, 83.0, 83.0, 83.0, 65.0, 42.0, 46.0, 38.0, 24.0, 18.0, 17.0, 16.0, 13.0, 11.0, 9.0, 10.0, 14.0, 6.0, 5.0, 5.0, 7.0, 1.0, 0.0, 1.0, 0.0, 2.0, 2.0, 1.0], "bins": [-1.5497207641601562e-05, -1.501571387052536e-05, -1.4534220099449158e-05, -1.4052726328372955e-05, -1.3571232557296753e-05, -1.308973878622055e-05, -1.2608245015144348e-05, -1.2126751244068146e-05, -1.1645257472991943e-05, -1.1163763701915741e-05, -1.0682269930839539e-05, -1.0200776159763336e-05, -9.719282388687134e-06, -9.237788617610931e-06, -8.756294846534729e-06, -8.274801075458527e-06, -7.793307304382324e-06, -7.311813533306122e-06, -6.8303197622299194e-06, -6.348825991153717e-06, -5.867332220077515e-06, -5.385838449001312e-06, -4.90434467792511e-06, -4.4228509068489075e-06, -3.941357135772705e-06, -3.4598633646965027e-06, -2.9783695936203003e-06, -2.496875822544098e-06, -2.0153820514678955e-06, -1.5338882803916931e-06, -1.0523945093154907e-06, -5.709007382392883e-07, -8.940696716308594e-08, 3.9208680391311646e-07, 8.735805749893188e-07, 1.3550743460655212e-06, 1.8365681171417236e-06, 2.318061888217926e-06, 2.7995556592941284e-06, 3.281049430370331e-06, 3.762543201446533e-06, 4.244036972522736e-06, 4.725530743598938e-06, 5.20702451467514e-06, 5.688518285751343e-06, 6.170012056827545e-06, 6.6515058279037476e-06, 7.13299959897995e-06, 7.614493370056152e-06, 8.095987141132355e-06, 8.577480912208557e-06, 9.05897468328476e-06, 9.540468454360962e-06, 1.0021962225437164e-05, 1.0503455996513367e-05, 1.0984949767589569e-05, 1.1466443538665771e-05, 1.1947937309741974e-05, 1.2429431080818176e-05, 1.2910924851894379e-05, 1.3392418622970581e-05, 1.3873912394046783e-05, 1.4355406165122986e-05, 1.4836899936199188e-05, 1.531839370727539e-05]}, "gradients/decoder.bert.encoder.layer.21.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 2.0, 3.0, 1.0, 1.0, 3.0, 7.0, 7.0, 9.0, 8.0, 18.0, 11.0, 23.0, 33.0, 27.0, 41.0, 66.0, 95.0, 211.0, 144.0, 87.0, 45.0, 41.0, 33.0, 21.0, 21.0, 15.0, 5.0, 6.0, 8.0, 5.0, 4.0, 4.0, 2.0, 2.0, 3.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-5.2929750381736085e-05, -5.1204624469392e-05, -4.9479502195026726e-05, -4.775437628268264e-05, -4.602925037033856e-05, -4.430412809597328e-05, -4.25790021836292e-05, -4.085387627128512e-05, -3.912875399691984e-05, -3.740362808457576e-05, -3.567850581021048e-05, -3.39533798978664e-05, -3.222825762350112e-05, -3.050313171115704e-05, -2.8778005798812956e-05, -2.7052881705458276e-05, -2.5327757612103596e-05, -2.3602633518748917e-05, -2.1877509425394237e-05, -2.0152383513050154e-05, -1.8427259419695474e-05, -1.6702135326340795e-05, -1.4977010323491413e-05, -1.3251885320642032e-05, -1.1526761227287352e-05, -9.801637133932672e-06, -8.076512131083291e-06, -6.3513875829812605e-06, -4.62626303487923e-06, -2.9011389415245503e-06, -1.176013938675169e-06, 5.491110641742125e-07, 2.274235157528892e-06, 3.999359705630923e-06, 5.724484253732953e-06, 7.449608801834984e-06, 9.174733349937014e-06, 1.0899857443291694e-05, 1.2624982446141075e-05, 1.4350107448990457e-05, 1.6075231542345136e-05, 1.7800355635699816e-05, 1.9525479729054496e-05, 2.125060564139858e-05, 2.297572973475326e-05, 2.4700853828107938e-05, 2.642597974045202e-05, 2.81511038338067e-05, 2.987622792716138e-05, 3.1601353839505464e-05, 3.332647611387074e-05, 3.505160202621482e-05, 3.6776727938558906e-05, 3.850185021292418e-05, 4.0226976125268266e-05, 4.195210203761235e-05, 4.3677224311977625e-05, 4.540235022432171e-05, 4.7127472498686984e-05, 4.885259841103107e-05, 5.0577720685396343e-05, 5.230284659774043e-05, 5.402797251008451e-05, 5.5753094784449786e-05, 5.747822069679387e-05]}, "gradients/decoder.bert.encoder.layer.21.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 1.0, 4.0, 1.0, 6.0, 6.0, 2.0, 7.0, 9.0, 11.0, 18.0, 25.0, 20.0, 30.0, 29.0, 22.0, 31.0, 41.0, 45.0, 44.0, 31.0, 56.0, 50.0, 48.0, 48.0, 40.0, 42.0, 39.0, 36.0, 52.0, 35.0, 23.0, 26.0, 23.0, 20.0, 17.0, 15.0, 10.0, 8.0, 14.0, 5.0, 6.0, 4.0, 3.0, 3.0, 4.0, 3.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.213071613572538e-05, -3.114089122391306e-05, -3.0151068131090142e-05, -2.916124321927782e-05, -2.8171420126454905e-05, -2.7181595214642584e-05, -2.6191770302830264e-05, -2.5201945391017944e-05, -2.4212122298195027e-05, -2.3222297386382706e-05, -2.223247429355979e-05, -2.124264938174747e-05, -2.025282446993515e-05, -1.9263001377112232e-05, -1.8273176465299912e-05, -1.7283353372476995e-05, -1.6293528460664675e-05, -1.5303703548852354e-05, -1.4313880456029437e-05, -1.3324055544217117e-05, -1.2334231541899499e-05, -1.134440753958188e-05, -1.035458262776956e-05, -9.364758625451941e-06, -8.374934623134322e-06, -7.385110620816704e-06, -6.395286163751734e-06, -5.405461706686765e-06, -4.415637704369146e-06, -3.425813702051528e-06, -2.4359892449865583e-06, -1.4461647879215889e-06, -4.563407856039703e-07, 5.334834440873237e-07, 1.5233076737786178e-06, 2.5131319034699118e-06, 3.502956133161206e-06, 4.492780135478824e-06, 5.482604592543794e-06, 6.472429049608763e-06, 7.462253051926382e-06, 8.452077054244e-06, 9.441901056561619e-06, 1.043172596837394e-05, 1.1421549970691558e-05, 1.2411373973009177e-05, 1.3401198884821497e-05, 1.4391022887139115e-05, 1.5380846889456734e-05, 1.6370671801269054e-05, 1.736049489409197e-05, 1.835031980590429e-05, 1.934014289872721e-05, 2.032996781053953e-05, 2.131979272235185e-05, 2.230961763416417e-05, 2.3299440726987086e-05, 2.4289265638799407e-05, 2.5279088731622323e-05, 2.6268913643434644e-05, 2.7258738555246964e-05, 2.824856164806988e-05, 2.92383865598822e-05, 3.0228209652705118e-05, 3.121803456451744e-05]}, "gradients/decoder.bert.encoder.layer.21.crossattention.output.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 2.0, 0.0, 5.0, 8.0, 6.0, 17.0, 20.0, 30.0, 27.0, 41.0, 64.0, 96.0, 155.0, 227.0, 315.0, 467.0, 745.0, 1052.0, 1766.0, 2876.0, 4548.0, 7871.0, 13985.0, 26477.0, 54939.0, 131640.0, 440350.0, 202681.0, 78641.0, 35888.0, 18219.0, 10075.0, 5807.0, 3456.0, 2146.0, 1308.0, 877.0, 563.0, 374.0, 236.0, 166.0, 121.0, 83.0, 70.0, 48.0, 20.0, 17.0, 10.0, 10.0, 8.0, 4.0, 1.0, 6.0, 3.0, 3.0, 0.0, 1.0], "bins": [-0.0001201629638671875, -0.00011659879237413406, -0.00011303462088108063, -0.00010947044938802719, -0.00010590627789497375, -0.00010234210640192032, -9.877793490886688e-05, -9.521376341581345e-05, -9.164959192276001e-05, -8.808542042970657e-05, -8.452124893665314e-05, -8.09570774435997e-05, -7.739290595054626e-05, -7.382873445749283e-05, -7.026456296443939e-05, -6.670039147138596e-05, -6.313621997833252e-05, -5.957204848527908e-05, -5.600787699222565e-05, -5.244370549917221e-05, -4.8879534006118774e-05, -4.531536251306534e-05, -4.17511910200119e-05, -3.8187019526958466e-05, -3.462284803390503e-05, -3.105867654085159e-05, -2.7494505047798157e-05, -2.393033355474472e-05, -2.0366162061691284e-05, -1.6801990568637848e-05, -1.3237819075584412e-05, -9.673647582530975e-06, -6.109476089477539e-06, -2.5453045964241028e-06, 1.0188668966293335e-06, 4.58303838968277e-06, 8.147209882736206e-06, 1.1711381375789642e-05, 1.527555286884308e-05, 1.8839724361896515e-05, 2.240389585494995e-05, 2.5968067348003387e-05, 2.9532238841056824e-05, 3.309641033411026e-05, 3.6660581827163696e-05, 4.022475332021713e-05, 4.378892481327057e-05, 4.7353096306324005e-05, 5.091726779937744e-05, 5.448143929243088e-05, 5.8045610785484314e-05, 6.160978227853775e-05, 6.517395377159119e-05, 6.873812526464462e-05, 7.230229675769806e-05, 7.58664682507515e-05, 7.943063974380493e-05, 8.299481123685837e-05, 8.65589827299118e-05, 9.012315422296524e-05, 9.368732571601868e-05, 9.725149720907211e-05, 0.00010081566870212555, 0.00010437984019517899, 0.00010794401168823242]}, "gradients/decoder.bert.encoder.layer.21.crossattention.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 1.0, 1.0, 3.0, 0.0, 1.0, 4.0, 1.0, 4.0, 9.0, 5.0, 8.0, 15.0, 7.0, 20.0, 14.0, 12.0, 24.0, 23.0, 36.0, 26.0, 50.0, 30.0, 40.0, 38.0, 30.0, 62.0, 64.0, 43.0, 28.0, 55.0, 46.0, 36.0, 34.0, 24.0, 41.0, 24.0, 31.0, 29.0, 21.0, 16.0, 11.0, 10.0, 5.0, 2.0, 11.0, 5.0, 5.0, 4.0, 4.0, 2.0, 2.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-6.735324859619141e-06, -6.509944796562195e-06, -6.284564733505249e-06, -6.059184670448303e-06, -5.833804607391357e-06, -5.608424544334412e-06, -5.383044481277466e-06, -5.15766441822052e-06, -4.932284355163574e-06, -4.706904292106628e-06, -4.481524229049683e-06, -4.256144165992737e-06, -4.030764102935791e-06, -3.8053840398788452e-06, -3.5800039768218994e-06, -3.3546239137649536e-06, -3.129243850708008e-06, -2.903863787651062e-06, -2.678483724594116e-06, -2.4531036615371704e-06, -2.2277235984802246e-06, -2.002343535423279e-06, -1.776963472366333e-06, -1.5515834093093872e-06, -1.3262033462524414e-06, -1.1008232831954956e-06, -8.754432201385498e-07, -6.50063157081604e-07, -4.246830940246582e-07, -1.993030309677124e-07, 2.60770320892334e-08, 2.514570951461792e-07, 4.76837158203125e-07, 7.022172212600708e-07, 9.275972843170166e-07, 1.1529773473739624e-06, 1.3783574104309082e-06, 1.603737473487854e-06, 1.8291175365447998e-06, 2.0544975996017456e-06, 2.2798776626586914e-06, 2.505257725715637e-06, 2.730637788772583e-06, 2.956017851829529e-06, 3.1813979148864746e-06, 3.4067779779434204e-06, 3.632158041000366e-06, 3.857538104057312e-06, 4.082918167114258e-06, 4.308298230171204e-06, 4.533678293228149e-06, 4.759058356285095e-06, 4.984438419342041e-06, 5.209818482398987e-06, 5.435198545455933e-06, 5.660578608512878e-06, 5.885958671569824e-06, 6.11133873462677e-06, 6.336718797683716e-06, 6.562098860740662e-06, 6.787478923797607e-06, 7.012858986854553e-06, 7.238239049911499e-06, 7.463619112968445e-06, 7.68899917602539e-06]}, "gradients/decoder.bert.encoder.layer.21.crossattention.self.value.weight": {"_type": "histogram", "values": [3.0, 0.0, 3.0, 1.0, 3.0, 1.0, 4.0, 2.0, 4.0, 7.0, 6.0, 8.0, 11.0, 8.0, 20.0, 35.0, 35.0, 55.0, 111.0, 167.0, 295.0, 503.0, 765.0, 1330.0, 2194.0, 3539.0, 5641.0, 8852.0, 14166.0, 23988.0, 42479.0, 795431.0, 69510.0, 31104.0, 18447.0, 11291.0, 6989.0, 4451.0, 2766.0, 1735.0, 1038.0, 644.0, 361.0, 218.0, 123.0, 74.0, 40.0, 30.0, 17.0, 10.0, 8.0, 6.0, 10.0, 7.0, 7.0, 1.0, 6.0, 5.0, 2.0, 1.0, 3.0, 0.0, 2.0, 3.0], "bins": [-9.959936141967773e-05, -9.646173566579819e-05, -9.332410991191864e-05, -9.018648415803909e-05, -8.704885840415955e-05, -8.391123265028e-05, -8.077360689640045e-05, -7.76359811425209e-05, -7.449835538864136e-05, -7.136072963476181e-05, -6.822310388088226e-05, -6.508547812700272e-05, -6.194785237312317e-05, -5.881022661924362e-05, -5.5672600865364075e-05, -5.253497511148453e-05, -4.939734935760498e-05, -4.625972360372543e-05, -4.3122097849845886e-05, -3.998447209596634e-05, -3.684684634208679e-05, -3.3709220588207245e-05, -3.05715948343277e-05, -2.743396908044815e-05, -2.4296343326568604e-05, -2.1158717572689056e-05, -1.802109181880951e-05, -1.4883466064929962e-05, -1.1745840311050415e-05, -8.608214557170868e-06, -5.470588803291321e-06, -2.3329630494117737e-06, 8.046627044677734e-07, 3.9422884583473206e-06, 7.079914212226868e-06, 1.0217539966106415e-05, 1.3355165719985962e-05, 1.649279147386551e-05, 1.9630417227745056e-05, 2.2768042981624603e-05, 2.590566873550415e-05, 2.9043294489383698e-05, 3.2180920243263245e-05, 3.531854599714279e-05, 3.845617175102234e-05, 4.1593797504901886e-05, 4.473142325878143e-05, 4.786904901266098e-05, 5.100667476654053e-05, 5.4144300520420074e-05, 5.728192627429962e-05, 6.041955202817917e-05, 6.355717778205872e-05, 6.669480353593826e-05, 6.983242928981781e-05, 7.297005504369736e-05, 7.61076807975769e-05, 7.924530655145645e-05, 8.2382932305336e-05, 8.552055805921555e-05, 8.865818381309509e-05, 9.179580956697464e-05, 9.493343532085419e-05, 9.807106107473373e-05, 0.00010120868682861328]}, "gradients/decoder.bert.encoder.layer.21.crossattention.self.value.bias": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 3.0, 2.0, 6.0, 6.0, 8.0, 5.0, 7.0, 10.0, 8.0, 10.0, 10.0, 14.0, 19.0, 15.0, 13.0, 15.0, 22.0, 29.0, 38.0, 30.0, 28.0, 57.0, 98.0, 108.0, 92.0, 27.0, 28.0, 44.0, 31.0, 23.0, 33.0, 15.0, 19.0, 24.0, 16.0, 14.0, 17.0, 8.0, 10.0, 12.0, 9.0, 6.0, 5.0, 6.0, 2.0, 3.0, 2.0, 2.0, 2.0, 2.0, 2.0, 2.0, 0.0, 1.0, 1.0], "bins": [-4.470348358154297e-06, -4.3315812945365906e-06, -4.192814230918884e-06, -4.054047167301178e-06, -3.915280103683472e-06, -3.7765130400657654e-06, -3.637745976448059e-06, -3.4989789128303528e-06, -3.3602118492126465e-06, -3.22144478559494e-06, -3.082677721977234e-06, -2.9439106583595276e-06, -2.8051435947418213e-06, -2.666376531124115e-06, -2.5276094675064087e-06, -2.3888424038887024e-06, -2.250075340270996e-06, -2.11130827665329e-06, -1.9725412130355835e-06, -1.8337741494178772e-06, -1.695007085800171e-06, -1.5562400221824646e-06, -1.4174729585647583e-06, -1.278705894947052e-06, -1.1399388313293457e-06, -1.0011717677116394e-06, -8.624047040939331e-07, -7.236376404762268e-07, -5.848705768585205e-07, -4.461035132408142e-07, -3.073364496231079e-07, -1.685693860054016e-07, -2.9802322387695312e-08, 1.0896474123001099e-07, 2.477318048477173e-07, 3.864988684654236e-07, 5.252659320831299e-07, 6.640329957008362e-07, 8.028000593185425e-07, 9.415671229362488e-07, 1.080334186553955e-06, 1.2191012501716614e-06, 1.3578683137893677e-06, 1.496635377407074e-06, 1.6354024410247803e-06, 1.7741695046424866e-06, 1.912936568260193e-06, 2.051703631877899e-06, 2.1904706954956055e-06, 2.3292377591133118e-06, 2.468004822731018e-06, 2.6067718863487244e-06, 2.7455389499664307e-06, 2.884306013584137e-06, 3.0230730772018433e-06, 3.1618401408195496e-06, 3.300607204437256e-06, 3.439374268054962e-06, 3.5781413316726685e-06, 3.7169083952903748e-06, 3.855675458908081e-06, 3.994442522525787e-06, 4.133209586143494e-06, 4.2719766497612e-06, 4.410743713378906e-06]}, "gradients/decoder.bert.encoder.layer.21.crossattention.self.key.weight": {"_type": "histogram", "values": [1.0, 4.0, 1.0, 4.0, 1.0, 2.0, 8.0, 12.0, 14.0, 12.0, 17.0, 28.0, 34.0, 40.0, 52.0, 70.0, 94.0, 105.0, 137.0, 149.0, 252.0, 278.0, 365.0, 585.0, 648.0, 1051.0, 1704.0, 2420.0, 3986.0, 10786.0, 998771.0, 11847.0, 5915.0, 2936.0, 1906.0, 1123.0, 796.0, 674.0, 395.0, 300.0, 264.0, 161.0, 137.0, 103.0, 78.0, 50.0, 56.0, 42.0, 35.0, 29.0, 20.0, 20.0, 17.0, 12.0, 6.0, 8.0, 3.0, 3.0, 5.0, 0.0, 2.0, 0.0, 1.0, 1.0], "bins": [-1.341104507446289e-05, -1.2973323464393616e-05, -1.253560185432434e-05, -1.2097880244255066e-05, -1.1660158634185791e-05, -1.1222437024116516e-05, -1.0784715414047241e-05, -1.0346993803977966e-05, -9.909272193908691e-06, -9.471550583839417e-06, -9.033828973770142e-06, -8.596107363700867e-06, -8.158385753631592e-06, -7.720664143562317e-06, -7.282942533493042e-06, -6.845220923423767e-06, -6.407499313354492e-06, -5.969777703285217e-06, -5.532056093215942e-06, -5.0943344831466675e-06, -4.656612873077393e-06, -4.218891263008118e-06, -3.7811696529388428e-06, -3.343448042869568e-06, -2.905726432800293e-06, -2.468004822731018e-06, -2.030283212661743e-06, -1.5925616025924683e-06, -1.1548399925231934e-06, -7.171183824539185e-07, -2.7939677238464355e-07, 1.5832483768463135e-07, 5.960464477539062e-07, 1.0337680578231812e-06, 1.471489667892456e-06, 1.909211277961731e-06, 2.346932888031006e-06, 2.7846544981002808e-06, 3.2223761081695557e-06, 3.6600977182388306e-06, 4.0978193283081055e-06, 4.53554093837738e-06, 4.973262548446655e-06, 5.41098415851593e-06, 5.848705768585205e-06, 6.28642737865448e-06, 6.724148988723755e-06, 7.16187059879303e-06, 7.599592208862305e-06, 8.03731381893158e-06, 8.475035429000854e-06, 8.91275703907013e-06, 9.350478649139404e-06, 9.78820025920868e-06, 1.0225921869277954e-05, 1.0663643479347229e-05, 1.1101365089416504e-05, 1.1539086699485779e-05, 1.1976808309555054e-05, 1.2414529919624329e-05, 1.2852251529693604e-05, 1.3289973139762878e-05, 1.3727694749832153e-05, 1.4165416359901428e-05, 1.4603137969970703e-05]}, "gradients/decoder.bert.encoder.layer.21.crossattention.self.key.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 7.0, 0.0, 2.0, 0.0, 9.0, 0.0, 0.0, 10.0, 0.0, 24.0, 0.0, 887.0, 0.0, 21.0, 0.0, 19.0, 0.0, 0.0, 11.0, 0.0, 6.0, 0.0, 5.0, 0.0, 3.0, 0.0, 6.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-1.0132789611816406e-06, -9.862706065177917e-07, -9.592622518539429e-07, -9.32253897190094e-07, -9.052455425262451e-07, -8.782371878623962e-07, -8.512288331985474e-07, -8.242204785346985e-07, -7.972121238708496e-07, -7.702037692070007e-07, -7.431954145431519e-07, -7.16187059879303e-07, -6.891787052154541e-07, -6.621703505516052e-07, -6.351619958877563e-07, -6.081536412239075e-07, -5.811452865600586e-07, -5.541369318962097e-07, -5.271285772323608e-07, -5.00120222568512e-07, -4.731118679046631e-07, -4.461035132408142e-07, -4.1909515857696533e-07, -3.9208680391311646e-07, -3.650784492492676e-07, -3.380700945854187e-07, -3.110617399215698e-07, -2.8405338525772095e-07, -2.5704503059387207e-07, -2.300366759300232e-07, -2.0302832126617432e-07, -1.7601996660232544e-07, -1.4901161193847656e-07, -1.2200325727462769e-07, -9.499490261077881e-08, -6.798654794692993e-08, -4.0978193283081055e-08, -1.3969838619232178e-08, 1.30385160446167e-08, 4.0046870708465576e-08, 6.705522537231445e-08, 9.406358003616333e-08, 1.210719347000122e-07, 1.4808028936386108e-07, 1.7508864402770996e-07, 2.0209699869155884e-07, 2.2910535335540771e-07, 2.561137080192566e-07, 2.8312206268310547e-07, 3.1013041734695435e-07, 3.371387720108032e-07, 3.641471266746521e-07, 3.91155481338501e-07, 4.1816383600234985e-07, 4.4517219066619873e-07, 4.721805453300476e-07, 4.991888999938965e-07, 5.261972546577454e-07, 5.532056093215942e-07, 5.802139639854431e-07, 6.07222318649292e-07, 6.342306733131409e-07, 6.612390279769897e-07, 6.882473826408386e-07, 7.152557373046875e-07]}, "gradients/decoder.bert.encoder.layer.21.crossattention.self.query.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 3.0, 0.0, 5.0, 3.0, 12.0, 1.0, 11.0, 19.0, 11.0, 15.0, 27.0, 29.0, 40.0, 59.0, 70.0, 48.0, 151.0, 137.0, 201.0, 295.0, 380.0, 642.0, 697.0, 1310.0, 2085.0, 3942.0, 8477.0, 20640.0, 948543.0, 32473.0, 13853.0, 6109.0, 3026.0, 1682.0, 1009.0, 712.0, 466.0, 322.0, 307.0, 159.0, 162.0, 87.0, 97.0, 52.0, 57.0, 44.0, 19.0, 21.0, 19.0, 5.0, 9.0, 7.0, 10.0, 3.0, 0.0, 3.0, 4.0, 2.0], "bins": [-1.0073184967041016e-05, -9.783543646335602e-06, -9.493902325630188e-06, -9.204261004924774e-06, -8.91461968421936e-06, -8.624978363513947e-06, -8.335337042808533e-06, -8.045695722103119e-06, -7.756054401397705e-06, -7.466413080692291e-06, -7.1767717599868774e-06, -6.887130439281464e-06, -6.59748911857605e-06, -6.307847797870636e-06, -6.018206477165222e-06, -5.728565156459808e-06, -5.4389238357543945e-06, -5.149282515048981e-06, -4.859641194343567e-06, -4.569999873638153e-06, -4.280358552932739e-06, -3.9907172322273254e-06, -3.7010759115219116e-06, -3.411434590816498e-06, -3.121793270111084e-06, -2.83215194940567e-06, -2.5425106287002563e-06, -2.2528693079948425e-06, -1.9632279872894287e-06, -1.6735866665840149e-06, -1.383945345878601e-06, -1.0943040251731873e-06, -8.046627044677734e-07, -5.150213837623596e-07, -2.253800630569458e-07, 6.426125764846802e-08, 3.5390257835388184e-07, 6.435438990592957e-07, 9.331852197647095e-07, 1.2228265404701233e-06, 1.5124678611755371e-06, 1.802109181880951e-06, 2.0917505025863647e-06, 2.3813918232917786e-06, 2.6710331439971924e-06, 2.960674464702606e-06, 3.25031578540802e-06, 3.539957106113434e-06, 3.829598426818848e-06, 4.1192397475242615e-06, 4.408881068229675e-06, 4.698522388935089e-06, 4.988163709640503e-06, 5.277805030345917e-06, 5.5674463510513306e-06, 5.857087671756744e-06, 6.146728992462158e-06, 6.436370313167572e-06, 6.726011633872986e-06, 7.0156529545784e-06, 7.3052942752838135e-06, 7.594935595989227e-06, 7.884576916694641e-06, 8.174218237400055e-06, 8.463859558105469e-06]}, "gradients/decoder.bert.encoder.layer.21.crossattention.self.query.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 1.0, 4.0, 0.0, 0.0, 0.0, 0.0, 14.0, 4.0, 7.0, 7.0, 25.0, 12.0, 879.0, 16.0, 18.0, 3.0, 3.0, 5.0, 5.0, 0.0, 0.0, 0.0, 3.0, 6.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.337860107421875e-06, -3.25031578540802e-06, -3.162771463394165e-06, -3.07522714138031e-06, -2.987682819366455e-06, -2.9001384973526e-06, -2.812594175338745e-06, -2.72504985332489e-06, -2.637505531311035e-06, -2.54996120929718e-06, -2.462416887283325e-06, -2.3748725652694702e-06, -2.2873282432556152e-06, -2.1997839212417603e-06, -2.1122395992279053e-06, -2.0246952772140503e-06, -1.9371509552001953e-06, -1.8496066331863403e-06, -1.7620623111724854e-06, -1.6745179891586304e-06, -1.5869736671447754e-06, -1.4994293451309204e-06, -1.4118850231170654e-06, -1.3243407011032104e-06, -1.2367963790893555e-06, -1.1492520570755005e-06, -1.0617077350616455e-06, -9.741634130477905e-07, -8.866190910339355e-07, -7.990747690200806e-07, -7.115304470062256e-07, -6.239861249923706e-07, -5.364418029785156e-07, -4.4889748096466064e-07, -3.6135315895080566e-07, -2.738088369369507e-07, -1.862645149230957e-07, -9.872019290924072e-08, -1.1175870895385742e-08, 7.636845111846924e-08, 1.6391277313232422e-07, 2.514570951461792e-07, 3.390014171600342e-07, 4.2654573917388916e-07, 5.140900611877441e-07, 6.016343832015991e-07, 6.891787052154541e-07, 7.767230272293091e-07, 8.642673492431641e-07, 9.51811671257019e-07, 1.039355993270874e-06, 1.126900315284729e-06, 1.214444637298584e-06, 1.301988959312439e-06, 1.389533281326294e-06, 1.477077603340149e-06, 1.564621925354004e-06, 1.6521662473678589e-06, 1.7397105693817139e-06, 1.8272548913955688e-06, 1.914799213409424e-06, 2.002343535423279e-06, 2.089887857437134e-06, 2.1774321794509888e-06, 2.2649765014648438e-06]}, "gradients/decoder.bert.encoder.layer.21.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 3.0, 1.0, 5.0, 0.0, 3.0, 7.0, 5.0, 4.0, 11.0, 10.0, 22.0, 22.0, 25.0, 35.0, 42.0, 55.0, 62.0, 117.0, 192.0, 120.0, 71.0, 41.0, 37.0, 20.0, 28.0, 15.0, 18.0, 10.0, 5.0, 1.0, 3.0, 5.0, 4.0, 5.0, 4.0, 2.0, 4.0, 1.0, 0.0, 0.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.159246949100634e-05, -1.1211066521354951e-05, -1.082966264220886e-05, -1.044825967255747e-05, -1.006685670290608e-05, -9.685452823759988e-06, -9.304049854108598e-06, -8.922646884457208e-06, -8.541243005311117e-06, -8.159840035659727e-06, -7.778436156513635e-06, -7.397033186862245e-06, -7.015630217210855e-06, -6.634226792812115e-06, -6.252823368413374e-06, -5.871420398761984e-06, -5.490017429110594e-06, -5.108614004711853e-06, -4.7272110350604635e-06, -4.345807610661723e-06, -3.964404641010333e-06, -3.583001216611592e-06, -3.2015977922128513e-06, -2.820194595187786e-06, -2.4387913981627207e-06, -2.0573882011376554e-06, -1.6759848904257524e-06, -1.2945815797138494e-06, -9.13178382688784e-07, -5.317751856637187e-07, -1.5037176126497798e-07, 2.3103143576008733e-07, 6.124337232904509e-07, 9.938369203155162e-07, 1.3752402310274192e-06, 1.7566435417393222e-06, 2.1380467387643876e-06, 2.519449935789453e-06, 2.9008533601881936e-06, 3.282256557213259e-06, 3.6636597542383242e-06, 4.045063178637065e-06, 4.426466148288455e-06, 4.807869572687196e-06, 5.189272997085936e-06, 5.570675966737326e-06, 5.952079391136067e-06, 6.333482815534808e-06, 6.714885785186198e-06, 7.096289209584938e-06, 7.477692179236328e-06, 7.859095603635069e-06, 8.240498573286459e-06, 8.62190245243255e-06, 9.00330542208394e-06, 9.38470839173533e-06, 9.766112270881422e-06, 1.0147515240532812e-05, 1.0528919119678903e-05, 1.0910322089330293e-05, 1.1291725058981683e-05, 1.1673128028633073e-05, 1.2054531907779165e-05, 1.2435934877430554e-05, 1.2817337847081944e-05]}, "gradients/decoder.bert.encoder.layer.21.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 2.0, 3.0, 2.0, 2.0, 5.0, 4.0, 2.0, 6.0, 8.0, 8.0, 10.0, 24.0, 27.0, 26.0, 24.0, 26.0, 23.0, 36.0, 38.0, 44.0, 47.0, 34.0, 54.0, 42.0, 48.0, 43.0, 50.0, 38.0, 43.0, 36.0, 55.0, 34.0, 24.0, 20.0, 18.0, 19.0, 20.0, 12.0, 7.0, 15.0, 9.0, 7.0, 3.0, 6.0, 3.0, 2.0, 7.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-7.719577297393698e-06, -7.4871513788821176e-06, -7.254725460370537e-06, -7.022299996606307e-06, -6.7898740780947264e-06, -6.557448159583146e-06, -6.325022695818916e-06, -6.092596777307335e-06, -5.860170858795755e-06, -5.627744940284174e-06, -5.395319021772593e-06, -5.1628935580083635e-06, -4.930467639496783e-06, -4.698041720985202e-06, -4.465616257220972e-06, -4.233190338709392e-06, -4.000764420197811e-06, -3.7683385016862303e-06, -3.535912810548325e-06, -3.30348711941042e-06, -3.071061200898839e-06, -2.8386352823872585e-06, -2.6062095912493533e-06, -2.373783900111448e-06, -2.1413579815998673e-06, -1.9089320630882867e-06, -1.6765063719503814e-06, -1.4440805671256385e-06, -1.2116547623008955e-06, -9.792289574761526e-07, -7.468031526514096e-07, -5.143773478266667e-07, -2.819519977492746e-07, -4.952619292453164e-08, 1.828996119002113e-07, 4.1532541672495427e-07, 6.477512215496972e-07, 8.801770263744402e-07, 1.1126028311991831e-06, 1.345028636023926e-06, 1.577454440848669e-06, 1.809880245673412e-06, 2.042306050498155e-06, 2.27473174163606e-06, 2.507157660147641e-06, 2.7395835786592215e-06, 2.9720092697971268e-06, 3.204434960935032e-06, 3.4368608794466127e-06, 3.6692867979581933e-06, 3.901712261722423e-06, 4.134138180234004e-06, 4.3665640987455845e-06, 4.598990017257165e-06, 4.831415935768746e-06, 5.063841399532976e-06, 5.296267318044556e-06, 5.528693236556137e-06, 5.761118700320367e-06, 5.9935446188319474e-06, 6.225970537343528e-06, 6.458396455855109e-06, 6.6908223743666895e-06, 6.923247838130919e-06, 7.1556737566425e-06]}, "gradients/decoder.bert.encoder.layer.21.attention.output.dense.weight": {"_type": "histogram", "values": [1.0, 3.0, 1.0, 5.0, 1.0, 5.0, 6.0, 19.0, 13.0, 18.0, 34.0, 52.0, 74.0, 114.0, 130.0, 199.0, 405.0, 438.0, 653.0, 1196.0, 1529.0, 2293.0, 4102.0, 5784.0, 9044.0, 16786.0, 24846.0, 49917.0, 86254.0, 195279.0, 371890.0, 124124.0, 61849.0, 37795.0, 19451.0, 12107.0, 8249.0, 4600.0, 3360.0, 1891.0, 1320.0, 927.0, 539.0, 380.0, 309.0, 184.0, 107.0, 92.0, 61.0, 49.0, 32.0, 17.0, 10.0, 10.0, 6.0, 8.0, 3.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-1.5079975128173828e-05, -1.4581717550754547e-05, -1.4083459973335266e-05, -1.3585202395915985e-05, -1.3086944818496704e-05, -1.2588687241077423e-05, -1.2090429663658142e-05, -1.1592172086238861e-05, -1.109391450881958e-05, -1.0595656931400299e-05, -1.0097399353981018e-05, -9.599141776561737e-06, -9.100884199142456e-06, -8.602626621723175e-06, -8.104369044303894e-06, -7.606111466884613e-06, -7.107853889465332e-06, -6.609596312046051e-06, -6.11133873462677e-06, -5.613081157207489e-06, -5.114823579788208e-06, -4.616566002368927e-06, -4.118308424949646e-06, -3.620050847530365e-06, -3.121793270111084e-06, -2.623535692691803e-06, -2.125278115272522e-06, -1.627020537853241e-06, -1.12876296043396e-06, -6.30505383014679e-07, -1.3224780559539795e-07, 3.6600977182388306e-07, 8.642673492431641e-07, 1.362524926662445e-06, 1.860782504081726e-06, 2.359040081501007e-06, 2.857297658920288e-06, 3.355555236339569e-06, 3.85381281375885e-06, 4.352070391178131e-06, 4.850327968597412e-06, 5.348585546016693e-06, 5.846843123435974e-06, 6.345100700855255e-06, 6.843358278274536e-06, 7.341615855693817e-06, 7.839873433113098e-06, 8.338131010532379e-06, 8.83638858795166e-06, 9.334646165370941e-06, 9.832903742790222e-06, 1.0331161320209503e-05, 1.0829418897628784e-05, 1.1327676475048065e-05, 1.1825934052467346e-05, 1.2324191629886627e-05, 1.2822449207305908e-05, 1.332070678472519e-05, 1.381896436214447e-05, 1.4317221939563751e-05, 1.4815479516983032e-05, 1.5313737094402313e-05, 1.5811994671821594e-05, 1.6310252249240875e-05, 1.6808509826660156e-05]}, "gradients/decoder.bert.encoder.layer.21.attention.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 1.0, 2.0, 0.0, 7.0, 0.0, 3.0, 3.0, 5.0, 10.0, 6.0, 6.0, 12.0, 19.0, 12.0, 29.0, 15.0, 35.0, 22.0, 34.0, 24.0, 51.0, 37.0, 60.0, 38.0, 52.0, 24.0, 55.0, 33.0, 38.0, 49.0, 29.0, 38.0, 27.0, 27.0, 29.0, 43.0, 28.0, 20.0, 17.0, 18.0, 9.0, 7.0, 9.0, 8.0, 5.0, 9.0, 2.0, 4.0, 0.0, 5.0, 0.0, 3.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.470348358154297e-06, -4.322268068790436e-06, -4.174187779426575e-06, -4.026107490062714e-06, -3.8780272006988525e-06, -3.7299469113349915e-06, -3.5818666219711304e-06, -3.4337863326072693e-06, -3.285706043243408e-06, -3.137625753879547e-06, -2.989545464515686e-06, -2.841465175151825e-06, -2.693384885787964e-06, -2.5453045964241028e-06, -2.3972243070602417e-06, -2.2491440176963806e-06, -2.1010637283325195e-06, -1.9529834389686584e-06, -1.8049031496047974e-06, -1.6568228602409363e-06, -1.5087425708770752e-06, -1.3606622815132141e-06, -1.212581992149353e-06, -1.064501702785492e-06, -9.164214134216309e-07, -7.683411240577698e-07, -6.202608346939087e-07, -4.721805453300476e-07, -3.241002559661865e-07, -1.7601996660232544e-07, -2.7939677238464355e-08, 1.2014061212539673e-07, 2.682209014892578e-07, 4.163011908531189e-07, 5.6438148021698e-07, 7.124617695808411e-07, 8.605420589447021e-07, 1.0086223483085632e-06, 1.1567026376724243e-06, 1.3047829270362854e-06, 1.4528632164001465e-06, 1.6009435057640076e-06, 1.7490237951278687e-06, 1.8971040844917297e-06, 2.045184373855591e-06, 2.193264663219452e-06, 2.341344952583313e-06, 2.489425241947174e-06, 2.637505531311035e-06, 2.7855858206748962e-06, 2.9336661100387573e-06, 3.0817463994026184e-06, 3.2298266887664795e-06, 3.3779069781303406e-06, 3.5259872674942017e-06, 3.6740675568580627e-06, 3.822147846221924e-06, 3.970228135585785e-06, 4.118308424949646e-06, 4.266388714313507e-06, 4.414469003677368e-06, 4.562549293041229e-06, 4.71062958240509e-06, 4.858709871768951e-06, 5.0067901611328125e-06]}, "gradients/decoder.bert.encoder.layer.21.attention.self.value.weight": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 4.0, 3.0, 4.0, 12.0, 16.0, 28.0, 51.0, 56.0, 73.0, 102.0, 160.0, 232.0, 277.0, 492.0, 677.0, 997.0, 1462.0, 2203.0, 3127.0, 4781.0, 7110.0, 10693.0, 15519.0, 23595.0, 34922.0, 53807.0, 84786.0, 157493.0, 243194.0, 157325.0, 84919.0, 53355.0, 35299.0, 23657.0, 15826.0, 10488.0, 6983.0, 4663.0, 3276.0, 2211.0, 1458.0, 1067.0, 722.0, 447.0, 257.0, 244.0, 171.0, 108.0, 81.0, 50.0, 36.0, 23.0, 11.0, 7.0, 5.0, 2.0, 3.0, 1.0, 0.0, 1.0, 1.0], "bins": [-7.3909759521484375e-06, -7.156282663345337e-06, -6.921589374542236e-06, -6.686896085739136e-06, -6.452202796936035e-06, -6.2175095081329346e-06, -5.982816219329834e-06, -5.748122930526733e-06, -5.513429641723633e-06, -5.278736352920532e-06, -5.044043064117432e-06, -4.809349775314331e-06, -4.5746564865112305e-06, -4.33996319770813e-06, -4.105269908905029e-06, -3.870576620101929e-06, -3.635883331298828e-06, -3.4011900424957275e-06, -3.166496753692627e-06, -2.9318034648895264e-06, -2.6971101760864258e-06, -2.462416887283325e-06, -2.2277235984802246e-06, -1.993030309677124e-06, -1.7583370208740234e-06, -1.5236437320709229e-06, -1.2889504432678223e-06, -1.0542571544647217e-06, -8.195638656616211e-07, -5.848705768585205e-07, -3.501772880554199e-07, -1.1548399925231934e-07, 1.1920928955078125e-07, 3.5390257835388184e-07, 5.885958671569824e-07, 8.23289155960083e-07, 1.0579824447631836e-06, 1.2926757335662842e-06, 1.5273690223693848e-06, 1.7620623111724854e-06, 1.996755599975586e-06, 2.2314488887786865e-06, 2.466142177581787e-06, 2.7008354663848877e-06, 2.9355287551879883e-06, 3.170222043991089e-06, 3.4049153327941895e-06, 3.63960862159729e-06, 3.874301910400391e-06, 4.108995199203491e-06, 4.343688488006592e-06, 4.578381776809692e-06, 4.813075065612793e-06, 5.0477683544158936e-06, 5.282461643218994e-06, 5.517154932022095e-06, 5.751848220825195e-06, 5.986541509628296e-06, 6.2212347984313965e-06, 6.455928087234497e-06, 6.690621376037598e-06, 6.925314664840698e-06, 7.160007953643799e-06, 7.394701242446899e-06, 7.62939453125e-06]}, "gradients/decoder.bert.encoder.layer.21.attention.self.value.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 3.0, 2.0, 2.0, 4.0, 3.0, 4.0, 3.0, 9.0, 11.0, 14.0, 26.0, 14.0, 13.0, 31.0, 19.0, 15.0, 43.0, 24.0, 46.0, 26.0, 22.0, 67.0, 34.0, 32.0, 65.0, 43.0, 31.0, 53.0, 26.0, 55.0, 29.0, 26.0, 45.0, 19.0, 24.0, 32.0, 12.0, 13.0, 14.0, 9.0, 8.0, 10.0, 5.0, 7.0, 8.0, 2.0, 6.0, 0.0, 3.0, 2.0, 0.0, 1.0, 2.0, 2.0, 1.0], "bins": [-2.682209014892578e-06, -2.6011839509010315e-06, -2.520158886909485e-06, -2.4391338229179382e-06, -2.3581087589263916e-06, -2.277083694934845e-06, -2.1960586309432983e-06, -2.1150335669517517e-06, -2.034008502960205e-06, -1.9529834389686584e-06, -1.8719583749771118e-06, -1.7909333109855652e-06, -1.7099082469940186e-06, -1.628883183002472e-06, -1.5478581190109253e-06, -1.4668330550193787e-06, -1.385807991027832e-06, -1.3047829270362854e-06, -1.2237578630447388e-06, -1.1427327990531921e-06, -1.0617077350616455e-06, -9.806826710700989e-07, -8.996576070785522e-07, -8.186325430870056e-07, -7.37607479095459e-07, -6.565824151039124e-07, -5.755573511123657e-07, -4.945322871208191e-07, -4.1350722312927246e-07, -3.3248215913772583e-07, -2.514570951461792e-07, -1.7043203115463257e-07, -8.940696716308594e-08, -8.381903171539307e-09, 7.264316082000732e-08, 1.5366822481155396e-07, 2.3469328880310059e-07, 3.157183527946472e-07, 3.9674341678619385e-07, 4.777684807777405e-07, 5.587935447692871e-07, 6.398186087608337e-07, 7.208436727523804e-07, 8.01868736743927e-07, 8.828938007354736e-07, 9.639188647270203e-07, 1.044943928718567e-06, 1.1259689927101135e-06, 1.2069940567016602e-06, 1.2880191206932068e-06, 1.3690441846847534e-06, 1.4500692486763e-06, 1.5310943126678467e-06, 1.6121193766593933e-06, 1.69314444065094e-06, 1.7741695046424866e-06, 1.8551945686340332e-06, 1.93621963262558e-06, 2.0172446966171265e-06, 2.098269760608673e-06, 2.1792948246002197e-06, 2.2603198885917664e-06, 2.341344952583313e-06, 2.4223700165748596e-06, 2.5033950805664062e-06]}, "gradients/decoder.bert.encoder.layer.21.attention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.21.attention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.21.attention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.21.attention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.20.output.LayerNorm.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 0.0, 2.0, 0.0, 0.0, 3.0, 4.0, 6.0, 5.0, 11.0, 9.0, 15.0, 15.0, 16.0, 15.0, 21.0, 29.0, 43.0, 61.0, 87.0, 140.0, 160.0, 88.0, 75.0, 48.0, 30.0, 20.0, 18.0, 18.0, 11.0, 9.0, 8.0, 9.0, 7.0, 5.0, 4.0, 7.0, 2.0, 0.0, 2.0, 2.0, 6.0, 3.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-8.008629265532363e-06, -7.75963235355448e-06, -7.510634532081895e-06, -7.26163716535666e-06, -7.012639798631426e-06, -6.7636428866535425e-06, -6.514645519928308e-06, -6.265648153203074e-06, -6.0166507864778396e-06, -5.767653419752605e-06, -5.518656053027371e-06, -5.269658686302137e-06, -5.020661774324253e-06, -4.771663952851668e-06, -4.5226670408737846e-06, -4.27366967414855e-06, -4.024672307423316e-06, -3.7756749406980816e-06, -3.5266775739728473e-06, -3.2776804346212884e-06, -3.028683067896054e-06, -2.77968570117082e-06, -2.530688561819261e-06, -2.2816911950940266e-06, -2.0326938283687923e-06, -1.783696461643558e-06, -1.5346992086051614e-06, -1.2857019555667648e-06, -1.0367045888415305e-06, -7.877072221162962e-07, -5.387099690778996e-07, -2.89712716039503e-07, -4.071625880897045e-08, 2.08281051072845e-07, 4.5727836095466046e-07, 7.062756708364759e-07, 9.552729807182914e-07, 1.2042703474435257e-06, 1.4532676004819223e-06, 1.7022648535203189e-06, 1.951262220245553e-06, 2.2002595869707875e-06, 2.449256953696022e-06, 2.6982540930475807e-06, 2.947251459772815e-06, 3.1962488264980493e-06, 3.445245965849608e-06, 3.6942433325748425e-06, 3.943240699300077e-06, 4.192238066025311e-06, 4.4412354327505454e-06, 4.69023279947578e-06, 4.939230166201014e-06, 5.1882270781788975e-06, 5.437224444904132e-06, 5.686221811629366e-06, 5.9352191783546004e-06, 6.184216545079835e-06, 6.433213911805069e-06, 6.682211278530303e-06, 6.931208190508187e-06, 7.180206011980772e-06, 7.4292029239586554e-06, 7.678199835936539e-06, 7.927197657409124e-06]}, "gradients/decoder.bert.encoder.layer.20.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 3.0, 2.0, 3.0, 4.0, 8.0, 2.0, 5.0, 8.0, 12.0, 11.0, 14.0, 22.0, 20.0, 31.0, 23.0, 46.0, 39.0, 33.0, 29.0, 49.0, 44.0, 48.0, 43.0, 49.0, 55.0, 48.0, 43.0, 35.0, 48.0, 32.0, 29.0, 23.0, 24.0, 29.0, 19.0, 8.0, 12.0, 14.0, 12.0, 8.0, 8.0, 5.0, 2.0, 3.0, 4.0, 3.0, 2.0, 1.0, 1.0, 1.0, 0.0, 1.0], "bins": [-5.824761046824278e-06, -5.65844538868987e-06, -5.492129275808111e-06, -5.3258136176737025e-06, -5.159497959539294e-06, -4.993182301404886e-06, -4.826866188523127e-06, -4.6605505303887185e-06, -4.49423487225431e-06, -4.327919214119902e-06, -4.161603101238143e-06, -3.995287443103734e-06, -3.828971784969326e-06, -3.6626558994612424e-06, -3.4963400139531586e-06, -3.3300243558187503e-06, -3.1637084703106666e-06, -2.997392584802583e-06, -2.8310769266681746e-06, -2.664761041160091e-06, -2.4984453830256825e-06, -2.332129497517599e-06, -2.1658138393831905e-06, -1.9994979538751068e-06, -1.8331821820538607e-06, -1.6668664102326147e-06, -1.5005506384113687e-06, -1.3342348665901227e-06, -1.167918981082039e-06, -1.0016033229476307e-06, -8.352874374395469e-07, -6.689716656183009e-07, -5.026558937970549e-07, -3.3634012197580887e-07, -1.7002432173285342e-07, -3.7085214898979757e-09, 1.6260725033134804e-07, 3.2892302215259406e-07, 4.952388508172589e-07, 6.61554622638505e-07, 8.27870394459751e-07, 9.94186166280997e-07, 1.160501938102243e-06, 1.326817709923489e-06, 1.4931335954315728e-06, 1.659449253565981e-06, 1.8257651390740648e-06, 1.992080797208473e-06, 2.158396682716557e-06, 2.3247125682246406e-06, 2.491028226359049e-06, 2.6573441118671326e-06, 2.823659770001541e-06, 2.9899756555096246e-06, 3.156291313644033e-06, 3.3226071991521167e-06, 3.4889230846602004e-06, 3.655238970168284e-06, 3.821554855676368e-06, 3.987870513810776e-06, 4.1541861719451845e-06, 4.320501830079593e-06, 4.486817942961352e-06, 4.65313360109576e-06, 4.8194492592301685e-06]}, "gradients/decoder.bert.encoder.layer.20.output.dense.weight": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 4.0, 7.0, 3.0, 8.0, 10.0, 21.0, 28.0, 18.0, 57.0, 70.0, 128.0, 175.0, 262.0, 372.0, 592.0, 807.0, 1228.0, 1718.0, 1641.0, 3345.0, 4898.0, 7132.0, 10451.0, 15154.0, 22770.0, 34707.0, 55919.0, 100907.0, 125113.0, 1077103.0, 2254826.0, 231622.0, 92958.0, 52188.0, 32628.0, 21374.0, 14215.0, 9589.0, 6428.0, 3113.0, 3415.0, 2448.0, 1623.0, 1083.0, 748.0, 460.0, 328.0, 203.0, 148.0, 88.0, 42.0, 38.0, 31.0, 24.0, 12.0, 7.0, 4.0, 3.0, 2.0, 3.0, 1.0], "bins": [-5.7220458984375e-06, -5.548819899559021e-06, -5.375593900680542e-06, -5.202367901802063e-06, -5.029141902923584e-06, -4.855915904045105e-06, -4.682689905166626e-06, -4.509463906288147e-06, -4.336237907409668e-06, -4.163011908531189e-06, -3.98978590965271e-06, -3.816559910774231e-06, -3.643333911895752e-06, -3.470107913017273e-06, -3.296881914138794e-06, -3.123655915260315e-06, -2.950429916381836e-06, -2.777203917503357e-06, -2.603977918624878e-06, -2.430751919746399e-06, -2.25752592086792e-06, -2.084299921989441e-06, -1.911073923110962e-06, -1.737847924232483e-06, -1.564621925354004e-06, -1.391395926475525e-06, -1.218169927597046e-06, -1.044943928718567e-06, -8.717179298400879e-07, -6.984919309616089e-07, -5.252659320831299e-07, -3.520399332046509e-07, -1.7881393432617188e-07, -5.587935447692871e-09, 1.6763806343078613e-07, 3.4086406230926514e-07, 5.140900611877441e-07, 6.873160600662231e-07, 8.605420589447021e-07, 1.0337680578231812e-06, 1.2069940567016602e-06, 1.3802200555801392e-06, 1.5534460544586182e-06, 1.7266720533370972e-06, 1.8998980522155762e-06, 2.073124051094055e-06, 2.246350049972534e-06, 2.419576048851013e-06, 2.592802047729492e-06, 2.766028046607971e-06, 2.93925404548645e-06, 3.112480044364929e-06, 3.285706043243408e-06, 3.458932042121887e-06, 3.632158041000366e-06, 3.8053840398788452e-06, 3.978610038757324e-06, 4.151836037635803e-06, 4.325062036514282e-06, 4.498288035392761e-06, 4.67151403427124e-06, 4.844740033149719e-06, 5.017966032028198e-06, 5.191192030906677e-06, 5.364418029785156e-06]}, "gradients/decoder.bert.encoder.layer.20.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0, 2.0, 6.0, 4.0, 4.0, 1.0, 7.0, 11.0, 14.0, 14.0, 14.0, 17.0, 26.0, 24.0, 28.0, 33.0, 30.0, 38.0, 40.0, 48.0, 56.0, 57.0, 0.0, 32.0, 45.0, 36.0, 44.0, 48.0, 42.0, 38.0, 31.0, 29.0, 35.0, 32.0, 24.0, 21.0, 13.0, 13.0, 10.0, 10.0, 17.0, 4.0, 6.0, 3.0, 4.0, 2.0, 1.0, 3.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.9073486328125e-06, -1.8496066331863403e-06, -1.7918646335601807e-06, -1.734122633934021e-06, -1.6763806343078613e-06, -1.6186386346817017e-06, -1.560896635055542e-06, -1.5031546354293823e-06, -1.4454126358032227e-06, -1.387670636177063e-06, -1.3299286365509033e-06, -1.2721866369247437e-06, -1.214444637298584e-06, -1.1567026376724243e-06, -1.0989606380462646e-06, -1.041218638420105e-06, -9.834766387939453e-07, -9.257346391677856e-07, -8.67992639541626e-07, -8.102506399154663e-07, -7.525086402893066e-07, -6.94766640663147e-07, -6.370246410369873e-07, -5.792826414108276e-07, -5.21540641784668e-07, -4.637986421585083e-07, -4.0605664253234863e-07, -3.4831464290618896e-07, -2.905726432800293e-07, -2.3283064365386963e-07, -1.7508864402770996e-07, -1.1734664440155029e-07, -5.960464477539063e-08, -1.862645149230957e-09, 5.587935447692871e-08, 1.1362135410308838e-07, 1.7136335372924805e-07, 2.2910535335540771e-07, 2.868473529815674e-07, 3.4458935260772705e-07, 4.023313522338867e-07, 4.600733518600464e-07, 5.178153514862061e-07, 5.755573511123657e-07, 6.332993507385254e-07, 6.910413503646851e-07, 7.487833499908447e-07, 8.065253496170044e-07, 8.642673492431641e-07, 9.220093488693237e-07, 9.797513484954834e-07, 1.037493348121643e-06, 1.0952353477478027e-06, 1.1529773473739624e-06, 1.210719347000122e-06, 1.2684613466262817e-06, 1.3262033462524414e-06, 1.383945345878601e-06, 1.4416873455047607e-06, 1.4994293451309204e-06, 1.55717134475708e-06, 1.6149133443832397e-06, 1.6726553440093994e-06, 1.730397343635559e-06, 1.7881393432617188e-06]}, "gradients/decoder.bert.encoder.layer.20.intermediate.dense.weight": {"_type": "histogram", "values": [2.0, 0.0, 4.0, 3.0, 4.0, 7.0, 4.0, 7.0, 12.0, 19.0, 32.0, 53.0, 55.0, 88.0, 123.0, 158.0, 424.0, 502.0, 715.0, 1055.0, 1612.0, 4232.0, 4970.0, 7614.0, 12262.0, 19144.0, 51287.0, 62946.0, 107662.0, 200182.0, 495041.0, 2564494.0, 384015.0, 108066.0, 62687.0, 38502.0, 23915.0, 20570.0, 7663.0, 4927.0, 3149.0, 2086.0, 1752.0, 713.0, 504.0, 306.0, 220.0, 153.0, 141.0, 69.0, 50.0, 24.0, 24.0, 21.0, 8.0, 6.0, 6.0, 5.0, 4.0, 1.0, 2.0, 0.0, 0.0, 2.0], "bins": [-4.0531158447265625e-06, -3.9227306842803955e-06, -3.7923455238342285e-06, -3.6619603633880615e-06, -3.5315752029418945e-06, -3.4011900424957275e-06, -3.2708048820495605e-06, -3.1404197216033936e-06, -3.0100345611572266e-06, -2.8796494007110596e-06, -2.7492642402648926e-06, -2.6188790798187256e-06, -2.4884939193725586e-06, -2.3581087589263916e-06, -2.2277235984802246e-06, -2.0973384380340576e-06, -1.9669532775878906e-06, -1.8365681171417236e-06, -1.7061829566955566e-06, -1.5757977962493896e-06, -1.4454126358032227e-06, -1.3150274753570557e-06, -1.1846423149108887e-06, -1.0542571544647217e-06, -9.238719940185547e-07, -7.934868335723877e-07, -6.631016731262207e-07, -5.327165126800537e-07, -4.023313522338867e-07, -2.7194619178771973e-07, -1.4156103134155273e-07, -1.1175870895385742e-08, 1.1920928955078125e-07, 2.4959444999694824e-07, 3.7997961044311523e-07, 5.103647708892822e-07, 6.407499313354492e-07, 7.711350917816162e-07, 9.015202522277832e-07, 1.0319054126739502e-06, 1.1622905731201172e-06, 1.2926757335662842e-06, 1.4230608940124512e-06, 1.5534460544586182e-06, 1.6838312149047852e-06, 1.8142163753509521e-06, 1.944601535797119e-06, 2.074986696243286e-06, 2.205371856689453e-06, 2.33575701713562e-06, 2.466142177581787e-06, 2.596527338027954e-06, 2.726912498474121e-06, 2.857297658920288e-06, 2.987682819366455e-06, 3.118067979812622e-06, 3.248453140258789e-06, 3.378838300704956e-06, 3.509223461151123e-06, 3.63960862159729e-06, 3.769993782043457e-06, 3.900378942489624e-06, 4.030764102935791e-06, 4.161149263381958e-06, 4.291534423828125e-06]}, "gradients/decoder.bert.encoder.layer.20.intermediate.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 3.0, 3.0, 2.0, 0.0, 4.0, 2.0, 0.0, 7.0, 8.0, 25.0, 0.0, 22.0, 41.0, 0.0, 56.0, 62.0, 86.0, 0.0, 101.0, 122.0, 0.0, 175.0, 200.0, 255.0, 0.0, 1826.0, 283.0, 176.0, 0.0, 136.0, 120.0, 0.0, 101.0, 77.0, 55.0, 0.0, 41.0, 32.0, 0.0, 33.0, 13.0, 10.0, 0.0, 3.0, 4.0, 0.0, 6.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.5497207641601562e-06, -1.5068799257278442e-06, -1.4640390872955322e-06, -1.4211982488632202e-06, -1.3783574104309082e-06, -1.3355165719985962e-06, -1.2926757335662842e-06, -1.2498348951339722e-06, -1.2069940567016602e-06, -1.1641532182693481e-06, -1.1213123798370361e-06, -1.0784715414047241e-06, -1.0356307029724121e-06, -9.927898645401e-07, -9.499490261077881e-07, -9.071081876754761e-07, -8.642673492431641e-07, -8.21426510810852e-07, -7.7858567237854e-07, -7.35744833946228e-07, -6.92903995513916e-07, -6.50063157081604e-07, -6.07222318649292e-07, -5.6438148021698e-07, -5.21540641784668e-07, -4.78699803352356e-07, -4.3585896492004395e-07, -3.9301812648773193e-07, -3.501772880554199e-07, -3.073364496231079e-07, -2.644956111907959e-07, -2.2165477275848389e-07, -1.7881393432617188e-07, -1.3597309589385986e-07, -9.313225746154785e-08, -5.029141902923584e-08, -7.450580596923828e-09, 3.5390257835388184e-08, 7.82310962677002e-08, 1.210719347000122e-07, 1.6391277313232422e-07, 2.0675361156463623e-07, 2.4959444999694824e-07, 2.9243528842926025e-07, 3.3527612686157227e-07, 3.781169652938843e-07, 4.209578037261963e-07, 4.637986421585083e-07, 5.066394805908203e-07, 5.494803190231323e-07, 5.923211574554443e-07, 6.351619958877563e-07, 6.780028343200684e-07, 7.208436727523804e-07, 7.636845111846924e-07, 8.065253496170044e-07, 8.493661880493164e-07, 8.922070264816284e-07, 9.350478649139404e-07, 9.778887033462524e-07, 1.0207295417785645e-06, 1.0635703802108765e-06, 1.1064112186431885e-06, 1.1492520570755005e-06, 1.1920928955078125e-06]}, "gradients/decoder.bert.encoder.layer.20.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 2.0, 3.0, 12.0, 2.0, 2.0, 7.0, 7.0, 12.0, 26.0, 14.0, 23.0, 27.0, 36.0, 48.0, 53.0, 93.0, 203.0, 128.0, 74.0, 49.0, 44.0, 33.0, 20.0, 20.0, 13.0, 9.0, 8.0, 8.0, 3.0, 7.0, 5.0, 7.0, 3.0, 2.0, 3.0, 3.0, 1.0, 2.0, 0.0, 2.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-2.145038024536916e-06, -2.070423988698167e-06, -1.9958099528594175e-06, -1.9211961443943437e-06, -1.8465821085555945e-06, -1.7719680727168452e-06, -1.697354036878096e-06, -1.6227400010393467e-06, -1.5481260788874351e-06, -1.4735120430486859e-06, -1.3988981208967743e-06, -1.324284085058025e-06, -1.2496700492192758e-06, -1.1750561270673643e-06, -1.100442091228615e-06, -1.0258281690767035e-06, -9.512141332379542e-07, -8.766001542426238e-07, -8.019861752472934e-07, -7.273721394085442e-07, -6.527581604132138e-07, -5.781441814178834e-07, -5.035301455791341e-07, -4.289161665838037e-07, -3.543021875884733e-07, -2.796882085931429e-07, -2.050742011761031e-07, -1.3046020796991797e-07, -5.584621476373286e-08, 1.876776423159754e-08, 9.338177164863737e-08, 1.679957790656772e-07, 2.4260998543468304e-07, 3.1722396443001344e-07, 3.9183797184705327e-07, 4.664519792640931e-07, 5.410659582594235e-07, 6.156799372547539e-07, 6.902939730935032e-07, 7.649079520888336e-07, 8.39521931084164e-07, 9.141359100794944e-07, 9.887498890748248e-07, 1.063363924913574e-06, 1.1379779607523233e-06, 1.2125918829042348e-06, 1.287205918742984e-06, 1.3618198408948956e-06, 1.4364338767336449e-06, 1.5110479125723941e-06, 1.5856618347243057e-06, 1.660275870563055e-06, 1.7348897927149665e-06, 1.8095038285537157e-06, 1.884117864392465e-06, 1.9587319002312142e-06, 2.0333459360699635e-06, 2.1079599719087128e-06, 2.182574007747462e-06, 2.257187816212536e-06, 2.331801852051285e-06, 2.4064158878900344e-06, 2.4810299237287836e-06, 2.555643959567533e-06, 2.6302577680326067e-06]}, "gradients/decoder.bert.encoder.layer.20.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 1.0, 2.0, 4.0, 2.0, 6.0, 3.0, 6.0, 6.0, 6.0, 11.0, 15.0, 19.0, 20.0, 26.0, 25.0, 37.0, 46.0, 38.0, 34.0, 39.0, 45.0, 48.0, 41.0, 53.0, 57.0, 43.0, 49.0, 43.0, 38.0, 38.0, 31.0, 21.0, 30.0, 25.0, 23.0, 10.0, 9.0, 16.0, 11.0, 9.0, 7.0, 5.0, 3.0, 6.0, 5.0, 0.0, 2.0, 3.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-1.7574419644006412e-06, -1.706377588561736e-06, -1.6553130990359932e-06, -1.6042487231970881e-06, -1.5531842336713453e-06, -1.5021198578324402e-06, -1.4510553683066973e-06, -1.3999909924677922e-06, -1.3489266166288871e-06, -1.297862240789982e-06, -1.2467977512642392e-06, -1.195733375425334e-06, -1.1446688858995913e-06, -1.0936045100606862e-06, -1.042540134221781e-06, -9.914756446960382e-07, -9.404111551702954e-07, -8.893467224879714e-07, -8.382822898056475e-07, -7.872179139667423e-07, -7.361534244409995e-07, -6.850890486020944e-07, -6.340246159197704e-07, -5.829601832374465e-07, -5.318957505551225e-07, -4.808313178727985e-07, -4.2976688519047457e-07, -3.7870248092986003e-07, -3.2763804824753606e-07, -2.765736155652121e-07, -2.2550921130459756e-07, -1.744447786222736e-07, -1.233802322531119e-07, -7.231580667621529e-08, -2.1251381099318678e-08, 2.9813037372150575e-08, 8.087747005447454e-08, 1.319419027367985e-07, 1.8300630699741305e-07, 2.3407073967973702e-07, 2.85135172362061e-07, 3.3619960504438495e-07, 3.872640377267089e-07, 4.3832844198732346e-07, 4.89392846247938e-07, 5.404573357736808e-07, 5.915217116125859e-07, 6.425861442949099e-07, 6.936505769772339e-07, 7.447150096595578e-07, 7.957794423418818e-07, 8.468438181807869e-07, 8.979083077065297e-07, 9.489726835454348e-07, 1.0000371730711777e-06, 1.0511015489100828e-06, 1.1021659247489879e-06, 1.153230300587893e-06, 1.2042947901136358e-06, 1.255359165952541e-06, 1.3064236554782838e-06, 1.3574880313171889e-06, 1.408552407156094e-06, 1.4596168966818368e-06, 1.5106813862075796e-06]}, "gradients/decoder.bert.encoder.layer.20.crossattention.output.dense.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 4.0, 0.0, 5.0, 0.0, 0.0, 6.0, 0.0, 11.0, 0.0, 20.0, 0.0, 0.0, 27.0, 0.0, 42.0, 0.0, 64.0, 0.0, 81.0, 0.0, 0.0, 97.0, 0.0, 105.0, 0.0, 1047654.0, 0.0, 0.0, 121.0, 0.0, 99.0, 0.0, 86.0, 0.0, 51.0, 0.0, 0.0, 33.0, 0.0, 22.0, 0.0, 16.0, 0.0, 0.0, 13.0, 0.0, 7.0, 0.0, 2.0, 0.0, 3.0, 0.0, 0.0, 3.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-7.748603820800781e-07, -7.487833499908447e-07, -7.227063179016113e-07, -6.966292858123779e-07, -6.705522537231445e-07, -6.444752216339111e-07, -6.183981895446777e-07, -5.923211574554443e-07, -5.662441253662109e-07, -5.401670932769775e-07, -5.140900611877441e-07, -4.880130290985107e-07, -4.6193599700927734e-07, -4.3585896492004395e-07, -4.0978193283081055e-07, -3.8370490074157715e-07, -3.5762786865234375e-07, -3.3155083656311035e-07, -3.0547380447387695e-07, -2.7939677238464355e-07, -2.5331974029541016e-07, -2.2724270820617676e-07, -2.0116567611694336e-07, -1.7508864402770996e-07, -1.4901161193847656e-07, -1.2293457984924316e-07, -9.685754776000977e-08, -7.078051567077637e-08, -4.470348358154297e-08, -1.862645149230957e-08, 7.450580596923828e-09, 3.3527612686157227e-08, 5.960464477539063e-08, 8.568167686462402e-08, 1.1175870895385742e-07, 1.3783574104309082e-07, 1.6391277313232422e-07, 1.8998980522155762e-07, 2.1606683731079102e-07, 2.421438694000244e-07, 2.682209014892578e-07, 2.942979335784912e-07, 3.203749656677246e-07, 3.46451997756958e-07, 3.725290298461914e-07, 3.986060619354248e-07, 4.246830940246582e-07, 4.507601261138916e-07, 4.76837158203125e-07, 5.029141902923584e-07, 5.289912223815918e-07, 5.550682544708252e-07, 5.811452865600586e-07, 6.07222318649292e-07, 6.332993507385254e-07, 6.593763828277588e-07, 6.854534149169922e-07, 7.115304470062256e-07, 7.37607479095459e-07, 7.636845111846924e-07, 7.897615432739258e-07, 8.158385753631592e-07, 8.419156074523926e-07, 8.67992639541626e-07, 8.940696716308594e-07]}, "gradients/decoder.bert.encoder.layer.20.crossattention.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1023.0], "bins": [-5.960464477539063e-08, -5.8673322200775146e-08, -5.774199962615967e-08, -5.681067705154419e-08, -5.587935447692871e-08, -5.494803190231323e-08, -5.4016709327697754e-08, -5.3085386753082275e-08, -5.21540641784668e-08, -5.122274160385132e-08, -5.029141902923584e-08, -4.936009645462036e-08, -4.842877388000488e-08, -4.7497451305389404e-08, -4.6566128730773926e-08, -4.563480615615845e-08, -4.470348358154297e-08, -4.377216100692749e-08, -4.284083843231201e-08, -4.190951585769653e-08, -4.0978193283081055e-08, -4.0046870708465576e-08, -3.91155481338501e-08, -3.818422555923462e-08, -3.725290298461914e-08, -3.632158041000366e-08, -3.5390257835388184e-08, -3.4458935260772705e-08, -3.3527612686157227e-08, -3.259629011154175e-08, -3.166496753692627e-08, -3.073364496231079e-08, -2.9802322387695312e-08, -2.8870999813079834e-08, -2.7939677238464355e-08, -2.7008354663848877e-08, -2.60770320892334e-08, -2.514570951461792e-08, -2.421438694000244e-08, -2.3283064365386963e-08, -2.2351741790771484e-08, -2.1420419216156006e-08, -2.0489096641540527e-08, -1.955777406692505e-08, -1.862645149230957e-08, -1.7695128917694092e-08, -1.6763806343078613e-08, -1.5832483768463135e-08, -1.4901161193847656e-08, -1.3969838619232178e-08, -1.30385160446167e-08, -1.210719347000122e-08, -1.1175870895385742e-08, -1.0244548320770264e-08, -9.313225746154785e-09, -8.381903171539307e-09, -7.450580596923828e-09, -6.51925802230835e-09, -5.587935447692871e-09, -4.6566128730773926e-09, -3.725290298461914e-09, -2.7939677238464355e-09, -1.862645149230957e-09, -9.313225746154785e-10, 0.0]}, "gradients/decoder.bert.encoder.layer.20.crossattention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.20.crossattention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.20.crossattention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.20.crossattention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.20.crossattention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.20.crossattention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.20.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 4.0, 5.0, 1.0, 3.0, 5.0, 2.0, 4.0, 7.0, 6.0, 12.0, 12.0, 21.0, 15.0, 18.0, 29.0, 30.0, 50.0, 76.0, 109.0, 150.0, 120.0, 81.0, 63.0, 46.0, 39.0, 14.0, 16.0, 12.0, 10.0, 10.0, 9.0, 6.0, 8.0, 3.0, 2.0, 5.0, 4.0, 1.0, 3.0, 1.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0], "bins": [-3.508558563680708e-07, -3.404501853765396e-07, -3.3004451438500837e-07, -3.1963884339347715e-07, -3.0923320082365535e-07, -2.9882752983212413e-07, -2.884218588405929e-07, -2.780161878490617e-07, -2.6761051685753046e-07, -2.5720484586599923e-07, -2.46799174874468e-07, -2.363935180937915e-07, -2.25987861313115e-07, -2.1558219032158377e-07, -2.0517651933005254e-07, -1.9477084833852132e-07, -1.8436520576869952e-07, -1.739595347771683e-07, -1.635538779964918e-07, -1.5314820700496057e-07, -1.4274255022428406e-07, -1.3233687923275284e-07, -1.219312082412216e-07, -1.1152554435511774e-07, -1.0111988046901388e-07, -9.071421658291001e-08, -8.030855269680615e-08, -6.990288170527492e-08, -5.9497217819171055e-08, -4.909155393306719e-08, -3.8685882941535965e-08, -2.82802190554321e-08, -1.7874526747618802e-08, -7.468861085158096e-09, 2.9368045773026097e-09, 1.3342472016120155e-08, 2.374813590222402e-08, 3.415379978832789e-08, 4.455947077985911e-08, 5.496513466596298e-08, 6.537079855206684e-08, 7.577646243817071e-08, 8.618212632427458e-08, 9.65877973158058e-08, 1.0699346120190967e-07, 1.1739912508801353e-07, 1.2780479607954476e-07, 1.3821045286022127e-07, 1.486161238517525e-07, 1.5902179484328371e-07, 1.6942745162396022e-07, 1.7983312261549145e-07, 1.9023877939616796e-07, 2.0064445038769918e-07, 2.110501213792304e-07, 2.2145579237076163e-07, 2.3186144915143814e-07, 2.4226710593211465e-07, 2.5267277692364587e-07, 2.630784479151771e-07, 2.734841189067083e-07, 2.8388978989823954e-07, 2.9429543246806134e-07, 3.0470110345959256e-07, 3.151067744511238e-07]}, "gradients/decoder.bert.encoder.layer.20.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 2.0, 4.0, 2.0, 6.0, 5.0, 4.0, 7.0, 5.0, 12.0, 13.0, 16.0, 24.0, 30.0, 22.0, 33.0, 44.0, 40.0, 36.0, 36.0, 46.0, 47.0, 44.0, 48.0, 60.0, 44.0, 48.0, 42.0, 37.0, 40.0, 32.0, 24.0, 29.0, 23.0, 22.0, 14.0, 9.0, 14.0, 9.0, 11.0, 8.0, 5.0, 3.0, 6.0, 4.0, 1.0, 2.0, 3.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-2.522723150377715e-07, -2.449640419399657e-07, -2.376557830530146e-07, -2.303475099552088e-07, -2.2303925106825773e-07, -2.1573097797045193e-07, -2.0842270487264614e-07, -2.0111443177484034e-07, -1.9380617288788926e-07, -1.8649789979008347e-07, -1.7918964090313239e-07, -1.718813678053266e-07, -1.645730947075208e-07, -1.5726483582056971e-07, -1.4995656272276392e-07, -1.4264830383581284e-07, -1.3534003073800704e-07, -1.2803175764020125e-07, -1.2072349875325017e-07, -1.1341522565544437e-07, -1.0610695966306594e-07, -9.87986936706875e-08, -9.14904205728817e-08, -8.418215458050327e-08, -7.687388858812483e-08, -6.956562259574639e-08, -6.225735660336795e-08, -5.494908350556216e-08, -4.764081751318372e-08, -4.033255152080528e-08, -3.3024281975713166e-08, -2.571601243062105e-08, -1.8407760649097327e-08, -1.109949288036205e-08, -3.7912251116267726e-09, 3.5170426571085045e-09, 1.0825310425843782e-08, 1.813357641822222e-08, 2.5441845963314336e-08, 3.275011550840645e-08, 4.005838150078489e-08, 4.736664749316333e-08, 5.4674917038255444e-08, 6.198318658334756e-08, 6.9291452575726e-08, 7.659971856810444e-08, 8.390799166591023e-08, 9.121625765828867e-08, 9.85245236506671e-08, 1.0583278964304554e-07, 1.1314105563542398e-07, 1.2044932873322978e-07, 1.2775760183103557e-07, 1.3506586071798665e-07, 1.4237413381579245e-07, 1.4968239270274353e-07, 1.5699066580054932e-07, 1.6429893889835512e-07, 1.716071977853062e-07, 1.78915470883112e-07, 1.8622372977006307e-07, 1.9353200286786887e-07, 2.0084027596567466e-07, 2.0814854906348046e-07, 2.1545680795043154e-07]}, "gradients/decoder.bert.encoder.layer.20.attention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.20.attention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.20.attention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.20.attention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.20.attention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.20.attention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.20.attention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.20.attention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.19.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0, 2.0, 3.0, 2.0, 3.0, 3.0, 6.0, 3.0, 3.0, 5.0, 7.0, 9.0, 13.0, 11.0, 23.0, 16.0, 29.0, 22.0, 33.0, 44.0, 100.0, 94.0, 177.0, 88.0, 65.0, 60.0, 40.0, 30.0, 19.0, 20.0, 17.0, 9.0, 13.0, 9.0, 5.0, 2.0, 5.0, 5.0, 7.0, 4.0, 1.0, 2.0, 1.0, 3.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-2.4058672920546087e-07, -2.3362467516108154e-07, -2.266626211167022e-07, -2.1970056707232288e-07, -2.1273851302794355e-07, -2.0577645898356423e-07, -1.988144049391849e-07, -1.9185236510566028e-07, -1.8489029685042624e-07, -1.779282428060469e-07, -1.7096618876166758e-07, -1.6400413471728825e-07, -1.5704208067290892e-07, -1.500800266285296e-07, -1.4311797258415027e-07, -1.3615593275062565e-07, -1.2919387870624632e-07, -1.22231824661867e-07, -1.1526977061748767e-07, -1.0830771657310834e-07, -1.0134566252872901e-07, -9.438360848434968e-08, -8.742156154539771e-08, -8.045950750101838e-08, -7.349745345663905e-08, -6.653539941225972e-08, -5.957334536788039e-08, -5.261129487621474e-08, -4.5649240831835414e-08, -3.8687186787456085e-08, -3.1725136295790435e-08, -2.4763082251411106e-08, -1.7801042417886492e-08, -1.0838989261685583e-08, -3.876936105484674e-09, 3.0851161625378154e-09, 1.0047170206917144e-08, 1.7009224251296473e-08, 2.3971274742962123e-08, 3.093332878734145e-08, 3.789538283172078e-08, 4.485743687610011e-08, 5.181949092047944e-08, 5.878154141214509e-08, 6.574359190381074e-08, 7.270564594819007e-08, 7.96676999925694e-08, 8.662975403694873e-08, 9.359180808132805e-08, 1.0055386212570738e-07, 1.0751591617008671e-07, 1.1447797021446604e-07, 1.2144002425884537e-07, 1.284020783032247e-07, 1.3536413234760403e-07, 1.4232617218112864e-07, 1.4928824043636268e-07, 1.5625029448074201e-07, 1.6321234852512134e-07, 1.7017440256950067e-07, 1.7713645661388e-07, 1.8409851065825933e-07, 1.9106056470263866e-07, 1.9802260453616327e-07, 2.049846585805426e-07]}, "gradients/decoder.bert.encoder.layer.19.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 2.0, 4.0, 3.0, 5.0, 4.0, 7.0, 4.0, 6.0, 12.0, 12.0, 21.0, 19.0, 29.0, 27.0, 31.0, 46.0, 39.0, 33.0, 39.0, 48.0, 47.0, 42.0, 49.0, 62.0, 40.0, 52.0, 40.0, 33.0, 44.0, 31.0, 23.0, 31.0, 23.0, 22.0, 11.0, 8.0, 14.0, 12.0, 10.0, 7.0, 5.0, 3.0, 6.0, 4.0, 1.0, 2.0, 3.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-1.7724023848586512e-07, -1.721008686672576e-07, -1.669615130595048e-07, -1.6182214324089728e-07, -1.5668278763314447e-07, -1.5154341781453695e-07, -1.4640406220678415e-07, -1.4126469238817663e-07, -1.361253225695691e-07, -1.309859527509616e-07, -1.2584659714320878e-07, -1.2070722732460126e-07, -1.1556787171684846e-07, -1.1042850189824094e-07, -1.0528913918506078e-07, -1.0014977647188061e-07, -9.501042086412781e-08, -8.987105815094765e-08, -8.473169543776748e-08, -7.959232561915996e-08, -7.445297001140716e-08, -6.931360019279964e-08, -6.417423747961948e-08, -5.9034874766439316e-08, -5.3895512053259154e-08, -4.875614934007899e-08, -4.361678662689883e-08, -3.847742036100499e-08, -3.3338057647824826e-08, -2.8198694934644664e-08, -2.3059328668750823e-08, -1.791996595557066e-08, -1.2780617453245213e-08, -7.641253851886631e-09, -2.5018902505280494e-09, 2.6374742390089523e-09, 7.776836952189115e-09, 1.2916199665369277e-08, 1.8055565931263118e-08, 2.319492864444328e-08, 2.8334291357623442e-08, 3.3473654070803605e-08, 3.861301678398377e-08, 4.375238304987761e-08, 4.889174576305777e-08, 5.403110847623793e-08, 5.9170474742131773e-08, 6.430983745531194e-08, 6.94492001684921e-08, 7.458856288167226e-08, 7.972792559485242e-08, 8.486729541345994e-08, 9.000665102121275e-08, 9.514602083982027e-08, 1.0028538355300043e-07, 1.0542474626618059e-07, 1.1056410897936075e-07, 1.1570347169254092e-07, 1.2084284151114844e-07, 1.2598219711890124e-07, 1.3112156693750876e-07, 1.3626092254526156e-07, 1.4140029236386908e-07, 1.465396621824766e-07, 1.516790177902294e-07]}, "gradients/decoder.bert.encoder.layer.19.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.19.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.19.intermediate.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.19.intermediate.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.19.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 2.0, 2.0, 1.0, 1.0, 3.0, 2.0, 4.0, 2.0, 8.0, 10.0, 12.0, 8.0, 10.0, 20.0, 29.0, 31.0, 20.0, 60.0, 71.0, 111.0, 191.0, 108.0, 71.0, 45.0, 35.0, 34.0, 24.0, 18.0, 13.0, 6.0, 9.0, 9.0, 13.0, 3.0, 5.0, 4.0, 3.0, 6.0, 2.0, 1.0, 0.0, 3.0, 3.0, 0.0, 1.0, 0.0, 2.0, 2.0], "bins": [-5.147164827690176e-08, -5.0063576395587006e-08, -4.865550096155857e-08, -4.724742552753014e-08, -4.5839353646215386e-08, -4.443128176490063e-08, -4.30232063308722e-08, -4.1615130896843766e-08, -4.020705901552901e-08, -3.879898713421426e-08, -3.7390911700185825e-08, -3.598283626615739e-08, -3.457476438484264e-08, -3.3166692503527884e-08, -3.175861706949945e-08, -3.035054163547102e-08, -2.8942469754156264e-08, -2.753439609648467e-08, -2.6126322438813077e-08, -2.4718248781141483e-08, -2.331017512346989e-08, -2.1902101465798296e-08, -2.0494027808126702e-08, -1.908595415045511e-08, -1.7677880492783515e-08, -1.6269806835111922e-08, -1.4861733177440328e-08, -1.3453659519768735e-08, -1.2045585862097141e-08, -1.0637512204425548e-08, -9.229438546753954e-09, -7.82136488908236e-09, -6.413287678697088e-09, -5.005214021025495e-09, -3.597140363353901e-09, -2.1890667056823077e-09, -7.809930480107141e-10, 6.270806096608794e-10, 2.035154267332473e-09, 3.4432279250040665e-09, 4.85130158267566e-09, 6.2593752403472536e-09, 7.667448898018847e-09, 9.07552255569044e-09, 1.0483596213362034e-08, 1.1891669871033628e-08, 1.3299743528705221e-08, 1.4707817186376815e-08, 1.6115890844048408e-08, 1.7523964501720002e-08, 1.8932038159391595e-08, 2.034011181706319e-08, 2.1748185474734782e-08, 2.3156259132406376e-08, 2.456433279007797e-08, 2.5972406447749563e-08, 2.7380480105421157e-08, 2.878855376309275e-08, 3.0196627420764344e-08, 3.16046993020791e-08, 3.301277473610753e-08, 3.4420850170135964e-08, 3.582892205145072e-08, 3.723699393276547e-08, 3.8645069366793905e-08]}, "gradients/decoder.bert.encoder.layer.19.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 2.0, 1.0, 4.0, 4.0, 4.0, 6.0, 5.0, 4.0, 7.0, 11.0, 14.0, 18.0, 21.0, 28.0, 29.0, 29.0, 49.0, 38.0, 32.0, 39.0, 46.0, 51.0, 43.0, 47.0, 58.0, 46.0, 51.0, 36.0, 37.0, 42.0, 33.0, 22.0, 29.0, 23.0, 21.0, 12.0, 8.0, 15.0, 13.0, 9.0, 6.0, 5.0, 4.0, 4.0, 5.0, 1.0, 2.0, 3.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-3.2974845964872657e-08, -3.2017464235423176e-08, -3.1060086058687375e-08, -3.0102704329237895e-08, -2.9145324376145254e-08, -2.8187944423052613e-08, -2.7230562693603133e-08, -2.6273182740510492e-08, -2.531580278741785e-08, -2.435842283432521e-08, -2.340104288123257e-08, -2.244366115178309e-08, -2.148628119869045e-08, -2.0528901245597808e-08, -1.9571519516148328e-08, -1.8614139563055687e-08, -1.7656759609963046e-08, -1.6699379656870406e-08, -1.5741999703777765e-08, -1.4784617974328285e-08, -1.3827238021235644e-08, -1.2869858068143003e-08, -1.1912477226871943e-08, -1.0955096385600882e-08, -9.997716432508241e-09, -9.0403364794156e-09, -8.08295563814454e-09, -7.125575240962689e-09, -6.168194843780839e-09, -5.210814446598988e-09, -4.2534340494171374e-09, -3.2960536522352868e-09, -2.338673255053436e-09, -1.3812928578715855e-09, -4.2391246068973487e-10, 5.334679364921158e-10, 1.4908483336739664e-09, 2.448228730855817e-09, 3.4056091280376677e-09, 4.362989525219518e-09, 5.320369922401369e-09, 6.27775031958322e-09, 7.23513071676507e-09, 8.19251155803613e-09, 9.149891511128772e-09, 1.0107271464221412e-08, 1.1064652305492473e-08, 1.2022033146763533e-08, 1.2979413099856174e-08, 1.3936793052948815e-08, 1.4894173894219875e-08, 1.5851554735490936e-08, 1.6808934688583577e-08, 1.7766314641676217e-08, 1.8723696371125698e-08, 1.968107632421834e-08, 2.063845627731098e-08, 2.159583623040362e-08, 2.255321618349626e-08, 2.351059791294574e-08, 2.4467977866038382e-08, 2.5425357819131023e-08, 2.6382739548580503e-08, 2.7340119501673144e-08, 2.8297499454765784e-08]}, "gradients/decoder.bert.encoder.layer.19.crossattention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.19.crossattention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.19.crossattention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.19.crossattention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.19.crossattention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.19.crossattention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.19.crossattention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.19.crossattention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.19.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 3.0, 1.0, 3.0, 4.0, 4.0, 3.0, 6.0, 3.0, 11.0, 5.0, 5.0, 12.0, 19.0, 18.0, 15.0, 26.0, 23.0, 36.0, 42.0, 46.0, 69.0, 134.0, 130.0, 95.0, 63.0, 32.0, 38.0, 25.0, 26.0, 23.0, 16.0, 13.0, 18.0, 5.0, 5.0, 3.0, 2.0, 5.0, 0.0, 5.0, 7.0, 1.0, 3.0, 2.0, 3.0, 0.0, 2.0, 2.0, 2.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0], "bins": [-2.551486799617919e-09, -2.466790105515315e-09, -2.3820934114127112e-09, -2.2973967173101073e-09, -2.2127000232075034e-09, -2.1280033291048994e-09, -2.0433068570469004e-09, -1.9586101629442965e-09, -1.8739134688416925e-09, -1.7892167747390886e-09, -1.7045200806364846e-09, -1.6198233865338807e-09, -1.5351266924312768e-09, -1.4504299983286728e-09, -1.3657334152483713e-09, -1.2810367211457674e-09, -1.196339916020861e-09, -1.111643221918257e-09, -1.026946527815653e-09, -9.422498337130492e-10, -8.575531951215964e-10, -7.728565010189925e-10, -6.881598624275398e-10, -6.034631683249359e-10, -5.187664742223319e-10, -4.3406978011972797e-10, -3.4937311377269964e-10, -2.646764474256713e-10, -1.7997975332306737e-10, -9.528305922046343e-11, -1.0586420629010718e-11, 7.411027347359322e-11, 1.5880674553159224e-10, 2.435034396341962e-10, 3.282001059812245e-10, 4.1289677232825284e-10, 4.975934664308568e-10, 5.822901605334607e-10, 6.669867991249134e-10, 7.516834932275174e-10, 8.363801873301213e-10, 9.210768814327253e-10, 1.0057735755353292e-09, 1.0904701586156307e-09, 1.1751668527182346e-09, 1.2598635468208386e-09, 1.3445602409234425e-09, 1.4292569350260464e-09, 1.5139536291286504e-09, 1.5986503232312543e-09, 1.6833470173338583e-09, 1.7680437114364622e-09, 1.8527404055390662e-09, 1.93743709964167e-09, 2.022133571699669e-09, 2.106830265802273e-09, 2.191526959904877e-09, 2.276223654007481e-09, 2.360920348110085e-09, 2.445617042212689e-09, 2.5303137363152928e-09, 2.6150104304178967e-09, 2.6997071245205007e-09, 2.7844038186231046e-09, 2.8691005127257085e-09]}, "gradients/decoder.bert.encoder.layer.19.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 2.0, 3.0, 2.0, 4.0, 5.0, 6.0, 4.0, 5.0, 6.0, 14.0, 14.0, 18.0, 24.0, 26.0, 29.0, 34.0, 48.0, 35.0, 30.0, 40.0, 47.0, 46.0, 41.0, 49.0, 61.0, 40.0, 54.0, 39.0, 36.0, 41.0, 33.0, 21.0, 31.0, 22.0, 17.0, 15.0, 6.0, 19.0, 9.0, 9.0, 7.0, 6.0, 3.0, 5.0, 5.0, 1.0, 1.0, 3.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-2.3948487637426297e-09, -2.3252171299503743e-09, -2.255585496158119e-09, -2.1859540844104686e-09, -2.1163224506182132e-09, -2.046690816825958e-09, -1.9770591830337025e-09, -1.907427549241447e-09, -1.8377960264714943e-09, -1.768164392679239e-09, -1.698532869909286e-09, -1.6289012361170307e-09, -1.5592696023247754e-09, -1.4896380795548225e-09, -1.4200064457625672e-09, -1.3503749229926143e-09, -1.280743289200359e-09, -1.2111116554081036e-09, -1.1414801326381507e-09, -1.0718484988458954e-09, -1.0022169760759425e-09, -9.325853422836872e-10, -8.629537084914318e-10, -7.933221302103277e-10, -7.236905519292236e-10, -6.540589736481195e-10, -5.844273953670154e-10, -5.1479576157476e-10, -4.451641832936559e-10, -3.755326050125518e-10, -3.059009989758721e-10, -2.3626939293919236e-10, -1.6663759261348332e-10, -9.70060004545914e-11, -2.7374408295699482e-11, 4.225718386319244e-11, 1.1188877602208436e-10, 1.8152035430318847e-10, 2.511519603398682e-10, 3.207835663765479e-10, 3.9041514465765204e-10, 4.6004672293875615e-10, 5.296783012198603e-10, 5.993099350121156e-10, 6.689415132932197e-10, 7.385730915743238e-10, 8.082047253665792e-10, 8.778363036476833e-10, 9.474678819287874e-10, 1.0170995157210427e-09, 1.0867310384909956e-09, 1.156362672283251e-09, 1.2259941950532038e-09, 1.2956258288454592e-09, 1.3652574626377145e-09, 1.4348890964299699e-09, 1.5045206191999227e-09, 1.574152252992178e-09, 1.643783775762131e-09, 1.7134154095543863e-09, 1.7830470433466417e-09, 1.8526785661165945e-09, 1.9223100888865474e-09, 1.9919417226788028e-09, 2.061573356471058e-09]}, "gradients/decoder.bert.encoder.layer.19.attention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.19.attention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.19.attention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.19.attention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.19.attention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.19.attention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.19.attention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.19.attention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.18.output.LayerNorm.weight": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 3.0, 1.0, 2.0, 4.0, 2.0, 4.0, 4.0, 5.0, 4.0, 7.0, 8.0, 13.0, 10.0, 18.0, 16.0, 29.0, 27.0, 37.0, 35.0, 43.0, 79.0, 101.0, 159.0, 98.0, 58.0, 49.0, 41.0, 20.0, 18.0, 23.0, 16.0, 17.0, 7.0, 8.0, 7.0, 12.0, 5.0, 4.0, 4.0, 3.0, 0.0, 2.0, 2.0, 5.0, 2.0, 0.0, 0.0, 1.0, 2.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.618129741309815e-09, -1.5629199046074405e-09, -1.5077099568827634e-09, -1.4525001201803889e-09, -1.3972902834780143e-09, -1.3420804467756398e-09, -1.2868704990509627e-09, -1.2316606623485882e-09, -1.1764507146239112e-09, -1.1212408779215366e-09, -1.0660309301968596e-09, -1.010821093494485e-09, -9.556112567921105e-10, -9.004013645785847e-10, -8.451914723650589e-10, -7.899816356626843e-10, -7.347717989603098e-10, -6.79561906746784e-10, -6.243520700444094e-10, -5.691421778308836e-10, -5.13932341128509e-10, -4.5872244891498326e-10, -4.0351255670145747e-10, -3.483026922435073e-10, -2.930928277855571e-10, -2.3788296332760694e-10, -1.8267308499186896e-10, -1.2746320665613098e-10, -7.22533421981808e-11, -1.7043477740230628e-11, 3.816641447329516e-11, 9.337627893124534e-11, 1.4858625441149798e-10, 2.0379611886944815e-10, 2.5900598332739833e-10, 3.142158755409241e-10, 3.694257399988743e-10, 4.2463560445682447e-10, 4.798454966703503e-10, 5.350553333727248e-10, 5.902652255862506e-10, 6.454751177997764e-10, 7.00684954502151e-10, 7.558948467156767e-10, 8.111047389292025e-10, 8.663145756315771e-10, 9.215244678451029e-10, 9.767343600586287e-10, 1.0319441967610032e-09, 1.0871540334633778e-09, 1.1423639811880548e-09, 1.1975738178904294e-09, 1.252783654592804e-09, 1.3079934912951785e-09, 1.3632034390198555e-09, 1.41841327572223e-09, 1.4736232234469071e-09, 1.5288330601492817e-09, 1.5840430078739587e-09, 1.6392528445763332e-09, 1.6944626812787078e-09, 1.7496726290033848e-09, 1.8048824657057594e-09, 1.860092302408134e-09, 1.9153021391105085e-09]}, "gradients/decoder.bert.encoder.layer.18.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 2.0, 3.0, 2.0, 6.0, 3.0, 7.0, 5.0, 5.0, 5.0, 14.0, 14.0, 18.0, 26.0, 25.0, 31.0, 35.0, 45.0, 35.0, 29.0, 42.0, 47.0, 44.0, 46.0, 48.0, 60.0, 43.0, 46.0, 41.0, 44.0, 34.0, 31.0, 23.0, 32.0, 19.0, 18.0, 14.0, 9.0, 16.0, 9.0, 9.0, 7.0, 6.0, 3.0, 5.0, 5.0, 1.0, 2.0, 2.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-1.4708609885616397e-09, -1.4279787352577955e-09, -1.3850964819539513e-09, -1.3422143396724096e-09, -1.2993320863685653e-09, -1.2564498330647211e-09, -1.213567579760877e-09, -1.1706853264570327e-09, -1.127803184175491e-09, -1.0849209308716468e-09, -1.0420386775678026e-09, -9.991565352862608e-10, -9.562742819824166e-10, -9.133920286785724e-10, -8.705097753747282e-10, -8.27627522070884e-10, -7.847452687670398e-10, -7.418630154631956e-10, -6.989808176705026e-10, -6.560985643666584e-10, -6.132163665739654e-10, -5.703341132701212e-10, -5.27451859966277e-10, -4.845696066624328e-10, -4.416874088697398e-10, -3.988051833214712e-10, -3.559229577732026e-10, -3.130407044693584e-10, -2.701584789210898e-10, -2.272762533728212e-10, -1.84394000068977e-10, -1.415117745207084e-10, -9.862943795013734e-11, -5.574720546297485e-11, -1.286497297581235e-11, 3.001726645024405e-11, 7.289949199851264e-11, 1.1578171754678124e-10, 1.5866397085062545e-10, 2.0154619639889404e-10, 2.4442842194716263e-10, 2.8731064749543123e-10, 3.301928730436998e-10, 3.7307512634754403e-10, 4.159573518958126e-10, 4.588395774440812e-10, 5.017218307479254e-10, 5.446040285406184e-10, 5.874862818444626e-10, 6.303685351483068e-10, 6.732507329409998e-10, 7.16132986244844e-10, 7.59015184037537e-10, 8.018974373413812e-10, 8.447796906452254e-10, 8.876619439490696e-10, 9.305441417417626e-10, 9.734263395344556e-10, 1.0163085928382998e-09, 1.059190846142144e-09, 1.1020730994459882e-09, 1.14495524172753e-09, 1.1878376060536766e-09, 1.2307197483352184e-09, 1.2736020016390626e-09]}, "gradients/decoder.bert.encoder.layer.18.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.18.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.18.intermediate.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.18.intermediate.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.18.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 3.0, 0.0, 3.0, 3.0, 3.0, 5.0, 11.0, 11.0, 8.0, 9.0, 14.0, 14.0, 17.0, 22.0, 28.0, 24.0, 49.0, 65.0, 101.0, 174.0, 133.0, 70.0, 47.0, 38.0, 29.0, 21.0, 15.0, 20.0, 16.0, 9.0, 7.0, 5.0, 5.0, 8.0, 7.0, 0.0, 6.0, 4.0, 2.0, 3.0, 0.0, 1.0, 0.0, 1.0, 2.0, 0.0, 1.0, 3.0, 0.0, 1.0, 1.0, 0.0, 1.0], "bins": [-2.3100879542603536e-10, -2.2351305528633958e-10, -2.160173151466438e-10, -2.08521575006948e-10, -2.0102583486725223e-10, -1.9353009472755645e-10, -1.8603435458786066e-10, -1.7853862832595269e-10, -1.710428743084691e-10, -1.635471341687733e-10, -1.5605139402907753e-10, -1.4855565388938174e-10, -1.4105991374968596e-10, -1.3356417360999018e-10, -1.260684334702944e-10, -1.1857270720838642e-10, -1.1107696706869064e-10, -1.0358122692899485e-10, -9.608548678929907e-11, -8.858974664960328e-11, -8.10940065099075e-11, -7.359826637021172e-11, -6.610253316940984e-11, -5.860679302971405e-11, -5.111105289001827e-11, -4.361531275032249e-11, -3.6119572610626705e-11, -2.8623835940377873e-11, -2.112809580068209e-11, -1.3632355660986306e-11, -6.136618990737475e-12, 1.3591211489583088e-12, 8.854861288654092e-12, 1.6350601428349876e-11, 2.3846339833322183e-11, 3.134207823829449e-11, 3.8837818377990274e-11, 4.633355851768606e-11, 5.382929518793489e-11, 6.132503532763067e-11, 6.882077546732646e-11, 7.631651560702224e-11, 8.381225574671802e-11, 9.13079889475199e-11, 9.880372908721569e-11, 1.0629946922691147e-10, 1.1379520936660725e-10, 1.2129094950630304e-10, 1.2878668964599882e-10, 1.362824297856946e-10, 1.4377816992539039e-10, 1.5127391006508617e-10, 1.5876965020478195e-10, 1.6626539034447774e-10, 1.737611166063857e-10, 1.812568706238693e-10, 1.8875259688577728e-10, 1.9624833702547306e-10, 2.0374407716516885e-10, 2.1123981730486463e-10, 2.1873555744456041e-10, 2.262312975842562e-10, 2.33727037723952e-10, 2.4122276398585996e-10, 2.4871851800334355e-10]}, "gradients/decoder.bert.encoder.layer.18.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 4.0, 2.0, 1.0, 8.0, 2.0, 6.0, 5.0, 6.0, 6.0, 16.0, 13.0, 15.0, 30.0, 27.0, 29.0, 38.0, 43.0, 34.0, 30.0, 46.0, 43.0, 43.0, 52.0, 46.0, 58.0, 45.0, 44.0, 37.0, 46.0, 33.0, 29.0, 23.0, 32.0, 21.0, 19.0, 11.0, 9.0, 15.0, 9.0, 9.0, 8.0, 4.0, 5.0, 4.0, 5.0, 1.0, 2.0, 2.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-1.8596120476832567e-10, -1.8052107031429898e-10, -1.750809358602723e-10, -1.696408014062456e-10, -1.642006530744311e-10, -1.587605186204044e-10, -1.5332038416637772e-10, -1.4788024971235103e-10, -1.4244011525832434e-10, -1.3699998080429765e-10, -1.3155984635027096e-10, -1.2611969801845646e-10, -1.2067956356442977e-10, -1.1523942911040308e-10, -1.0979929465637639e-10, -1.043591602023497e-10, -9.89190118705352e-11, -9.347887741650851e-11, -8.803873602358792e-11, -8.259860156956123e-11, -7.715846017664063e-11, -7.171832572261394e-11, -6.627819126858725e-11, -6.083805681456056e-11, -5.5397915421639965e-11, -4.995777749816632e-11, -4.451763957469268e-11, -3.907750512066599e-11, -3.363736719719235e-11, -2.8197229273718705e-11, -2.2757094819692014e-11, -1.7316956896218372e-11, -1.1876832850532537e-11, -6.436695794420633e-12, -9.965587383087282e-13, 4.443577450441438e-12, 9.88371537391508e-12, 1.5323853297388723e-11, 2.0763987751415414e-11, 2.6204125674889056e-11, 3.16442635983627e-11, 3.708440152183634e-11, 4.2524539445309983e-11, 4.7964673899336674e-11, 5.3404811822810316e-11, 5.884494974628396e-11, 6.428508420031065e-11, 6.972522559323124e-11, 7.516536004725793e-11, 8.060549450128462e-11, 8.604563589420522e-11, 9.148577034823191e-11, 9.69259117411525e-11, 1.023660461951792e-10, 1.0780618064920588e-10, 1.1324631510323258e-10, 1.1868644955725927e-10, 1.2412658401128596e-10, 1.2956671846531265e-10, 1.3500686679712715e-10, 1.4044700125115384e-10, 1.4588713570518053e-10, 1.5132727015920722e-10, 1.567674046132339e-10, 1.622075529450484e-10]}, "gradients/decoder.bert.encoder.layer.18.crossattention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.18.crossattention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.18.crossattention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.18.crossattention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.18.crossattention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.18.crossattention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.18.crossattention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.18.crossattention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.18.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 7.0, 4.0, 4.0, 6.0, 8.0, 12.0, 11.0, 12.0, 13.0, 17.0, 29.0, 43.0, 57.0, 64.0, 116.0, 200.0, 129.0, 73.0, 61.0, 46.0, 22.0, 22.0, 14.0, 13.0, 7.0, 7.0, 3.0, 7.0, 2.0, 0.0, 1.0, 0.0, 3.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.4717478971637554e-11, -1.4219736499399005e-11, -1.3721993159798718e-11, -1.322424982019843e-11, -1.2726507347959881e-11, -1.2228764875721332e-11, -1.1731021536121045e-11, -1.1233278196520757e-11, -1.0735535724282208e-11, -1.0237793252043659e-11, -9.740049912443371e-12, -9.242306572843084e-12, -8.744564100604535e-12, -8.246821628365986e-12, -7.749078288765698e-12, -7.25133538284628e-12, -6.753592476926862e-12, -6.2558495710074435e-12, -5.758106665088025e-12, -5.260363759168607e-12, -4.762620853249189e-12, -4.2648779473297704e-12, -3.767135041410352e-12, -3.269392135490934e-12, -2.7716492295715156e-12, -2.2739063236520973e-12, -1.776163417732679e-12, -1.2784205118132608e-12, -7.806776058938425e-13, -2.829346999744242e-13, 2.1480820594499406e-13, 7.125511118644123e-13, 1.2102940177838306e-12, 1.7080369237032489e-12, 2.205779829622667e-12, 2.7035227355420854e-12, 3.2012656414615037e-12, 3.699008547380922e-12, 4.19675145330034e-12, 4.6944943592197586e-12, 5.192237265139177e-12, 5.689980171058595e-12, 6.187723076978013e-12, 6.685465982897432e-12, 7.18320888881685e-12, 7.6809513610554e-12, 8.178694700655686e-12, 8.676438040255974e-12, 9.174180512494523e-12, 9.671922984733072e-12, 1.016966632433336e-11, 1.0667409663933647e-11, 1.1165152136172196e-11, 1.1662894608410745e-11, 1.2160637948011033e-11, 1.265838128761132e-11, 1.315612375984987e-11, 1.3653866232088419e-11, 1.4151609571688706e-11, 1.4649352911288993e-11, 1.5147095383527542e-11, 1.5644837855766092e-11, 1.614258032800464e-11, 1.6640324534966666e-11, 1.7138067007205215e-11]}, "gradients/decoder.bert.encoder.layer.18.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 4.0, 0.0, 2.0, 7.0, 5.0, 4.0, 5.0, 6.0, 7.0, 17.0, 13.0, 16.0, 32.0, 26.0, 29.0, 40.0, 44.0, 29.0, 33.0, 44.0, 43.0, 42.0, 53.0, 44.0, 62.0, 48.0, 39.0, 35.0, 49.0, 34.0, 26.0, 21.0, 32.0, 20.0, 16.0, 14.0, 10.0, 14.0, 8.0, 11.0, 8.0, 4.0, 6.0, 5.0, 3.0, 1.0, 2.0, 2.0, 1.0, 0.0, 0.0, 1.0, 1.0], "bins": [-9.41450476604766e-12, -9.138286481691349e-12, -8.862068197335038e-12, -8.585849045616989e-12, -8.309630761260678e-12, -8.033412476904367e-12, -7.757194192548056e-12, -7.480975908191745e-12, -7.204757190154565e-12, -6.928538905798254e-12, -6.652320187761074e-12, -6.376101903404763e-12, -6.099883619048452e-12, -5.823664901011272e-12, -5.547446616654961e-12, -5.271227898617781e-12, -4.99500961426147e-12, -4.718791329905159e-12, -4.442572611867979e-12, -4.166354327511668e-12, -3.890135609474488e-12, -3.6139173251181766e-12, -3.3376990407618656e-12, -3.06148053956512e-12, -2.7852620383683746e-12, -2.509043537171629e-12, -2.2328250359748836e-12, -1.9566067516185726e-12, -1.680388250421827e-12, -1.4041697492250815e-12, -1.1279513564485533e-12, -8.51732963672025e-13, -5.755153298370175e-13, -2.992968828503806e-13, -2.3078435863743696e-14, 2.531400111228932e-13, 5.293584581095301e-13, 8.055769593062756e-13, 1.0817953520828039e-12, 1.3580137448593321e-12, 1.6342322460560776e-12, 1.910450747252823e-12, 2.1866692484495687e-12, 2.4628875328058797e-12, 2.739106034002625e-12, 3.0153245351993707e-12, 3.2915428195556817e-12, 3.5677613207524272e-12, 3.843979821949173e-12, 4.120198106305484e-12, 4.396416824342664e-12, 4.672635108698975e-12, 4.948853826736155e-12, 5.225072111092466e-12, 5.501290395448777e-12, 5.777508679805088e-12, 6.053727397842268e-12, 6.329945682198579e-12, 6.606164400235759e-12, 6.88238268459207e-12, 7.158600968948381e-12, 7.43482012066643e-12, 7.711038405022741e-12, 7.987256689379052e-12, 8.263474973735363e-12]}, "gradients/decoder.bert.encoder.layer.18.attention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.18.attention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.18.attention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.18.attention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.18.attention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.18.attention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.18.attention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.18.attention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.17.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 3.0, 2.0, 4.0, 11.0, 6.0, 8.0, 15.0, 16.0, 24.0, 32.0, 25.0, 43.0, 44.0, 79.0, 144.0, 165.0, 100.0, 74.0, 54.0, 40.0, 28.0, 23.0, 17.0, 7.0, 8.0, 6.0, 4.0, 9.0, 6.0, 4.0, 2.0, 4.0, 1.0, 1.0, 0.0, 0.0, 2.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.7061881261755154e-12, -5.523046863603609e-12, -5.3399056010317025e-12, -5.156764338459796e-12, -4.97362307588789e-12, -4.790481379635114e-12, -4.607340550744077e-12, -4.424198854491301e-12, -4.241057591919395e-12, -4.0579163293474885e-12, -3.874775066775582e-12, -3.6916338042036756e-12, -3.5084923247913347e-12, -3.3253510622194282e-12, -3.1422097996475218e-12, -2.959068320235181e-12, -2.775927274503709e-12, -2.5927860119318025e-12, -2.409644749359896e-12, -2.226503269947555e-12, -2.0433620073756487e-12, -1.8602207448037422e-12, -1.6770794822318358e-12, -1.493938111239712e-12, -1.3107968486678057e-12, -1.1276555860958992e-12, -9.445142151037755e-13, -7.613729525318691e-13, -5.78231635749854e-13, -3.9509031896783897e-13, -2.1194905639593253e-13, -2.880768540380885e-14, 1.543335771680976e-13, 3.3747489395011265e-13, 5.206162107321277e-13, 7.037574733040342e-13, 8.868987900860492e-13, 1.0700401068680643e-12, 1.2531813694399707e-12, 1.4363227404320944e-12, 1.6194640030040008e-12, 1.8026052655759073e-12, 1.985746636568031e-12, 2.1688878991399374e-12, 2.352029161711844e-12, 2.5351704242837503e-12, 2.7183116868556567e-12, 2.9014531662679977e-12, 3.084594428839904e-12, 3.2677356914118105e-12, 3.450876953983717e-12, 3.634018433396058e-12, 3.817159695967964e-12, 4.000300958539871e-12, 4.183442221111777e-12, 4.366583483683684e-12, 4.54972474625559e-12, 4.7328660088274965e-12, 4.916007271399403e-12, 5.0991485339713094e-12, 5.282289796543216e-12, 5.465431059115122e-12, 5.648572755367898e-12, 5.831714017939804e-12, 6.0148552805117106e-12]}, "gradients/decoder.bert.encoder.layer.17.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 3.0, 3.0, 3.0, 4.0, 6.0, 1.0, 7.0, 6.0, 6.0, 13.0, 16.0, 19.0, 27.0, 26.0, 30.0, 35.0, 53.0, 29.0, 30.0, 48.0, 40.0, 48.0, 41.0, 52.0, 53.0, 53.0, 42.0, 38.0, 45.0, 35.0, 30.0, 19.0, 34.0, 18.0, 21.0, 10.0, 9.0, 16.0, 8.0, 10.0, 7.0, 4.0, 4.0, 5.0, 4.0, 2.0, 1.0, 2.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-3.8276244153367944e-12, -3.715490155126178e-12, -3.6033561117559954e-12, -3.491222068385813e-12, -3.3790878081751963e-12, -3.266953764805014e-12, -3.1548197214348317e-12, -3.042685461224215e-12, -2.9305514178540326e-12, -2.8184173744838503e-12, -2.7062831142732335e-12, -2.5941490709030512e-12, -2.4820148106924345e-12, -2.369880767322252e-12, -2.2577465071116354e-12, -2.145612463741453e-12, -2.033478420371271e-12, -1.9213443770010885e-12, -1.8092101167904717e-12, -1.6970760734202894e-12, -1.5849419216298899e-12, -1.4728077698394904e-12, -1.3606736180490908e-12, -1.2485394662586913e-12, -1.1364052060480745e-12, -1.024271054257675e-12, -9.121369024672754e-13, -8.000028048869845e-13, -6.878687073066936e-13, -5.75734555516294e-13, -4.636004037258945e-13, -3.514663061456036e-13, -2.393322085653127e-13, -1.2719808387996745e-13, -1.5063945642095067e-14, 9.707019259577732e-14, 2.0920431728112254e-13, 3.2133844196646777e-13, 4.334725937568673e-13, 5.456066913371582e-13, 6.577408431275578e-13, 7.698749949179573e-13, 8.820090924982482e-13, 9.941432442886478e-13, 1.1062773960790473e-12, 1.2184114394492296e-12, 1.3305456996598464e-12, 1.4426797430300287e-12, 1.5548138948204282e-12, 1.6669480466108277e-12, 1.7790821984012273e-12, 1.891216350191627e-12, 2.003350393561809e-12, 2.1154844369319914e-12, 2.227618697142608e-12, 2.3397527405127905e-12, 2.4518870007234073e-12, 2.5640210440935896e-12, 2.6761553043042063e-12, 2.7882893476743886e-12, 2.9004236078850054e-12, 3.0125576512551877e-12, 3.1246919114658045e-12, 3.2368259548359868e-12, 3.348959998206169e-12]}, "gradients/decoder.bert.encoder.layer.17.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.17.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.17.intermediate.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.17.intermediate.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.17.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 2.0, 1.0, 1.0, 1.0, 2.0, 3.0, 5.0, 3.0, 5.0, 12.0, 7.0, 16.0, 12.0, 14.0, 17.0, 28.0, 44.0, 43.0, 87.0, 121.0, 192.0, 102.0, 79.0, 51.0, 43.0, 25.0, 17.0, 16.0, 11.0, 12.0, 11.0, 7.0, 5.0, 3.0, 2.0, 3.0, 1.0, 0.0, 2.0, 1.0, 4.0, 0.0, 0.0, 1.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-6.20989587876708e-13, -5.998799005278721e-13, -5.787702131790362e-13, -5.576605258302003e-13, -5.365508384813644e-13, -5.154411511325285e-13, -4.943314637836926e-13, -4.732217764348567e-13, -4.5211208908602085e-13, -4.3100240173718496e-13, -4.0989271438834907e-13, -3.8878302703951317e-13, -3.676733396906773e-13, -3.465636523418414e-13, -3.254539649930055e-13, -3.043442776441696e-13, -2.832345902953337e-13, -2.621249029464978e-13, -2.410152155976619e-13, -2.1990552824882603e-13, -1.9879584089999014e-13, -1.7768615355115425e-13, -1.5657646620231835e-13, -1.3546677885348246e-13, -1.1435709150464657e-13, -9.324740415581068e-14, -7.213771680697478e-14, -5.102802945813889e-14, -2.9918342109303e-14, -8.808654760467105e-15, 1.2301032588368788e-14, 3.341071993720468e-14, 5.452040728604057e-14, 7.563009463487647e-14, 9.673978198371236e-14, 1.1784946933254825e-13, 1.3895915668138414e-13, 1.6006884403022004e-13, 1.8117853137905593e-13, 2.0228821872789182e-13, 2.2339790607672771e-13, 2.445075934255636e-13, 2.656172807743995e-13, 2.867269681232354e-13, 3.078366554720713e-13, 3.289463428209072e-13, 3.5005603016974307e-13, 3.7116571751857896e-13, 3.9227540486741486e-13, 4.1338509221625075e-13, 4.3449477956508664e-13, 4.556044669139225e-13, 4.767141542627584e-13, 4.978238416115943e-13, 5.189335289604302e-13, 5.400432163092661e-13, 5.61152903658102e-13, 5.822625910069379e-13, 6.033722783557738e-13, 6.244819657046097e-13, 6.455916530534456e-13, 6.667013404022815e-13, 6.878110277511174e-13, 7.089207150999532e-13, 7.300304024487891e-13]}, "gradients/decoder.bert.encoder.layer.17.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 5.0, 1.0, 2.0, 7.0, 5.0, 3.0, 7.0, 4.0, 9.0, 12.0, 17.0, 22.0, 26.0, 25.0, 37.0, 39.0, 42.0, 29.0, 34.0, 42.0, 42.0, 47.0, 47.0, 53.0, 49.0, 55.0, 40.0, 31.0, 51.0, 38.0, 23.0, 21.0, 32.0, 20.0, 17.0, 10.0, 14.0, 11.0, 8.0, 10.0, 8.0, 2.0, 6.0, 5.0, 3.0, 2.0, 1.0, 2.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-4.4159465038655366e-13, -4.285891845416667e-13, -4.155836915917255e-13, -4.0257822574683855e-13, -3.895727327968973e-13, -3.7656726695201037e-13, -3.6356177400206913e-13, -3.505563081571822e-13, -3.3755084231229526e-13, -3.2454537646740833e-13, -3.115398835174671e-13, -2.9853441767258015e-13, -2.855289247226389e-13, -2.72523458877752e-13, -2.5951799303286505e-13, -2.465125000829238e-13, -2.3350700713298256e-13, -2.2050152773556847e-13, -2.0749604833815438e-13, -1.9449058249326745e-13, -1.814850895433262e-13, -1.6847962369843927e-13, -1.5547414430102519e-13, -1.424686649036111e-13, -1.29463185506197e-13, -1.1645770610878292e-13, -1.0345222671136883e-13, -9.044675409021832e-14, -7.744127469280424e-14, -6.443579529539015e-14, -5.143032267423964e-14, -3.842484327682555e-14, -2.5419390984465773e-14, -1.241391328111758e-14, 5.915644222306143e-16, 1.3597040431512913e-14, 2.6602519828927e-14, 3.960799922634109e-14, 5.26134718474916e-14, 6.561895124490569e-14, 7.862443064231978e-14, 9.162991003973386e-14, 1.0463538943714795e-13, 1.1764086883456204e-13, 1.3064633467944897e-13, 1.4365182762939022e-13, 1.5665729347427715e-13, 1.6966277287169124e-13, 1.8266825226910532e-13, 1.9567373166651941e-13, 2.086792110639335e-13, 2.2168467690882043e-13, 2.346901698587617e-13, 2.476956357036486e-13, 2.6070112865358985e-13, 2.737065944984768e-13, 2.867120603433637e-13, 2.9971752618825065e-13, 3.127230191381919e-13, 3.2572848498307883e-13, 3.3873397793302007e-13, 3.51739443777907e-13, 3.6474490962279393e-13, 3.777504025727352e-13, 3.907558955226764e-13]}, "gradients/decoder.bert.encoder.layer.17.crossattention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.17.crossattention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.17.crossattention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.17.crossattention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.17.crossattention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.17.crossattention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.17.crossattention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.17.crossattention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.17.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 5.0, 5.0, 4.0, 6.0, 7.0, 8.0, 10.0, 14.0, 17.0, 28.0, 26.0, 35.0, 50.0, 60.0, 98.0, 177.0, 146.0, 78.0, 72.0, 41.0, 35.0, 20.0, 21.0, 8.0, 14.0, 9.0, 3.0, 0.0, 6.0, 4.0, 4.0, 2.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.313169034372017e-14, -3.1940335115275206e-14, -3.074898327496203e-14, -2.955762804651707e-14, -2.8366274512138002e-14, -2.7174920977758935e-14, -2.5983565749313972e-14, -2.4792212214934904e-14, -2.3600858680555836e-14, -2.2409505146176768e-14, -2.12181516117977e-14, -2.0026796383352738e-14, -1.883544284897367e-14, -1.7644089314594602e-14, -1.645273408614964e-14, -1.5261380551770572e-14, -1.4070027017391504e-14, -1.2878673483012436e-14, -1.168731910160042e-14, -1.0495964720188405e-14, -9.304611185809337e-15, -8.11325765143027e-15, -6.921903270018254e-15, -5.730548888606239e-15, -4.539195354227171e-15, -3.3478413963316297e-15, -2.156487438436088e-15, -9.651334805405466e-16, 2.26220477354995e-16, 1.4175744352505366e-15, 2.608928393146078e-15, 3.800282774558093e-15, 4.991632920805372e-15, 6.182986878700914e-15, 7.374340836596455e-15, 8.56569521800847e-15, 9.757048752387538e-15, 1.0948402286766606e-14, 1.2139756668178622e-14, 1.3331111049590637e-14, 1.4522464583969705e-14, 1.5713818118348773e-14, 1.690517165272784e-14, 1.8096526881172803e-14, 1.928788041555187e-14, 2.047923394993094e-14, 2.16705891783759e-14, 2.286194271275497e-14, 2.4053296247134037e-14, 2.5244649781513105e-14, 2.6436003315892173e-14, 2.7627358544337136e-14, 2.881871038465031e-14, 3.001006561309527e-14, 3.1201420841540234e-14, 3.2392776069985196e-14, 3.358412791029837e-14, 3.477548313874333e-14, 3.5966834979056506e-14, 3.715819020750147e-14, 3.834954543594643e-14, 3.9540897276259604e-14, 4.0732252504704566e-14, 4.192360434501774e-14, 4.31149595734627e-14]}, "gradients/decoder.bert.encoder.layer.17.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 5.0, 1.0, 4.0, 6.0, 2.0, 7.0, 5.0, 6.0, 8.0, 11.0, 18.0, 25.0, 23.0, 26.0, 36.0, 41.0, 42.0, 30.0, 35.0, 41.0, 39.0, 51.0, 45.0, 53.0, 46.0, 56.0, 43.0, 30.0, 49.0, 39.0, 19.0, 27.0, 29.0, 17.0, 19.0, 10.0, 14.0, 11.0, 9.0, 8.0, 8.0, 4.0, 5.0, 5.0, 3.0, 2.0, 1.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-2.3434018600935157e-14, -2.2742402646974864e-14, -2.2050784998948678e-14, -2.1359169044988385e-14, -2.0667553091028093e-14, -1.99759371370678e-14, -1.9284319489041614e-14, -1.8592703535081322e-14, -1.790108758112103e-14, -1.7209471627160737e-14, -1.651785397913455e-14, -1.5826238025174258e-14, -1.5134622071213966e-14, -1.4443006117253673e-14, -1.3751388469227487e-14, -1.3059772515267194e-14, -1.2368155714273955e-14, -1.1676538913280715e-14, -1.0984922959320423e-14, -1.0293306158327183e-14, -9.601690204366891e-15, -8.910073403373651e-15, -8.218457449413359e-15, -7.52684064842012e-15, -6.835224270943354e-15, -6.143607893466588e-15, -5.451991515989822e-15, -4.760375138513056e-15, -4.068758337519816e-15, -3.3771421718012873e-15, -2.6855255825662845e-15, -1.9939092050895186e-15, -1.3022928276127527e-15, -6.106763971964275e-16, 8.094003321989758e-17, 7.725565165757819e-16, 1.4641728940525478e-15, 2.1557892715293138e-15, 2.8474058607643165e-15, 3.5390222382410824e-15, 4.230638615717848e-15, 4.922254993194614e-15, 5.61387137067138e-15, 6.305487748148146e-15, 6.997104549141386e-15, 7.688720503101678e-15, 8.380337304094918e-15, 9.07195325805521e-15, 9.76357005904845e-15, 1.0455186860041689e-14, 1.1146802814001981e-14, 1.183841961499522e-14, 1.2530035568955513e-14, 1.3221652369948753e-14, 1.3913268323909045e-14, 1.4604884277869337e-14, 1.5296501925895524e-14, 1.5988117879855816e-14, 1.6679735527882003e-14, 1.7371351481842295e-14, 1.8062967435802588e-14, 1.875458338976288e-14, 1.9446201037789067e-14, 2.013781699174936e-14, 2.082943294570965e-14]}, "gradients/decoder.bert.encoder.layer.17.attention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.17.attention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.17.attention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.17.attention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.17.attention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.17.attention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.17.attention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.17.attention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.16.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 4.0, 2.0, 2.0, 7.0, 6.0, 11.0, 18.0, 14.0, 16.0, 23.0, 15.0, 31.0, 37.0, 38.0, 48.0, 87.0, 160.0, 156.0, 86.0, 68.0, 38.0, 28.0, 22.0, 21.0, 18.0, 14.0, 9.0, 5.0, 8.0, 5.0, 3.0, 3.0, 1.0, 4.0, 2.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0], "bins": [-1.2175404049763819e-14, -1.1825421894419604e-14, -1.1475438892042441e-14, -1.1125456736698226e-14, -1.077547458135401e-14, -1.0425491578976848e-14, -1.0075509423632632e-14, -9.725527268288417e-15, -9.375545112944202e-15, -9.025562957599986e-15, -8.675579955222824e-15, -8.325597799878608e-15, -7.975615644534393e-15, -7.62563264215723e-15, -7.275650486813015e-15, -6.9256683314688e-15, -6.575685329091637e-15, -6.225702750230948e-15, -5.875720594886733e-15, -5.525738016026044e-15, -5.1757558606818285e-15, -4.8257732818211396e-15, -4.4757907029604506e-15, -4.125808547616235e-15, -3.775825968755546e-15, -3.425843601653094e-15, -3.075861234550642e-15, -2.725878655689953e-15, -2.375896288587501e-15, -2.0259139214850487e-15, -1.6759313426243597e-15, -1.3259489755219076e-15, -9.759657613865082e-16, -6.259833413444968e-16, -2.7600092130248546e-16, 7.39815516790851e-17, 4.2396391878153725e-16, 7.739462858839894e-16, 1.1239288647446784e-15, 1.4739112318471305e-15, 1.8238935989495827e-15, 2.173875966052035e-15, 2.523858333154487e-15, 2.873840912015176e-15, 3.223823279117628e-15, 3.57380564622008e-15, 3.923788225080769e-15, 4.273770803941458e-15, 4.6237529592856735e-15, 4.9737355381463625e-15, 5.323717693490578e-15, 5.673700272351267e-15, 6.023682427695482e-15, 6.373665006556171e-15, 6.72364758541686e-15, 7.0736297407610754e-15, 7.42361189610529e-15, 7.773594051449506e-15, 8.123577053826669e-15, 8.473559209170884e-15, 8.8235413645151e-15, 9.173524366892262e-15, 9.523506522236477e-15, 9.873488677580693e-15, 1.0223471679957855e-14]}, "gradients/decoder.bert.encoder.layer.16.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 5.0, 0.0, 4.0, 2.0, 6.0, 3.0, 9.0, 5.0, 7.0, 14.0, 15.0, 24.0, 27.0, 24.0, 34.0, 42.0, 40.0, 32.0, 39.0, 42.0, 43.0, 44.0, 43.0, 59.0, 48.0, 51.0, 41.0, 34.0, 46.0, 45.0, 16.0, 28.0, 31.0, 16.0, 19.0, 8.0, 10.0, 15.0, 8.0, 8.0, 7.0, 6.0, 3.0, 5.0, 2.0, 3.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-7.74958913772432e-15, -7.520811467901563e-15, -7.292033798078808e-15, -7.063255281223105e-15, -6.834477611400349e-15, -6.605699941577593e-15, -6.376921848238364e-15, -6.1481437548991345e-15, -5.919366085076379e-15, -5.690588415253623e-15, -5.461810321914394e-15, -5.233032228575164e-15, -5.0042545587524086e-15, -4.775476888929653e-15, -4.5466987955904235e-15, -4.317920702251194e-15, -4.089143032428438e-15, -3.860365362605683e-15, -3.631587269266453e-15, -3.4028093876854607e-15, -3.174031506104468e-15, -2.9452536245234756e-15, -2.716475742942483e-15, -2.4876978613614905e-15, -2.258919979780498e-15, -2.0301420981995054e-15, -1.8013642166185128e-15, -1.5725863350375202e-15, -1.3438084534565277e-15, -1.1150305718755351e-15, -8.862526902945426e-16, -6.5747480871355e-16, -4.286973506490311e-16, -1.9991946906803854e-16, 2.885841251295401e-17, 2.5763629409394657e-16, 4.864141756749391e-16, 7.151920572559317e-16, 9.439699388369242e-16, 1.1727478204179168e-15, 1.4015257019989093e-15, 1.6303035835799019e-15, 1.8590814651608945e-15, 2.087859346741887e-15, 2.3166372283228796e-15, 2.545415109903872e-15, 2.7741929914848647e-15, 3.0029708730658572e-15, 3.2317487546468498e-15, 3.4605266362278423e-15, 3.689304517808835e-15, 3.918082187631591e-15, 4.14686028097082e-15, 4.375638374310049e-15, 4.604416044132805e-15, 4.833193713955561e-15, 5.06197180729479e-15, 5.2907499006340196e-15, 5.519527570456775e-15, 5.748305240279531e-15, 5.9770833336187604e-15, 6.20586142695799e-15, 6.4346390967807456e-15, 6.663416766603501e-15, 6.892194859942731e-15]}, "gradients/decoder.bert.encoder.layer.16.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.16.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.16.intermediate.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.16.intermediate.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.16.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 2.0, 3.0, 2.0, 5.0, 3.0, 4.0, 12.0, 11.0, 20.0, 23.0, 34.0, 30.0, 39.0, 72.0, 112.0, 160.0, 138.0, 86.0, 51.0, 53.0, 32.0, 20.0, 22.0, 14.0, 14.0, 13.0, 14.0, 6.0, 4.0, 2.0, 3.0, 0.0, 4.0, 2.0, 1.0, 2.0, 0.0, 0.0, 1.0, 2.0], "bins": [-2.4653694375971567e-15, -2.4033340150896726e-15, -2.3412988043404253e-15, -2.2792633818329413e-15, -2.217227959325457e-15, -2.155192536817973e-15, -2.093157326068726e-15, -2.0311219035612418e-15, -1.9690864810537577e-15, -1.9070510585462736e-15, -1.8450158477970264e-15, -1.7829804252895423e-15, -1.7209450027820582e-15, -1.6589096861536925e-15, -1.5968743695253269e-15, -1.5348389470178428e-15, -1.4728036303894771e-15, -1.4107683137611115e-15, -1.3487328912536274e-15, -1.2866975746252617e-15, -1.2246621521177776e-15, -1.162626835489412e-15, -1.1005914129819279e-15, -1.0385560963535622e-15, -9.765207797251966e-16, -9.144854630968309e-16, -8.524500405893468e-16, -7.904147239609811e-16, -7.283793014534971e-16, -6.663439848251314e-16, -6.043086152572065e-16, -5.422732456892817e-16, -4.80237929060916e-16, -4.182025594929911e-16, -3.5616718992506624e-16, -2.9413184682692097e-16, -2.320964772589961e-16, -1.7006110769107123e-16, -1.0802576459292596e-16, -4.5990395025001084e-17, 1.6044974542923788e-17, 7.808033749340376e-17, 1.4011570044388373e-16, 2.021510567769188e-16, 2.6418642634484367e-16, 3.2622179591276855e-16, 3.882571390109138e-16, 4.502925085788387e-16, 5.123278781467636e-16, 5.743632477146884e-16, 6.363986172826133e-16, 6.98433933910979e-16, 7.60469356418463e-16, 8.225046730468287e-16, 8.845400426147536e-16, 9.465754121826785e-16, 1.0086108346901625e-15, 1.0706461513185282e-15, 1.1326815738260123e-15, 1.194716890454378e-15, 1.256752312961862e-15, 1.3187876295902277e-15, 1.3808229462185934e-15, 1.4428583687260774e-15, 1.5048936853544431e-15]}, "gradients/decoder.bert.encoder.layer.16.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 4.0, 3.0, 2.0, 4.0, 2.0, 6.0, 4.0, 7.0, 5.0, 7.0, 13.0, 14.0, 26.0, 24.0, 25.0, 33.0, 43.0, 41.0, 35.0, 36.0, 47.0, 36.0, 55.0, 41.0, 57.0, 45.0, 55.0, 38.0, 42.0, 43.0, 42.0, 18.0, 27.0, 29.0, 18.0, 17.0, 7.0, 15.0, 10.0, 9.0, 8.0, 6.0, 6.0, 5.0, 2.0, 3.0, 3.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.3020407294318261e-15, -1.2635585403304055e-15, -1.225076351228985e-15, -1.1865942680066828e-15, -1.1481120789052623e-15, -1.1096298898038417e-15, -1.0711477007024212e-15, -1.0326655116010006e-15, -9.9418332249958e-16, -9.557011333981595e-16, -9.17218944296739e-16, -8.787368081348776e-16, -8.402546719730162e-16, -8.017724828715956e-16, -7.632902937701751e-16, -7.248081046687545e-16, -6.863260214464524e-16, -6.478438323450318e-16, -6.093616961831705e-16, -5.708795070817499e-16, -5.323973709198885e-16, -4.93915181818468e-16, -4.554329927170474e-16, -4.1695083008540647e-16, -3.784686674537655e-16, -3.3998650482212455e-16, -3.015043421904836e-16, -2.6302215308906304e-16, -2.245399904574221e-16, -1.8605782782578112e-16, -1.4757563872436056e-16, -1.090934760927196e-16, -7.061131346107865e-17, -3.212914421199279e-17, 6.35302503709307e-18, 4.483520090362383e-17, 8.331736353526479e-17, 1.2179952616690574e-16, 1.602817152683263e-16, 1.9876387789996726e-16, 2.372460405316082e-16, 2.757282031632492e-16, 3.1421036579489013e-16, 3.526925548963107e-16, 3.9117471752795165e-16, 4.296568801595926e-16, 4.681390692610132e-16, 5.066212054228745e-16, 5.451033945242951e-16, 5.835855836257156e-16, 6.22067719787577e-16, 6.605499088889976e-16, 6.990320450508589e-16, 7.375142341522795e-16, 7.759964232537e-16, 8.144786123551206e-16, 8.5296074851698195e-16, 8.914428846788433e-16, 9.299250737802639e-16, 9.684072628816844e-16, 1.006889451983105e-15, 1.0453716410845255e-15, 1.0838538301859461e-15, 1.1223359134082483e-15, 1.1608181025096688e-15]}, "gradients/decoder.bert.encoder.layer.16.crossattention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.16.crossattention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.16.crossattention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.16.crossattention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.16.crossattention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.16.crossattention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.16.crossattention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.16.crossattention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.16.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 6.0, 4.0, 7.0, 5.0, 6.0, 5.0, 2.0, 10.0, 8.0, 10.0, 10.0, 16.0, 21.0, 23.0, 22.0, 31.0, 44.0, 44.0, 80.0, 134.0, 141.0, 78.0, 64.0, 54.0, 32.0, 32.0, 26.0, 23.0, 12.0, 10.0, 11.0, 2.0, 12.0, 5.0, 3.0, 4.0, 2.0, 4.0, 1.0, 1.0, 3.0, 0.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 2.0], "bins": [-8.915869464543255e-17, -8.654009890644079e-17, -8.392150978489392e-17, -8.130291404590215e-17, -7.868431830691038e-17, -7.606572256791861e-17, -7.344712682892684e-17, -7.082853770737997e-17, -6.82099419683882e-17, -6.559134622939643e-17, -6.297275710784956e-17, -6.03541613688578e-17, -5.773556562986603e-17, -5.511696989087426e-17, -5.249837746060494e-17, -4.987978503033562e-17, -4.726118929134385e-17, -4.464259355235208e-17, -4.202400112208276e-17, -3.9405408691813444e-17, -3.6786812952821675e-17, -3.4168217213829906e-17, -3.1549624783560587e-17, -2.893103235329127e-17, -2.63124366142995e-17, -2.3693842529668955e-17, -2.107524844503841e-17, -1.8456654360407867e-17, -1.5838060275777323e-17, -1.3219466191146779e-17, -1.0600872106516235e-17, -7.982278021885691e-18, -5.363677319810247e-18, -2.7450832351797027e-18, -1.2648915054915878e-19, 2.492104934081385e-18, 5.110699018711929e-18, 7.729293103342473e-18, 1.0347887187973017e-17, 1.2966481272603561e-17, 1.5585075357234105e-17, 1.820366944186465e-17, 2.0822263526495193e-17, 2.3440857611125737e-17, 2.605945169575628e-17, 2.867804743474805e-17, 3.129663986501737e-17, 3.391523229528669e-17, 3.6533828034278457e-17, 3.9152423773270226e-17, 4.1771016203539545e-17, 4.4389608633808864e-17, 4.700820437280063e-17, 4.96268001117924e-17, 5.224539254206172e-17, 5.486398497233104e-17, 5.748258071132281e-17, 6.010117645031458e-17, 6.271977218930635e-17, 6.533836131085322e-17, 6.795695704984498e-17, 7.057555278883675e-17, 7.319414191038362e-17, 7.581273764937539e-17, 7.843133338836716e-17]}, "gradients/decoder.bert.encoder.layer.16.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 4.0, 4.0, 1.0, 5.0, 2.0, 6.0, 3.0, 8.0, 7.0, 9.0, 13.0, 14.0, 24.0, 25.0, 26.0, 30.0, 44.0, 39.0, 35.0, 41.0, 42.0, 40.0, 54.0, 40.0, 50.0, 56.0, 49.0, 41.0, 38.0, 45.0, 35.0, 25.0, 28.0, 29.0, 10.0, 19.0, 9.0, 15.0, 9.0, 9.0, 10.0, 8.0, 3.0, 3.0, 6.0, 3.0, 1.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-7.057424915219137e-17, -6.848418873739648e-17, -6.63941217051567e-17, -6.430405467291691e-17, -6.221399425812202e-17, -6.012393384332714e-17, -5.803386681108735e-17, -5.594379977884756e-17, -5.3853739364052676e-17, -5.176367564053534e-17, -4.9673611917018e-17, -4.7583548193500666e-17, -4.549348446998333e-17, -4.340342074646599e-17, -4.1313357022948656e-17, -3.922329329943132e-17, -3.713322957591398e-17, -3.5043165852396646e-17, -3.295310212887931e-17, -3.086303840536197e-17, -2.8772974681844635e-17, -2.66829109583273e-17, -2.4592847234809962e-17, -2.2502783511292625e-17, -2.041271978777529e-17, -1.8322656064257952e-17, -1.6232592340740615e-17, -1.4142528617223278e-17, -1.2052464893705942e-17, -9.962401170188605e-18, -7.872337446671268e-18, -5.7822737231539315e-18, -3.692203382191694e-18, -1.6021396586743576e-18, 4.879240648429791e-19, 2.577987788360316e-18, 4.6680515118776526e-18, 6.758115235394989e-18, 8.848178958912326e-18, 1.0938242682429663e-17, 1.3028306405947e-17, 1.5118370129464336e-17, 1.7208433852981673e-17, 1.929849757649901e-17, 2.1388561300016346e-17, 2.3478625023533683e-17, 2.556868874705102e-17, 2.7658752470568357e-17, 2.9748816194085693e-17, 3.183887991760303e-17, 3.3928943641120367e-17, 3.6019007364637703e-17, 3.810907108815504e-17, 4.0199134811672377e-17, 4.2289198535189714e-17, 4.437926225870705e-17, 4.646932598222439e-17, 4.8559389705741724e-17, 5.064945342925906e-17, 5.27395171527764e-17, 5.4829580876293734e-17, 5.691964790853352e-17, 5.900970832332841e-17, 6.10997687381233e-17, 6.318983577036308e-17]}, "gradients/decoder.bert.encoder.layer.16.attention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.16.attention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.16.attention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.16.attention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.16.attention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.16.attention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.16.attention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.16.attention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.15.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 1.0, 3.0, 4.0, 3.0, 6.0, 5.0, 4.0, 11.0, 19.0, 5.0, 15.0, 18.0, 30.0, 50.0, 46.0, 45.0, 63.0, 148.0, 156.0, 88.0, 69.0, 51.0, 29.0, 28.0, 27.0, 23.0, 19.0, 17.0, 8.0, 7.0, 3.0, 3.0, 4.0, 3.0, 2.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.0863078110031375e-17, -2.9807327641895244e-17, -2.8751577173759114e-17, -2.7695825051261758e-17, -2.6640074583125628e-17, -2.5584324114989497e-17, -2.452857199249214e-17, -2.347282152435601e-17, -2.241707105621988e-17, -2.136132058808375e-17, -2.030557011994762e-17, -1.9249817997450264e-17, -1.8194067529314133e-17, -1.7138317061178003e-17, -1.6082564938680647e-17, -1.5026814470544517e-17, -1.3971064002408386e-17, -1.2915313534272256e-17, -1.1859562238955513e-17, -1.080381094363877e-17, -9.74806047550264e-18, -8.692310007366509e-18, -7.636558712049766e-18, -6.580807416733023e-18, -5.525056948596892e-18, -4.4693060668704554e-18, -3.4135551851440187e-18, -2.357804303417582e-18, -1.3020534216911451e-18, -2.4630253996470835e-19, 8.094483417617284e-19, 1.8651996370784715e-18, 2.920953413937052e-18, 3.976704295663489e-18, 5.032455177389926e-18, 6.0882060591163625e-18, 7.1439569408428e-18, 8.19970740897893e-18, 9.255458704295673e-18, 1.0311209999612416e-17, 1.1366960467748546e-17, 1.2422710935884677e-17, 1.347846223120142e-17, 1.4534213526518163e-17, 1.5589963994654293e-17, 1.6645714462790424e-17, 1.770146658528778e-17, 1.875721705342391e-17, 1.981296752156004e-17, 2.086871798969617e-17, 2.19244684578323e-17, 2.2980220580329657e-17, 2.4035971048465788e-17, 2.5091721516601918e-17, 2.6147473639099274e-17, 2.7203224107235404e-17, 2.8258974575371535e-17, 2.9314725043507665e-17, 3.0370475511643796e-17, 3.1426225979779926e-17, 3.2481979756638507e-17, 3.353773022477464e-17, 3.459348069291077e-17, 3.56492311610469e-17, 3.670498162918303e-17]}, "gradients/decoder.bert.encoder.layer.15.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 5.0, 1.0, 4.0, 1.0, 8.0, 2.0, 8.0, 6.0, 9.0, 11.0, 18.0, 16.0, 29.0, 28.0, 30.0, 44.0, 38.0, 39.0, 43.0, 39.0, 39.0, 52.0, 47.0, 48.0, 56.0, 49.0, 44.0, 35.0, 46.0, 37.0, 25.0, 24.0, 30.0, 16.0, 13.0, 8.0, 17.0, 8.0, 11.0, 9.0, 6.0, 3.0, 3.0, 5.0, 4.0, 0.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.372720603249567e-17, -2.302368561279687e-17, -2.2320166847459293e-17, -2.1616646427760493e-17, -2.0913127662422918e-17, -2.0209607242724118e-17, -1.9506086823025317e-17, -1.8802568057687742e-17, -1.8099047637988942e-17, -1.7395527218290142e-17, -1.6692008452952567e-17, -1.5988488033253766e-17, -1.528496926791619e-17, -1.458144884821739e-17, -1.3877930082879816e-17, -1.3174409663181016e-17, -1.2470890070662828e-17, -1.176737047814464e-17, -1.1063850885626453e-17, -1.0360331293108265e-17, -9.656810873409465e-18, -8.953291280891277e-18, -8.249771688373089e-18, -7.546251268674289e-18, -6.8427320897464075e-18, -6.13921249722822e-18, -5.435692491119726e-18, -4.732172898601538e-18, -4.0286533060833505e-18, -3.3251332999748565e-18, -2.6216137074566688e-18, -1.918093701348175e-18, -1.2145741088299871e-18, -5.110543612154346e-19, 1.9246538639911797e-19, 8.959850823148822e-19, 1.599504881628223e-18, 2.303024680941564e-18, 3.0065442734597516e-18, 3.7100642795682456e-18, 4.413583872086433e-18, 5.117103464604621e-18, 5.820623470713115e-18, 6.524143063231303e-18, 7.22766265574949e-18, 7.93118307544829e-18, 8.634701840785866e-18, 9.338222260484666e-18, 1.0041741853002854e-17, 1.0745261445521041e-17, 1.1448781038039229e-17, 1.2152300630557417e-17, 1.2855821050256217e-17, 1.3559340642774405e-17, 1.4262860235292592e-17, 1.4966380654991393e-17, 1.5669899420328968e-17, 1.6373419840027768e-17, 1.7076938605365343e-17, 1.7780459025064143e-17, 1.848397779040172e-17, 1.918749821010052e-17, 1.9891016975438094e-17, 2.0594537395136894e-17, 2.1298057814835694e-17]}, "gradients/decoder.bert.encoder.layer.15.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.15.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.15.intermediate.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.15.intermediate.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.15.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 3.0, 3.0, 9.0, 2.0, 5.0, 6.0, 7.0, 13.0, 14.0, 21.0, 26.0, 27.0, 32.0, 50.0, 69.0, 90.0, 193.0, 126.0, 62.0, 59.0, 45.0, 34.0, 24.0, 23.0, 20.0, 11.0, 8.0, 10.0, 1.0, 2.0, 6.0, 3.0, 3.0, 3.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-5.240513021733245e-18, -5.027823379549935e-18, -4.815133323776319e-18, -4.602443681593009e-18, -4.389754039409699e-18, -4.1770643972263896e-18, -3.96437475504308e-18, -3.751684699269464e-18, -3.538995057086154e-18, -3.326305414902844e-18, -3.1136155659243812e-18, -2.9009257169459183e-18, -2.6882360747626085e-18, -2.4755464325792987e-18, -2.2628565836008357e-18, -2.050166734622373e-18, -1.837477092439063e-18, -1.6247873468581767e-18, -1.4120976012772903e-18, -1.199407855696404e-18, -9.867181101155176e-19, -7.740283645346312e-19, -5.613386189537448e-19, -3.486488733728585e-19, -1.3595912779197212e-19, 7.673061778891425e-20, 2.894203633698006e-19, 5.02110108950687e-19, 7.147998545315733e-19, 9.274896001124597e-19, 1.140179345693346e-18, 1.3528690912742324e-18, 1.5655584232648125e-18, 1.7782480654481223e-18, 1.9909379144265852e-18, 2.203627763405048e-18, 2.416317405588358e-18, 2.6290070477716678e-18, 2.8416968967501307e-18, 3.0543867457285936e-18, 3.2670763879119034e-18, 3.479766030095213e-18, 3.692455672278523e-18, 3.905145728052139e-18, 4.117835370235449e-18, 4.330525012418759e-18, 4.543215068192375e-18, 4.7559047103756845e-18, 4.968594352558994e-18, 5.181283994742304e-18, 5.393973636925614e-18, 5.60666369269923e-18, 5.81935333488254e-18, 6.0320429770658496e-18, 6.244733032839466e-18, 6.4574226750227754e-18, 6.670112317206085e-18, 6.882801959389395e-18, 7.095491601572705e-18, 7.308181243756015e-18, 7.520871713119937e-18, 7.733561355303247e-18, 7.946250997486557e-18, 8.158940639669866e-18, 8.371630281853176e-18]}, "gradients/decoder.bert.encoder.layer.15.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 3.0, 4.0, 1.0, 4.0, 3.0, 6.0, 4.0, 7.0, 6.0, 8.0, 20.0, 12.0, 23.0, 26.0, 32.0, 31.0, 49.0, 33.0, 35.0, 49.0, 39.0, 45.0, 50.0, 50.0, 50.0, 41.0, 62.0, 37.0, 42.0, 34.0, 38.0, 28.0, 25.0, 20.0, 20.0, 10.0, 11.0, 10.0, 12.0, 10.0, 8.0, 4.0, 4.0, 5.0, 3.0, 2.0, 2.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.45116351449533e-18, -4.31782779001607e-18, -4.184491651946503e-18, -4.051155927467243e-18, -3.917820202987983e-18, -3.784484064918416e-18, -3.651148340439156e-18, -3.51781220236959e-18, -3.3844764778903295e-18, -3.2511405466159162e-18, -3.117804615341503e-18, -2.9844688908622427e-18, -2.8511329595878294e-18, -2.717797028313416e-18, -2.584461303834156e-18, -2.4511253725597425e-18, -2.317789441285329e-18, -2.184453510010916e-18, -2.0511175787365025e-18, -1.9177818542572423e-18, -1.784445922982829e-18, -1.6511099917084157e-18, -1.517774163831579e-18, -1.3844383359547422e-18, -1.2511024046803288e-18, -1.1177664734059155e-18, -9.844306455290787e-19, -8.510947659534537e-19, -7.177588863778287e-19, -5.844230068022036e-19, -4.510871272265786e-19, -3.177512993497418e-19, -1.844149544850222e-19, -5.107907490939716e-20, 8.225680466622789e-20, 2.1559268424185293e-19, 3.4892856381747797e-19, 4.82264443393103e-19, 6.156003229687281e-19, 7.489361508455648e-19, 8.822720821199781e-19, 1.0156080133943915e-18, 1.1489438412712282e-18, 1.282279669148065e-18, 1.4156156004224783e-18, 1.5489515316968917e-18, 1.6822873595737284e-18, 1.815623187450565e-18, 1.9489591187249785e-18, 2.082295049999392e-18, 2.215630981273805e-18, 2.3489667057530653e-18, 2.4823026370274787e-18, 2.615638568301892e-18, 2.748974292781152e-18, 2.8823102240555655e-18, 3.015646155329979e-18, 3.148982086604392e-18, 3.2823180178788055e-18, 3.4156537423580657e-18, 3.548989466837326e-18, 3.682325604906892e-18, 3.8156613293861525e-18, 3.948997467455719e-18, 4.082333191934979e-18]}, "gradients/decoder.bert.encoder.layer.15.crossattention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.15.crossattention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.15.crossattention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.15.crossattention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.15.crossattention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.15.crossattention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.15.crossattention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.15.crossattention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.15.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 6.0, 7.0, 7.0, 7.0, 2.0, 10.0, 11.0, 18.0, 13.0, 22.0, 37.0, 46.0, 63.0, 74.0, 152.0, 190.0, 93.0, 74.0, 45.0, 38.0, 31.0, 18.0, 14.0, 9.0, 3.0, 5.0, 6.0, 3.0, 1.0, 3.0, 1.0, 1.0, 3.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-4.472465793412831e-19, -4.328806751491333e-19, -4.1851477095698343e-19, -4.041488926142277e-19, -3.8978298842207787e-19, -3.75417084229928e-19, -3.610512058871723e-19, -3.4668530169502245e-19, -3.323193975028726e-19, -3.1795349331072274e-19, -3.035875891185729e-19, -2.8922171077581717e-19, -2.748558065836673e-19, -2.6048990239151746e-19, -2.4612402404876175e-19, -2.317581198566119e-19, -2.1739221566446204e-19, -2.0302631147231219e-19, -1.886604202048594e-19, -1.7429452893740662e-19, -1.5992862474525677e-19, -1.455627205531069e-19, -1.3119682928565413e-19, -1.1683093801820134e-19, -1.0246503382605149e-19, -8.809913609625017e-20, -7.373323836644885e-20, -5.936734063664753e-20, -4.5001442906846214e-20, -3.0635545177044895e-20, -1.6269647447243577e-20, -1.9037497174422576e-21, 1.2462148012359061e-20, 2.682804574216038e-20, 4.11939434719617e-20, 5.555984120176302e-20, 6.992573893156434e-20, 8.429163666136566e-20, 9.865753439116697e-20, 1.1302342565861976e-19, 1.2738932985076961e-19, 1.4175523404291947e-19, 1.5612112531037225e-19, 1.7048701657782503e-19, 1.8485292076997489e-19, 1.9921882496212474e-19, 2.1358471622957753e-19, 2.279506074970303e-19, 2.4231651168918016e-19, 2.5668241588133e-19, 2.7104832007347987e-19, 2.854141984162356e-19, 2.9978010260838544e-19, 3.141460068005353e-19, 3.28511885143291e-19, 3.4287778933544086e-19, 3.572436935275907e-19, 3.7160959771974057e-19, 3.859755019118904e-19, 4.0034138025464614e-19, 4.14707284446796e-19, 4.2907318863894584e-19, 4.434390669817016e-19, 4.578049711738514e-19, 4.721708753660013e-19]}, "gradients/decoder.bert.encoder.layer.15.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 6.0, 1.0, 4.0, 3.0, 4.0, 4.0, 6.0, 9.0, 4.0, 11.0, 17.0, 13.0, 27.0, 24.0, 37.0, 32.0, 45.0, 37.0, 42.0, 43.0, 34.0, 47.0, 47.0, 52.0, 45.0, 49.0, 53.0, 41.0, 40.0, 43.0, 27.0, 25.0, 31.0, 13.0, 19.0, 14.0, 10.0, 13.0, 8.0, 10.0, 11.0, 1.0, 4.0, 4.0, 3.0, 3.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.7994102864630777e-19, -2.715013048564292e-19, -2.630615810665507e-19, -2.5462185727667214e-19, -2.461821334867936e-19, -2.3774240969691506e-19, -2.293026859070365e-19, -2.2086293626776383e-19, -2.124232124778853e-19, -2.0398348868800675e-19, -1.955437648981282e-19, -1.8710404110824967e-19, -1.7866430439367406e-19, -1.7022458060379551e-19, -1.6178485681391697e-19, -1.5334512009934136e-19, -1.449054092341599e-19, -1.3646568544428135e-19, -1.280259616544028e-19, -1.195862249398272e-19, -1.1114650114994865e-19, -1.0270677736007011e-19, -9.426705357019157e-20, -8.582732331796449e-20, -7.738759952808595e-20, -6.894787573820741e-20, -6.050814548598033e-20, -5.206842169610179e-20, -4.3628694675048984e-20, -3.5188967653996174e-20, -2.6749243864117633e-20, -1.8309513611890556e-20, -9.869789822012015e-21, -1.4300636087527726e-21, 7.00966260450647e-21, 1.5449388009972145e-20, 2.3889115031024954e-20, 3.2328842052077763e-20, 4.0768565841956305e-20, 4.920829609418338e-20, 5.764801988406192e-20, 6.608774367394046e-20, 7.452747392616754e-20, 8.296719771604608e-20, 9.140692150592462e-20, 9.98466517581517e-20, 1.0828637554803024e-19, 1.1672610580025732e-19, 1.2516582959013586e-19, 1.336055533800144e-19, 1.4204527716989294e-19, 1.5048501388446856e-19, 1.589247376743471e-19, 1.6736446146422564e-19, 1.7580418525410418e-19, 1.8424390904398272e-19, 1.9268363283386126e-19, 2.011233566237398e-19, 2.0956308041361835e-19, 2.180028042034969e-19, 2.2644252799337543e-19, 2.348822776326481e-19, 2.4332200142252665e-19, 2.517617252124052e-19, 2.6020144900228374e-19]}, "gradients/decoder.bert.encoder.layer.15.attention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.15.attention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.15.attention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.15.attention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.15.attention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.15.attention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.15.attention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.15.attention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.14.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 0.0, 1.0, 3.0, 4.0, 2.0, 4.0, 7.0, 5.0, 8.0, 15.0, 15.0, 11.0, 15.0, 30.0, 29.0, 37.0, 58.0, 85.0, 121.0, 164.0, 102.0, 70.0, 40.0, 42.0, 38.0, 21.0, 23.0, 17.0, 9.0, 7.0, 4.0, 3.0, 5.0, 7.0, 3.0, 1.0, 2.0, 3.0, 0.0, 1.0, 2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-1.1211616362301394e-19, -1.0816547793162679e-19, -1.042147857778911e-19, -1.0026410008650395e-19, -9.631340793276826e-20, -9.236272224138111e-20, -8.841203654999396e-20, -8.446134439625827e-20, -8.051065870487112e-20, -7.655997301348397e-20, -7.260928085974828e-20, -6.865859516836113e-20, -6.470790947697398e-20, -6.075721732323829e-20, -5.680653163185114e-20, -5.285584270928972e-20, -4.8905153786728304e-20, -4.4954464864166884e-20, -4.1003775941605465e-20, -3.7053090250218314e-20, -3.3102401327656894e-20, -2.9151712405095475e-20, -2.520102509812119e-20, -2.1250337791146904e-20, -1.7299648868585485e-20, -1.3348960753817633e-20, -9.39827263904978e-21, -5.447584524281928e-21, -1.496896409514076e-21, 2.453792513047343e-21, 6.4044798200216285e-21, 1.0355167126995914e-20, 1.4305868974254404e-20, 1.8256557896815823e-20, 2.220724520379011e-20, 2.6157932510764394e-20, 3.0108621433325813e-20, 3.405931035588723e-20, 3.8009996047274384e-20, 4.1960684969835803e-20, 4.591137389239722e-20, 4.986206281495864e-20, 5.381275173752006e-20, 5.776343742890721e-20, 6.171412312029436e-20, 6.566481527403005e-20, 6.96155009654172e-20, 7.356618665680435e-20, 7.751687881054004e-20, 8.146756450192719e-20, 8.541825665566288e-20, 8.936894234705003e-20, 9.331963450078572e-20, 9.727032019217287e-20, 1.0122100588356002e-19, 1.0517169803729571e-19, 1.091223901910314e-19, 1.1307308234476708e-19, 1.170237615738057e-19, 1.2097445372754138e-19, 1.2492514588127707e-19, 1.2887582511031569e-19, 1.3282651726405137e-19, 1.3677720941778706e-19, 1.4072788864682568e-19]}, "gradients/decoder.bert.encoder.layer.14.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 3.0, 3.0, 5.0, 2.0, 4.0, 4.0, 5.0, 9.0, 5.0, 14.0, 16.0, 12.0, 31.0, 20.0, 39.0, 34.0, 42.0, 39.0, 45.0, 39.0, 42.0, 48.0, 43.0, 51.0, 54.0, 44.0, 55.0, 36.0, 43.0, 42.0, 26.0, 26.0, 26.0, 15.0, 19.0, 8.0, 13.0, 10.0, 11.0, 10.0, 7.0, 2.0, 4.0, 5.0, 4.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.076553341376925e-20, -8.801201071329361e-20, -8.525848801281797e-20, -8.250497177469086e-20, -7.975144907421523e-20, -7.699792637373959e-20, -7.424440367326395e-20, -7.14908809727883e-20, -6.87373647346612e-20, -6.598384203418556e-20, -6.323031933370992e-20, -6.047680309558282e-20, -5.772328039510718e-20, -5.496975769463154e-20, -5.22162349941559e-20, -4.946271229368026e-20, -4.670918959320462e-20, -4.395566689272898e-20, -4.1202147423427606e-20, -3.8448624722951966e-20, -3.5695105253650594e-20, -3.2941582553174954e-20, -3.0188059852699314e-20, -2.7434537152223674e-20, -2.4681017682922302e-20, -2.1927496598033796e-20, -1.917397551314529e-20, -1.642045281266965e-20, -1.3666931727781144e-20, -1.0913410642892638e-20, -8.159887942416999e-21, -5.4063668575284926e-21, -2.652839310291451e-21, 1.0068217849383842e-22, 2.854203667279128e-21, 5.607725559961201e-21, 8.361246644849707e-21, 1.1114767729738213e-20, 1.3868290430213853e-20, 1.662181151510236e-20, 1.9375332599990865e-20, 2.212885368487937e-20, 2.4882374769767876e-20, 2.7635897470243516e-20, 3.0389420170719156e-20, 3.314293964002053e-20, 3.589646234049617e-20, 3.864998180979754e-20, 4.140350451027318e-20, 4.415702721074882e-20, 4.691054668005019e-20, 4.966406938052583e-20, 5.2417588849827204e-20, 5.517111155030284e-20, 5.792463425077848e-20, 6.067815695125412e-20, 6.343167318938123e-20, 6.618519588985687e-20, 6.893871859033251e-20, 7.169223482845961e-20, 7.444575752893525e-20, 7.719928022941089e-20, 7.995280292988653e-20, 8.270632563036217e-20, 8.545984833083781e-20]}, "gradients/decoder.bert.encoder.layer.14.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.14.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.14.intermediate.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.14.intermediate.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.14.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 2.0, 4.0, 2.0, 6.0, 6.0, 8.0, 8.0, 8.0, 8.0, 13.0, 14.0, 17.0, 30.0, 29.0, 29.0, 42.0, 72.0, 77.0, 126.0, 162.0, 68.0, 44.0, 55.0, 40.0, 21.0, 18.0, 15.0, 17.0, 11.0, 7.0, 9.0, 3.0, 5.0, 6.0, 4.0, 7.0, 5.0, 2.0, 5.0, 1.0, 1.0, 4.0, 3.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-2.5346784984928117e-20, -2.4504196517879155e-20, -2.3661608050830194e-20, -2.2819021199368366e-20, -2.1976432732319404e-20, -2.1133844265270442e-20, -2.029125579822148e-20, -1.944866733117252e-20, -1.860608047971069e-20, -1.776349201266173e-20, -1.6920903545612768e-20, -1.607831669415094e-20, -1.5235728227101978e-20, -1.4393139760053016e-20, -1.3550551293004055e-20, -1.2707962825955093e-20, -1.1865374358906131e-20, -1.102278589185717e-20, -1.0180198232601775e-20, -9.337609765552813e-21, -8.495022106297418e-21, -7.652433639248457e-21, -6.809845172199495e-21, -5.967257109047317e-21, -5.1246690458951385e-21, -4.28208098274296e-21, -3.439492919590782e-21, -2.5969044525418203e-21, -1.754316389389642e-21, -9.117283262374638e-22, -6.913985918850214e-23, 7.734482039636761e-22, 1.6160362671158543e-21, 2.4586243302680326e-21, 3.3012125953686025e-21, 4.1438008604691725e-21, 4.986388923621351e-21, 5.828976986773529e-21, 6.671565453822491e-21, 7.514153920871452e-21, 8.356741580126847e-21, 9.199330047175809e-21, 1.0041917706431204e-20, 1.0884506173480165e-20, 1.1727094640529127e-20, 1.2569682299784522e-20, 1.3412270766833484e-20, 1.4254858426088878e-20, 1.509744689313784e-20, 1.5940035360186802e-20, 1.6782623827235763e-20, 1.7625212294284725e-20, 1.8467799145746553e-20, 1.9310387612795515e-20, 2.0152976079844476e-20, 2.0995564546893438e-20, 2.18381530139424e-20, 2.268074148099136e-20, 2.3523329948040323e-20, 2.436591679950215e-20, 2.5208505266551113e-20, 2.6051093733600074e-20, 2.6893682200649036e-20, 2.7736270667698e-20, 2.8578857519159826e-20]}, "gradients/decoder.bert.encoder.layer.14.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 4.0, 2.0, 5.0, 3.0, 2.0, 5.0, 6.0, 10.0, 3.0, 14.0, 17.0, 16.0, 28.0, 21.0, 39.0, 38.0, 45.0, 38.0, 47.0, 37.0, 43.0, 49.0, 49.0, 44.0, 55.0, 48.0, 48.0, 43.0, 40.0, 37.0, 28.0, 26.0, 21.0, 19.0, 18.0, 8.0, 11.0, 11.0, 7.0, 11.0, 4.0, 5.0, 4.0, 3.0, 4.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.161702921851365e-20, -2.095631062630125e-20, -2.0295592034088848e-20, -1.9634873441876448e-20, -1.8974154849664048e-20, -1.8313436257451647e-20, -1.7652716049652113e-20, -1.6991999073026847e-20, -1.6331278865227313e-20, -1.5670560273014912e-20, -1.5009841680802512e-20, -1.4349123088590112e-20, -1.368840449637771e-20, -1.3027685904165311e-20, -1.2366966504159344e-20, -1.1706247911946943e-20, -1.104553012752811e-20, -1.038481153531571e-20, -9.72409294310331e-21, -9.063374350890909e-21, -8.402655758678509e-21, -7.741937166466108e-21, -7.081217766460141e-21, -6.420499174247741e-21, -5.7597805820353406e-21, -5.09906198982294e-21, -4.43834339761054e-21, -3.777624401501356e-21, -3.116905809288956e-21, -2.4561872170765555e-21, -1.7954682209673717e-21, -1.1347496287549714e-21, -4.74032652129705e-22, 1.866860410568912e-22, 8.474047342434874e-22, 1.5081235284042794e-21, 2.1688421206166798e-21, 2.82956071282908e-21, 3.490279708938264e-21, 4.150998301150664e-21, 4.8117168933630645e-21, 5.472435485575465e-21, 6.133154077787865e-21, 6.793873477793832e-21, 7.454592070006233e-21, 8.115310662218633e-21, 8.776029254431033e-21, 9.436747846643434e-21, 1.0097466438855834e-20, 1.0758185031068234e-20, 1.1418903623280635e-20, 1.2079622215493035e-20, 1.2740340807705435e-20, 1.3401059399917836e-20, 1.406177960771737e-20, 1.4722496584342636e-20, 1.538321679214217e-20, 1.604393538435457e-20, 1.670465397656697e-20, 1.736537256877937e-20, 1.8026091160991772e-20, 1.8686809753204172e-20, 1.9347528345416572e-20, 2.0008248553216107e-20, 2.0668965529841373e-20]}, "gradients/decoder.bert.encoder.layer.14.crossattention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.14.crossattention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.14.crossattention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.14.crossattention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.14.crossattention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.14.crossattention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.14.crossattention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.14.crossattention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.14.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 5.0, 3.0, 1.0, 1.0, 0.0, 2.0, 3.0, 0.0, 3.0, 3.0, 7.0, 10.0, 13.0, 9.0, 16.0, 21.0, 25.0, 38.0, 44.0, 45.0, 88.0, 125.0, 142.0, 77.0, 90.0, 51.0, 45.0, 34.0, 26.0, 14.0, 17.0, 17.0, 11.0, 5.0, 4.0, 4.0, 4.0, 3.0, 2.0, 1.0, 4.0, 2.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 2.0], "bins": [-2.0088396215341386e-21, -1.95228054130565e-21, -1.8957214610771617e-21, -1.839162582797065e-21, -1.7826035025685764e-21, -1.726044422340088e-21, -1.6694853421115995e-21, -1.6129263628573069e-21, -1.5563673836030143e-21, -1.4998083033745258e-21, -1.4432493241202332e-21, -1.3866902438917447e-21, -1.3301312646374521e-21, -1.2735721844089636e-21, -1.2170131041804751e-21, -1.1604541249261825e-21, -1.103895044697694e-21, -1.0473359644692056e-21, -9.90776985214913e-22, -9.342179049864245e-22, -8.776589257321319e-22, -8.210998455036434e-22, -7.645408157622529e-22, -7.079817860208623e-22, -6.514227562794718e-22, -5.948637265380812e-22, -5.383046967966907e-22, -4.817456670553002e-22, -4.251865868268117e-22, -3.686275823289701e-22, -3.120685273440306e-22, -2.5550949760264005e-22, -1.9895056883544537e-22, -1.4239153909405483e-22, -8.58324967308898e-23, -2.927345436772478e-23, 2.7285575373665764e-23, 8.384460511505631e-23, 1.4040366009999582e-22, 1.9696268984138636e-22, 2.535217195827769e-22, 3.1008074932416745e-22, 3.66639779065558e-22, 4.231988340504975e-22, 4.79757889035437e-22, 5.363168682897296e-22, 5.928759485182181e-22, 6.494349782596086e-22, 7.059940080009992e-22, 7.625530377423897e-22, 8.191120674837803e-22, 8.756711477122687e-22, 9.322301269665614e-22, 9.887892071950498e-22, 1.0453482874235383e-21, 1.101907266677831e-21, 1.1584662459321235e-21, 1.215025326160612e-21, 1.2715843054149046e-21, 1.328143385643393e-21, 1.3847023648976857e-21, 1.4412614451261742e-21, 1.4978205253546626e-21, 1.5543795046089553e-21, 1.6109385848374437e-21]}, "gradients/decoder.bert.encoder.layer.14.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 5.0, 2.0, 4.0, 3.0, 4.0, 4.0, 7.0, 11.0, 3.0, 18.0, 11.0, 26.0, 20.0, 27.0, 41.0, 43.0, 42.0, 32.0, 48.0, 40.0, 47.0, 46.0, 50.0, 47.0, 47.0, 57.0, 40.0, 45.0, 43.0, 34.0, 24.0, 26.0, 19.0, 18.0, 14.0, 12.0, 10.0, 11.0, 9.0, 9.0, 1.0, 6.0, 5.0, 3.0, 2.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.3209227208968517e-21, -1.2801953848385523e-21, -1.2394681497544488e-21, -1.1987408136961495e-21, -1.158013578612046e-21, -1.1172862425537466e-21, -1.0765590074696431e-21, -1.0358316714113438e-21, -9.951043353530444e-22, -9.54376999294745e-22, -9.136497642106415e-22, -8.729224281523422e-22, -8.321951930682387e-22, -7.914678570099393e-22, -7.507405714387379e-22, -7.100132858675364e-22, -6.692860507834329e-22, -6.285587652122315e-22, -5.878314796410301e-22, -5.471041435827307e-22, -5.063769084986272e-22, -4.656495724403279e-22, -4.249222868691264e-22, -3.84195001297925e-22, -3.4346771572672357e-22, -3.0274043015552214e-22, -2.620131445843207e-22, -2.212858337695703e-22, -1.8055854819836888e-22, -1.3983126262716745e-22, -9.910395181241705e-23, -5.837666624121562e-23, -1.7649380670014192e-23, 2.307791121207448e-23, 6.380520309416315e-23, 1.0453250128713907e-22, 1.452597868583405e-22, 1.8598707242954193e-22, 2.2671438324429232e-22, 2.6744166881549376e-22, 3.081689543866952e-22, 3.488962399578966e-22, 3.8962352552909805e-22, 4.303508111002995e-22, 4.710781471585988e-22, 5.118053822427023e-22, 5.525327183010017e-22, 5.932600038722031e-22, 6.339872894434046e-22, 6.74714575014606e-22, 7.154418605858074e-22, 7.561691966441068e-22, 7.968964317282103e-22, 8.3762376778650965e-22, 8.78351103844809e-22, 9.190783389289125e-22, 9.59805574013016e-22, 1.0005329100713154e-21, 1.0412601451554189e-21, 1.0819874812137182e-21, 1.1227147162978217e-21, 1.163442052356121e-21, 1.2041693884144205e-21, 1.244896623498524e-21, 1.2856239595568233e-21]}, "gradients/decoder.bert.encoder.layer.14.attention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.14.attention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.14.attention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.14.attention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.14.attention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.14.attention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.14.attention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.14.attention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.13.output.LayerNorm.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 1.0, 2.0, 3.0, 9.0, 2.0, 1.0, 5.0, 3.0, 7.0, 6.0, 2.0, 8.0, 18.0, 13.0, 24.0, 22.0, 29.0, 38.0, 47.0, 54.0, 78.0, 121.0, 110.0, 88.0, 59.0, 43.0, 44.0, 38.0, 26.0, 20.0, 16.0, 10.0, 14.0, 9.0, 6.0, 7.0, 4.0, 2.0, 4.0, 4.0, 3.0, 3.0, 3.0, 2.0, 1.0, 0.0, 2.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-9.311262770573292e-22, -8.990976660246912e-22, -8.670691559662492e-22, -8.350405954207091e-22, -8.030120348751691e-22, -7.709834743296291e-22, -7.389549137840891e-22, -7.06926353238549e-22, -6.74897792693009e-22, -6.42869232147469e-22, -6.10840671601929e-22, -5.788121110563889e-22, -5.467835505108489e-22, -5.147549899653089e-22, -4.8272642941976885e-22, -4.506978688742288e-22, -4.186693083286888e-22, -3.8664074778314877e-22, -3.5461218723760875e-22, -3.225836266920687e-22, -2.905550661465287e-22, -2.5852650560098867e-22, -2.2649794505544865e-22, -1.9446938450990862e-22, -1.624408239643686e-22, -1.3041226341882857e-22, -9.838370287328854e-23, -6.635514232774852e-23, -3.432658178220849e-23, -2.298021236668467e-24, 2.973053930887156e-23, 6.175909985441158e-23, 9.378766039995161e-23, 1.2581622094549164e-22, 1.5784478149103166e-22, 1.8987334203657169e-22, 2.219019025821117e-22, 2.5393046312765174e-22, 2.8595902367319176e-22, 3.179875842187318e-22, 3.500161447642718e-22, 3.8204470530981184e-22, 4.1407326585535187e-22, 4.461018264008919e-22, 4.781303869464319e-22, 5.101589474919719e-22, 5.42187508037512e-22, 5.74216068583052e-22, 6.06244629128592e-22, 6.38273189674132e-22, 6.703017502196721e-22, 7.023303107652121e-22, 7.343588713107521e-22, 7.6638743185629215e-22, 7.984159924018322e-22, 8.304445529473722e-22, 8.624731134929122e-22, 8.945017245255502e-22, 9.265302345839923e-22, 9.585587446424344e-22, 9.905873556750723e-22, 1.0226159667077103e-21, 1.0546444767661524e-21, 1.0866729868245945e-21, 1.1187015978572324e-21]}, "gradients/decoder.bert.encoder.layer.13.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 3.0, 4.0, 5.0, 3.0, 5.0, 2.0, 8.0, 10.0, 7.0, 16.0, 13.0, 25.0, 20.0, 35.0, 37.0, 45.0, 36.0, 43.0, 41.0, 39.0, 46.0, 51.0, 48.0, 44.0, 51.0, 51.0, 43.0, 47.0, 41.0, 28.0, 26.0, 27.0, 17.0, 24.0, 10.0, 11.0, 10.0, 9.0, 10.0, 8.0, 3.0, 5.0, 3.0, 3.0, 3.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-8.580773028499821e-22, -8.314903426939801e-22, -8.049033320508801e-22, -7.783163718948781e-22, -7.51729411738876e-22, -7.25142451582874e-22, -6.98555440939774e-22, -6.71968480783772e-22, -6.4538152062777e-22, -6.187945604717679e-22, -5.9220754982866795e-22, -5.656205896726659e-22, -5.390336295166639e-22, -5.124466693606618e-22, -4.858596587175619e-22, -4.592726985615598e-22, -4.326856879184599e-22, -4.0609870251890887e-22, -3.7951174236290683e-22, -3.5292475696335583e-22, -3.263377968073538e-22, -2.997508114078028e-22, -2.731638260082518e-22, -2.4657686585224975e-22, -2.1998988045269875e-22, -1.9340290767492223e-22, -1.668159348971457e-22, -1.402289494975947e-22, -1.136419767198182e-22, -8.705500394204167e-23, -6.046801854249067e-23, -3.388104576471415e-23, -7.294123474035564e-24, 1.9292852459184576e-23, 4.5879828392404716e-23, 7.246680748106848e-23, 9.9053780258845e-23, 1.2564075303662152e-22, 1.5222773843617252e-22, 1.7881471121394904e-22, 2.0540168399172556e-22, 2.3198866939127656e-22, 2.585756295472786e-22, 2.851626149468296e-22, 3.117496003463806e-22, 3.3833656050238264e-22, 3.6492354590193364e-22, 3.9151053130148464e-22, 4.1809749145748668e-22, 4.446844516134887e-22, 4.712714622565887e-22, 4.978584224125907e-22, 5.2444538256859275e-22, 5.510323427245948e-22, 5.776193533676948e-22, 6.042063135236968e-22, 6.307932736796988e-22, 6.573802338357009e-22, 6.839672444788008e-22, 7.105542046348029e-22, 7.371411647908049e-22, 7.637281249468069e-22, 7.903151355899069e-22, 8.169020957459089e-22, 8.434891063890089e-22]}, "gradients/decoder.bert.encoder.layer.13.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.13.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.13.intermediate.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.13.intermediate.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.13.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 2.0, 2.0, 3.0, 0.0, 5.0, 6.0, 6.0, 7.0, 5.0, 11.0, 7.0, 12.0, 13.0, 22.0, 31.0, 35.0, 33.0, 57.0, 80.0, 100.0, 157.0, 106.0, 66.0, 58.0, 41.0, 25.0, 18.0, 22.0, 17.0, 9.0, 8.0, 8.0, 7.0, 9.0, 5.0, 5.0, 1.0, 4.0, 6.0, 0.0, 2.0, 2.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 1.0], "bins": [-3.780323694192405e-22, -3.670481692007473e-22, -3.5606396898225405e-22, -3.450797687637608e-22, -3.3409556854526757e-22, -3.2311136832677434e-22, -3.1212719335183007e-22, -3.0114299313333683e-22, -2.901587929148436e-22, -2.7917459269635036e-22, -2.681903924778571e-22, -2.572061922593639e-22, -2.4622199204087065e-22, -2.352378170659264e-22, -2.2425359160388418e-22, -2.132694166289399e-22, -2.0228520378867219e-22, -1.9130100357017895e-22, -1.8031680335168571e-22, -1.6933261575496696e-22, -1.5834841553647372e-22, -1.4736421531798049e-22, -1.3638001509948725e-22, -1.2539581488099401e-22, -1.1441161466250078e-22, -1.0342741444400754e-22, -9.244322053640154e-23, -8.145902031790831e-23, -7.047482641030231e-23, -5.949062619180908e-23, -4.850642597331584e-23, -3.7522232065709844e-23, -2.653803815810385e-23, -1.5553841095054234e-23, -4.569642454282807e-24, 6.414556186488619e-24, 1.7398753249538235e-23, 2.838295031258785e-23, 3.936715053108109e-23, 5.035134443868708e-23, 6.133554465718032e-23, 7.231974487567356e-23, 8.330393878327955e-23, 9.428813900177279e-23, 1.0527233922026602e-22, 1.1625653943875926e-22, 1.272407396572525e-22, 1.3822492725397125e-22, 1.4920912747246449e-22, 1.6019332769095772e-22, 1.7117752790945096e-22, 1.8216171550616971e-22, 1.9314591572466295e-22, 2.0413011594315619e-22, 2.151143161616494e-22, 2.2609851638014266e-22, 2.370827165986359e-22, 2.4806691681712913e-22, 2.5905111703562237e-22, 2.700353172541156e-22, 2.8101951747260884e-22, 2.920036924475531e-22, 3.029879179095953e-22, 3.139720928845396e-22, 3.249562931030328e-22]}, "gradients/decoder.bert.encoder.layer.13.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 6.0, 2.0, 5.0, 1.0, 5.0, 5.0, 11.0, 5.0, 13.0, 15.0, 17.0, 28.0, 17.0, 44.0, 36.0, 42.0, 37.0, 50.0, 38.0, 44.0, 42.0, 53.0, 41.0, 54.0, 50.0, 47.0, 51.0, 38.0, 37.0, 24.0, 25.0, 25.0, 19.0, 20.0, 10.0, 7.0, 12.0, 11.0, 4.0, 9.0, 4.0, 2.0, 5.0, 4.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.689794300879209e-22, -2.6052092267423016e-22, -2.520624152605394e-22, -2.4360390784684867e-22, -2.3514540043315793e-22, -2.266868930194672e-22, -2.1822838560577644e-22, -2.0976989081386018e-22, -2.0131138340016943e-22, -1.928528759864787e-22, -1.8439436857278795e-22, -1.759358611590972e-22, -1.6747736636718094e-22, -1.590188589534902e-22, -1.5056035153979945e-22, -1.421018441261087e-22, -1.3364333671241797e-22, -1.2518482929872722e-22, -1.1672632188503648e-22, -1.0826781447134573e-22, -9.980931336854223e-23, -9.135080595485149e-23, -8.289230485204798e-23, -7.443379743835724e-23, -6.59752900246665e-23, -5.751678261097575e-23, -4.905827835272863e-23, -4.0599774094481506e-23, -3.214126668079076e-23, -2.3682759267100018e-23, -1.5224255008852895e-23, -6.765750750605772e-24, 1.6927819066339395e-24, 1.0151287742602873e-23, 1.8609793578571807e-23, 2.706829783681893e-23, 3.5526805250509674e-23, 4.398531266420042e-23, 5.244381692244754e-23, 6.090232118069466e-23, 6.936082859438541e-23, 7.781933600807615e-23, 8.62778434217669e-23, 9.47363445245704e-23, 1.0319485193826114e-22, 1.1165335304106465e-22, 1.201118604547554e-22, 1.2857036786844613e-22, 1.3702887528213688e-22, 1.4548738269582762e-22, 1.5394589010951837e-22, 1.624043975232091e-22, 1.7086290493689985e-22, 1.793214123505906e-22, 1.8777990714250686e-22, 1.962384145561976e-22, 2.0469692196988835e-22, 2.131554167618046e-22, 2.2161392417549535e-22, 2.300724315891861e-22, 2.3853093900287684e-22, 2.469894464165676e-22, 2.5544795383025833e-22, 2.6390646124394907e-22, 2.723649686576398e-22]}, "gradients/decoder.bert.encoder.layer.13.crossattention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.13.crossattention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.13.crossattention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.13.crossattention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.13.crossattention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.13.crossattention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.13.crossattention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.13.crossattention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.13.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 2.0, 3.0, 3.0, 5.0, 10.0, 12.0, 14.0, 14.0, 44.0, 45.0, 72.0, 92.0, 160.0, 214.0, 104.0, 64.0, 46.0, 22.0, 29.0, 20.0, 11.0, 10.0, 2.0, 3.0, 6.0, 0.0, 1.0, 2.0, 3.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-3.81566213839141e-23, -3.712596198946836e-23, -3.609530259502263e-23, -3.506464320057689e-23, -3.4033983806131157e-23, -3.300332756712904e-23, -3.1972668172683306e-23, -3.094200877823757e-23, -2.9911349383791836e-23, -2.88806899893461e-23, -2.7850030594900365e-23, -2.681937120045463e-23, -2.5788713383730704e-23, -2.475805398928497e-23, -2.3727396172561044e-23, -2.2696736778115308e-23, -2.1666077383669573e-23, -2.0635417989223837e-23, -1.9604758594778102e-23, -1.8574100778054177e-23, -1.754344138360844e-23, -1.6512781989162706e-23, -1.548212417243878e-23, -1.4451464777993045e-23, -1.342080538354731e-23, -1.2390145989101575e-23, -1.1359487383516744e-23, -1.0328828777931914e-23, -9.298169383486179e-24, -8.267509989040443e-24, -7.236851383455613e-24, -6.206192777870783e-24, -5.175530227981426e-24, -4.1448712279661434e-24, -3.1142122279508606e-24, -2.0835532279355777e-24, -1.0528942279202949e-24, -2.223522790501205e-26, 1.0084237721102708e-24, 2.039082377695101e-24, 3.0697417721408365e-24, 4.100400772156119e-24, 5.131059772171402e-24, 6.161718772186685e-24, 7.192377772201968e-24, 8.223037166647703e-24, 9.253695772232534e-24, 1.0284354377817364e-23, 1.13150137722631e-23, 1.2345673166708835e-23, 1.337633256115457e-23, 1.4406990377878495e-23, 1.543764977232423e-23, 1.6468309166769966e-23, 1.749896698349389e-23, 1.8529626377939627e-23, 1.9560285772385362e-23, 2.0590945166831098e-23, 2.1621604561276833e-23, 2.2652262378000758e-23, 2.3682921772446493e-23, 2.471358116689223e-23, 2.5744238983616154e-23, 2.677489837806189e-23, 2.7805557772507625e-23]}, "gradients/decoder.bert.encoder.layer.13.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 6.0, 5.0, 2.0, 3.0, 3.0, 7.0, 10.0, 6.0, 16.0, 12.0, 20.0, 28.0, 28.0, 32.0, 45.0, 40.0, 36.0, 46.0, 39.0, 46.0, 54.0, 44.0, 44.0, 51.0, 54.0, 45.0, 51.0, 32.0, 34.0, 28.0, 25.0, 19.0, 22.0, 15.0, 9.0, 13.0, 9.0, 9.0, 5.0, 7.0, 4.0, 4.0, 3.0, 3.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.6111455314518758e-23, -1.5600210339063125e-23, -1.508896536360749e-23, -1.4577720388151858e-23, -1.4066475412696225e-23, -1.355523043724059e-23, -1.3043984672924053e-23, -1.2532738908607514e-23, -1.2021493933151881e-23, -1.1510248957696248e-23, -1.0999003982240614e-23, -1.0487759006784981e-23, -9.976513242468442e-24, -9.465268267012809e-24, -8.954023291557176e-24, -8.442777527240637e-24, -7.931533340645909e-24, -7.420288365190276e-24, -6.909043389734642e-24, -6.397798019848556e-24, -5.8865526499624704e-24, -5.375307674506837e-24, -4.864062699051204e-24, -4.352817329165118e-24, -3.8415723537094845e-24, -3.330327378253851e-24, -2.8190820083677652e-24, -2.307837032912132e-24, -1.7965918602412723e-24, -1.2853466875704126e-24, -7.741017121147793e-25, -2.6285634222869334e-25, 2.4838863322694e-25, 7.5963375659399305e-25, 1.2708788799610461e-24, 1.7821239540242926e-24, 2.2933691266951522e-24, 2.804614299366012e-24, 3.315859274821645e-24, 3.827104644707731e-24, 4.3383496201633645e-24, 4.849594595618998e-24, 5.360839965505084e-24, 5.872084940960717e-24, 6.3833299164163504e-24, 6.894574891871984e-24, 7.405819867327617e-24, 7.917065631644156e-24, 8.428310607099789e-24, 8.939555582555422e-24, 9.450800558011056e-24, 9.962046322327594e-24, 1.0473291297783227e-23, 1.0984536273238861e-23, 1.1495781248694494e-23, 1.2007026224150127e-23, 1.2518271199605761e-23, 1.3029516175061394e-23, 1.3540761150517027e-23, 1.405200612597266e-23, 1.4563251101428294e-23, 1.5074497654605738e-23, 1.558574263006137e-23, 1.6096987605517005e-23, 1.6608232580972638e-23]}, "gradients/decoder.bert.encoder.layer.13.attention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.13.attention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.13.attention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.13.attention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.13.attention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.13.attention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.13.attention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.13.attention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.12.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 0.0, 0.0, 3.0, 3.0, 1.0, 4.0, 4.0, 2.0, 3.0, 2.0, 9.0, 8.0, 8.0, 16.0, 14.0, 21.0, 33.0, 28.0, 41.0, 58.0, 94.0, 143.0, 145.0, 91.0, 53.0, 40.0, 48.0, 20.0, 27.0, 19.0, 20.0, 13.0, 9.0, 10.0, 5.0, 3.0, 5.0, 0.0, 2.0, 3.0, 3.0, 2.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.0262850818401944e-23, -9.908402203050755e-24, -9.553953587699566e-24, -9.199504972348376e-24, -8.845055568136282e-24, -8.490606952785092e-24, -8.136158337433903e-24, -7.781709722082714e-24, -7.427261106731524e-24, -7.072812491380335e-24, -6.718363876029145e-24, -6.3639148662475035e-24, -6.0094658564658615e-24, -5.655017241114672e-24, -5.300568625763483e-24, -4.9461200104122934e-24, -4.591670606200199e-24, -4.2372219908490095e-24, -3.8827729810673675e-24, -3.528324365716178e-24, -3.1738755531497625e-24, -2.8194267405833468e-24, -2.4649781252321574e-24, -2.1105293126657418e-24, -1.756080500099326e-24, -1.4016316875329104e-24, -1.047182973574108e-24, -6.927342596153054e-25, -3.3828544704888975e-25, 1.616336551752592e-26, 3.706119808687153e-25, 7.2506079343513095e-25, 1.0795088171406414e-24, 1.433957629707057e-24, 1.7884064422734727e-24, 2.142855057624662e-24, 2.4973038701910778e-24, 2.8517526827574934e-24, 3.2062012981086828e-24, 3.560649913459872e-24, 3.915098923241514e-24, 4.2695475385927035e-24, 4.6239965483743455e-24, 4.978445163725535e-24, 5.332893779076724e-24, 5.687342788858366e-24, 6.0417914042095555e-24, 6.3962404139911975e-24, 6.750689029342387e-24, 7.105137644693576e-24, 7.459586260044766e-24, 7.814034875395955e-24, 8.16848427960805e-24, 8.522932894959239e-24, 8.877381510310428e-24, 9.231830125661618e-24, 9.586278741012807e-24, 9.940727356363996e-24, 1.0295175971715186e-23, 1.064962537592728e-23, 1.100407399127847e-23, 1.1358522606629659e-23, 1.1712971221980848e-23, 1.2067419837332038e-23, 1.2421869241544132e-23]}, "gradients/decoder.bert.encoder.layer.12.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 4.0, 5.0, 4.0, 2.0, 3.0, 5.0, 5.0, 12.0, 6.0, 18.0, 12.0, 25.0, 23.0, 37.0, 31.0, 46.0, 42.0, 38.0, 41.0, 44.0, 47.0, 48.0, 49.0, 43.0, 53.0, 50.0, 46.0, 46.0, 36.0, 29.0, 25.0, 26.0, 18.0, 23.0, 14.0, 9.0, 13.0, 4.0, 9.0, 8.0, 4.0, 4.0, 5.0, 2.0, 2.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-8.099120529072871e-24, -7.839586868976969e-24, -7.580052420020161e-24, -7.320518759924259e-24, -7.060985099828356e-24, -6.801451439732454e-24, -6.541916990775646e-24, -6.2823833306797436e-24, -6.0228492761533886e-24, -5.7633152216270335e-24, -5.503781561531131e-24, -5.244247507004776e-24, -4.984713452478421e-24, -4.7251797923825185e-24, -4.4656457378561635e-24, -4.2061116833298084e-24, -3.946578023233906e-24, -3.687043968707551e-24, -3.4275103086116485e-24, -3.1679762540852934e-24, -2.9084423967741647e-24, -2.648908539463036e-24, -2.389374484936681e-24, -2.129840627625552e-24, -1.8703067703144234e-24, -1.6107729130032946e-24, -1.3512389570845527e-24, -1.0917050011658108e-24, -8.321711438546821e-25, -5.7263728654355335e-25, -3.1310333062481145e-25, -5.356937470606955e-26, 2.0596369374415397e-25, 4.654976003590893e-25, 7.250315069740246e-25, 9.845654628927665e-25, 1.2440993202038953e-24, 1.503633177515024e-24, 1.763167232041379e-24, 2.0227010893525078e-24, 2.2822349466636366e-24, 2.5417688039747653e-24, 2.801302661285894e-24, 3.060836715812249e-24, 3.320370770338604e-24, 3.5799044304345066e-24, 3.839438484960862e-24, 4.098972539487217e-24, 4.358506199583119e-24, 4.618040254109474e-24, 4.877573914205377e-24, 5.137107968731732e-24, 5.396641628827634e-24, 5.656175683353989e-24, 5.915709737880344e-24, 6.175243397976247e-24, 6.434777452502602e-24, 6.694311507028957e-24, 6.953845167124859e-24, 7.213378827220762e-24, 7.47291327617757e-24, 7.732446936273472e-24, 7.991980596369374e-24, 8.251515045326182e-24, 8.511048705422084e-24]}, "gradients/decoder.bert.encoder.layer.12.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.12.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.12.intermediate.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.12.intermediate.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.12.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 2.0, 2.0, 3.0, 3.0, 5.0, 3.0, 5.0, 12.0, 11.0, 14.0, 18.0, 27.0, 35.0, 39.0, 54.0, 64.0, 106.0, 161.0, 122.0, 74.0, 51.0, 44.0, 39.0, 20.0, 19.0, 18.0, 16.0, 14.0, 4.0, 5.0, 8.0, 5.0, 2.0, 2.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.112000577336942e-24, -3.9737972743381044e-24, -3.8355935769088144e-24, -3.697390273909977e-24, -3.55918697091114e-24, -3.4209836679123024e-24, -3.2827799704830125e-24, -3.144576667484175e-24, -3.0063731672701115e-24, -2.868169667056048e-24, -2.7299663640572106e-24, -2.591762863843147e-24, -2.4535593636290833e-24, -2.315356060630246e-24, -2.1771525604161823e-24, -2.0389490602021187e-24, -1.9007457572032814e-24, -1.7625422569892177e-24, -1.6243389539903804e-24, -1.4861354537763168e-24, -1.3479320521698663e-24, -1.2097286505634158e-24, -1.0715251503493521e-24, -9.333217487429017e-25, -7.951183471364512e-25, -6.569149455300007e-25, -5.187114946197436e-25, -3.8050804370948657e-25, -2.423046421030361e-25, -1.041012404965856e-25, 3.4102259717478035e-26, 1.7230566132392852e-25, 3.105086684999264e-25, 4.487120701063769e-25, 5.869155210166339e-25, 7.25118971926891e-25, 8.633223735333415e-25, 1.001525775139792e-24, 1.1397292753538556e-24, 1.277932676960306e-24, 1.4161360785667566e-24, 1.554339480173207e-24, 1.6925428817796575e-24, 1.830746381993721e-24, 1.9689498822077848e-24, 2.107153185206622e-24, 2.2453566854206858e-24, 2.3835601856347494e-24, 2.5217634886335868e-24, 2.6599669888476504e-24, 2.7981702918464877e-24, 2.9363737920605514e-24, 3.0745770950593887e-24, 3.2127805952734523e-24, 3.350984095487516e-24, 3.489187398486353e-24, 3.6273907014851906e-24, 3.765594004484028e-24, 3.903797701913318e-24, 4.042001004912155e-24, 4.1802043079109926e-24, 4.31840761090983e-24, 4.45661130833912e-24, 4.594814611337957e-24, 4.733018308767247e-24]}, "gradients/decoder.bert.encoder.layer.12.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 4.0, 3.0, 4.0, 4.0, 2.0, 5.0, 4.0, 9.0, 7.0, 12.0, 19.0, 16.0, 24.0, 30.0, 33.0, 42.0, 39.0, 42.0, 44.0, 35.0, 45.0, 51.0, 47.0, 42.0, 48.0, 53.0, 47.0, 49.0, 38.0, 34.0, 27.0, 23.0, 26.0, 21.0, 17.0, 11.0, 9.0, 14.0, 7.0, 5.0, 8.0, 2.0, 6.0, 2.0, 5.0, 2.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.942710120066513e-24, -2.8469828352940746e-24, -2.75125535330641e-24, -2.6555280685339718e-24, -2.5598005865463072e-24, -2.464073301773869e-24, -2.3683458197862044e-24, -2.272618535013766e-24, -2.1768910530261016e-24, -2.0811637682536633e-24, -1.9854362862659987e-24, -1.8897090014935605e-24, -1.793981519505896e-24, -1.6982542347334577e-24, -1.6025267527457931e-24, -1.5067994679733548e-24, -1.4110720845933034e-24, -1.315344701213252e-24, -1.2196173178332006e-24, -1.1238899344531492e-24, -1.0281625510730978e-24, -9.324351676930464e-25, -8.367078829206081e-25, -7.409804502367502e-25, -6.452530668566987e-25, -5.495256834766473e-25, -4.537983000965959e-25, -3.580709413684478e-25, -2.623435579883964e-25, -1.6661619926024828e-25, -7.088881588019687e-26, 2.483856749985454e-26, 1.2056595087990595e-25, 2.1629333425995736e-25, 3.1202071764000877e-25, 4.077480763681569e-25, 5.034754844001116e-25, 5.992028184763564e-25, 6.949302018564078e-25, 7.906575852364592e-25, 8.863850179203172e-25, 9.821124013003686e-25, 1.07783978468042e-24, 1.1735671680604714e-24, 1.2692945514405229e-24, 1.3650218362129611e-24, 1.4607493182006257e-24, 1.556476602973064e-24, 1.6522039863531153e-24, 1.7479313697331667e-24, 1.843658654505605e-24, 1.9393861364932696e-24, 2.035113421265708e-24, 2.1308409032533724e-24, 2.2265681880258106e-24, 2.3222956700134752e-24, 2.4180229547859135e-24, 2.5137502395583517e-24, 2.6094777215460163e-24, 2.7052050063184545e-24, 2.800932488306119e-24, 2.8966597730785574e-24, 2.992387255066222e-24, 3.08811453983866e-24, 3.1838420218263247e-24]}, "gradients/decoder.bert.encoder.layer.12.crossattention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.12.crossattention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.12.crossattention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.12.crossattention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.12.crossattention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.12.crossattention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.12.crossattention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.12.crossattention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.12.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 2.0, 1.0, 1.0, 1.0, 2.0, 2.0, 4.0, 3.0, 3.0, 10.0, 14.0, 14.0, 13.0, 15.0, 21.0, 16.0, 34.0, 59.0, 60.0, 88.0, 127.0, 129.0, 108.0, 68.0, 50.0, 45.0, 24.0, 23.0, 24.0, 12.0, 11.0, 6.0, 4.0, 4.0, 7.0, 4.0, 3.0, 1.0, 2.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.5473250471530764e-25, -2.4414017351806565e-25, -2.3354784232082367e-25, -2.229555111235817e-25, -2.123631799263397e-25, -2.0177084872909772e-25, -1.911785052059041e-25, -1.805861740086621e-25, -1.6999384281142012e-25, -1.5940151161417814e-25, -1.4880918041693616e-25, -1.3821683689374253e-25, -1.2762450569650055e-25, -1.1703217449925856e-25, -1.0643984330201658e-25, -9.58475121047746e-26, -8.525518090753261e-26, -7.466284971029063e-26, -6.407051851304865e-26, -5.347818115283084e-26, -4.288584995558886e-26, -3.2293518758346874e-26, -2.1701181398129068e-26, -1.1108850200887085e-26, -5.165190036451016e-28, 1.0075813734340837e-26, 2.0668146472326776e-26, 3.126048075105667e-26, 4.1852811948298654e-26, 5.244514314554064e-26, 6.303748050575844e-26, 7.362981170300043e-26, 8.422214290024241e-26, 9.481447409748439e-26, 1.0540680529472638e-25, 1.1599913649196836e-25, 1.2659146768921034e-25, 1.3718379888645233e-25, 1.4777614240964595e-25, 1.5836847360688794e-25, 1.6896080480412992e-25, 1.795531360013719e-25, 1.9014546719861389e-25, 2.0073781072180752e-25, 2.113301419190495e-25, 2.219224731162915e-25, 2.3251480431353347e-25, 2.4310713551077545e-25, 2.5369946670801743e-25, 2.642917979052594e-25, 2.748841291025014e-25, 2.854764602997434e-25, 2.9606879149698537e-25, 3.0666112269422735e-25, 3.172534785433726e-25, 3.278458097406146e-25, 3.384381409378566e-25, 3.4903047213509857e-25, 3.5962280333234055e-25, 3.7021513452958254e-25, 3.808074657268245e-25, 3.913997969240665e-25, 4.019921281213085e-25, 4.1258445931855047e-25, 4.231767905157925e-25]}, "gradients/decoder.bert.encoder.layer.12.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 4.0, 4.0, 5.0, 2.0, 2.0, 6.0, 5.0, 9.0, 8.0, 13.0, 18.0, 15.0, 23.0, 31.0, 36.0, 39.0, 39.0, 45.0, 42.0, 39.0, 43.0, 49.0, 49.0, 46.0, 46.0, 51.0, 44.0, 51.0, 37.0, 32.0, 30.0, 25.0, 22.0, 23.0, 15.0, 10.0, 8.0, 14.0, 6.0, 8.0, 7.0, 3.0, 4.0, 2.0, 5.0, 2.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.2436387435843407e-25, -2.170370082264512e-25, -2.097101420944683e-25, -2.023832759624854e-25, -1.950564098305025e-25, -1.877295436985196e-25, -1.8040267756653671e-25, -1.7307581143455382e-25, -1.6574894530257093e-25, -1.5842207917058803e-25, -1.5109521303860514e-25, -1.4376834690662225e-25, -1.3644148077463935e-25, -1.2911461464265646e-25, -1.2178774851067357e-25, -1.1446088237869067e-25, -1.0713402857265943e-25, -9.980716244067653e-26, -9.248029630869364e-26, -8.515343017671075e-26, -7.782656404472785e-26, -7.049969791274496e-26, -6.317283794373789e-26, -5.5845971811755e-26, -4.85191056797721e-26, -4.119223954778921e-26, -3.3865373415806316e-26, -2.6538510365311334e-26, -1.921164423332844e-26, -1.1884778101345548e-26, -4.5579150508505654e-27, 2.7689510811323278e-27, 1.0095817213115221e-26, 1.7422683345098114e-26, 2.4749547936337052e-26, 3.207641252757599e-26, 3.940327865955888e-26, 4.6730144791541776e-26, 5.405700784203676e-26, 6.138387397401965e-26, 6.871074010600254e-26, 7.603760623798544e-26, 8.336447236996833e-26, 9.06913323389754e-26, 9.80181984709583e-26, 1.0534506460294119e-25, 1.1267193073492408e-25, 1.1999879686690697e-25, 1.2732566299888987e-25, 1.3465252913087276e-25, 1.4197939526285565e-25, 1.4930626139483855e-25, 1.5663312752682144e-25, 1.6395999365880433e-25, 1.7128684746483558e-25, 1.7861371359681848e-25, 1.8594057972880137e-25, 1.9326744586078426e-25, 2.0059431199276716e-25, 2.0792117812475005e-25, 2.1524804425673294e-25, 2.2257491038871583e-25, 2.2990177652069873e-25, 2.372286426526816e-25, 2.445555087846645e-25]}, "gradients/decoder.bert.encoder.layer.12.attention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.12.attention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.12.attention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.12.attention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.12.attention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.12.attention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.12.attention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.12.attention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.11.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 2.0, 2.0, 2.0, 1.0, 0.0, 2.0, 6.0, 4.0, 7.0, 2.0, 12.0, 6.0, 12.0, 19.0, 17.0, 27.0, 26.0, 67.0, 81.0, 114.0, 139.0, 129.0, 95.0, 55.0, 45.0, 42.0, 25.0, 16.0, 14.0, 8.0, 11.0, 3.0, 7.0, 3.0, 6.0, 6.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-1.5103593753714877e-25, -1.4464744610382956e-25, -1.38258966996462e-25, -1.3187047556314278e-25, -1.2548198412982357e-25, -1.1909349269650435e-25, -1.1270500126318514e-25, -1.0631652215581758e-25, -9.992803072249836e-26, -9.353953928917915e-26, -8.715105401883576e-26, -8.076256874849237e-26, -7.437407731517316e-26, -6.798558588185395e-26, -6.159710061151056e-26, -5.520861534116717e-26, -4.882012390784796e-26, -4.243163555601666e-26, -3.604314720418536e-26, -2.965465885235406e-26, -2.326617050052276e-26, -1.687768214869146e-26, -1.0489193796860158e-26, -4.100705445028858e-27, 2.2877829068024428e-27, 8.676271258633743e-27, 1.5064759610465044e-26, 2.1453247962296344e-26, 2.7841736314127645e-26, 3.4230224665958945e-26, 4.0618713017790246e-26, 4.7007201369621546e-26, 5.33956773955012e-26, 5.978416882882041e-26, 6.61726540991638e-26, 7.256113936950719e-26, 7.89496308028264e-26, 8.533812223614562e-26, 9.1726607506489e-26, 9.81150927768324e-26, 1.045035842101516e-25, 1.1089207564347082e-25, 1.1728056707679003e-25, 1.236690461841576e-25, 1.300575376174768e-25, 1.3644602905079602e-25, 1.4283450815816359e-25, 1.492229995914828e-25, 1.55611491024802e-25, 1.6199998245812122e-25, 1.6838847389144043e-25, 1.74776952998808e-25, 1.8116544443212721e-25, 1.8755393586544642e-25, 1.93942414972814e-25, 2.003309064061332e-25, 2.0671939783945241e-25, 2.1310788927277162e-25, 2.1949638070609084e-25, 2.2588487213941005e-25, 2.3227333892082597e-25, 2.386618303541452e-25, 2.450503217874644e-25, 2.514388132207836e-25, 2.578273046541028e-25]}, "gradients/decoder.bert.encoder.layer.11.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 4.0, 4.0, 3.0, 4.0, 2.0, 7.0, 4.0, 7.0, 9.0, 13.0, 17.0, 16.0, 25.0, 29.0, 33.0, 45.0, 35.0, 45.0, 39.0, 36.0, 52.0, 49.0, 41.0, 47.0, 53.0, 49.0, 43.0, 51.0, 38.0, 31.0, 29.0, 26.0, 21.0, 24.0, 14.0, 12.0, 7.0, 15.0, 8.0, 5.0, 9.0, 2.0, 4.0, 3.0, 5.0, 2.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.284542024795184e-25, -1.2426879001330351e-25, -1.20083365221137e-25, -1.1589795275492212e-25, -1.1171254028870725e-25, -1.0752711549654073e-25, -1.0334170303032585e-25, -9.915628440113516e-26, -9.497086577194446e-26, -9.078544714275376e-26, -8.660002851356306e-26, -8.241461604734819e-26, -7.822919741815749e-26, -7.40437787889668e-26, -6.985836632275192e-26, -6.567294769356122e-26, -6.148752906437053e-26, -5.730211043517983e-26, -5.311669180598913e-26, -4.893127933977426e-26, -4.474586071058356e-26, -4.0560442081392865e-26, -3.637502653369008e-26, -3.2189610985987294e-26, -2.8004192356796597e-26, -2.3818775268349855e-26, -1.9633358179903114e-26, -1.5447941091456373e-26, -1.1262524003009631e-26, -7.07710691456289e-27, -2.8916898261161485e-27, 1.2937257215866373e-27, 5.47913202482569e-27, 9.664549113272431e-27, 1.3849966201719173e-26, 1.8035383290165914e-26, 2.2220800378612656e-26, 2.640621900780335e-26, 3.059163455550614e-26, 3.4777050103208924e-26, 3.896246873239962e-26, 4.314788736159032e-26, 4.7333302909293104e-26, 5.151871845699589e-26, 5.570413708618659e-26, 5.988955571537728e-26, 6.407496818159216e-26, 6.826038681078286e-26, 7.244580543997355e-26, 7.663122406916425e-26, 8.081664269835495e-26, 8.500205516456982e-26, 8.918747379376052e-26, 9.337289242295121e-26, 9.755830488916609e-26, 1.0174372351835679e-25, 1.0592914214754748e-25, 1.1011455461376236e-25, 1.1429997940592888e-25, 1.1848539187214375e-25, 1.2267080433835863e-25, 1.2685622913052515e-25, 1.3104164159674002e-25, 1.352270540629549e-25, 1.3941247885512141e-25]}, "gradients/decoder.bert.encoder.layer.11.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.11.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.11.intermediate.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.11.intermediate.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.11.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 3.0, 1.0, 5.0, 4.0, 5.0, 4.0, 4.0, 9.0, 7.0, 2.0, 9.0, 14.0, 15.0, 15.0, 24.0, 36.0, 37.0, 58.0, 74.0, 119.0, 167.0, 96.0, 60.0, 46.0, 37.0, 24.0, 23.0, 20.0, 26.0, 12.0, 5.0, 14.0, 13.0, 4.0, 7.0, 5.0, 3.0, 3.0, 1.0, 3.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0], "bins": [-8.205794614759932e-26, -7.986514702416614e-26, -7.767234173775715e-26, -7.547954261432397e-26, -7.32867434908908e-26, -7.109394436745762e-26, -6.890114524402444e-26, -6.670833995761545e-26, -6.451554083418227e-26, -6.23227417107491e-26, -6.01299364243401e-26, -5.793713730090692e-26, -5.574433817747375e-26, -5.355153905404057e-26, -5.1358736849119486e-26, -4.91659346441984e-26, -4.6973135520765225e-26, -4.478033639733205e-26, -4.2587534192410963e-26, -4.0394731987489877e-26, -3.82019328640567e-26, -3.6009133740623526e-26, -3.381633153570244e-26, -3.1623529330781353e-26, -2.943073020734818e-26, -2.7237931083915e-26, -2.5045128878993916e-26, -2.2852328214816785e-26, -2.0659527550639654e-26, -1.8466726886462524e-26, -1.6273926222285393e-26, -1.4081125558108262e-26, -1.1888318730955309e-26, -9.695518066778178e-27, -7.502717402601047e-27, -5.3099167384239166e-27, -3.1171160742467857e-27, -9.243154100696549e-28, 1.268485254107476e-27, 3.461285918284607e-27, 5.654086582461738e-27, 7.846887246638868e-27, 1.0039687910816e-26, 1.223248857499313e-26, 1.442528923917026e-26, 1.6618089903347392e-26, 1.8810890567524523e-26, 2.1003691231701654e-26, 2.3196491895878784e-26, 2.5389292560055915e-26, 2.7582093224233046e-26, 2.977489542915413e-26, 3.196769455258731e-26, 3.4160493676020483e-26, 3.635329588094157e-26, 3.8546098085862656e-26, 4.073889720929583e-26, 4.2931696332729006e-26, 4.512449853765009e-26, 4.731730074257118e-26, 4.9510099866004354e-26, 5.170289898943753e-26, 5.389570427584653e-26, 5.60885033992797e-26, 5.828130252271288e-26]}, "gradients/decoder.bert.encoder.layer.11.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 4.0, 3.0, 5.0, 3.0, 2.0, 7.0, 4.0, 8.0, 10.0, 13.0, 16.0, 19.0, 22.0, 31.0, 34.0, 41.0, 42.0, 40.0, 40.0, 34.0, 47.0, 53.0, 48.0, 43.0, 52.0, 46.0, 52.0, 40.0, 42.0, 33.0, 25.0, 30.0, 21.0, 18.0, 19.0, 9.0, 9.0, 13.0, 10.0, 5.0, 8.0, 1.0, 6.0, 3.0, 4.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.057409450084866e-26, -4.8923948480033944e-26, -4.7273802459219227e-26, -4.562365643840451e-26, -4.3973510417589793e-26, -4.2323364396775077e-26, -4.067321837596036e-26, -3.9023072355145643e-26, -3.7372926334330926e-26, -3.572278031351621e-26, -3.4072634292701493e-26, -3.2422488271886776e-26, -3.077234225107206e-26, -2.912219623025734e-26, -2.7472050209442626e-26, -2.582190418862791e-26, -2.4171758167813192e-26, -2.2521612146998476e-26, -2.087146612618376e-26, -1.9221320105369042e-26, -1.7571174084554326e-26, -1.592102806373961e-26, -1.4270882042924892e-26, -1.2620736022110175e-26, -1.0970590001295459e-26, -9.320443980480742e-27, -7.670297959666025e-27, -6.020151938851308e-27, -4.3700059180365916e-27, -2.719859897221875e-27, -1.0697138764071581e-27, 5.804321444075586e-28, 2.2305720022464533e-27, 3.88071802306117e-27, 5.530864043875887e-27, 7.181010064690604e-27, 8.83115608550532e-27, 1.0481302106320037e-26, 1.2131448127134754e-26, 1.378159414794947e-26, 1.5431740168764187e-26, 1.7081886189578904e-26, 1.873203221039362e-26, 2.0382178231208337e-26, 2.2032324252023054e-26, 2.368247027283777e-26, 2.5332616293652488e-26, 2.6982762314467204e-26, 2.863290833528192e-26, 3.028305435609664e-26, 3.1933200376911355e-26, 3.358334639772607e-26, 3.523349241854079e-26, 3.6883638439355505e-26, 3.853378446017022e-26, 4.018393048098494e-26, 4.1834076501799655e-26, 4.348422252261437e-26, 4.513436854342909e-26, 4.6784514564243805e-26, 4.843466058505852e-26, 5.008480660587324e-26, 5.173495262668796e-26, 5.338510172899058e-26, 5.503524466831739e-26]}, "gradients/decoder.bert.encoder.layer.11.crossattention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.11.crossattention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.11.crossattention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.11.crossattention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.11.crossattention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.11.crossattention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.11.crossattention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.11.crossattention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.11.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 4.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 4.0, 1.0, 1.0, 1.0, 5.0, 5.0, 5.0, 12.0, 9.0, 16.0, 18.0, 14.0, 19.0, 24.0, 22.0, 32.0, 39.0, 55.0, 48.0, 73.0, 134.0, 115.0, 74.0, 58.0, 40.0, 29.0, 33.0, 18.0, 18.0, 20.0, 9.0, 14.0, 9.0, 7.0, 8.0, 2.0, 3.0, 7.0, 4.0, 1.0, 2.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0], "bins": [-5.1544159991561245e-27, -5.014582314799934e-27, -4.874748245257754e-27, -4.734914560901563e-27, -4.595080491359384e-27, -4.455246807003193e-27, -4.315412737461013e-27, -4.1755790531048225e-27, -4.035745368748632e-27, -3.895911684392441e-27, -3.756077614850261e-27, -3.6162439304940705e-27, -3.476409860951891e-27, -3.3365761765957e-27, -3.196742299646515e-27, -3.0569084226973297e-27, -2.91707435315515e-27, -2.777240476205965e-27, -2.6374065992567796e-27, -2.497572914900589e-27, -2.3577388453584092e-27, -2.2179051610022185e-27, -2.0780712840530333e-27, -1.938237407103848e-27, -1.798403530154663e-27, -1.6585696532054776e-27, -1.5187357762562924e-27, -1.3789019956036044e-27, -1.2390681186544192e-27, -1.099234241705234e-27, -9.59400461052546e-28, -8.195665841033608e-28, -6.797327071541756e-28, -5.398988302049904e-28, -4.000650014040538e-28, -2.602311726031172e-28, -1.20397295653932e-28, 1.9436581295253204e-29, 1.592703619479412e-28, 2.991042388971264e-28, 4.389381158463116e-28, 5.787719927954968e-28, 7.186058215964334e-28, 8.5843965039737e-28, 9.982735273465552e-28, 1.1381074042957404e-27, 1.2779411849484284e-27, 1.4177750618976136e-27, 1.5576089388467988e-27, 1.697442815795984e-27, 1.8372766927451692e-27, 1.97711037710136e-27, 2.1169444466435397e-27, 2.2567781309997304e-27, 2.3966120079489156e-27, 2.536445884898101e-27, 2.676279761847286e-27, 2.8161136387964713e-27, 2.9559475157456565e-27, 3.0957813926948417e-27, 3.2356150770510324e-27, 3.375449146593212e-27, 3.515282830949403e-27, 3.6551169004915825e-27, 3.794950584847773e-27]}, "gradients/decoder.bert.encoder.layer.11.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 5.0, 2.0, 6.0, 2.0, 2.0, 7.0, 4.0, 8.0, 10.0, 12.0, 22.0, 15.0, 22.0, 29.0, 35.0, 41.0, 46.0, 37.0, 40.0, 37.0, 47.0, 53.0, 42.0, 47.0, 53.0, 48.0, 51.0, 37.0, 41.0, 34.0, 23.0, 33.0, 20.0, 18.0, 15.0, 10.0, 11.0, 13.0, 12.0, 5.0, 5.0, 2.0, 5.0, 4.0, 4.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.57332843354329e-27, -3.4566351826549005e-27, -3.339941931766511e-27, -3.223248680878122e-27, -3.1065554299897327e-27, -2.9898621791013435e-27, -2.8731691208059487e-27, -2.7564758699175594e-27, -2.63978261902917e-27, -2.523089368140781e-27, -2.4063961172523917e-27, -2.2897028663640024e-27, -2.1730098080686076e-27, -2.0563165571802184e-27, -1.939623306291829e-27, -1.82293005540344e-27, -1.7062368045150506e-27, -1.5895435536266613e-27, -1.472850302738272e-27, -1.35615714814638e-27, -1.2394638972579908e-27, -1.1227706463696016e-27, -1.0060774917777095e-27, -8.893842408893203e-28, -7.72690990000931e-28, -6.559977391125418e-28, -5.393045363724011e-28, -4.226113336322605e-28, -3.059180827438712e-28, -1.8922483185548197e-28, -7.253162911534132e-29, 4.416157362479932e-29, 1.608544393271997e-28, 2.7754766614146464e-28, 3.942408929557296e-28, 5.109340956958702e-28, 6.276273465842595e-28, 7.443205974726487e-28, 8.610137520645408e-28, 9.7770700295293e-28, 1.0944002538413193e-27, 1.2110935047297085e-27, 1.3277867556180978e-27, 1.4444799102099898e-27, 1.561173161098379e-27, 1.677866315690271e-27, 1.7945595665786604e-27, 1.9112528174670496e-27, 2.027946068355439e-27, 2.144639319243828e-27, 2.2613325701322174e-27, 2.3780258210206066e-27, 2.494719071908996e-27, 2.611412322797385e-27, 2.72810538109278e-27, 2.8447986319811692e-27, 2.9614918828695584e-27, 3.0781851337579477e-27, 3.194878384646337e-27, 3.311571442941732e-27, 3.428264693830121e-27, 3.54495794471851e-27, 3.6616511956068995e-27, 3.778344446495289e-27, 3.895037697383678e-27]}, "gradients/decoder.bert.encoder.layer.11.attention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.11.attention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.11.attention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.11.attention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.11.attention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.11.attention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.11.attention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.11.attention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.10.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 2.0, 3.0, 4.0, 4.0, 3.0, 6.0, 14.0, 2.0, 5.0, 9.0, 14.0, 11.0, 21.0, 15.0, 40.0, 39.0, 52.0, 71.0, 112.0, 165.0, 121.0, 58.0, 62.0, 40.0, 34.0, 16.0, 19.0, 16.0, 14.0, 10.0, 5.0, 4.0, 5.0, 4.0, 1.0, 4.0, 3.0, 2.0, 1.0, 3.0, 0.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-1.9720472998705604e-27, -1.9095219842260288e-27, -1.8469968611744916e-27, -1.78447154552996e-27, -1.721946422478423e-27, -1.6594211068338912e-27, -1.5968958874858568e-27, -1.5343706681378224e-27, -1.4718453524932908e-27, -1.4093201331452564e-27, -1.346794913797222e-27, -1.2842695981526904e-27, -1.221744378804656e-27, -1.1592191594566216e-27, -1.0966939401085873e-27, -1.0341687207605529e-27, -9.716435014125185e-28, -9.09118282064484e-28, -8.465930627164497e-28, -7.840677952201667e-28, -7.215425277238837e-28, -6.590173083758493e-28, -5.964920890278149e-28, -5.339668215315319e-28, -4.714416021834975e-28, -4.089163828354631e-28, -3.463911153391801e-28, -2.838658959911457e-28, -2.21340652568987e-28, -1.5881540914682832e-28, -9.629018979879392e-29, -3.376492230251092e-29, 2.876029704552347e-29, 9.128553444915109e-29, 1.5381077185277871e-28, 2.1633600323787526e-28, 2.7886124666003396e-28, 3.4138649008219265e-28, 4.0391170943022705e-28, 4.6643697692651005e-28, 5.289621962745444e-28, 5.914874156225788e-28, 6.540126831188618e-28, 7.165379024668962e-28, 7.790631218149306e-28, 8.415884374594622e-28, 9.041135605109994e-28, 9.66638876155531e-28, 1.0291640955035654e-27, 1.0916893148515998e-27, 1.1542145341996342e-27, 1.2167397535476686e-27, 1.2792650691922002e-27, 1.3417902885402346e-27, 1.404315507888269e-27, 1.4668408235328006e-27, 1.5293659465843378e-27, 1.5918911659323722e-27, 1.6544163852804066e-27, 1.716941700924938e-27, 1.7794668239764753e-27, 1.841992139621007e-27, 1.9045174552655386e-27, 1.9670425783170757e-27, 2.0295678939616074e-27]}, "gradients/decoder.bert.encoder.layer.10.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 4.0, 3.0, 3.0, 5.0, 2.0, 4.0, 4.0, 4.0, 16.0, 4.0, 16.0, 20.0, 24.0, 21.0, 30.0, 38.0, 35.0, 41.0, 39.0, 41.0, 46.0, 47.0, 47.0, 40.0, 52.0, 55.0, 48.0, 50.0, 41.0, 36.0, 26.0, 28.0, 27.0, 22.0, 13.0, 17.0, 12.0, 8.0, 15.0, 8.0, 6.0, 4.0, 4.0, 3.0, 4.0, 4.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.331701304526562e-27, -1.28776284988582e-27, -1.2438242989485807e-27, -1.1998857480113414e-27, -1.1559472933705994e-27, -1.1120088387298573e-27, -1.068070287792618e-27, -1.0241317368553788e-27, -9.801932822146367e-28, -9.362548275738947e-28, -8.923162766366554e-28, -8.483777256994161e-28, -8.044392710586741e-28, -7.605007682696834e-28, -7.165622654806927e-28, -6.726237626917021e-28, -6.286852599027114e-28, -5.847467571137207e-28, -5.408082543247301e-28, -4.968697515357394e-28, -4.529312487467487e-28, -4.089927459577581e-28, -3.650542431687674e-28, -3.2111574037977673e-28, -2.7717723759078606e-28, -2.332387348017954e-28, -1.8930023201280473e-28, -1.4536172922381406e-28, -1.014232264348234e-28, -5.748472364583273e-29, -1.3546220856842062e-29, 3.0392281932148604e-29, 7.433078472113927e-29, 1.1826928751012994e-28, 1.622077902991206e-28, 2.0614629308811127e-28, 2.5008479587710194e-28, 2.940232986660926e-28, 3.3796180145508327e-28, 3.8190030424407394e-28, 4.258388070330646e-28, 4.697773098220553e-28, 5.137158126110459e-28, 5.576543154000366e-28, 6.015928181890273e-28, 6.455313209780179e-28, 6.894698237670086e-28, 7.334083265559993e-28, 7.773468293449899e-28, 8.21285283985732e-28, 8.652238349229713e-28, 9.091623858602105e-28, 9.531008405009526e-28, 9.970392951416947e-28, 1.040977846078934e-27, 1.0849163970161732e-27, 1.1288548516569153e-27, 1.1727933062976573e-27, 1.2167318572348966e-27, 1.2606704081721359e-27, 1.304608862812878e-27, 1.34854731745362e-27, 1.3924858683908593e-27, 1.4364244193280985e-27, 1.4803628739688406e-27]}, "gradients/decoder.bert.encoder.layer.10.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.10.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.10.intermediate.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.10.intermediate.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.10.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 2.0, 1.0, 0.0, 2.0, 3.0, 5.0, 0.0, 4.0, 4.0, 7.0, 11.0, 13.0, 15.0, 25.0, 24.0, 34.0, 47.0, 64.0, 87.0, 173.0, 181.0, 80.0, 64.0, 34.0, 25.0, 21.0, 18.0, 12.0, 16.0, 11.0, 7.0, 3.0, 3.0, 6.0, 3.0, 5.0, 1.0, 0.0, 1.0, 1.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.363852475567777e-28, -4.2267984859003205e-28, -4.08974497771535e-28, -3.9526909880478932e-28, -3.8156369983804366e-28, -3.678583249454223e-28, -3.5415295005280093e-28, -3.4044755108605527e-28, -3.267421761934339e-28, -3.1303680130081254e-28, -2.9933140233406687e-28, -2.856260274414455e-28, -2.7192065254882415e-28, -2.582152535820785e-28, -2.445098786894571e-28, -2.3080450379683576e-28, -2.170991048300901e-28, -2.0339372993746873e-28, -1.8968833097072306e-28, -1.759829560781017e-28, -1.6227756914841818e-28, -1.4857218221873467e-28, -1.348668073261133e-28, -1.211614203964298e-28, -1.0745603346674628e-28, -9.375064653706276e-29, -8.004526562591032e-29, -6.633988471475789e-29, -5.263449778507437e-29, -3.8929110855390856e-29, -2.5223729944238418e-29, -1.151834903308598e-29, 2.1870378965975354e-30, 1.5892421817015512e-29, 2.959780573743349e-29, 4.3303189657851465e-29, 5.700857357826944e-29, 7.071396050795296e-29, 8.44193414191054e-29, 9.812472233025783e-29, 1.1183010925994135e-28, 1.2553549618962486e-28, 1.3924088311930838e-28, 1.5294625801192974e-28, 1.6665164494161325e-28, 1.8035703187129677e-28, 1.9406240676391813e-28, 2.077677816565395e-28, 2.2147318062328516e-28, 2.3517855551590652e-28, 2.488839544826522e-28, 2.6258932937527355e-28, 2.762947283420192e-28, 2.900001032346406e-28, 3.0370547812726194e-28, 3.174108770940076e-28, 3.3111625198662897e-28, 3.4482162687925034e-28, 3.58527025845996e-28, 3.7223240073861737e-28, 3.8593777563123873e-28, 3.996431745979844e-28, 4.133485735647301e-28, 4.270539243832271e-28, 4.407593233499728e-28]}, "gradients/decoder.bert.encoder.layer.10.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 3.0, 1.0, 6.0, 4.0, 1.0, 5.0, 4.0, 6.0, 15.0, 8.0, 16.0, 18.0, 26.0, 25.0, 34.0, 33.0, 36.0, 44.0, 39.0, 42.0, 44.0, 53.0, 40.0, 48.0, 47.0, 54.0, 49.0, 54.0, 31.0, 34.0, 30.0, 25.0, 29.0, 19.0, 11.0, 18.0, 10.0, 11.0, 13.0, 7.0, 6.0, 4.0, 3.0, 1.0, 4.0, 4.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.5198484613786147e-28, -2.435823026799916e-28, -2.3517978329624607e-28, -2.267772398383762e-28, -2.1837469638050637e-28, -2.099721529226365e-28, -2.0156962150182881e-28, -1.9316709008102112e-28, -1.8476454662315126e-28, -1.7636200316528141e-28, -1.6795947174447371e-28, -1.5955694032366601e-28, -1.5115439686579616e-28, -1.427518534079263e-28, -1.343493219871186e-28, -1.259467905663109e-28, -1.1754424710844106e-28, -1.091417036505712e-28, -1.0073917222976351e-28, -9.233663479042473e-29, -8.393409735108595e-29, -7.553155991174718e-29, -6.71290224724084e-29, -5.872648503306963e-29, -5.032394759373085e-29, -4.1921410154392076e-29, -3.35188727150533e-29, -2.5116335275714525e-29, -1.671379783637575e-29, -8.311260397036973e-30, 9.127704230180256e-32, 8.493814481640578e-30, 1.689632784685505e-29, 2.5298865286193825e-29, 3.37014027255326e-29, 4.2103940164871376e-29, 5.050647760421015e-29, 5.890901504354893e-29, 6.73115524828877e-29, 7.571408992222648e-29, 8.411662736156526e-29, 9.251916480090403e-29, 1.0092170224024281e-28, 1.093242336610505e-28, 1.1772677711892036e-28, 1.261293205767902e-28, 1.345318519975979e-28, 1.429343834184056e-28, 1.5133692687627546e-28, 1.5973947033414531e-28, 1.6814200175495301e-28, 1.7654453317576071e-28, 1.8494707663363056e-28, 1.9334962009150042e-28, 2.0175215151230812e-28, 2.101546829331158e-28, 2.1855722639098567e-28, 2.269597698488555e-28, 2.3536231330672537e-28, 2.437648326904709e-28, 2.5216737614834077e-28, 2.605699196062106e-28, 2.6897243898995617e-28, 2.77374982447826e-28, 2.8577752590569587e-28]}, "gradients/decoder.bert.encoder.layer.10.crossattention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.10.crossattention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.10.crossattention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.10.crossattention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.10.crossattention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.10.crossattention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.10.crossattention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.10.crossattention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.10.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 3.0, 1.0, 3.0, 0.0, 2.0, 3.0, 2.0, 4.0, 3.0, 10.0, 11.0, 9.0, 16.0, 20.0, 27.0, 28.0, 43.0, 61.0, 66.0, 90.0, 124.0, 128.0, 86.0, 59.0, 44.0, 45.0, 28.0, 19.0, 21.0, 13.0, 8.0, 7.0, 9.0, 2.0, 5.0, 3.0, 1.0, 3.0, 3.0, 3.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0], "bins": [-2.0647643660103124e-29, -1.993120223468938e-29, -1.9214760809275635e-29, -1.849831787922912e-29, -1.7781876453815376e-29, -1.7065435028401632e-29, -1.6348993602987887e-29, -1.5632550672941374e-29, -1.491610924752763e-29, -1.4199667822113884e-29, -1.348322639670014e-29, -1.2766783466653626e-29, -1.2050342041239882e-29, -1.1333900615826137e-29, -1.0617459190412393e-29, -9.901017012682263e-30, -9.184575587268519e-30, -8.468134161854774e-30, -7.751691984124645e-30, -7.0352505587109e-30, -6.318808380980771e-30, -5.602366955567027e-30, -4.88592515399509e-30, -4.169483352423153e-30, -3.4530415508512164e-30, -2.7365997492792795e-30, -2.0201579477073427e-30, -1.303716334214502e-30, -5.872745326425651e-31, 1.2916708085027558e-31, 8.456088824222124e-31, 1.5620506839941493e-30, 2.278492485566086e-30, 2.994934287138023e-30, 3.71137608870996e-30, 4.4278175141237044e-30, 5.1442596918538335e-30, 5.860701117267578e-30, 6.577142542681323e-30, 7.293584720411452e-30, 8.010026898141581e-30, 8.726468323555325e-30, 9.442910501285455e-30, 1.0159351926699199e-29, 1.0875794104429328e-29, 1.1592235529843073e-29, 1.2308676955256817e-29, 1.3025118380670562e-29, 1.3741561310717076e-29, 1.445800273613082e-29, 1.5174444161544565e-29, 1.5890887091591078e-29, 1.6607328517004823e-29, 1.7323769942418568e-29, 1.8040211367832312e-29, 1.8756652793246057e-29, 1.94730942186598e-29, 2.0189535644073546e-29, 2.090597706948729e-29, 2.1622419999533804e-29, 2.233886142494755e-29, 2.3055302850361293e-29, 2.3771744275775038e-29, 2.4488187205821551e-29, 2.5204628631235296e-29]}, "gradients/decoder.bert.encoder.layer.10.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 3.0, 3.0, 4.0, 5.0, 1.0, 6.0, 3.0, 7.0, 13.0, 9.0, 17.0, 17.0, 31.0, 21.0, 36.0, 38.0, 32.0, 45.0, 38.0, 40.0, 46.0, 55.0, 35.0, 51.0, 50.0, 54.0, 50.0, 49.0, 36.0, 29.0, 29.0, 24.0, 31.0, 16.0, 12.0, 16.0, 11.0, 10.0, 13.0, 8.0, 6.0, 3.0, 3.0, 3.0, 3.0, 4.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.5643681946166824e-29, -1.511955214886399e-29, -1.4595422351561157e-29, -1.4071291049625554e-29, -1.354716125232272e-29, -1.3023031455019886e-29, -1.2498901657717052e-29, -1.1974771860414218e-29, -1.1450641310795e-29, -1.0926511513492166e-29, -1.0402380963872948e-29, -9.878251166570114e-30, -9.35412136926728e-30, -8.829990819648062e-30, -8.305861022345228e-30, -7.78173047272601e-30, -7.257600675423176e-30, -6.733470878120342e-30, -6.209340328501124e-30, -5.68521053119829e-30, -5.161080357737264e-30, -4.636950184276238e-30, -4.112820386973404e-30, -3.588690213512378e-30, -3.064560040051352e-30, -2.5404298665903258e-30, -2.016299881208396e-30, -1.4921698017869179e-30, -9.680397223654398e-31, -4.439095489044138e-31, 8.022043647751619e-32, 6.043504218594461e-31, 1.1284805953204722e-30, 1.6526107687814983e-30, 2.1767407541634282e-30, 2.7008707395453582e-30, 3.225000913006384e-30, 3.7491310864674104e-30, 4.273260883770244e-30, 4.79739105723127e-30, 5.321521230692296e-30, 5.8456514041533224e-30, 6.369781577614348e-30, 6.893911374917182e-30, 7.418041172220016e-30, 7.942171721839234e-30, 8.466301519142068e-30, 8.990432068761287e-30, 9.51456186606412e-30, 1.0038691663366954e-29, 1.0562822212986173e-29, 1.1086952010289006e-29, 1.1611082559908225e-29, 1.2135212357211059e-29, 1.2659342154513892e-29, 1.3183471951816726e-29, 1.370760174911956e-29, 1.4231731546422394e-29, 1.4755861343725228e-29, 1.527999264566083e-29, 1.5804122442963664e-29, 1.6328252240266498e-29, 1.6852382037569332e-29, 1.7376511834872166e-29, 1.790064313680777e-29]}, "gradients/decoder.bert.encoder.layer.10.attention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.10.attention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.10.attention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.10.attention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.10.attention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.10.attention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.10.attention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.10.attention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.9.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 2.0, 0.0, 6.0, 4.0, 2.0, 3.0, 2.0, 6.0, 5.0, 8.0, 8.0, 10.0, 12.0, 17.0, 18.0, 22.0, 29.0, 63.0, 50.0, 81.0, 133.0, 145.0, 95.0, 72.0, 65.0, 40.0, 19.0, 16.0, 16.0, 13.0, 8.0, 10.0, 8.0, 10.0, 5.0, 7.0, 1.0, 2.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-7.077895612967772e-30, -6.794911804928218e-30, -6.511927244572279e-30, -6.2289430603745325e-30, -5.945958876176786e-30, -5.6629746919790395e-30, -5.379990507781293e-30, -5.097006699741739e-30, -4.8140221393858e-30, -4.5310379551880536e-30, -4.248053770990307e-30, -3.965069586792561e-30, -3.682085402594814e-30, -3.399101218397068e-30, -3.1161172222784174e-30, -2.833133038080671e-30, -2.5501490419620206e-30, -2.267164857764274e-30, -1.9841806735665277e-30, -1.7011964893687812e-30, -1.4182123992105828e-30, -1.1352282150128363e-30, -8.52244124854638e-31, -5.692599406568915e-31, -2.86275756459145e-31, -3.291595771285553e-33, 2.796925649165739e-31, 5.626767020945463e-31, 8.456608862922928e-31, 1.1286450704900393e-30, 1.4116291606482377e-30, 1.694613344845984e-30, 1.9775975290437306e-30, 2.260581713241477e-30, 2.5435658974392235e-30, 2.82655008163697e-30, 3.1095342658347165e-30, 3.392518450032463e-30, 3.6755026342302094e-30, 3.9584864422697636e-30, 4.2414710026257024e-30, 4.524455186823449e-30, 4.807439371021195e-30, 5.090423555218942e-30, 5.373407739416688e-30, 5.656391923614435e-30, 5.939376107812181e-30, 6.2223599158517354e-30, 6.505344476207674e-30, 6.788328284247228e-30, 7.071312844603167e-30, 7.354296652642721e-30, 7.63728121299866e-30, 7.920265021038214e-30, 8.203249581394153e-30, 8.486233389433707e-30, 8.769217197473261e-30, 9.052201005512816e-30, 9.335185565868754e-30, 9.618169373908308e-30, 9.901153934264247e-30, 1.0184137742303801e-29, 1.046712230265974e-29, 1.0750106110699294e-29, 1.1033090671055233e-29]}, "gradients/decoder.bert.encoder.layer.9.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 4.0, 2.0, 4.0, 4.0, 3.0, 3.0, 4.0, 5.0, 9.0, 12.0, 10.0, 15.0, 21.0, 29.0, 23.0, 34.0, 40.0, 30.0, 46.0, 38.0, 46.0, 48.0, 47.0, 38.0, 55.0, 46.0, 56.0, 53.0, 41.0, 38.0, 27.0, 33.0, 23.0, 27.0, 14.0, 15.0, 14.0, 12.0, 11.0, 11.0, 7.0, 5.0, 3.0, 3.0, 3.0, 3.0, 5.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.736852913255903e-30, -5.5436407624327145e-30, -5.350428611609526e-30, -5.157216460786337e-30, -4.9640046861213406e-30, -4.770792535298152e-30, -4.577580384474963e-30, -4.3843682336517745e-30, -4.191156082828586e-30, -3.997943932005397e-30, -3.8047317811822084e-30, -3.61151963035902e-30, -3.418307479535831e-30, -3.225095328712642e-30, -3.031883554047646e-30, -2.8386714032244572e-30, -2.6454592524012685e-30, -2.4522471015780798e-30, -2.259034950754891e-30, -2.0658229880107985e-30, -1.8726108371876098e-30, -1.679398686364421e-30, -1.4861866295807805e-30, -1.2929745727971398e-30, -1.0997624219739511e-30, -9.065502711507624e-31, -7.133382143671218e-31, -5.201261105637071e-31, -3.2691400676029247e-31, -1.3370185593710377e-31, 5.951020084653686e-32, 2.527222576301775e-31, 4.459347846115585e-31, 6.391468884149731e-31, 8.323589922183878e-31, 1.0255710490020284e-30, 1.2187831998252171e-30, 1.4119953506484058e-30, 1.6052073133924984e-30, 1.798419464215687e-30, 1.9916316150388758e-30, 2.1848437658620645e-30, 2.3780559166852532e-30, 2.5712678794293458e-30, 2.7644800302525345e-30, 2.9576921810757232e-30, 3.1509041438198157e-30, 3.3441162946430044e-30, 3.537328445466193e-30, 3.730540596289382e-30, 3.9237527471125705e-30, 4.116964897935759e-30, 4.310177048758948e-30, 4.5033891995821366e-30, 4.696600974247133e-30, 4.889813125070322e-30, 5.0830252758935105e-30, 5.276237426716699e-30, 5.469449577539888e-30, 5.6626617283630766e-30, 5.855873503028073e-30, 6.049085653851262e-30, 6.2422978046744504e-30, 6.435509955497639e-30, 6.628722106320828e-30]}, "gradients/decoder.bert.encoder.layer.9.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.9.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.9.intermediate.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.9.intermediate.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.9.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 2.0, 1.0, 3.0, 3.0, 6.0, 1.0, 3.0, 2.0, 4.0, 7.0, 11.0, 22.0, 21.0, 28.0, 40.0, 45.0, 66.0, 128.0, 204.0, 128.0, 65.0, 68.0, 42.0, 26.0, 21.0, 8.0, 17.0, 10.0, 9.0, 2.0, 9.0, 4.0, 1.0, 5.0, 0.0, 1.0, 0.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.6064296426093343e-30, -2.5040519839747506e-30, -2.4016741372610707e-30, -2.299296290547391e-30, -2.196918631912807e-30, -2.0945409732782235e-30, -1.9921631265645436e-30, -1.8897852798508638e-30, -1.78740762121628e-30, -1.6850299625816963e-30, -1.5826521158680165e-30, -1.4802743631938847e-30, -1.377896610519753e-30, -1.2755188578456211e-30, -1.1731411051714894e-30, -1.0707633524973576e-30, -9.683855998232258e-31, -8.66007847149094e-31, -7.636300944749622e-31, -6.6125234180083044e-31, -5.588745891266987e-31, -4.564968364525669e-31, -3.541190837784351e-31, -2.517413311043033e-31, -1.4936357843017153e-31, -4.698582575603975e-32, 5.539192691809203e-32, 1.5776967959222381e-31, 2.601474322663556e-31, 3.6252518494048738e-31, 4.649029376146192e-31, 5.672806902887509e-31, 6.696582548837866e-31, 7.720360075579184e-31, 8.744137602320502e-31, 9.76791512906182e-31, 1.0791692655803137e-30, 1.1815470182544455e-30, 1.2839247709285773e-30, 1.386302523602709e-30, 1.4886802762768408e-30, 1.5910581229905207e-30, 1.6934357816251044e-30, 1.795813440259688e-30, 1.898191286973368e-30, 2.0005691336870478e-30, 2.1029467923216315e-30, 2.2053244509562153e-30, 2.307702297669895e-30, 2.410080144383575e-30, 2.5124578030181587e-30, 2.6148354616527424e-30, 2.7172133083664222e-30, 2.819591155080102e-30, 2.9219688137146858e-30, 3.0243464723492695e-30, 3.1267243190629494e-30, 3.229102165776629e-30, 3.331479636332117e-30, 3.4338574830457966e-30, 3.5362353297594765e-30, 3.638613176473156e-30, 3.740991023186836e-30, 3.843368493742324e-30, 3.9457463404560036e-30]}, "gradients/decoder.bert.encoder.layer.9.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 5.0, 1.0, 3.0, 5.0, 2.0, 4.0, 4.0, 6.0, 8.0, 10.0, 12.0, 12.0, 17.0, 33.0, 24.0, 37.0, 31.0, 37.0, 40.0, 42.0, 43.0, 44.0, 50.0, 39.0, 47.0, 49.0, 56.0, 50.0, 49.0, 41.0, 26.0, 26.0, 26.0, 30.0, 16.0, 14.0, 15.0, 13.0, 8.0, 13.0, 9.0, 5.0, 4.0, 2.0, 2.0, 4.0, 5.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.7704908469147263e-30, -1.711194397960943e-30, -1.6518979490071597e-30, -1.5926015000533763e-30, -1.533305145139141e-30, -1.4740086961853577e-30, -1.4147123412711224e-30, -1.3554158923173391e-30, -1.2961194433635558e-30, -1.2368229944097724e-30, -1.177526545455989e-30, -1.1182301905417538e-30, -1.0589337415879705e-30, -9.996372926341871e-31, -9.403409377199519e-31, -8.810444887661685e-31, -8.217480398123852e-31, -7.624515908586018e-31, -7.031551889245925e-31, -6.438587869905832e-31, -5.845623380367999e-31, -5.252658890830165e-31, -4.659694871490072e-31, -4.066730852149979e-31, -3.473766362612146e-31, -2.8808021081731827e-31, -2.2878378537342194e-31, -1.6948735992952562e-31, -1.101909344856293e-31, -5.089450904173297e-32, 8.401916402163349e-33, 6.769831833617266e-32, 1.26994767289956e-31, 1.8629119273385232e-31, 2.4558761817774864e-31, 3.0488404362164496e-31, 3.641804690655413e-31, 4.234769180193246e-31, 4.827733199533339e-31, 5.420697218873432e-31, 6.013661708411266e-31, 6.606626197949099e-31, 7.199590217289192e-31, 7.792554236629285e-31, 8.385518726167119e-31, 8.978483215704952e-31, 9.571446764847305e-31, 1.0164411254385138e-30, 1.0757375743922972e-30, 1.1350340233460805e-30, 1.1943304722998638e-30, 1.2536268272140991e-30, 1.3129232761678825e-30, 1.3722197251216658e-30, 1.431516080035901e-30, 1.4908125289896844e-30, 1.5501089779434677e-30, 1.609405426897251e-30, 1.6687018758510344e-30, 1.7279983248048178e-30, 1.787294585679505e-30, 1.8465910346332883e-30, 1.9058874835870717e-30, 1.965183932540855e-30, 2.0244803814946383e-30]}, "gradients/decoder.bert.encoder.layer.9.crossattention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.9.crossattention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.9.crossattention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.9.crossattention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.9.crossattention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.9.crossattention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.9.crossattention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.9.crossattention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.9.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 2.0, 2.0, 2.0, 3.0, 5.0, 2.0, 7.0, 5.0, 5.0, 10.0, 7.0, 11.0, 8.0, 16.0, 20.0, 25.0, 25.0, 41.0, 39.0, 65.0, 87.0, 116.0, 119.0, 81.0, 53.0, 56.0, 39.0, 32.0, 20.0, 23.0, 18.0, 14.0, 13.0, 10.0, 4.0, 5.0, 4.0, 1.0, 6.0, 0.0, 4.0, 1.0, 4.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 1.0], "bins": [-2.0962865823891946e-31, -2.0363170923899044e-31, -1.9763476023906143e-31, -1.916377994841889e-31, -1.8564085048425989e-31, -1.7964390148433087e-31, -1.7364694072945835e-31, -1.6764999172952934e-31, -1.6165304272960032e-31, -1.556560937296713e-31, -1.496591447297423e-31, -1.4366218397486977e-31, -1.3766523497494075e-31, -1.3166828597501174e-31, -1.2567132522013921e-31, -1.196743762202102e-31, -1.1367742722028119e-31, -1.0768047822035217e-31, -1.0168352922042316e-31, -9.568656846555063e-32, -8.968961946562162e-32, -8.36926704656926e-32, -7.769571558829183e-32, -7.169876071089106e-32, -6.570181171096205e-32, -5.970486271103304e-32, -5.370790783363227e-32, -4.7710955894967374e-32, -4.171400395630248e-32, -3.571705201763759e-32, -2.97201000789727e-32, -2.3723148140307807e-32, -1.7726184446699406e-32, -1.1729232508034515e-32, -5.732280569369623e-33, 2.646713692952692e-34, 6.261623307960161e-33, 1.2258575246625053e-32, 1.8255527185289945e-32, 2.4252479123954837e-32, 3.024943106261973e-32, 3.624638300128462e-32, 4.224333493994951e-32, 4.8240286878614404e-32, 5.42372388172793e-32, 6.023418781720831e-32, 6.623114269460908e-32, 7.222809757200985e-32, 7.822504657193886e-32, 8.422199557186788e-32, 9.021895044926865e-32, 9.621590532666942e-32, 1.0221285432659843e-31, 1.0820980332652745e-31, 1.1420675232645646e-31, 1.2020371308132898e-31, 1.26200662081258e-31, 1.3219761108118701e-31, 1.3819457183605954e-31, 1.4419152083598855e-31, 1.5018846983591757e-31, 1.5618541883584658e-31, 1.621823678357756e-31, 1.6817932859064812e-31, 1.7417627759057713e-31]}, "gradients/decoder.bert.encoder.layer.9.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 4.0, 2.0, 2.0, 4.0, 4.0, 1.0, 6.0, 4.0, 6.0, 11.0, 6.0, 14.0, 20.0, 17.0, 24.0, 24.0, 43.0, 30.0, 40.0, 42.0, 41.0, 40.0, 47.0, 51.0, 37.0, 49.0, 50.0, 54.0, 49.0, 50.0, 36.0, 30.0, 20.0, 32.0, 22.0, 16.0, 16.0, 12.0, 12.0, 11.0, 12.0, 8.0, 5.0, 3.0, 2.0, 4.0, 3.0, 4.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.4477938556083478e-31, -1.3989132740181046e-31, -1.3500325748784263e-31, -1.3011519932881832e-31, -1.2522712941485049e-31, -1.2033907125582617e-31, -1.1545101309680185e-31, -1.1056294318283403e-31, -1.056748732688662e-31, -1.0078681510984188e-31, -9.589874519587406e-32, -9.101068703684974e-32, -8.612261712288191e-32, -8.123455896385759e-32, -7.634649492736152e-32, -7.145843089086545e-32, -6.657037273184113e-32, -6.168230869534506e-32, -5.679424465884899e-32, -5.190618649982467e-32, -4.701811952459272e-32, -4.2130055488096646e-32, -3.724199439033645e-32, -3.235393035384038e-32, -2.7465866317344306e-32, -2.2577802280848234e-32, -1.76897397137201e-32, -1.2801677146591966e-32, -7.913613110095894e-33, -3.0255490735998218e-33, 1.8625120241603734e-33, 6.750576060656446e-33, 1.1638651852096026e-32, 1.6526715888592098e-32, 2.1414778455720232e-32, 2.6302841022848366e-32, 3.119090505934444e-32, 3.607896909584051e-32, 4.0967030193600706e-32, 4.585509423009678e-32, 5.074315826659285e-32, 5.563122230308892e-32, 6.0519286339585e-32, 6.540735037608107e-32, 7.029540853510539e-32, 7.518347844907321e-32, 8.007153660809753e-32, 8.49596006445936e-32, 8.984766468108967e-32, 9.473572871758575e-32, 9.962379275408182e-32, 1.0451185091310614e-31, 1.0939992082707396e-31, 1.1428797898609828e-31, 1.191760371451226e-31, 1.2406410705909043e-31, 1.2895217697305825e-31, 1.3384023513208257e-31, 1.387283050460504e-31, 1.4361636320507471e-31, 1.4850443311904254e-31, 1.5339249127806686e-31, 1.5828054943709118e-31, 1.63168619351059e-31, 1.6805667751008332e-31]}, "gradients/decoder.bert.encoder.layer.9.attention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.9.attention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.9.attention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.9.attention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.9.attention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.9.attention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.9.attention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.9.attention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.8.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 3.0, 1.0, 5.0, 3.0, 4.0, 2.0, 2.0, 5.0, 8.0, 7.0, 12.0, 15.0, 21.0, 33.0, 37.0, 44.0, 48.0, 86.0, 166.0, 158.0, 92.0, 46.0, 44.0, 34.0, 32.0, 25.0, 15.0, 13.0, 13.0, 6.0, 7.0, 8.0, 4.0, 6.0, 2.0, 3.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-6.146138040957976e-32, -5.900915813444237e-32, -5.655693585930498e-32, -5.410471358416759e-32, -5.16524913090302e-32, -4.920027197262869e-32, -4.67480496974913e-32, -4.4295830361089784e-32, -4.1843608085952394e-32, -3.9391385810815003e-32, -3.6939163535677613e-32, -3.448694126054022e-32, -3.203472192413871e-32, -2.958249964900132e-32, -2.713027737386393e-32, -2.4678058037462415e-32, -2.2225832823589147e-32, -1.9773610548451757e-32, -1.7321389742682305e-32, -1.4869167467544915e-32, -1.2416946661775463e-32, -9.964724386638072e-33, -7.512502111500682e-33, -5.06028130573123e-33, -2.6080590305938396e-33, -1.5583730646942613e-34, 2.2963844176549873e-33, 4.748606325450393e-33, 7.200827865903814e-33, 9.653049406357235e-33, 1.2105271681494626e-32, 1.4557492487264078e-32, 1.7009714762401468e-32, 1.9461937037538859e-32, 2.191415784330831e-32, 2.43663801184457e-32, 2.6818600924215153e-32, 2.9270823199352543e-32, 3.1723045474489934e-32, 3.4175264810891447e-32, 3.662748708602884e-32, 3.907970936116623e-32, 4.153193163630362e-32, 4.398415391144101e-32, 4.643637324784252e-32, 4.888859552297991e-32, 5.134082073685318e-32, 5.379303713451882e-32, 5.624526528712796e-32, 5.869748756226535e-32, 6.114970983740274e-32, 6.360193211254013e-32, 6.605415438767752e-32, 6.850637666281491e-32, 7.09585989379523e-32, 7.341081533561794e-32, 7.586303761075533e-32, 7.831525988589272e-32, 8.076748216103011e-32, 8.32197044361675e-32, 8.567192671130489e-32, 8.812414310897053e-32, 9.057636538410792e-32, 9.302858765924531e-32, 9.54808099343827e-32]}, "gradients/decoder.bert.encoder.layer.8.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 3.0, 3.0, 2.0, 3.0, 5.0, 1.0, 6.0, 4.0, 5.0, 13.0, 6.0, 12.0, 20.0, 21.0, 22.0, 27.0, 35.0, 34.0, 46.0, 38.0, 40.0, 45.0, 47.0, 45.0, 40.0, 54.0, 49.0, 57.0, 49.0, 46.0, 34.0, 29.0, 22.0, 29.0, 26.0, 16.0, 15.0, 12.0, 10.0, 11.0, 13.0, 4.0, 5.0, 4.0, 2.0, 4.0, 3.0, 4.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.720494378050478e-32, -4.5606095139233847e-32, -4.400724943669879e-32, -4.240840373416373e-32, -4.08095550928928e-32, -3.9210706451621864e-32, -3.7611860749086806e-32, -3.601301504655175e-32, -3.4414166405280815e-32, -3.281531776400988e-32, -3.1216472061474823e-32, -2.9617626358939766e-32, -2.801877771766883e-32, -2.6419929076397897e-32, -2.482108337386284e-32, -2.3222236201959844e-32, -2.1623389030056848e-32, -2.0024541858153852e-32, -1.8425694686250856e-32, -1.682684751434786e-32, -1.5228000342444865e-32, -1.362915317054187e-32, -1.2030305998638873e-32, -1.0431458826735877e-32, -8.832611654832881e-33, -7.233764482929886e-33, -5.63491731102689e-33, -4.036070139123894e-33, -2.437222967220898e-33, -8.383757953179022e-34, 7.604713765850936e-34, 2.3593185484880895e-33, 3.958165720391085e-33, 5.557012892294081e-33, 7.155860064197077e-33, 8.754707236100073e-33, 1.0353554408003069e-32, 1.1952401579906064e-32, 1.355124875180906e-32, 1.5150095923712056e-32, 1.6748943095615052e-32, 1.8347790267518048e-32, 1.9946637439421044e-32, 2.154548461132404e-32, 2.3144331783227035e-32, 2.474318042449797e-32, 2.6342026127033027e-32, 2.7940871829568084e-32, 2.953972047083902e-32, 3.1138569112109953e-32, 3.273741481464501e-32, 3.433626051718007e-32, 3.5935109158451e-32, 3.7533957799721936e-32, 3.9132803502256993e-32, 4.073164920479205e-32, 4.2330497846062985e-32, 4.392934648733392e-32, 4.5528192189868977e-32, 4.7127037892404034e-32, 4.872588653367497e-32, 5.03247351749459e-32, 5.192358381621684e-32, 5.352242658001602e-32, 5.512127522128695e-32]}, "gradients/decoder.bert.encoder.layer.8.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.8.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.8.intermediate.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.8.intermediate.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.8.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 3.0, 2.0, 2.0, 3.0, 1.0, 5.0, 1.0, 0.0, 2.0, 1.0, 4.0, 2.0, 3.0, 7.0, 5.0, 6.0, 9.0, 15.0, 14.0, 11.0, 23.0, 33.0, 43.0, 46.0, 63.0, 94.0, 135.0, 119.0, 78.0, 66.0, 37.0, 28.0, 26.0, 24.0, 20.0, 16.0, 17.0, 8.0, 6.0, 5.0, 7.0, 8.0, 5.0, 2.0, 1.0, 7.0, 1.0, 1.0, 2.0, 0.0, 1.0, 2.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.776172257966064e-32, -1.7187652281021315e-32, -1.6613581982381988e-32, -1.60395131531106e-32, -1.5465442854471274e-32, -1.4891372555831948e-32, -1.431730372656056e-32, -1.3743233427921233e-32, -1.3169163129281907e-32, -1.259509283064258e-32, -1.2021023266687223e-32, -1.1446953702731866e-32, -1.087288340409254e-32, -1.0298813105453213e-32, -9.724743541497856e-33, -9.150673977542499e-33, -8.576603678903172e-33, -8.002533380263846e-33, -7.428463816308489e-33, -6.854394252353132e-33, -6.280323953713805e-33, -5.7062540224164634e-33, -5.1321840911191216e-33, -4.55811415982178e-33, -3.984044228524438e-33, -3.409974297227096e-33, -2.8359043659297543e-33, -2.2618344346324125e-33, -1.6877645033350707e-33, -1.1136945720377289e-33, -5.396246407403871e-34, 3.444529055695471e-35, 6.08513752486358e-34, 1.1825836837836998e-33, 1.7566536150810416e-33, 2.3307235463783834e-33, 2.9047934776757252e-33, 3.478863408973067e-33, 4.052933340270409e-33, 4.6270032715677506e-33, 5.2010732028650924e-33, 5.775143134162434e-33, 6.349213065459776e-33, 6.923282629415133e-33, 7.49735292805446e-33, 8.071423226693786e-33, 8.645492790649143e-33, 9.2195623546045e-33, 9.793632653243827e-33, 1.0367702951883153e-32, 1.094177251583851e-32, 1.1515842079793868e-32, 1.2089912378433194e-32, 1.266398267707252e-32, 1.3238052975711847e-32, 1.3812121804983235e-32, 1.438619210362256e-32, 1.4960262402261888e-32, 1.5534331231533276e-32, 1.6108401530172602e-32, 1.6682471828811929e-32, 1.7256542127451255e-32, 1.7830612426090581e-32, 1.840468125536197e-32, 1.8978751554001296e-32]}, "gradients/decoder.bert.encoder.layer.8.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 3.0, 3.0, 1.0, 4.0, 4.0, 1.0, 6.0, 6.0, 5.0, 10.0, 6.0, 16.0, 19.0, 19.0, 24.0, 30.0, 37.0, 34.0, 42.0, 38.0, 43.0, 37.0, 54.0, 45.0, 41.0, 52.0, 49.0, 53.0, 54.0, 43.0, 33.0, 29.0, 22.0, 27.0, 28.0, 14.0, 17.0, 10.0, 11.0, 13.0, 11.0, 4.0, 5.0, 4.0, 2.0, 4.0, 4.0, 3.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.3771188152951726e-32, -1.3303453073287783e-32, -1.283571946299178e-32, -1.2367984383327837e-32, -1.1900250773031834e-32, -1.143251642805186e-32, -1.0964782083071888e-32, -1.0497047003407945e-32, -1.0029313393111941e-32, -9.561579048131968e-33, -9.093844703151995e-33, -8.626110358172022e-33, -8.158376013192049e-33, -7.690641668212076e-33, -7.222907323232103e-33, -6.755172243568161e-33, -6.287437898588188e-33, -5.819703553608215e-33, -5.351969208628242e-33, -4.8842348636482687e-33, -4.4165005186682956e-33, -3.9487661736883226e-33, -3.481031461366365e-33, -3.013297116386392e-33, -2.5455627714064188e-33, -2.0778284264264457e-33, -1.6100940814464727e-33, -1.1423595527955073e-33, -6.746252078155343e-34, -2.0689086283556124e-34, 2.6084366581540413e-34, 7.285780107953772e-34, 1.1963123557753502e-33, 1.6640467007553233e-33, 2.1317810457352963e-33, 2.5995155743862617e-33, 3.0672499193662347e-33, 3.5349840806752155e-33, 4.002718792997173e-33, 4.470453137977146e-33, 4.938187482957119e-33, 5.405921827937092e-33, 5.873656172917065e-33, 6.341390885239023e-33, 6.809125230218996e-33, 7.276859575198969e-33, 7.744593920178942e-33, 8.212328265158915e-33, 8.680062610138888e-33, 9.147796955118861e-33, 9.615531300098834e-33, 1.0083265645078807e-32, 1.055099999005878e-32, 1.1018734335038753e-32, 1.1486469414702696e-32, 1.19542030249987e-32, 1.2421938104662642e-32, 1.2889673184326584e-32, 1.3357406794622588e-32, 1.382514187428653e-32, 1.4292875484582534e-32, 1.4760610564246476e-32, 1.522834417454248e-32, 1.5696079254206422e-32, 1.6163812864502426e-32]}, "gradients/decoder.bert.encoder.layer.8.crossattention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.8.crossattention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.8.crossattention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.8.crossattention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.8.crossattention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.8.crossattention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.8.crossattention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.8.crossattention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.8.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [6.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 3.0, 2.0, 1.0, 3.0, 2.0, 3.0, 7.0, 8.0, 6.0, 21.0, 22.0, 19.0, 27.0, 30.0, 66.0, 98.0, 120.0, 160.0, 111.0, 80.0, 50.0, 44.0, 20.0, 20.0, 16.0, 17.0, 15.0, 8.0, 7.0, 6.0, 1.0, 4.0, 8.0, 1.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-1.3158837329764895e-33, -1.2616999637238092e-33, -1.207516194471129e-33, -1.1533324252184488e-33, -1.0991487478012647e-33, -1.0449649785485844e-33, -9.907812092959042e-34, -9.36597440043224e-34, -8.824136707905437e-34, -8.282299015378635e-34, -7.740461322851833e-34, -7.198624089502511e-34, -6.656786856153189e-34, -6.114949163626387e-34, -5.573111471099585e-34, -5.031273778572782e-34, -4.4894370044009415e-34, -3.947599311874139e-34, -3.4057620785248175e-34, -2.863924385998015e-34, -2.322086923059953e-34, -1.7802494601218912e-34, -1.2384117675950889e-34, -6.965743046570269e-35, -1.5473684171896492e-35, 3.8710067861628215e-35, 9.289381989515292e-35, 1.4707757766839614e-34, 2.0126132396220234e-34, 2.5544507025600853e-34, 3.0962883950868877e-34, 3.6381258580249497e-34, 4.179964239317973e-34, 4.721801931844776e-34, 5.263639165194097e-34, 5.8054768577208995e-34, 6.347314091070221e-34, 6.8891517835970235e-34, 7.430989476123826e-34, 7.972827168650628e-34, 8.514663942822469e-34, 9.056501635349271e-34, 9.598339327876074e-34, 1.0140176102047915e-33, 1.0682013794574717e-33, 1.122385148710152e-33, 1.1765689179628322e-33, 1.2307526872155124e-33, 1.2849364564681926e-33, 1.3391202257208729e-33, 1.3933039949735531e-33, 1.4474877642262333e-33, 1.5016714416434174e-33, 1.5558553027315938e-33, 1.610038980148778e-33, 1.664222657565962e-33, 1.7184065186541384e-33, 1.7725901960713225e-33, 1.826774057159499e-33, 1.880957734576683e-33, 1.9351415956648593e-33, 1.9893252730820434e-33, 2.0435091341702198e-33, 2.097692811587404e-33, 2.151876489004588e-33]}, "gradients/decoder.bert.encoder.layer.8.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 4.0, 1.0, 4.0, 4.0, 1.0, 6.0, 6.0, 5.0, 10.0, 7.0, 15.0, 19.0, 18.0, 25.0, 31.0, 37.0, 34.0, 39.0, 41.0, 41.0, 37.0, 54.0, 46.0, 41.0, 51.0, 50.0, 51.0, 56.0, 44.0, 32.0, 30.0, 21.0, 27.0, 28.0, 14.0, 18.0, 10.0, 10.0, 13.0, 9.0, 6.0, 5.0, 4.0, 1.0, 5.0, 4.0, 3.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.0031324406806809e-33, -9.690577981862199e-34, -9.34983247527255e-34, -9.009086050327939e-34, -8.668339625383328e-34, -8.327593200438718e-34, -7.986847693849069e-34, -7.646101268904458e-34, -7.305355303137328e-34, -6.9646093373701985e-34, -6.623862912425588e-34, -6.283116946658458e-34, -5.942370980891328e-34, -5.601624555946718e-34, -5.260878590179588e-34, -4.920132624412458e-34, -4.5793861994678476e-34, -4.238640233700718e-34, -3.897893808756107e-34, -3.5571478429889774e-34, -3.216401647633107e-34, -2.875655452277237e-34, -2.534909486510107e-34, -2.194163291154237e-34, -1.8534170957983668e-34, -1.5126709004424966e-34, -1.1719248198809966e-34, -8.311787393194966e-35, -4.904325439636264e-35, -1.496863486077562e-35, 1.910596171593736e-35, 5.318058125152438e-35, 8.72552007871114e-35, 1.2132982032269842e-34, 1.5540442837884842e-34, 1.8947903643499842e-34, 2.2355365597058544e-34, 2.5762827550617246e-34, 2.9170287208288544e-34, 3.2577749161847246e-34, 3.5985211115405948e-34, 3.939267077307725e-34, 4.280013502252335e-34, 4.620759468019465e-34, 4.961505433786595e-34, 5.302251858731205e-34, 5.642997824498335e-34, 5.983743790265465e-34, 6.3244902152100756e-34, 6.665236180977205e-34, 7.005982605921816e-34, 7.346728571688946e-34, 7.687474996633556e-34, 8.028220503223205e-34, 8.368966928167816e-34, 8.709713353112427e-34, 9.050459778057037e-34, 9.391206203001648e-34, 9.731951709591297e-34, 1.0072698134535907e-33, 1.0413444559480518e-33, 1.0754190066070167e-33, 1.1094936491014778e-33, 1.1435682915959388e-33, 1.1776428422549037e-33]}, "gradients/decoder.bert.encoder.layer.8.attention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.8.attention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.8.attention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.8.attention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.8.attention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.8.attention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.8.attention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.8.attention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.7.output.LayerNorm.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 3.0, 0.0, 0.0, 5.0, 2.0, 6.0, 11.0, 9.0, 17.0, 18.0, 18.0, 25.0, 45.0, 41.0, 54.0, 105.0, 171.0, 152.0, 91.0, 66.0, 41.0, 25.0, 20.0, 22.0, 15.0, 18.0, 9.0, 8.0, 5.0, 7.0, 0.0, 1.0, 3.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.381317169970947e-34, -5.164683203841496e-34, -4.948049696889526e-34, -4.731415730760075e-34, -4.514781764630624e-34, -4.298148257678654e-34, -4.081514291549203e-34, -3.864880325419752e-34, -3.6482468184677815e-34, -3.431613081927071e-34, -3.2149793453863603e-34, -2.9983453792569093e-34, -2.7817116427161987e-34, -2.565077906175488e-34, -2.348443940046037e-34, -2.1318102035053265e-34, -1.9151764669646159e-34, -1.6985427304239053e-34, -1.4819088790888245e-34, -1.2652750277537437e-34, -1.048641291213033e-34, -8.320075546723225e-35, -6.153737033372417e-35, -3.9873985200216086e-35, -1.8210611546145025e-35, 3.452767847644545e-36, 2.5116147241434115e-35, 4.6779526635223685e-35, 6.844290602901326e-35, 9.010627968308432e-35, 1.117696648165924e-34, 1.3343304995010048e-34, 1.5509637768642346e-34, 1.7675975134049452e-34, 1.9842312499456558e-34, 2.2008652160751068e-34, 2.4174989526158174e-34, 2.634132689156528e-34, 2.850766655285979e-34, 3.0674003918266896e-34, 3.2840341283674e-34, 3.500667864908111e-34, 3.7173016014488214e-34, 3.933935567578272e-34, 4.150569533707723e-34, 4.367203040659694e-34, 4.583837006789145e-34, 4.800470972918596e-34, 5.017104479870566e-34, 5.233738446000017e-34, 5.450371952951987e-34, 5.667005919081438e-34, 5.883639426033408e-34, 6.100273392162859e-34, 6.31690735829231e-34, 6.5335408652442804e-34, 6.7501748313737314e-34, 6.9668087975031824e-34, 7.183442304455153e-34, 7.400076270584604e-34, 7.616710236714055e-34, 7.833343743666025e-34, 8.049977250617995e-34, 8.266611675924927e-34, 8.483245182876897e-34]}, "gradients/decoder.bert.encoder.layer.7.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 4.0, 1.0, 4.0, 3.0, 2.0, 5.0, 4.0, 6.0, 6.0, 8.0, 10.0, 13.0, 21.0, 18.0, 28.0, 37.0, 32.0, 30.0, 45.0, 39.0, 36.0, 44.0, 57.0, 41.0, 42.0, 44.0, 56.0, 44.0, 53.0, 42.0, 41.0, 21.0, 27.0, 22.0, 28.0, 16.0, 18.0, 8.0, 10.0, 14.0, 10.0, 6.0, 5.0, 4.0, 2.0, 4.0, 3.0, 4.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.778534755222085e-34, -3.6497267474883675e-34, -3.52091873975465e-34, -3.392110732020932e-34, -3.2633027242872145e-34, -3.134494716553497e-34, -3.0056864792310387e-34, -2.876878471497321e-34, -2.7480704637636033e-34, -2.6192624560298857e-34, -2.490454448296168e-34, -2.3616464405624503e-34, -2.232838203239992e-34, -2.1040301955062745e-34, -1.975222187772557e-34, -1.8464141800388392e-34, -1.7176061723051215e-34, -1.5887981645714038e-34, -1.4599901568376861e-34, -1.3311820343095982e-34, -1.2023740265758805e-34, -1.0735660188421629e-34, -9.447579537112601e-35, -8.159498885803573e-35, -6.871418808466396e-35, -5.583338731129219e-35, -4.2952580798201915e-35, -3.007177715497089e-35, -1.7190973511739869e-35, -4.3101727383681e-36, 8.570633774722178e-36, 2.1451440287812456e-35, 3.4332195143436145e-35, 4.721299878666717e-35, 6.009380242989819e-35, 7.297460894298847e-35, 8.585540971636024e-35, 9.8736210489732e-35, 1.116170227425408e-34, 1.2449782351591256e-34, 1.3737862428928433e-34, 1.502594250626561e-34, 1.6314022583602787e-34, 1.7602103808883666e-34, 1.8890183886220842e-34, 2.017826511150172e-34, 2.14663451888389e-34, 2.2754425266176075e-34, 2.404250534351325e-34, 2.533058542085043e-34, 2.6618665498187605e-34, 2.7906745575524782e-34, 2.919482565286196e-34, 3.0482905730199136e-34, 3.1770988103423717e-34, 3.3059068180760894e-34, 3.434714825809807e-34, 3.5635228335435247e-34, 3.6923308412772424e-34, 3.82113884901096e-34, 3.949947086333418e-34, 4.078755094067136e-34, 4.2075631018008535e-34, 4.336371109534571e-34, 4.465179117268289e-34]}, "gradients/decoder.bert.encoder.layer.7.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.7.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.7.intermediate.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.7.intermediate.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.7.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 1.0, 2.0, 1.0, 3.0, 2.0, 3.0, 4.0, 5.0, 3.0, 8.0, 17.0, 12.0, 18.0, 21.0, 22.0, 29.0, 50.0, 67.0, 111.0, 197.0, 137.0, 68.0, 53.0, 41.0, 37.0, 22.0, 19.0, 21.0, 6.0, 6.0, 5.0, 11.0, 3.0, 3.0, 2.0, 2.0, 0.0, 1.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.0258970145525364e-34, -1.9575408701085184e-34, -1.8891846108701302e-34, -1.820828351631742e-34, -1.752472207187724e-34, -1.6841159479493358e-34, -1.6157596887109476e-34, -1.5474035442669297e-34, -1.4790473998229117e-34, -1.4106911405845235e-34, -1.3423349961405055e-34, -1.2739787369021173e-34, -1.2056225924580993e-34, -1.137266333219711e-34, -1.068910073981323e-34, -1.000553929537305e-34, -9.321976702989167e-35, -8.638414684577136e-35, -7.954852666165105e-35, -7.271290073781223e-35, -6.587728629341044e-35, -5.904166036957162e-35, -5.220604018545131e-35, -4.5370420001331e-35, -3.853479981721069e-35, -3.169917963309038e-35, -2.486355944897007e-35, -1.8027936394990506e-35, -1.1192316210870197e-35, -4.3566960267498876e-36, 2.4789270272296765e-36, 9.314547211349986e-36, 1.6150167395470295e-35, 2.2985787579590604e-35, 2.9821407763710913e-35, 3.665703081769048e-35, 4.3492651001810787e-35, 5.032827405579035e-35, 5.716389423991066e-35, 6.399951442403097e-35, 7.083513460815128e-35, 7.767075479227159e-35, 8.45063749763919e-35, 9.134199516051221e-35, 9.817762108435103e-35, 1.0501323552875282e-34, 1.1184886145259164e-34, 1.1868447589699344e-34, 1.2552010182083226e-34, 1.3235572774467108e-34, 1.3919134218907288e-34, 1.460269681129117e-34, 1.528625825573135e-34, 1.5969820848115232e-34, 1.6653382292555412e-34, 1.7336944884939294e-34, 1.8020507477323176e-34, 1.8704070069707057e-34, 1.938763266209094e-34, 2.007119410653112e-34, 2.07547555509713e-34, 2.143831699541148e-34, 2.2121880735739063e-34, 2.2805442180179243e-34, 2.3489003624619423e-34]}, "gradients/decoder.bert.encoder.layer.7.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 4.0, 2.0, 3.0, 3.0, 2.0, 5.0, 5.0, 3.0, 8.0, 9.0, 11.0, 14.0, 18.0, 20.0, 24.0, 42.0, 28.0, 29.0, 46.0, 37.0, 38.0, 39.0, 56.0, 47.0, 40.0, 43.0, 56.0, 43.0, 47.0, 46.0, 42.0, 22.0, 27.0, 21.0, 27.0, 20.0, 16.0, 10.0, 11.0, 12.0, 12.0, 5.0, 7.0, 5.0, 3.0, 1.0, 3.0, 5.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.1823579062163954e-34, -1.1421799914416444e-34, -1.1020019618725233e-34, -1.0618240470977723e-34, -1.0216461323230213e-34, -9.814682175482704e-35, -9.412901879791492e-35, -9.011122732043983e-35, -8.609343010324622e-35, -8.207563288605262e-35, -7.805784140857752e-35, -7.404004419138392e-35, -7.002224697419031e-35, -6.600445549671521e-35, -6.198665827952161e-35, -5.7968861062328e-35, -5.395106958485291e-35, -4.99332723676593e-35, -4.5915480890184205e-35, -4.18976836729906e-35, -3.787988932565625e-35, -3.38620949783219e-35, -2.9844297761128293e-35, -2.582650341379394e-35, -2.180870906645959e-35, -1.779091471912524e-35, -1.3773118936861262e-35, -9.755323154597284e-36, -5.7375288072629336e-36, -1.719734459928583e-36, 2.2980627572650227e-36, 6.315857104599373e-36, 1.0333639972496704e-35, 1.4351434319831055e-35, 1.8369230102095033e-35, 2.2387025884359011e-35, 2.640482023169336e-35, 3.0422614579027713e-35, 3.444041179622132e-35, 3.845820614355567e-35, 4.247600049089002e-35, 4.649379483822437e-35, 5.051158918555872e-35, 5.452938640275233e-35, 5.854718361994593e-35, 6.256497509742103e-35, 6.658277231461463e-35, 7.060056953180824e-35, 7.461836100928334e-35, 7.863615822647694e-35, 8.265394970395204e-35, 8.667174692114564e-35, 9.068953839862074e-35, 9.470733561581434e-35, 9.872513283300795e-35, 1.0274292431048304e-34, 1.0676071578795814e-34, 1.1077850726543324e-34, 1.1479631022234535e-34, 1.1881410169982045e-34, 1.2283189317729554e-34, 1.2684968465477064e-34, 1.3086748761168275e-34, 1.3488527908915785e-34, 1.3890308204606997e-34]}, "gradients/decoder.bert.encoder.layer.7.crossattention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.7.crossattention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.7.crossattention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.7.crossattention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.7.crossattention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.7.crossattention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.7.crossattention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.7.crossattention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.7.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 2.0, 2.0, 4.0, 2.0, 6.0, 2.0, 5.0, 5.0, 6.0, 7.0, 11.0, 15.0, 13.0, 18.0, 22.0, 30.0, 34.0, 50.0, 58.0, 121.0, 160.0, 125.0, 70.0, 43.0, 45.0, 27.0, 20.0, 23.0, 11.0, 16.0, 11.0, 6.0, 7.0, 4.0, 10.0, 3.0, 6.0, 3.0, 4.0, 3.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.674709668556761e-35, -1.619949740620341e-35, -1.5651898126839211e-35, -1.5104298847475012e-35, -1.4556699568110813e-35, -1.4009100288746613e-35, -1.3461499574452786e-35, -1.2913901730018214e-35, -1.2366301015724387e-35, -1.1818701736360188e-35, -1.1271102456995989e-35, -1.0723503177631789e-35, -1.017590389826759e-35, -9.62830461890339e-36, -9.080704622074377e-36, -8.533105342710178e-36, -7.985506780810792e-36, -7.437907501446592e-36, -6.890308222082393e-36, -6.342708942718194e-36, -5.795109304621587e-36, -5.247510025257388e-36, -4.6999103871607815e-36, -4.152311107796582e-36, -3.6047118284323826e-36, -3.057112549068183e-36, -2.5095130903377803e-36, -1.9619136316073774e-36, -1.414314352243178e-36, -8.667150728789785e-37, -3.1911543478237224e-37, 2.284838445818272e-37, 7.760845588756541e-37, 1.3236839279229553e-36, 1.8712832969702564e-36, 2.4188827557006593e-36, 2.9664820350648587e-36, 3.514081314429058e-36, 4.0616809525256645e-36, 4.609280231889864e-36, 5.1568795112540634e-36, 5.704478790618263e-36, 6.252078069982462e-36, 6.799678066811475e-36, 7.347277346175675e-36, 7.894876625539874e-36, 8.442475904904074e-36, 8.990075184268273e-36, 9.537674463632473e-36, 1.0085273742996672e-35, 1.0632873022360871e-35, 1.1180472301725071e-35, 1.172807158108927e-35, 1.227567086045347e-35, 1.2823271574747297e-35, 1.337086941918187e-35, 1.3918470133475696e-35, 1.4466069412839895e-35, 1.5013668692204094e-35, 1.5561267971568294e-35, 1.6108867250932493e-35, 1.6656466530296693e-35, 1.7204065809660892e-35, 1.775166652395472e-35, 1.829926436838929e-35]}, "gradients/decoder.bert.encoder.layer.7.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 2.0, 4.0, 2.0, 4.0, 2.0, 4.0, 6.0, 1.0, 9.0, 9.0, 10.0, 10.0, 21.0, 20.0, 26.0, 34.0, 34.0, 29.0, 46.0, 33.0, 40.0, 40.0, 55.0, 48.0, 42.0, 42.0, 53.0, 45.0, 48.0, 49.0, 38.0, 25.0, 26.0, 23.0, 27.0, 21.0, 13.0, 11.0, 12.0, 11.0, 13.0, 5.0, 7.0, 4.0, 4.0, 2.0, 3.0, 4.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.144832918035501e-35, -1.1060624109379637e-35, -1.0672919038404266e-35, -1.0285214684893707e-35, -9.897509613918335e-36, -9.509804542942963e-36, -9.122100189432405e-36, -8.734395118457033e-36, -8.346690047481661e-36, -7.95898497650629e-36, -7.571279905530918e-36, -7.18357555202036e-36, -6.795870481044987e-36, -6.408165410069616e-36, -6.020461056559057e-36, -5.6327559855836854e-36, -5.2450509146083135e-36, -4.8573458436329415e-36, -4.4696411313899765e-36, -4.0819364191470114e-36, -3.6942313481716395e-36, -3.3065262771962676e-36, -2.9188215649533025e-36, -2.531116673344134e-36, -2.1434117817349655e-36, -1.755706890125797e-36, -1.3680019985166285e-36, -9.8029710690746e-37, -5.925922152982915e-37, -2.0488732368912303e-37, 1.8281756792004547e-37, 5.70522459529214e-37, 9.58225916208755e-37, 1.3459308078179235e-36, 1.733635699427092e-36, 2.1213405910362605e-36, 2.509045482645429e-36, 2.8967503742545975e-36, 3.284455265863766e-36, 3.672159978106731e-36, 4.059865049082103e-36, 4.447570120057475e-36, 4.83527483230044e-36, 5.222979544543405e-36, 5.610684615518777e-36, 5.998389686494149e-36, 6.386094040004707e-36, 6.773799110980079e-36, 7.161504181955451e-36, 7.549209252930823e-36, 7.936914323906195e-36, 8.324618677416753e-36, 8.712323748392125e-36, 9.100028819367497e-36, 9.487733172878055e-36, 9.875438243853427e-36, 1.0263143314828799e-35, 1.0650848385804171e-35, 1.1038553456779543e-35, 1.1426257810290101e-35, 1.1813962881265473e-35, 1.220166723477603e-35, 1.2589372305751403e-35, 1.2977077376726775e-35, 1.3364782447702147e-35]}, "gradients/decoder.bert.encoder.layer.7.attention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.7.attention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.7.attention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.7.attention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.7.attention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.7.attention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.7.attention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.7.attention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.6.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 2.0, 2.0, 1.0, 2.0, 4.0, 1.0, 3.0, 7.0, 8.0, 5.0, 13.0, 13.0, 17.0, 20.0, 23.0, 35.0, 41.0, 66.0, 100.0, 184.0, 145.0, 100.0, 57.0, 40.0, 22.0, 28.0, 15.0, 14.0, 14.0, 10.0, 7.0, 2.0, 7.0, 1.0, 0.0, 0.0, 0.0, 3.0, 1.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.827533118240387e-36, -9.49661825713134e-36, -9.16570267855748e-36, -8.834787817448434e-36, -8.503872956339387e-36, -8.172957377765527e-36, -7.84204251665648e-36, -7.511127655547433e-36, -7.180212076973573e-36, -6.849297215864526e-36, -6.518381637290666e-36, -6.187466776181619e-36, -5.856551556340166e-36, -5.525636336498712e-36, -5.1947214753896656e-36, -4.863806255548212e-36, -4.5328913944391655e-36, -4.201976174597712e-36, -3.871061313488665e-36, -3.540146093647212e-36, -3.209230873805758e-36, -2.8783158333305082e-36, -2.547400792855258e-36, -2.2164855730138046e-36, -1.8855705325385545e-36, -1.5546554920633044e-36, -1.223740272221851e-36, -8.928252317466009e-37, -5.619101015882491e-37, -2.3099497142989727e-37, 9.99200690453528e-38, 4.308352888868063e-37, 7.617503293620564e-37, 1.0926654595204082e-36, 1.42358058967876e-36, 1.75449563015401e-36, 2.0854108499954636e-36, 2.4163258904707137e-36, 2.7472409309459637e-36, 3.078156150787417e-36, 3.409071370628871e-36, 3.739986590470324e-36, 4.070901451579371e-36, 4.4018166714208244e-36, 4.732731891262278e-36, 5.0636471111037315e-36, 5.394561972212778e-36, 5.7254771920542316e-36, 6.056391694430871e-36, 6.387306555539918e-36, 6.718222134113778e-36, 7.049136995222825e-36, 7.380051856331872e-36, 7.710967434905732e-36, 8.041882296014779e-36, 8.372797157123825e-36, 8.703712735697686e-36, 9.034627596806732e-36, 9.365543175380593e-36, 9.69645803648964e-36, 1.0027372897598686e-35, 1.0358288476172546e-35, 1.0689203337281593e-35, 1.1020118915855453e-35, 1.13510337769645e-35]}, "gradients/decoder.bert.encoder.layer.6.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 2.0, 4.0, 2.0, 4.0, 2.0, 4.0, 6.0, 2.0, 7.0, 10.0, 9.0, 11.0, 17.0, 23.0, 25.0, 33.0, 33.0, 30.0, 44.0, 38.0, 35.0, 43.0, 49.0, 49.0, 44.0, 40.0, 54.0, 50.0, 45.0, 46.0, 43.0, 26.0, 24.0, 25.0, 26.0, 22.0, 13.0, 11.0, 11.0, 10.0, 16.0, 4.0, 7.0, 5.0, 4.0, 1.0, 3.0, 5.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.8066360943190426e-36, -5.6105482972041674e-36, -5.4144601413568853e-36, -5.21837234424201e-36, -5.022284547127135e-36, -4.826196391279853e-36, -4.630108594164978e-36, -4.4340207970501025e-36, -4.2379326412028204e-36, -4.041844844087945e-36, -3.845756688240663e-36, -3.649668891125788e-36, -3.453581094010913e-36, -3.2574932968960376e-36, -3.0614051410487555e-36, -2.8653173439338803e-36, -2.669229546819005e-36, -2.4731415703379265e-36, -2.2770537732230513e-36, -2.0809657967419727e-36, -1.8848779996270975e-36, -1.688790023146019e-36, -1.4927020466649402e-36, -1.2966141598669633e-36, -1.1005262730689864e-36, -9.044383862710095e-37, -7.083504546314817e-37, -5.1226252299195395e-37, -3.1617463619397704e-37, -1.2008674939600013e-37, 7.60012270850785e-38, 2.720891138830554e-37, 4.681766419486255e-37, 6.642645287466024e-37, 8.603524155445793e-37, 1.056440392025658e-36, 1.2525282788236348e-36, 1.4486161656216117e-36, 1.6447041421026904e-36, 1.8407919392175656e-36, 2.0368799156986442e-36, 2.2329678921797228e-36, 2.429055689294598e-36, 2.6251436657756767e-36, 2.8212316422567553e-36, 3.0173194393716305e-36, 3.213407236486506e-36, 3.409495392333788e-36, 3.605583189448663e-36, 3.801670986563538e-36, 3.99775914241082e-36, 4.1938469395256954e-36, 4.3899347366405706e-36, 4.5860228924878526e-36, 4.782110689602728e-36, 4.978198486717603e-36, 5.174286642564885e-36, 5.37037443967976e-36, 5.5664625955270424e-36, 5.7625503926419176e-36, 5.958638189756793e-36, 6.154725986871668e-36, 6.35081414271895e-36, 6.546902298566232e-36, 6.7429897369487e-36]}, "gradients/decoder.bert.encoder.layer.6.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.6.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.6.intermediate.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.6.intermediate.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.6.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 3.0, 1.0, 7.0, 6.0, 7.0, 8.0, 11.0, 12.0, 6.0, 12.0, 11.0, 21.0, 20.0, 24.0, 34.0, 48.0, 56.0, 72.0, 169.0, 126.0, 76.0, 69.0, 44.0, 36.0, 24.0, 28.0, 10.0, 6.0, 15.0, 19.0, 4.0, 3.0, 5.0, 5.0, 4.0, 4.0, 1.0, 1.0, 1.0, 0.0, 3.0, 2.0, 0.0, 1.0], "bins": [-3.801337365425152e-36, -3.7034392915911056e-36, -3.6055412177570595e-36, -3.5076431439230134e-36, -3.409745070088967e-36, -3.311846996254921e-36, -3.213948922420875e-36, -3.116050848586829e-36, -3.018152774752783e-36, -2.9202547009187368e-36, -2.8223566270846907e-36, -2.7244585532506446e-36, -2.6265604794165985e-36, -2.5286624055825524e-36, -2.4307643317485063e-36, -2.3328662579144602e-36, -2.2349680047142106e-36, -2.1370699308801645e-36, -2.0391718570461184e-36, -1.9412737832120723e-36, -1.8433757093780262e-36, -1.74547763554398e-36, -1.6475793823437306e-36, -1.5496813085096845e-36, -1.4517833243587401e-36, -1.353885250524694e-36, -1.255987176690648e-36, -1.1580890131735001e-36, -1.060190939339454e-36, -9.622928655054079e-37, -8.643947916713618e-37, -7.664967178373157e-37, -6.685986440032696e-37, -5.707005701692235e-37, -4.728024963351774e-37, -3.7490437765958044e-37, -2.7700630382553434e-37, -1.7910822999148824e-37, -8.121011131589129e-38, 1.6687962518154815e-38, 1.1458603635220092e-37, 2.12484110186247e-37, 3.1038220644106854e-37, 4.082803026958901e-37, 5.061783765299362e-37, 6.040764503639823e-37, 7.019745690395792e-37, 7.998726428736253e-37, 8.977707167076714e-37, 9.956687905417175e-37, 1.0935668643757636e-36, 1.1914649382098097e-36, 1.2893630120438558e-36, 1.387261085877902e-36, 1.4851592493950498e-36, 1.5830574129121976e-36, 1.6809554867462437e-36, 1.7788535605802898e-36, 1.876751634414336e-36, 1.974649708248382e-36, 2.072547782082428e-36, 2.1704458559164742e-36, 2.2683439297505203e-36, 2.3662420035845664e-36, 2.4641400774186125e-36]}, "gradients/decoder.bert.encoder.layer.6.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 5.0, 2.0, 4.0, 1.0, 5.0, 6.0, 1.0, 9.0, 8.0, 9.0, 13.0, 15.0, 23.0, 24.0, 33.0, 33.0, 28.0, 44.0, 37.0, 37.0, 44.0, 46.0, 49.0, 45.0, 41.0, 52.0, 50.0, 44.0, 48.0, 46.0, 23.0, 27.0, 24.0, 27.0, 22.0, 12.0, 12.0, 10.0, 12.0, 15.0, 5.0, 7.0, 4.0, 4.0, 1.0, 5.0, 5.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.15410218682581e-36, -2.081572413241985e-36, -2.0090428190243634e-36, -1.9365132248067418e-36, -1.8639834512229167e-36, -1.7914536776390917e-36, -1.71892408342147e-36, -1.6463944892038484e-36, -1.5738647156200233e-36, -1.5013350317193e-36, -1.4288053478185766e-36, -1.3562756639178533e-36, -1.28374598001713e-36, -1.2112162961164066e-36, -1.1386866122156833e-36, -1.0661569283149599e-36, -9.936272444142366e-37, -9.210975605135132e-37, -8.485678766127899e-37, -7.760381927120665e-37, -7.035085088113432e-37, -6.309788249106198e-37, -5.584491410098965e-37, -4.859194571091731e-37, -4.133897732084498e-37, -3.4086008930772645e-37, -2.683304054070031e-37, -1.9580072150627976e-37, -1.232710376055564e-37, -5.074135370483306e-38, 2.1788330195890282e-38, 9.431801409661363e-38, 1.6684751863113354e-37, 2.393772025318569e-37, 3.1190688643258023e-37, 3.844365703333036e-37, 4.569662542340269e-37, 5.294959381347503e-37, 6.020256220354736e-37, 6.74555305936197e-37, 7.470849898369203e-37, 8.196146737376437e-37, 8.92144357638367e-37, 9.646740415390903e-37, 1.0372037254398137e-36, 1.109733409340537e-36, 1.1822630932412604e-36, 1.2547927771419837e-36, 1.327322461042707e-36, 1.3998521449434304e-36, 1.4723818288441538e-36, 1.544911602427979e-36, 1.6174411966456005e-36, 1.689970790863222e-36, 1.762500564447047e-36, 1.8350303380308722e-36, 1.907559932248494e-36, 1.9800895264661155e-36, 2.0526193000499405e-36, 2.1251490736337656e-36, 2.1976786678513872e-36, 2.270208262069009e-36, 2.342738035652834e-36, 2.415267809236659e-36, 2.4877974034542806e-36]}, "gradients/decoder.bert.encoder.layer.6.crossattention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.6.crossattention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.6.crossattention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.6.crossattention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.6.crossattention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.6.crossattention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.6.crossattention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.6.crossattention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.6.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 3.0, 1.0, 2.0, 2.0, 1.0, 0.0, 1.0, 1.0, 3.0, 2.0, 1.0, 1.0, 5.0, 2.0, 2.0, 6.0, 6.0, 4.0, 5.0, 6.0, 5.0, 8.0, 13.0, 21.0, 19.0, 25.0, 29.0, 43.0, 59.0, 119.0, 137.0, 124.0, 90.0, 57.0, 43.0, 36.0, 24.0, 21.0, 17.0, 13.0, 12.0, 7.0, 7.0, 7.0, 8.0, 4.0, 3.0, 5.0, 6.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 2.0], "bins": [-3.963885476159982e-37, -3.846493434921267e-37, -3.729101393682551e-37, -3.611709352443835e-37, -3.4943173112051192e-37, -3.3769252699664034e-37, -3.259533452935442e-37, -3.142141411696726e-37, -3.0247493704580104e-37, -2.9073573292192946e-37, -2.789965287980579e-37, -2.672573246741863e-37, -2.5551814297109015e-37, -2.4377893884721857e-37, -2.32039734723347e-37, -2.203005305994754e-37, -2.0856132647560384e-37, -1.9682212235173226e-37, -1.8508291822786068e-37, -1.7334372531437682e-37, -1.6160452119050524e-37, -1.4986531706663366e-37, -1.381261241531498e-37, -1.2638692002927822e-37, -1.1464771590540664e-37, -1.0290851178153506e-37, -9.116931326285734e-38, -7.943011474417961e-38, -6.769091062030804e-38, -5.595170649643646e-38, -4.4212507977758736e-38, -3.2473309459081014e-38, -2.0734082914434007e-38, -8.994881593159356e-39, 2.7443197281152936e-39, 1.4483521049389944e-38, 2.6222722370664594e-38, 3.796192649453617e-38, 4.970112501321389e-38, 6.144032353189162e-38, 7.317952765576319e-38, 8.491873177963477e-38, 9.665793590350635e-38, 1.0839712881699022e-37, 1.201363329408618e-37, 1.3187553706473337e-37, 1.4361472997821724e-37, 1.5535393410208882e-37, 1.670931382259604e-37, 1.7883234234983197e-37, 1.9057154647370355e-37, 2.0231075059757513e-37, 2.140499323006713e-37, 2.2578913642454286e-37, 2.3752834054841444e-37, 2.49267544672286e-37, 2.610067487961576e-37, 2.7274595292002917e-37, 2.8448515704390075e-37, 2.9622436116777233e-37, 3.079635652916439e-37, 3.197027694155155e-37, 3.3144195111861164e-37, 3.431811552424832e-37, 3.549203593663548e-37]}, "gradients/decoder.bert.encoder.layer.6.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 2.0, 4.0, 2.0, 2.0, 3.0, 3.0, 7.0, 4.0, 7.0, 9.0, 9.0, 12.0, 17.0, 21.0, 24.0, 32.0, 32.0, 31.0, 43.0, 39.0, 41.0, 38.0, 45.0, 54.0, 45.0, 42.0, 51.0, 47.0, 43.0, 53.0, 43.0, 24.0, 23.0, 22.0, 33.0, 21.0, 11.0, 13.0, 9.0, 14.0, 14.0, 4.0, 7.0, 4.0, 3.0, 3.0, 2.0, 6.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.62808123577241e-37, -2.539480160677835e-37, -2.450879309791014e-37, -2.3622782346964386e-37, -2.2736773838096177e-37, -2.1850763087150424e-37, -2.096475233620467e-37, -2.0078743827336462e-37, -1.9192735318468253e-37, -1.8306725688561272e-37, -1.742071605865429e-37, -1.6534705307708539e-37, -1.564869679884033e-37, -1.4762686047894577e-37, -1.3876676417987596e-37, -1.2990666788080615e-37, -1.2104656037134862e-37, -1.1218646407227881e-37, -1.03326367773209e-37, -9.446626026375148e-38, -8.560616956987553e-38, -7.674607327080572e-38, -6.788597136654205e-38, -5.902587506747224e-38, -5.016577876840243e-38, -4.130568246933262e-38, -3.2445583367665884e-38, -2.3585484265999145e-38, -1.4725387966929336e-38, -5.865291667859526e-39, 2.9948102364041406e-39, 1.185490653547395e-38, 2.071500283454376e-38, 2.957509913361357e-38, 3.843519823528031e-38, 4.729529733694705e-38, 5.615539363601686e-38, 6.501548993508667e-38, 7.387559183935033e-38, 8.273568813842014e-38, 9.159578443748995e-38, 1.0045588073655976e-37, 1.0931597703562957e-37, 1.1817607333469938e-37, 1.270361808441569e-37, 1.35896265932839e-37, 1.4475637344229652e-37, 1.5361646974136633e-37, 1.6247656604043614e-37, 1.7133666233950595e-37, 1.8019675863857576e-37, 1.890568661480333e-37, 1.979169512367154e-37, 2.067770587461729e-37, 2.15637143834855e-37, 2.2449725134431252e-37, 2.3335735885377005e-37, 2.4221746636322757e-37, 2.5107755145190967e-37, 2.599376589613672e-37, 2.687977440500493e-37, 2.776578515595068e-37, 2.8651795906896433e-37, 2.9537804415764643e-37, 3.0423812924632852e-37]}, "gradients/decoder.bert.encoder.layer.6.attention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.6.attention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.6.attention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.6.attention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.6.attention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.6.attention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.6.attention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.6.attention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.5.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 2.0, 0.0, 1.0, 1.0, 3.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 4.0, 2.0, 3.0, 2.0, 10.0, 7.0, 6.0, 9.0, 17.0, 9.0, 13.0, 15.0, 18.0, 38.0, 37.0, 58.0, 78.0, 137.0, 161.0, 101.0, 57.0, 45.0, 55.0, 30.0, 15.0, 16.0, 14.0, 10.0, 7.0, 4.0, 10.0, 4.0, 4.0, 2.0, 1.0, 1.0, 4.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0], "bins": [-2.6080704694940974e-37, -2.5295170407003625e-37, -2.4509636119066276e-37, -2.3724101831128928e-37, -2.293856978526912e-37, -2.2153035497331773e-37, -2.1367501209394425e-37, -2.0581966921457076e-37, -1.9796432633519727e-37, -1.901089834558238e-37, -1.822536405764503e-37, -1.7439830890746453e-37, -1.6654296602809104e-37, -1.5868762314871756e-37, -1.5083229147973178e-37, -1.429769486003583e-37, -1.3512160572098481e-37, -1.2726626284161132e-37, -1.1941091996223784e-37, -1.1155558829325207e-37, -1.0370024541387858e-37, -9.58449025345051e-38, -8.798956526032546e-38, -8.013422798614583e-38, -7.227888510677235e-38, -6.442354222739886e-38, -5.656820495321923e-38, -4.87128676790396e-38, -4.0857524799666116e-38, -3.300218472288956e-38, -2.5146844646113e-38, -1.729150737193337e-38, -9.436186913335314e-39, -1.580846836558756e-39, 6.274493240217802e-39, 1.412983331699436e-38, 2.1985173393770918e-38, 2.9840513470547476e-38, 3.7695853547324034e-38, 4.5551190821503663e-38, 5.340653370087715e-38, 6.126187658025064e-38, 6.911721385443027e-38, 7.697255112860989e-38, 8.482789400798338e-38, 9.268323688735687e-38, 1.0053856855634264e-37, 1.0839391143571613e-37, 1.1624925431508961e-37, 1.241045971944631e-37, 1.3195994007383659e-37, 1.3981527174282236e-37, 1.4767061462219584e-37, 1.5552595750156933e-37, 1.633812891705551e-37, 1.7123663204992859e-37, 1.7909197492930208e-37, 1.8694731780867556e-37, 1.9480266068804905e-37, 2.0265800356742254e-37, 2.105133240260206e-37, 2.183686669053941e-37, 2.2622400978476757e-37, 2.3407935266414105e-37, 2.4193469554351454e-37]}, "gradients/decoder.bert.encoder.layer.5.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 3.0, 3.0, 3.0, 2.0, 2.0, 4.0, 8.0, 2.0, 3.0, 13.0, 9.0, 11.0, 17.0, 21.0, 21.0, 27.0, 42.0, 26.0, 46.0, 37.0, 39.0, 40.0, 47.0, 49.0, 46.0, 45.0, 42.0, 56.0, 38.0, 58.0, 39.0, 29.0, 18.0, 29.0, 32.0, 21.0, 12.0, 11.0, 10.0, 14.0, 14.0, 5.0, 5.0, 6.0, 3.0, 3.0, 2.0, 6.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.6615404404710848e-37, -1.6057358030510761e-37, -1.5499311656310675e-37, -1.4941265282110588e-37, -1.4383218907910502e-37, -1.3825172533710416e-37, -1.326712615951033e-37, -1.2709079785310243e-37, -1.2151033411110156e-37, -1.159298703691007e-37, -1.1034940662709984e-37, -1.0476894288509897e-37, -9.91884791430981e-38, -9.360801540109724e-38, -8.802755165909638e-38, -8.244708791709552e-38, -7.686662417509465e-38, -7.128616043309379e-38, -6.570569669109293e-38, -6.012523294909206e-38, -5.45447692070912e-38, -4.896430546509033e-38, -4.338384172308947e-38, -3.7803377981088605e-38, -3.222291423908774e-38, -2.664245049708688e-38, -2.1061986755086014e-38, -1.548152301308515e-38, -9.901059271084286e-39, -4.320595529083422e-39, 1.259868212917442e-39, 6.840331954918306e-39, 1.2420840538470028e-38, 1.8001304280470892e-38, 2.3581768022471756e-38, 2.916223176447262e-38, 3.4742695506473484e-38, 4.032315924847435e-38, 4.590362299047521e-38, 5.148408673247608e-38, 5.706455047447694e-38, 6.26450142164778e-38, 6.822547795847867e-38, 7.380594170047953e-38, 7.93864054424804e-38, 8.496686918448126e-38, 9.054733292648212e-38, 9.612779666848299e-38, 1.0170826041048385e-37, 1.0728872415248471e-37, 1.1286918789448558e-37, 1.1844965163648644e-37, 1.240301153784873e-37, 1.2961057912048817e-37, 1.3519104286248903e-37, 1.407715066044899e-37, 1.4635197034649076e-37, 1.5193243408849163e-37, 1.575128978304925e-37, 1.6309336157249335e-37, 1.6867382531449422e-37, 1.7425428905649508e-37, 1.7983475279849595e-37, 1.854152165404968e-37, 1.9099568028249767e-37]}, "gradients/decoder.bert.encoder.layer.5.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.5.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.5.intermediate.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.5.intermediate.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.5.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 2.0, 1.0, 1.0, 3.0, 1.0, 1.0, 1.0, 0.0, 3.0, 6.0, 6.0, 6.0, 6.0, 12.0, 8.0, 12.0, 17.0, 17.0, 20.0, 23.0, 35.0, 51.0, 90.0, 127.0, 165.0, 104.0, 79.0, 41.0, 39.0, 24.0, 26.0, 18.0, 18.0, 12.0, 8.0, 8.0, 6.0, 2.0, 1.0, 2.0, 3.0, 1.0, 1.0, 3.0, 3.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.3557981910843131e-37, -1.3193647673234993e-37, -1.2829313435626855e-37, -1.2464980319057488e-37, -1.210064608144935e-37, -1.1736311843841212e-37, -1.1371978727271846e-37, -1.1007644489663708e-37, -1.064331025205557e-37, -1.0278976014447432e-37, -9.914641776839293e-38, -9.550308660269927e-38, -9.185974422661789e-38, -8.821640185053651e-38, -8.457306507964898e-38, -8.092972830876146e-38, -7.728638593268008e-38, -7.36430435565987e-38, -6.999970678571118e-38, -6.635637001482365e-38, -6.271302763874227e-38, -5.906968526266089e-38, -5.542634849177337e-38, -5.178301172088585e-38, -4.813966934480446e-38, -4.4496329771320013e-38, -4.085299019783556e-38, -3.720965062435111e-38, -3.3566311050866657e-38, -2.9922971477382205e-38, -2.6279631903897753e-38, -2.2636292330413301e-38, -1.8992986388091993e-38, -1.534964681460754e-38, -1.1706307241123089e-38, -8.062967667638637e-39, -4.4196280941541855e-39, -7.762885206697335e-40, 2.8670510528147184e-39, 6.51039062629917e-39, 1.0153730199783622e-38, 1.3797069773268074e-38, 1.7440409346752526e-38, 2.1083748920236978e-38, 2.472708849372143e-38, 2.837042806720588e-38, 3.2013767640690334e-38, 3.5657107214174786e-38, 3.930044678765924e-38, 4.294378636114369e-38, 4.658712593462814e-38, 5.023046270551566e-38, 5.387380508159705e-38, 5.751714745767843e-38, 6.116048422856595e-38, 6.480382099945347e-38, 6.844716337553485e-38, 7.209050575161623e-38, 7.573384252250376e-38, 7.937717929339128e-38, 8.302052166947266e-38, 8.666386404555404e-38, 9.030720081644156e-38, 9.395053758732909e-38, 9.759387996341047e-38]}, "gradients/decoder.bert.encoder.layer.5.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 4.0, 3.0, 2.0, 3.0, 1.0, 5.0, 6.0, 3.0, 4.0, 6.0, 12.0, 13.0, 14.0, 15.0, 29.0, 17.0, 42.0, 30.0, 45.0, 31.0, 46.0, 37.0, 39.0, 49.0, 52.0, 36.0, 49.0, 54.0, 37.0, 56.0, 44.0, 38.0, 20.0, 22.0, 29.0, 28.0, 15.0, 9.0, 15.0, 12.0, 13.0, 10.0, 3.0, 5.0, 4.0, 4.0, 2.0, 4.0, 4.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-7.837150662190236e-38, -7.577099935258379e-38, -7.317048647807137e-38, -7.056997360355895e-38, -6.796946633424038e-38, -6.536895906492181e-38, -6.276844619040939e-38, -6.016793331589697e-38, -5.75674260465784e-38, -5.496691877725983e-38, -5.236640590274741e-38, -4.976589302823499e-38, -4.716538575891642e-38, -4.4564875687000926e-38, -4.196436561508543e-38, -3.9363855543169936e-38, -3.676334547125444e-38, -3.4162835399338946e-38, -3.156232532742345e-38, -2.8961815255507956e-38, -2.636130518359246e-38, -2.3760795111676966e-38, -2.116028503976147e-38, -1.8559774967845976e-38, -1.595926489593048e-38, -1.3358754824014986e-38, -1.0758244752099491e-38, -8.157734680183996e-39, -5.557224608268501e-39, -2.956714536353006e-39, -3.562044644375112e-40, 2.2443056074779838e-39, 4.844821284587336e-39, 7.445331356502831e-39, 1.0045841428418326e-38, 1.264635150033382e-38, 1.5246861572249316e-38, 1.784737164416481e-38, 2.0447881716080306e-38, 2.30483917879958e-38, 2.5648901859911296e-38, 2.824941193182679e-38, 3.0849922003742286e-38, 3.345043207565778e-38, 3.6050942147573276e-38, 3.865145221948877e-38, 4.1251962291404266e-38, 4.385247236331976e-38, 4.6452982435235256e-38, 4.905349530974768e-38, 5.165400257906625e-38, 5.425450984838481e-38, 5.685502272289724e-38, 5.945553559740966e-38, 6.205604286672823e-38, 6.465655013604679e-38, 6.725706301055922e-38, 6.985757588507164e-38, 7.245808315439021e-38, 7.505859042370877e-38, 7.76591032982212e-38, 8.025961617273362e-38, 8.286012344205219e-38, 8.546063071137075e-38, 8.806114358588318e-38]}, "gradients/decoder.bert.encoder.layer.5.crossattention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.5.crossattention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.5.crossattention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.5.crossattention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.5.crossattention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.5.crossattention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.5.crossattention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.5.crossattention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.5.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 3.0, 3.0, 1.0, 10.0, 6.0, 8.0, 17.0, 10.0, 12.0, 12.0, 25.0, 30.0, 38.0, 52.0, 75.0, 129.0, 140.0, 99.0, 76.0, 57.0, 44.0, 28.0, 30.0, 29.0, 17.0, 14.0, 5.0, 7.0, 5.0, 8.0, 10.0, 4.0, 3.0, 1.0, 2.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.0678023969368692e-38, -2.0057444931457804e-38, -1.9436865893546915e-38, -1.8816286855636027e-38, -1.8195707817725138e-38, -1.757512877981425e-38, -1.695454974190336e-38, -1.6333970703992473e-38, -1.5713391666081584e-38, -1.5092812628170696e-38, -1.4472233590259807e-38, -1.385165455234892e-38, -1.323107551443803e-38, -1.2610496476527142e-38, -1.1989917438616253e-38, -1.1369338400705365e-38, -1.0748759362794476e-38, -1.0128180324883588e-38, -9.5076012869727e-39, -8.887022249061811e-39, -8.266443211150922e-39, -7.645864173240034e-39, -7.025285135329145e-39, -6.404706097418257e-39, -5.7841270595073685e-39, -5.16354802159648e-39, -4.5429689836855915e-39, -3.922389945774703e-39, -3.3018109078638145e-39, -2.681231869952926e-39, -2.0606528320420376e-39, -1.4400737941311491e-39, -8.19539597771119e-40, -1.989605598602305e-40, 4.21618478050658e-40, 1.0421975159615465e-39, 1.662776553872435e-39, 2.2833555917833234e-39, 2.903934629694212e-39, 3.5245136676051004e-39, 4.145092705515989e-39, 4.7656717434268774e-39, 5.386250781337766e-39, 6.006829819248654e-39, 6.627408857159543e-39, 7.247987895070431e-39, 7.86856693298132e-39, 8.489145970892208e-39, 9.109725008803097e-39, 9.730304046713985e-39, 1.0350883084624874e-38, 1.0971462122535762e-38, 1.1592041160446651e-38, 1.221262019835754e-38, 1.2833199236268428e-38, 1.3453778274179316e-38, 1.4074357312090205e-38, 1.4694936350001093e-38, 1.5315515387911982e-38, 1.593609442582287e-38, 1.6556673463733759e-38, 1.7177252501644647e-38, 1.7797831539555536e-38, 1.8418410577466424e-38, 1.9038989615377313e-38]}, "gradients/decoder.bert.encoder.layer.5.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 5.0, 2.0, 3.0, 0.0, 3.0, 8.0, 4.0, 4.0, 5.0, 8.0, 15.0, 15.0, 17.0, 20.0, 23.0, 33.0, 32.0, 44.0, 33.0, 41.0, 45.0, 36.0, 46.0, 46.0, 49.0, 45.0, 44.0, 50.0, 48.0, 45.0, 39.0, 29.0, 19.0, 28.0, 27.0, 19.0, 11.0, 17.0, 10.0, 11.0, 12.0, 5.0, 4.0, 4.0, 6.0, 2.0, 1.0, 6.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.3041813341249392e-38, -1.2612322368426157e-38, -1.2182831395602922e-38, -1.1753340422779687e-38, -1.1323849449956453e-38, -1.0894358477133218e-38, -1.0464867504309983e-38, -1.0035376531486748e-38, -9.605885558663513e-39, -9.176394585840279e-39, -8.746903613017044e-39, -8.317412640193809e-39, -7.887921667370574e-39, -7.45843069454734e-39, -7.028939721724105e-39, -6.59944874890087e-39, -6.169957776077635e-39, -5.7404668032544e-39, -5.3109758304311654e-39, -4.8814848576079306e-39, -4.451993884784696e-39, -4.022502911961461e-39, -3.593011939138226e-39, -3.163520966314991e-39, -2.7340299934917565e-39, -2.3045390206685217e-39, -1.875048047845287e-39, -1.4455570750220521e-39, -1.0160661021988173e-39, -5.865751293755825e-40, -1.5708415655234767e-40, 2.7240681627088714e-40, 7.019384267495874e-40, 1.1314293995728222e-39, 1.560920372396057e-39, 1.9904113452192918e-39, 2.4199023180425266e-39, 2.8493932908657614e-39, 3.278884263688996e-39, 3.708375236512231e-39, 4.137866209335466e-39, 4.5673571821587006e-39, 4.9968481549819354e-39, 5.42633912780517e-39, 5.855830100628405e-39, 6.28532107345164e-39, 6.714812046274875e-39, 7.14430301909811e-39, 7.573793991921344e-39, 8.003284964744579e-39, 8.432775937567814e-39, 8.862266910391049e-39, 9.291757883214284e-39, 9.721248856037518e-39, 1.0150739828860753e-38, 1.0580230801683988e-38, 1.1009721774507223e-38, 1.1439212747330458e-38, 1.1868703720153692e-38, 1.2298194692976927e-38, 1.2727685665800162e-38, 1.3157176638623397e-38, 1.3586667611446632e-38, 1.4016158584269866e-38, 1.44456495570931e-38]}, "gradients/decoder.bert.encoder.layer.5.attention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.5.attention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.5.attention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.5.attention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.5.attention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.5.attention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.5.attention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.5.attention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.4.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 0.0, 0.0, 0.0, 3.0, 0.0, 1.0, 4.0, 6.0, 7.0, 10.0, 11.0, 18.0, 13.0, 29.0, 30.0, 36.0, 62.0, 100.0, 153.0, 176.0, 93.0, 80.0, 48.0, 36.0, 25.0, 25.0, 13.0, 10.0, 7.0, 5.0, 5.0, 5.0, 1.0, 1.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.0596185336455194e-38, -2.0025271118716906e-38, -1.9454356900978618e-38, -1.888344268324033e-38, -1.831252846550204e-38, -1.7741614247763753e-38, -1.7170700030025464e-38, -1.6599785812287176e-38, -1.6028871594548888e-38, -1.54579573768106e-38, -1.488704315907231e-38, -1.4316128941334023e-38, -1.3745214723595734e-38, -1.3174300505857446e-38, -1.2603386288119158e-38, -1.203247207038087e-38, -1.1461557852642581e-38, -1.0890643634904293e-38, -1.0319729417166004e-38, -9.748815199427716e-39, -9.177900981689428e-39, -8.60698676395114e-39, -8.036072546212851e-39, -7.465158328474563e-39, -6.894244110736275e-39, -6.323329892997986e-39, -5.752415675259698e-39, -5.1815014575214096e-39, -4.610587239783121e-39, -4.039673022044833e-39, -3.4687588043065446e-39, -2.8978445865682563e-39, -2.3269766116792907e-39, -1.7560623939410024e-39, -1.185148176202714e-39, -6.142339584644257e-40, -4.3319740726137395e-41, 5.275944770121509e-40, 1.0985086947504392e-39, 1.6694229124887276e-39, 2.240337130227016e-39, 2.8112513479653042e-39, 3.3821655657035925e-39, 3.953079783441881e-39, 4.523994001180169e-39, 5.0949082189184575e-39, 5.665822436656746e-39, 6.236736654395034e-39, 6.807650872133322e-39, 7.378565089871611e-39, 7.949479307609899e-39, 8.520393525348187e-39, 9.091307743086476e-39, 9.662221960824764e-39, 1.0233136178563052e-38, 1.0804050396301341e-38, 1.1374964614039629e-38, 1.1945878831777917e-38, 1.2516793049516206e-38, 1.3087707267254494e-38, 1.3658621484992782e-38, 1.422953570273107e-38, 1.480044992046936e-38, 1.5371364138207647e-38, 1.5942278355945936e-38]}, "gradients/decoder.bert.encoder.layer.4.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 3.0, 1.0, 4.0, 3.0, 1.0, 2.0, 7.0, 5.0, 3.0, 8.0, 7.0, 14.0, 13.0, 18.0, 22.0, 21.0, 38.0, 34.0, 32.0, 39.0, 42.0, 40.0, 32.0, 48.0, 57.0, 38.0, 44.0, 49.0, 49.0, 50.0, 47.0, 39.0, 23.0, 20.0, 30.0, 27.0, 21.0, 11.0, 9.0, 15.0, 15.0, 9.0, 6.0, 5.0, 4.0, 4.0, 3.0, 3.0, 4.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.346537442781669e-39, -9.039326576552347e-39, -8.732115710323024e-39, -8.424904844093701e-39, -8.117693977864379e-39, -7.810483111635056e-39, -7.503272245405734e-39, -7.196061379176411e-39, -6.888850512947088e-39, -6.581639646717766e-39, -6.274428780488443e-39, -5.96721791425912e-39, -5.660007048029798e-39, -5.352796181800475e-39, -5.0455853155711526e-39, -4.73837444934183e-39, -4.4311635831125073e-39, -4.123952716883185e-39, -3.816741850653862e-39, -3.5095309844245395e-39, -3.202320118195217e-39, -2.8951092519658942e-39, -2.5878983857365716e-39, -2.280687519507249e-39, -1.9734766532779264e-39, -1.6662657870486038e-39, -1.3590549208192811e-39, -1.0518440545899585e-39, -7.446331883606359e-40, -4.374223221313133e-40, -1.3021145590199065e-40, 1.7699941032733197e-40, 4.841724414981178e-40, 7.913833077274404e-40, 1.098594173956763e-39, 1.4058050401860857e-39, 1.7130159064154083e-39, 2.020226772644731e-39, 2.3274376388740535e-39, 2.6346485051033762e-39, 2.941859371332699e-39, 3.2490702375620214e-39, 3.556281103791344e-39, 3.8634919700206666e-39, 4.170702836249989e-39, 4.477913702479312e-39, 4.7851245687086345e-39, 5.092335434937957e-39, 5.39954630116728e-39, 5.7067571673966024e-39, 6.013968033625925e-39, 6.321178899855248e-39, 6.62838976608457e-39, 6.935600632313893e-39, 7.242811498543215e-39, 7.550022364772538e-39, 7.857233231001861e-39, 8.164444097231183e-39, 8.471654963460506e-39, 8.778865829689829e-39, 9.086076695919151e-39, 9.393287562148474e-39, 9.700498428377796e-39, 1.0007709294607119e-38, 1.0314920160836442e-38]}, "gradients/decoder.bert.encoder.layer.4.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.4.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.4.intermediate.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.4.intermediate.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.4.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 2.0, 0.0, 2.0, 2.0, 3.0, 1.0, 2.0, 3.0, 4.0, 7.0, 10.0, 12.0, 10.0, 19.0, 22.0, 31.0, 43.0, 43.0, 92.0, 173.0, 182.0, 97.0, 63.0, 55.0, 28.0, 25.0, 21.0, 15.0, 14.0, 7.0, 4.0, 8.0, 7.0, 3.0, 2.0, 1.0, 1.0, 1.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 2.0], "bins": [-1.2332036050890372e-38, -1.2016920460023793e-38, -1.1701804869157214e-38, -1.1386689278290635e-38, -1.1071573687424056e-38, -1.0756458096557477e-38, -1.0441342505690898e-38, -1.0126226914824319e-38, -9.81111132395774e-39, -9.495995733091161e-39, -9.180880142224582e-39, -8.865764551358003e-39, -8.550648960491425e-39, -8.235533369624846e-39, -7.920417778758267e-39, -7.605302187891688e-39, -7.290186597025109e-39, -6.97507100615853e-39, -6.659955415291951e-39, -6.344839824425372e-39, -6.029724233558793e-39, -5.714608642692214e-39, -5.3994930518256354e-39, -5.0843774609590565e-39, -4.7692618700924776e-39, -4.4541462792258987e-39, -4.13903068835932e-39, -3.823915097492741e-39, -3.508799506626162e-39, -3.193683915759583e-39, -2.878568324893004e-39, -2.5634527340264252e-39, -2.2483259327721317e-39, -1.9332103419055528e-39, -1.618094751038974e-39, -1.302979160172395e-39, -9.87863569305816e-40, -6.727479784392371e-40, -3.576323875726582e-40, -4.2516796706079275e-41, 2.7259879416049964e-40, 5.8771438502707855e-40, 9.028299758936575e-40, 1.2179455667602364e-39, 1.5330611576268153e-39, 1.8481767484933942e-39, 2.163292339359973e-39, 2.478407930226552e-39, 2.793523521093131e-39, 3.10863911195971e-39, 3.423754702826289e-39, 3.738870293692868e-39, 4.0539858845594466e-39, 4.3691014754260255e-39, 4.6842170662926044e-39, 4.9993326571591833e-39, 5.314448248025762e-39, 5.629563838892341e-39, 5.94467942975892e-39, 6.259795020625499e-39, 6.574910611492078e-39, 6.890026202358657e-39, 7.205141793225236e-39, 7.520257384091815e-39, 7.835372974958394e-39]}, "gradients/decoder.bert.encoder.layer.4.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 3.0, 1.0, 4.0, 4.0, 1.0, 2.0, 6.0, 5.0, 4.0, 8.0, 7.0, 13.0, 13.0, 19.0, 22.0, 21.0, 34.0, 34.0, 34.0, 41.0, 40.0, 44.0, 30.0, 48.0, 50.0, 50.0, 39.0, 50.0, 51.0, 49.0, 41.0, 42.0, 23.0, 20.0, 29.0, 33.0, 17.0, 12.0, 10.0, 12.0, 19.0, 6.0, 6.0, 7.0, 2.0, 4.0, 3.0, 4.0, 3.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.565964506790495e-39, -5.383111872777678e-39, -5.2002592387648616e-39, -5.017406604752045e-39, -4.834553970739228e-39, -4.6517013367264114e-39, -4.4688487027135947e-39, -4.285996068700778e-39, -4.103143434687961e-39, -3.9202908006751445e-39, -3.737438166662328e-39, -3.554585532649511e-39, -3.371732898636694e-39, -3.1888802646238775e-39, -3.006027630611061e-39, -2.823174996598244e-39, -2.6403223625854274e-39, -2.4574697285726106e-39, -2.274617094559794e-39, -2.091764460546977e-39, -1.9089118265341604e-39, -1.7260591925213437e-39, -1.543206558508527e-39, -1.3603539244957102e-39, -1.1775012904828935e-39, -9.946486564700768e-40, -8.1179602245726e-40, -6.289433884444433e-40, -4.460907544316266e-40, -2.6323812041880986e-40, -8.038548640599313e-41, 1.024671476068236e-40, 2.852847491580322e-40, 4.681373831708489e-40, 6.509900171836657e-40, 8.338426511964824e-40, 1.0166952852092991e-39, 1.1995479192221159e-39, 1.3824005532349326e-39, 1.5652531872477493e-39, 1.748105821260566e-39, 1.9309584552733828e-39, 2.1138110892861995e-39, 2.2966637232990162e-39, 2.479516357311833e-39, 2.6623689913246497e-39, 2.8452216253374664e-39, 3.028074259350283e-39, 3.2109268933631e-39, 3.3937795273759166e-39, 3.5766321613887333e-39, 3.75948479540155e-39, 3.942337429414367e-39, 4.1251900634271835e-39, 4.30804269744e-39, 4.490895331452817e-39, 4.673747965465634e-39, 4.8566005994784505e-39, 5.039453233491267e-39, 5.222305867504084e-39, 5.4051585015169006e-39, 5.5880111355297174e-39, 5.770863769542534e-39, 5.953716403555351e-39, 6.136569037568168e-39]}, "gradients/decoder.bert.encoder.layer.4.crossattention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.4.crossattention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.4.crossattention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.4.crossattention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.4.crossattention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.4.crossattention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.4.crossattention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.4.crossattention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.4.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 3.0, 4.0, 1.0, 3.0, 5.0, 10.0, 13.0, 9.0, 13.0, 10.0, 12.0, 15.0, 26.0, 43.0, 50.0, 87.0, 113.0, 136.0, 123.0, 86.0, 55.0, 57.0, 38.0, 19.0, 15.0, 11.0, 9.0, 12.0, 3.0, 9.0, 3.0, 7.0, 4.0, 2.0, 1.0, 1.0, 5.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 1.0], "bins": [-2.3456096773594178e-39, -2.281476450542664e-39, -2.21734322372591e-39, -2.153209996909156e-39, -2.089076770092402e-39, -2.0249435432756483e-39, -1.9608103164588944e-39, -1.8966770896421405e-39, -1.8325438628253866e-39, -1.7684106360086326e-39, -1.7042774091918787e-39, -1.640144182375125e-39, -1.576010955558371e-39, -1.511877728741617e-39, -1.4477445019248631e-39, -1.3836112751081092e-39, -1.3194780482913553e-39, -1.2553448214746014e-39, -1.1912115946578475e-39, -1.1270783678410936e-39, -1.0629451410243397e-39, -9.988119142075858e-40, -9.346786873908319e-40, -8.70545460574078e-40, -8.064122337573241e-40, -7.422790069405702e-40, -6.781457801238163e-40, -6.140125533070624e-40, -5.498793264903085e-40, -4.857460996735546e-40, -4.216128728568007e-40, -3.574796460400468e-40, -2.933029789708988e-40, -2.291697521541449e-40, -1.65036525337391e-40, -1.009032985206371e-40, -3.67700717038832e-41, 2.7363155112870703e-41, 9.149638192962461e-41, 1.556296087463785e-40, 2.197628355631324e-40, 2.838960623798863e-40, 3.480292891966402e-40, 4.121625160133941e-40, 4.76295742830148e-40, 5.404289696469019e-40, 6.045621964636558e-40, 6.686954232804097e-40, 7.328286500971636e-40, 7.969618769139175e-40, 8.610951037306714e-40, 9.252283305474253e-40, 9.893615573641792e-40, 1.0534947841809331e-39, 1.117628010997687e-39, 1.181761237814441e-39, 1.2458944646311949e-39, 1.3100276914479488e-39, 1.3741609182647027e-39, 1.4382941450814566e-39, 1.5024273718982105e-39, 1.5665605987149644e-39, 1.6306938255317183e-39, 1.6948270523484722e-39, 1.758960279165226e-39]}, "gradients/decoder.bert.encoder.layer.4.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 3.0, 0.0, 4.0, 4.0, 1.0, 2.0, 7.0, 5.0, 3.0, 8.0, 9.0, 13.0, 12.0, 19.0, 21.0, 21.0, 37.0, 37.0, 30.0, 40.0, 39.0, 43.0, 33.0, 50.0, 50.0, 47.0, 40.0, 50.0, 50.0, 48.0, 44.0, 41.0, 25.0, 19.0, 31.0, 26.0, 19.0, 12.0, 11.0, 11.0, 17.0, 8.0, 7.0, 6.0, 3.0, 3.0, 3.0, 4.0, 2.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.3078472710374593e-39, -1.2648260068842231e-39, -1.221804742730987e-39, -1.1787834785777507e-39, -1.1357622144245145e-39, -1.0927409502712783e-39, -1.0497196861180421e-39, -1.0066984219648059e-39, -9.636771578115697e-40, -9.206558936583335e-40, -8.776346295050973e-40, -8.34613365351861e-40, -7.915921011986248e-40, -7.485708370453886e-40, -7.055495728921524e-40, -6.625283087389162e-40, -6.1950704458568e-40, -5.764857804324438e-40, -5.334645162792076e-40, -4.904432521259714e-40, -4.474219879727352e-40, -4.0440072381949896e-40, -3.6137945966626275e-40, -3.1835819551302654e-40, -2.7533693135979033e-40, -2.3231566720655412e-40, -1.892944030533179e-40, -1.462731389000817e-40, -1.032518747468455e-40, -6.023061059360929e-41, -1.7209346440373078e-41, 2.581191771286313e-41, 6.885560264152854e-41, 1.1187686679476475e-40, 1.5489813094800095e-40, 1.9791939510123716e-40, 2.4094065925447337e-40, 2.839619234077096e-40, 3.269831875609458e-40, 3.70004451714182e-40, 4.130257158674182e-40, 4.560469800206544e-40, 4.990682441738906e-40, 5.420895083271268e-40, 5.8511077248036304e-40, 6.2813203663359925e-40, 6.711533007868355e-40, 7.141745649400717e-40, 7.571958290933079e-40, 8.002170932465441e-40, 8.432383573997803e-40, 8.862596215530165e-40, 9.292808857062527e-40, 9.72302149859489e-40, 1.0153234140127251e-39, 1.0583446781659613e-39, 1.1013659423191975e-39, 1.1443872064724338e-39, 1.18740847062567e-39, 1.2304297347789062e-39, 1.2734509989321424e-39, 1.3164722630853786e-39, 1.3594935272386148e-39, 1.402514791391851e-39, 1.4455360555450872e-39]}, "gradients/decoder.bert.encoder.layer.4.attention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.4.attention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.4.attention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.4.attention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.4.attention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.4.attention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.4.attention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.4.attention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.3.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 2.0, 3.0, 2.0, 7.0, 6.0, 3.0, 7.0, 7.0, 6.0, 8.0, 12.0, 23.0, 18.0, 37.0, 34.0, 46.0, 57.0, 91.0, 118.0, 131.0, 93.0, 67.0, 48.0, 53.0, 32.0, 22.0, 13.0, 9.0, 10.0, 8.0, 6.0, 9.0, 3.0, 2.0, 6.0, 4.0, 2.0, 3.0, 4.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0], "bins": [-1.566175241637275e-39, -1.5215831219055307e-39, -1.4769910021737864e-39, -1.432398882442042e-39, -1.3878067627102977e-39, -1.3432146429785534e-39, -1.298622523246809e-39, -1.2540304035150647e-39, -1.2094382837833204e-39, -1.1648461640515761e-39, -1.1202540443198318e-39, -1.0756619245880874e-39, -1.0310698048563431e-39, -9.864776851245988e-40, -9.418855653928544e-40, -8.972934456611101e-40, -8.527013259293658e-40, -8.081092061976215e-40, -7.635170864658771e-40, -7.189249667341328e-40, -6.743328470023885e-40, -6.2974072727064414e-40, -5.851486075388998e-40, -5.405564878071555e-40, -4.9596436807541116e-40, -4.513722483436668e-40, -4.067801286119225e-40, -3.6218800888017817e-40, -3.1759588914843384e-40, -2.730037694166895e-40, -2.284116496849452e-40, -1.8381952995320085e-40, -1.392204037291349e-40, -9.462828399739057e-41, -5.003616426564624e-41, -5.4440445339019143e-42, 3.9148075197842415e-41, 8.374019492958674e-41, 1.2833231466133107e-40, 1.729244343930754e-40, 2.1751655412481973e-40, 2.6210867385656406e-40, 3.067007935883084e-40, 3.512929133200527e-40, 3.9588503305179705e-40, 4.404771527835414e-40, 4.850692725152857e-40, 5.2966139224703e-40, 5.742535119787744e-40, 6.188456317105187e-40, 6.63437751442263e-40, 7.0802987117400735e-40, 7.526219909057517e-40, 7.97214110637496e-40, 8.418062303692403e-40, 8.863983501009847e-40, 9.30990469832729e-40, 9.755825895644733e-40, 1.0201747092962176e-39, 1.064766829027962e-39, 1.1093589487597063e-39, 1.1539510684914506e-39, 1.198543188223195e-39, 1.2431353079549393e-39, 1.2877274276866836e-39]}, "gradients/decoder.bert.encoder.layer.3.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 3.0, 1.0, 3.0, 4.0, 1.0, 2.0, 6.0, 5.0, 4.0, 9.0, 6.0, 15.0, 11.0, 18.0, 21.0, 26.0, 36.0, 35.0, 28.0, 44.0, 36.0, 44.0, 35.0, 47.0, 50.0, 48.0, 41.0, 49.0, 53.0, 46.0, 44.0, 39.0, 26.0, 23.0, 29.0, 22.0, 20.0, 13.0, 10.0, 12.0, 20.0, 5.0, 6.0, 7.0, 3.0, 2.0, 4.0, 4.0, 4.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.0042671691292023e-39, -9.712231500419588e-40, -9.381791309547153e-40, -9.051351118674718e-40, -8.720910927802283e-40, -8.390470736929848e-40, -8.060030546057413e-40, -7.729590355184977e-40, -7.399150164312542e-40, -7.068709973440107e-40, -6.738269782567672e-40, -6.407829591695237e-40, -6.077389400822802e-40, -5.746949209950367e-40, -5.416509019077932e-40, -5.0860688282054966e-40, -4.7556286373330614e-40, -4.425188446460626e-40, -4.094748255588191e-40, -3.764308064715756e-40, -3.433867873843321e-40, -3.103427682970886e-40, -2.7729874920984508e-40, -2.4425473012260156e-40, -2.1121071103535805e-40, -1.7816669194811454e-40, -1.4512267286087103e-40, -1.1207865377362752e-40, -7.903463468638401e-41, -4.59906155991405e-41, -1.2946596511896985e-41, 2.0097422575346526e-41, 5.315545464723329e-41, 8.61994737344768e-41, 1.192434928217203e-40, 1.5228751190896382e-40, 1.8533153099620733e-40, 2.1837555008345084e-40, 2.5141956917069435e-40, 2.8446358825793787e-40, 3.1750760734518138e-40, 3.505516264324249e-40, 3.835956455196684e-40, 4.166396646069119e-40, 4.496836836941554e-40, 4.827277027813989e-40, 5.1577172186864244e-40, 5.4881574095588596e-40, 5.818597600431295e-40, 6.14903779130373e-40, 6.479477982176165e-40, 6.8099181730486e-40, 7.140358363921035e-40, 7.47079855479347e-40, 7.801238745665905e-40, 8.13167893653834e-40, 8.462119127410776e-40, 8.79255931828321e-40, 9.122999509155646e-40, 9.453439700028081e-40, 9.783879890900516e-40, 1.0114320081772951e-39, 1.0444760272645386e-39, 1.0775200463517821e-39, 1.1105640654390256e-39]}, "gradients/decoder.bert.encoder.layer.3.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.3.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.3.intermediate.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.3.intermediate.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.3.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 2.0, 0.0, 0.0, 4.0, 4.0, 3.0, 1.0, 2.0, 4.0, 2.0, 3.0, 9.0, 6.0, 8.0, 8.0, 15.0, 17.0, 38.0, 40.0, 43.0, 65.0, 74.0, 123.0, 176.0, 84.0, 54.0, 52.0, 37.0, 34.0, 30.0, 14.0, 6.0, 7.0, 7.0, 7.0, 4.0, 10.0, 6.0, 2.0, 3.0, 3.0, 3.0, 4.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.0014239345450873e-39, -9.713296487252475e-40, -9.412353629054077e-40, -9.11141077085568e-40, -8.810467912657282e-40, -8.509525054458884e-40, -8.208582196260486e-40, -7.907639338062089e-40, -7.606696479863691e-40, -7.305753621665293e-40, -7.0048107634668956e-40, -6.703867905268498e-40, -6.4029250470701e-40, -6.1019821888717024e-40, -5.801039330673305e-40, -5.500096472474907e-40, -5.199153614276509e-40, -4.8982107560781116e-40, -4.597267897879714e-40, -4.296325039681316e-40, -3.9953821814829184e-40, -3.694439323284521e-40, -3.393496465086123e-40, -3.0925536068877253e-40, -2.7916107486893276e-40, -2.49066789049093e-40, -2.189725032292532e-40, -1.8887821740941344e-40, -1.5878393158957367e-40, -1.286896457697339e-40, -9.859535994989413e-41, -6.850107413005436e-41, -3.8426406488715134e-41, -8.332120668875362e-42, 2.176216515096441e-41, 5.185645097080418e-41, 8.195073679064395e-41, 1.1204502261048372e-40, 1.421393084303235e-40, 1.7223359425016327e-40, 2.0232788007000304e-40, 2.324221658898428e-40, 2.625164517096826e-40, 2.9261073752952235e-40, 3.2270502334936212e-40, 3.527993091692019e-40, 3.828935949890417e-40, 4.129878808088814e-40, 4.430821666287212e-40, 4.73176452448561e-40, 5.0327073826840075e-40, 5.333650240882405e-40, 5.634593099080803e-40, 5.935535957279201e-40, 6.236478815477598e-40, 6.537421673675996e-40, 6.838364531874394e-40, 7.1393073900727915e-40, 7.44025024827119e-40, 7.741193106469587e-40, 8.042135964667985e-40, 8.343078822866382e-40, 8.64402168106478e-40, 8.944964539263178e-40, 9.245907397461576e-40]}, "gradients/decoder.bert.encoder.layer.3.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 3.0, 4.0, 2.0, 1.0, 8.0, 4.0, 3.0, 9.0, 8.0, 14.0, 14.0, 16.0, 23.0, 20.0, 34.0, 40.0, 33.0, 42.0, 37.0, 42.0, 34.0, 50.0, 47.0, 52.0, 36.0, 51.0, 49.0, 51.0, 42.0, 39.0, 25.0, 21.0, 33.0, 22.0, 20.0, 11.0, 13.0, 9.0, 21.0, 2.0, 7.0, 7.0, 4.0, 3.0, 2.0, 5.0, 2.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-6.519358936470849e-40, -6.304315674135563e-40, -6.089272411800276e-40, -5.87422914946499e-40, -5.6591858871297035e-40, -5.444142624794417e-40, -5.229099362459131e-40, -5.014056100123844e-40, -4.799012837788558e-40, -4.583969575453271e-40, -4.368926313117985e-40, -4.1538830507826985e-40, -3.938839788447412e-40, -3.723796526112126e-40, -3.5087532637768392e-40, -3.2937100014415528e-40, -3.0786667391062664e-40, -2.86362347677098e-40, -2.6485802144356935e-40, -2.433536952100407e-40, -2.2184936897651206e-40, -2.0034504274298342e-40, -1.7884071650945478e-40, -1.5733639027592614e-40, -1.358320640423975e-40, -1.1432773780886885e-40, -9.28234115753402e-41, -7.131908534181156e-41, -4.981475910828292e-41, -2.831043287475428e-41, -6.806106641225637e-42, 1.4698219592303006e-41, 3.621515751201057e-41, 5.771948374553922e-41, 7.922380997906786e-41, 1.007281362125965e-40, 1.2223246244612514e-40, 1.4373678867965379e-40, 1.6524111491318243e-40, 1.8674544114671107e-40, 2.082497673802397e-40, 2.2975409361376836e-40, 2.51258419847297e-40, 2.7276274608082564e-40, 2.942670723143543e-40, 3.1577139854788293e-40, 3.3727572478141157e-40, 3.587800510149402e-40, 3.8028437724846886e-40, 4.017887034819975e-40, 4.2329302971552614e-40, 4.447973559490548e-40, 4.663016821825834e-40, 4.878060084161121e-40, 5.093103346496407e-40, 5.3081466088316936e-40, 5.52318987116698e-40, 5.7382331335022664e-40, 5.953276395837553e-40, 6.168319658172839e-40, 6.383362920508126e-40, 6.598406182843412e-40, 6.8134494451786986e-40, 7.028492707513985e-40, 7.2435359698492714e-40]}, "gradients/decoder.bert.encoder.layer.3.crossattention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.3.crossattention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.3.crossattention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.3.crossattention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.3.crossattention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.3.crossattention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.3.crossattention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.3.crossattention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.3.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 2.0, 3.0, 0.0, 2.0, 4.0, 2.0, 4.0, 6.0, 4.0, 11.0, 14.0, 16.0, 21.0, 28.0, 38.0, 55.0, 82.0, 114.0, 163.0, 136.0, 85.0, 71.0, 38.0, 25.0, 25.0, 22.0, 8.0, 6.0, 7.0, 6.0, 4.0, 5.0, 3.0, 2.0, 0.0, 1.0, 3.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.5871052508057638e-40, -2.485987553620085e-40, -2.384869856434406e-40, -2.2837521592487274e-40, -2.1826344620630486e-40, -2.0815167648773698e-40, -1.980399067691691e-40, -1.879281370506012e-40, -1.7781636733203334e-40, -1.6770459761346546e-40, -1.5759282789489758e-40, -1.474810581763297e-40, -1.3736928845776182e-40, -1.2725751873919394e-40, -1.1714574902062606e-40, -1.0703397930205818e-40, -9.69222095834903e-41, -8.681043986492242e-41, -7.669867014635454e-41, -6.658690042778666e-41, -5.647513070921878e-41, -4.63633609906509e-41, -3.625159127208302e-41, -2.613982155351514e-41, -1.6028051834947258e-41, -5.916282116379378e-42, 4.195487602188502e-42, 1.4307257320756382e-41, 2.441902703932426e-41, 3.453079675789214e-41, 4.464256647646002e-41, 5.47543361950279e-41, 6.490814486752553e-41, 7.501991458609341e-41, 8.513168430466129e-41, 9.524345402322917e-41, 1.0535522374179705e-40, 1.1546699346036493e-40, 1.255787631789328e-40, 1.3569053289750069e-40, 1.4580230261606857e-40, 1.5591407233463645e-40, 1.6602584205320433e-40, 1.761376117717722e-40, 1.862493814903401e-40, 1.9636115120890797e-40, 2.0647292092747585e-40, 2.1658469064604373e-40, 2.266964603646116e-40, 2.368082300831795e-40, 2.4691999980174737e-40, 2.5703176952031525e-40, 2.6714353923888313e-40, 2.77255308957451e-40, 2.873670786760189e-40, 2.9747884839458677e-40, 3.0759061811315465e-40, 3.1770238783172253e-40, 3.278141575502904e-40, 3.379259272688583e-40, 3.4803769698742617e-40, 3.5814946670599405e-40, 3.682612364245619e-40, 3.783730061431298e-40, 3.884847758616977e-40]}, "gradients/decoder.bert.encoder.layer.3.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 3.0, 3.0, 3.0, 2.0, 1.0, 8.0, 4.0, 4.0, 8.0, 9.0, 13.0, 15.0, 19.0, 17.0, 22.0, 33.0, 44.0, 30.0, 40.0, 37.0, 45.0, 34.0, 51.0, 47.0, 45.0, 38.0, 55.0, 48.0, 46.0, 47.0, 42.0, 22.0, 20.0, 34.0, 22.0, 21.0, 10.0, 13.0, 8.0, 21.0, 4.0, 5.0, 8.0, 3.0, 4.0, 2.0, 4.0, 3.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.7738196480809264e-40, -1.715301424210722e-40, -1.6567832003405177e-40, -1.5982649764703134e-40, -1.539746752600109e-40, -1.4812285287299046e-40, -1.4227103048597003e-40, -1.364192080989496e-40, -1.3056738571192916e-40, -1.2471556332490872e-40, -1.1886374093788828e-40, -1.1301191855086785e-40, -1.0716009616384741e-40, -1.0130827377682697e-40, -9.545645138980654e-41, -8.96046290027861e-41, -8.375280661576567e-41, -7.790098422874523e-41, -7.204916184172479e-41, -6.619733945470436e-41, -6.034551706768392e-41, -5.449369468066349e-41, -4.864187229364305e-41, -4.2790049906622614e-41, -3.693822751960218e-41, -3.108640513258174e-41, -2.5234582745561306e-41, -1.938276035854087e-41, -1.3530937971520434e-41, -7.679115584499998e-42, -1.8272931974795615e-42, 4.0245291895408746e-42, 9.832911324167241e-42, 1.5684733711187677e-41, 2.1536556098208114e-41, 2.738837848522855e-41, 3.3240200872248986e-41, 3.909202325926942e-41, 4.494384564628986e-41, 5.079566803331029e-41, 5.664749042033073e-41, 6.249931280735117e-41, 6.83511351943716e-41, 7.420295758139204e-41, 8.005477996841247e-41, 8.590660235543291e-41, 9.175842474245335e-41, 9.761024712947378e-41, 1.0346206951649422e-40, 1.0931389190351465e-40, 1.151657142905351e-40, 1.2101753667755553e-40, 1.2686935906457596e-40, 1.327211814515964e-40, 1.3857300383861684e-40, 1.4442482622563727e-40, 1.502766486126577e-40, 1.5612847099967814e-40, 1.6198029338669858e-40, 1.6783211577371902e-40, 1.7368393816073945e-40, 1.7953576054775989e-40, 1.8538758293478032e-40, 1.9123940532180076e-40, 1.970912277088212e-40]}, "gradients/decoder.bert.encoder.layer.3.attention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.3.attention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.3.attention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.3.attention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.3.attention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.3.attention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.3.attention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.3.attention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.2.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 2.0, 1.0, 1.0, 0.0, 3.0, 0.0, 2.0, 1.0, 3.0, 5.0, 6.0, 3.0, 10.0, 9.0, 10.0, 17.0, 24.0, 31.0, 46.0, 42.0, 87.0, 120.0, 163.0, 125.0, 71.0, 59.0, 43.0, 19.0, 25.0, 16.0, 16.0, 18.0, 6.0, 8.0, 6.0, 3.0, 5.0, 2.0, 2.0, 3.0, 3.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.0040249598002074e-40, -1.9283828686959538e-40, -1.8527407775917e-40, -1.7770986864874465e-40, -1.7014565953831929e-40, -1.6258145042789393e-40, -1.5501724131746856e-40, -1.474530322070432e-40, -1.3988882309661784e-40, -1.3232461398619248e-40, -1.2476040487576711e-40, -1.1719619576534175e-40, -1.0963198665491639e-40, -1.0206777754449103e-40, -9.450356843406566e-41, -8.69393593236403e-41, -7.937515021321494e-41, -7.181094110278958e-41, -6.424673199236421e-41, -5.668252288193885e-41, -4.911831377151349e-41, -4.1554104661088125e-41, -3.3989895550662763e-41, -2.64256864402374e-41, -1.8861477329812038e-41, -1.1297268219386675e-41, -3.7330591089613127e-42, 3.83115000146405e-42, 1.1395359111889412e-41, 1.8959568222314775e-41, 2.652377733274014e-41, 3.40879864431655e-41, 4.167741892594871e-41, 4.924162803637407e-41, 5.680583714679943e-41, 6.43700462572248e-41, 7.193425536765016e-41, 7.949846447807552e-41, 8.706267358850088e-41, 9.462688269892625e-41, 1.021910918093516e-40, 1.0975530091977697e-40, 1.1731951003020233e-40, 1.248837191406277e-40, 1.3244792825105306e-40, 1.4001213736147842e-40, 1.4757634647190379e-40, 1.5514055558232915e-40, 1.627047646927545e-40, 1.7026897380317987e-40, 1.7783318291360524e-40, 1.853973920240306e-40, 1.9296160113445596e-40, 2.0052581024488132e-40, 2.080900193553067e-40, 2.1565422846573205e-40, 2.232184375761574e-40, 2.3078264668658277e-40, 2.3834685579700814e-40, 2.459110649074335e-40, 2.5347527401785886e-40, 2.6103948312828422e-40, 2.686036922387096e-40, 2.7616790134913495e-40, 2.837321104595603e-40]}, "gradients/decoder.bert.encoder.layer.2.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 3.0, 1.0, 4.0, 3.0, 0.0, 9.0, 4.0, 4.0, 8.0, 8.0, 13.0, 14.0, 20.0, 17.0, 21.0, 32.0, 43.0, 32.0, 37.0, 42.0, 39.0, 36.0, 47.0, 52.0, 45.0, 40.0, 50.0, 50.0, 50.0, 41.0, 46.0, 20.0, 20.0, 30.0, 26.0, 23.0, 12.0, 11.0, 10.0, 20.0, 4.0, 6.0, 7.0, 2.0, 6.0, 2.0, 3.0, 3.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.4246300837558253e-40, -1.3777986890780899e-40, -1.3309672944003545e-40, -1.2841358997226191e-40, -1.2373045050448837e-40, -1.1904731103671483e-40, -1.143641715689413e-40, -1.0968103210116776e-40, -1.0499789263339422e-40, -1.0031475316562068e-40, -9.563161369784714e-41, -9.09484742300736e-41, -8.626533476230006e-41, -8.158219529452653e-41, -7.689905582675299e-41, -7.221591635897945e-41, -6.753277689120591e-41, -6.284963742343237e-41, -5.816649795565883e-41, -5.348335848788529e-41, -4.880021902011175e-41, -4.4117079552338216e-41, -3.9433940084564677e-41, -3.475080061679114e-41, -3.00676611490176e-41, -2.538452168124406e-41, -2.0701382213470523e-41, -1.6018242745696984e-41, -1.1335103277923445e-41, -6.651963810149907e-42, -1.968824342376368e-42, 2.7143151253971707e-42, 7.42968445785018e-42, 1.211282392562372e-41, 1.6795963393397257e-41, 2.1479102861170796e-41, 2.6162242328944335e-41, 3.0845381796717873e-41, 3.552852126449141e-41, 4.021166073226495e-41, 4.489480020003849e-41, 4.957793966781203e-41, 5.426107913558557e-41, 5.894421860335911e-41, 6.362735807113264e-41, 6.831049753890618e-41, 7.299363700667972e-41, 7.767677647445326e-41, 8.23599159422268e-41, 8.704305541000034e-41, 9.172619487777388e-41, 9.640933434554741e-41, 1.0109247381332095e-40, 1.057756132810945e-40, 1.1045875274886803e-40, 1.1514189221664157e-40, 1.198250316844151e-40, 1.2450817115218865e-40, 1.2919131061996219e-40, 1.3387445008773572e-40, 1.3855758955550926e-40, 1.432407290232828e-40, 1.4792386849105634e-40, 1.5260700795882988e-40, 1.5729014742660342e-40]}, "gradients/decoder.bert.encoder.layer.2.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.2.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.2.intermediate.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.2.intermediate.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.2.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 4.0, 0.0, 2.0, 3.0, 2.0, 3.0, 12.0, 11.0, 11.0, 8.0, 15.0, 26.0, 22.0, 48.0, 46.0, 67.0, 115.0, 207.0, 106.0, 82.0, 68.0, 31.0, 28.0, 19.0, 8.0, 15.0, 10.0, 11.0, 11.0, 2.0, 10.0, 1.0, 2.0, 1.0, 1.0, 0.0, 2.0, 2.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.5123373546379156e-40, -1.4573223769285233e-40, -1.402307399219131e-40, -1.3472924215097386e-40, -1.2922774438003463e-40, -1.237262466090954e-40, -1.1822474883815617e-40, -1.1272325106721693e-40, -1.072217532962777e-40, -1.0172025552533847e-40, -9.621875775439924e-41, -9.071725998346001e-41, -8.521576221252078e-41, -7.971426444158154e-41, -7.421276667064231e-41, -6.871126889970308e-41, -6.320977112876385e-41, -5.770827335782462e-41, -5.220677558688538e-41, -4.670527781594615e-41, -4.120378004500692e-41, -3.570228227406769e-41, -3.020078450312846e-41, -2.4699286732189226e-41, -1.9197788961249994e-41, -1.3696291190310762e-41, -8.19479341937153e-42, -2.6932956484322984e-42, 2.8082021225069334e-42, 8.309699893446165e-42, 1.3811197664385397e-41, 1.931269543532463e-41, 2.4847824369407656e-41, 3.034932214034689e-41, 3.585081991128612e-41, 4.135231768222535e-41, 4.685381545316458e-41, 5.235531322410382e-41, 5.785681099504305e-41, 6.335830876598228e-41, 6.885980653692151e-41, 7.436130430786074e-41, 7.986280207879997e-41, 8.536429984973921e-41, 9.086579762067844e-41, 9.636729539161767e-41, 1.018687931625569e-40, 1.0737029093349613e-40, 1.1287178870443537e-40, 1.183732864753746e-40, 1.2387478424631383e-40, 1.2937628201725306e-40, 1.348777797881923e-40, 1.4037927755913152e-40, 1.4588077533007076e-40, 1.5138227310100999e-40, 1.5688377087194922e-40, 1.6238526864288845e-40, 1.6788676641382768e-40, 1.7338826418476692e-40, 1.7888976195570615e-40, 1.8439125972664538e-40, 1.898927574975846e-40, 1.9539425526852384e-40, 2.0089575303946307e-40]}, "gradients/decoder.bert.encoder.layer.2.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 2.0, 6.0, 1.0, 3.0, 4.0, 6.0, 3.0, 9.0, 9.0, 10.0, 17.0, 16.0, 19.0, 22.0, 28.0, 38.0, 33.0, 38.0, 41.0, 47.0, 36.0, 41.0, 49.0, 50.0, 39.0, 48.0, 55.0, 46.0, 45.0, 48.0, 17.0, 22.0, 27.0, 26.0, 27.0, 11.0, 10.0, 13.0, 14.0, 10.0, 6.0, 7.0, 2.0, 6.0, 2.0, 4.0, 1.0, 3.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.0529496790783108e-40, -1.018463723871277e-40, -9.839777686642433e-41, -9.494918134572096e-41, -9.150058582501758e-41, -8.805199030431421e-41, -8.460339478361083e-41, -8.115479926290746e-41, -7.770620374220408e-41, -7.425760822150071e-41, -7.080901270079733e-41, -6.736041718009396e-41, -6.391182165939058e-41, -6.046322613868721e-41, -5.701463061798383e-41, -5.356603509728046e-41, -5.011743957657708e-41, -4.666884405587371e-41, -4.3220248535170333e-41, -3.977165301446696e-41, -3.6323057493763583e-41, -3.287446197306021e-41, -2.9425866452356834e-41, -2.597727093165346e-41, -2.2528675410950084e-41, -1.908007989024671e-41, -1.5631484369543334e-41, -1.218288884883996e-41, -8.734293328136585e-42, -5.28569780743321e-42, -1.8371022867298352e-42, 1.6114932339735396e-42, 5.0586874562125896e-42, 8.507282976915964e-42, 1.195587849761934e-41, 1.5404474018322714e-41, 1.885306953902609e-41, 2.2301665059729464e-41, 2.575026058043284e-41, 2.9198856101136213e-41, 3.264745162183959e-41, 3.6096047142542963e-41, 3.954464266324634e-41, 4.2993238183949713e-41, 4.644183370465309e-41, 4.989042922535646e-41, 5.333902474605984e-41, 5.678762026676321e-41, 6.023621578746659e-41, 6.368481130816996e-41, 6.713340682887334e-41, 7.058200234957671e-41, 7.403059787028009e-41, 7.747919339098346e-41, 8.092778891168684e-41, 8.437638443239021e-41, 8.782497995309359e-41, 9.127357547379696e-41, 9.472217099450033e-41, 9.81707665152037e-41, 1.0161936203590708e-40, 1.0506795755661046e-40, 1.0851655307731383e-40, 1.119651485980172e-40, 1.1541374411872058e-40]}, "gradients/decoder.bert.encoder.layer.2.crossattention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.2.crossattention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.2.crossattention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.2.crossattention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.2.crossattention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.2.crossattention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.2.crossattention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.2.crossattention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.2.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 2.0, 1.0, 2.0, 2.0, 2.0, 0.0, 9.0, 2.0, 4.0, 4.0, 4.0, 7.0, 8.0, 10.0, 19.0, 20.0, 24.0, 29.0, 47.0, 53.0, 96.0, 119.0, 136.0, 103.0, 63.0, 66.0, 45.0, 18.0, 25.0, 22.0, 14.0, 15.0, 10.0, 7.0, 5.0, 5.0, 5.0, 1.0, 4.0, 3.0, 2.0, 0.0, 1.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.0245291895408746e-41, -3.886221031112015e-41, -3.7479128726831557e-41, -3.6096047142542963e-41, -3.471296555825437e-41, -3.3329883973965774e-41, -3.194680238967718e-41, -3.0563720805388585e-41, -2.918063922109999e-41, -2.7797557636811396e-41, -2.64144760525228e-41, -2.5031394468234207e-41, -2.3648312883945613e-41, -2.2265231299657018e-41, -2.0882149715368424e-41, -1.949906813107983e-41, -1.8115986546791235e-41, -1.673290496250264e-41, -1.5349823378214046e-41, -1.3966741793925452e-41, -1.2583660209636857e-41, -1.1200578625348263e-41, -9.817497041059668e-42, -8.434415456771074e-42, -7.05133387248248e-42, -5.668252288193885e-42, -4.2851707039052906e-42, -2.902089119616696e-42, -1.5190075353281017e-42, -1.3592595103950726e-43, 1.2471556332490872e-42, 2.6302372175376816e-42, 3.9951019217900535e-42, 5.378183506078648e-42, 6.761265090367242e-42, 8.144346674655837e-42, 9.527428258944431e-42, 1.0910509843233026e-41, 1.229359142752162e-41, 1.3676673011810215e-41, 1.505975459609881e-41, 1.6442836180387404e-41, 1.7825917764675998e-41, 1.9208999348964592e-41, 2.0592080933253187e-41, 2.1975162517541781e-41, 2.3358244101830376e-41, 2.474132568611897e-41, 2.6124407270407565e-41, 2.750748885469616e-41, 2.8890570438984754e-41, 3.027365202327335e-41, 3.165673360756194e-41, 3.3039815191850537e-41, 3.442289677613913e-41, 3.5805978360427726e-41, 3.718905994471632e-41, 3.8572141529004915e-41, 3.995522311329351e-41, 4.1338304697582104e-41, 4.27213862818707e-41, 4.410446786615929e-41, 4.5487549450447887e-41, 4.687063103473648e-41, 4.825371261902508e-41]}, "gradients/decoder.bert.encoder.layer.2.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 2.0, 6.0, 0.0, 3.0, 5.0, 6.0, 3.0, 5.0, 14.0, 8.0, 19.0, 16.0, 20.0, 18.0, 29.0, 36.0, 38.0, 35.0, 41.0, 46.0, 36.0, 44.0, 47.0, 52.0, 36.0, 50.0, 55.0, 44.0, 48.0, 46.0, 18.0, 24.0, 30.0, 23.0, 24.0, 11.0, 13.0, 10.0, 15.0, 10.0, 6.0, 7.0, 2.0, 5.0, 4.0, 3.0, 2.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.9790204053081286e-41, -2.8814900321911213e-41, -2.783959659074114e-41, -2.686429285957107e-41, -2.5888989128400995e-41, -2.4913685397230923e-41, -2.393838166606085e-41, -2.2963077934890777e-41, -2.1987774203720705e-41, -2.1012470472550632e-41, -2.003716674138056e-41, -1.9061863010210487e-41, -1.8086559279040414e-41, -1.711125554787034e-41, -1.6135951816700269e-41, -1.5160648085530196e-41, -1.4185344354360123e-41, -1.321004062319005e-41, -1.2234736892019978e-41, -1.1259433160849905e-41, -1.0284129429679832e-41, -9.30882569850976e-42, -8.333521967339687e-42, -7.358218236169614e-42, -6.382914504999542e-42, -5.407610773829469e-42, -4.4323070426593964e-42, -3.457003311489324e-42, -2.481699580319251e-42, -1.5063958491491784e-42, -5.310921179791057e-43, 4.44211613190967e-43, 1.4377322243972623e-42, 2.413035955567335e-42, 3.3883396867374077e-42, 4.3636434179074804e-42, 5.338947149077553e-42, 6.314250880247626e-42, 7.289554611417698e-42, 8.264858342587771e-42, 9.240162073757844e-42, 1.0215465804927916e-41, 1.1190769536097989e-41, 1.2166073267268062e-41, 1.3141376998438134e-41, 1.4116680729608207e-41, 1.509198446077828e-41, 1.6067288191948353e-41, 1.7042591923118425e-41, 1.8017895654288498e-41, 1.899319938545857e-41, 1.9968503116628643e-41, 2.0943806847798716e-41, 2.1919110578968789e-41, 2.2894414310138861e-41, 2.3869718041308934e-41, 2.4845021772479007e-41, 2.582032550364908e-41, 2.679562923481915e-41, 2.7770932965989225e-41, 2.8746236697159297e-41, 2.972154042832937e-41, 3.0696844159499443e-41, 3.1672147890669515e-41, 3.264745162183959e-41]}, "gradients/decoder.bert.encoder.layer.2.attention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.2.attention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.2.attention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.2.attention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.2.attention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.2.attention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.2.attention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.2.attention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.1.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 2.0, 0.0, 2.0, 1.0, 1.0, 1.0, 1.0, 2.0, 3.0, 3.0, 7.0, 7.0, 7.0, 11.0, 16.0, 12.0, 18.0, 21.0, 40.0, 44.0, 56.0, 97.0, 117.0, 132.0, 121.0, 68.0, 54.0, 39.0, 30.0, 26.0, 15.0, 18.0, 8.0, 10.0, 8.0, 5.0, 5.0, 0.0, 1.0, 5.0, 2.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0], "bins": [-4.039242823416285e-41, -3.921393622566568e-41, -3.803544421716851e-41, -3.685695220867134e-41, -3.5678460200174167e-41, -3.4499968191676996e-41, -3.3321476183179825e-41, -3.2142984174682654e-41, -3.0964492166185483e-41, -2.978600015768831e-41, -2.860750814919114e-41, -2.742901614069397e-41, -2.62505241321968e-41, -2.5072032123699627e-41, -2.3893540115202456e-41, -2.2715048106705285e-41, -2.1536556098208114e-41, -2.0358064089710942e-41, -1.917957208121377e-41, -1.80010800727166e-41, -1.682258806421943e-41, -1.5644096055722258e-41, -1.4465604047225087e-41, -1.3287112038727915e-41, -1.2108620030230744e-41, -1.0930128021733573e-41, -9.751636013236402e-42, -8.573144004739231e-42, -7.39465199624206e-42, -6.216159987744889e-42, -5.0376679792477174e-42, -3.859175970750546e-42, -2.651256694502554e-42, -1.4727646860053827e-42, -2.942726775082116e-43, 8.842193309889596e-43, 2.0627113394861307e-42, 3.241203347983302e-42, 4.419695356480473e-42, 5.598187364977644e-42, 6.776679373474815e-42, 7.955171381971987e-42, 9.133663390469158e-42, 1.0312155398966329e-41, 1.14906474074635e-41, 1.266913941596067e-41, 1.3847631424457842e-41, 1.5026123432955013e-41, 1.6204615441452185e-41, 1.7383107449949356e-41, 1.8561599458446527e-41, 1.9740091466943698e-41, 2.091858347544087e-41, 2.209707548393804e-41, 2.327556749243521e-41, 2.4454059500932383e-41, 2.5632551509429554e-41, 2.6811043517926725e-41, 2.7989535526423896e-41, 2.9168027534921067e-41, 3.034651954341824e-41, 3.152501155191541e-41, 3.270350356041258e-41, 3.388199556890975e-41, 3.5060487577406923e-41]}, "gradients/decoder.bert.encoder.layer.1.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 6.0, 2.0, 2.0, 2.0, 7.0, 4.0, 6.0, 3.0, 15.0, 10.0, 17.0, 16.0, 22.0, 18.0, 27.0, 41.0, 34.0, 32.0, 49.0, 43.0, 34.0, 41.0, 44.0, 56.0, 46.0, 37.0, 56.0, 46.0, 55.0, 36.0, 23.0, 22.0, 23.0, 25.0, 27.0, 12.0, 12.0, 6.0, 16.0, 12.0, 9.0, 4.0, 3.0, 4.0, 4.0, 4.0, 2.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.4361573802286945e-41, -2.3561432379157474e-41, -2.2761290956028004e-41, -2.1961149532898533e-41, -2.1161008109769063e-41, -2.0360866686639592e-41, -1.9560725263510121e-41, -1.876058384038065e-41, -1.796044241725118e-41, -1.716030099412171e-41, -1.636015957099224e-41, -1.556001814786277e-41, -1.4759876724733298e-41, -1.3959735301603828e-41, -1.3159593878474357e-41, -1.2359452455344887e-41, -1.1559311032215416e-41, -1.0759169609085945e-41, -9.959028185956475e-42, -9.158886762827004e-42, -8.358745339697534e-42, -7.558603916568063e-42, -6.758462493438593e-42, -5.958321070309122e-42, -5.1581796471796516e-42, -4.358038224050181e-42, -3.5578968009207105e-42, -2.75775537779124e-42, -1.9576139546617694e-42, -1.1574725315322989e-42, -3.5733110840282835e-43, 4.428103147266422e-43, 1.2121231716409668e-42, 2.0122645947704373e-42, 2.812406017899908e-42, 3.6125474410293784e-42, 4.412688864158849e-42, 5.2128302872883195e-42, 6.01297171041779e-42, 6.81311313354726e-42, 7.613254556676731e-42, 8.413395979806202e-42, 9.213537402935672e-42, 1.0013678826065143e-41, 1.0813820249194613e-41, 1.1613961672324084e-41, 1.2414103095453554e-41, 1.3214244518583025e-41, 1.4014385941712496e-41, 1.4814527364841966e-41, 1.5614668787971437e-41, 1.6414810211100907e-41, 1.7214951634230378e-41, 1.8015093057359848e-41, 1.881523448048932e-41, 1.961537590361879e-41, 2.041551732674826e-41, 2.121565874987773e-41, 2.20158001730072e-41, 2.2815941596136672e-41, 2.361608301926614e-41, 2.4416224442395613e-41, 2.5216365865525083e-41, 2.6016507288654554e-41, 2.6816648711784024e-41]}, "gradients/decoder.bert.encoder.layer.1.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.1.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.1.intermediate.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.1.intermediate.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.1.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 3.0, 2.0, 3.0, 4.0, 2.0, 5.0, 7.0, 8.0, 6.0, 6.0, 7.0, 10.0, 15.0, 17.0, 26.0, 39.0, 39.0, 43.0, 67.0, 78.0, 135.0, 119.0, 84.0, 60.0, 42.0, 31.0, 29.0, 18.0, 20.0, 11.0, 12.0, 12.0, 4.0, 5.0, 10.0, 9.0, 5.0, 3.0, 5.0, 1.0, 3.0, 2.0, 0.0, 2.0, 0.0, 1.0, 3.0], "bins": [-2.9179237922635666e-41, -2.840712246879269e-41, -2.763500701494972e-41, -2.6862891561106743e-41, -2.609077610726377e-41, -2.5318660653420795e-41, -2.454654519957782e-41, -2.3774429745734846e-41, -2.300231429189187e-41, -2.2230198838048898e-41, -2.1458083384205924e-41, -2.068596793036295e-41, -1.9913852476519975e-41, -1.9141737022677e-41, -1.8369621568834027e-41, -1.7597506114991053e-41, -1.6825390661148079e-41, -1.6053275207305104e-41, -1.528115975346213e-41, -1.4509044299619156e-41, -1.3736928845776182e-41, -1.2964813391933208e-41, -1.2192697938090233e-41, -1.1420582484247259e-41, -1.0648467030404285e-41, -9.876351576561311e-42, -9.104236122718337e-42, -8.332120668875362e-42, -7.560005215032388e-42, -6.787889761189414e-42, -6.01577430734644e-42, -5.2436588535034655e-42, -4.4309057441950716e-42, -3.6587902903520974e-42, -2.886674836509123e-42, -2.114559382666149e-42, -1.3424439288231748e-42, -5.7032847498020055e-43, 2.0178697886277366e-43, 9.739024327057479e-43, 1.746017886548722e-42, 2.5181333403916963e-42, 3.2902487942346705e-42, 4.062364248077645e-42, 4.834479701920619e-42, 5.606595155763593e-42, 6.378710609606567e-42, 7.150826063449542e-42, 7.922941517292516e-42, 8.69505697113549e-42, 9.467172424978464e-42, 1.0239287878821438e-41, 1.1011403332664413e-41, 1.1783518786507387e-41, 1.255563424035036e-41, 1.3327749694193335e-41, 1.409986514803631e-41, 1.4871980601879284e-41, 1.5644096055722258e-41, 1.6416211509565232e-41, 1.7188326963408206e-41, 1.796044241725118e-41, 1.8732557871094155e-41, 1.950467332493713e-41, 2.0276788778780103e-41]}, "gradients/decoder.bert.encoder.layer.1.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 4.0, 4.0, 2.0, 3.0, 6.0, 4.0, 6.0, 5.0, 13.0, 14.0, 16.0, 15.0, 19.0, 21.0, 31.0, 37.0, 35.0, 38.0, 46.0, 40.0, 32.0, 44.0, 50.0, 50.0, 40.0, 44.0, 57.0, 42.0, 52.0, 37.0, 25.0, 21.0, 23.0, 26.0, 26.0, 12.0, 12.0, 5.0, 16.0, 12.0, 9.0, 4.0, 3.0, 4.0, 4.0, 3.0, 3.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.9817162882481563e-41, -1.9165559096570523e-41, -1.8513955310659483e-41, -1.7862351524748443e-41, -1.7210747738837403e-41, -1.6559143952926363e-41, -1.5907540167015323e-41, -1.5255936381104283e-41, -1.4604332595193244e-41, -1.3952728809282204e-41, -1.3301125023371164e-41, -1.2649521237460124e-41, -1.1997917451549084e-41, -1.1346313665638044e-41, -1.0694709879727004e-41, -1.0043106093815964e-41, -9.391502307904924e-42, -8.739898521993884e-42, -8.088294736082844e-42, -7.436690950171804e-42, -6.785087164260764e-42, -6.133483378349724e-42, -5.4818795924386844e-42, -4.8302758065276444e-42, -4.1786720206166045e-42, -3.5270682347055646e-42, -2.8754644487945246e-42, -2.2238606628834847e-42, -1.5722568769724448e-42, -9.206530910614048e-43, -2.6904930515036488e-43, 3.825544807606751e-43, 1.0677894298155106e-42, 1.7193932157265505e-42, 2.3709970016375905e-42, 3.0226007875486304e-42, 3.6742045734596704e-42, 4.32580835937071e-42, 4.97741214528175e-42, 5.62901593119279e-42, 6.28061971710383e-42, 6.93222350301487e-42, 7.58382728892591e-42, 8.23543107483695e-42, 8.88703486074799e-42, 9.53863864665903e-42, 1.019024243257007e-41, 1.084184621848111e-41, 1.149345000439215e-41, 1.214505379030319e-41, 1.279665757621423e-41, 1.344826136212527e-41, 1.409986514803631e-41, 1.475146893394735e-41, 1.540307271985839e-41, 1.605467650576943e-41, 1.670628029168047e-41, 1.735788407759151e-41, 1.800948786350255e-41, 1.866109164941359e-41, 1.931269543532463e-41, 1.996429922123567e-41, 2.061590300714671e-41, 2.1267506793057749e-41, 2.1919110578968789e-41]}, "gradients/decoder.bert.encoder.layer.1.crossattention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.1.crossattention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.1.crossattention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.1.crossattention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.1.crossattention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.1.crossattention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.1.crossattention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.1.crossattention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.1.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [3.0, 4.0, 0.0, 1.0, 2.0, 0.0, 1.0, 3.0, 3.0, 3.0, 1.0, 1.0, 3.0, 8.0, 5.0, 6.0, 9.0, 6.0, 11.0, 15.0, 18.0, 23.0, 22.0, 30.0, 31.0, 43.0, 40.0, 40.0, 58.0, 93.0, 80.0, 70.0, 81.0, 59.0, 48.0, 38.0, 27.0, 26.0, 19.0, 14.0, 12.0, 8.0, 13.0, 9.0, 4.0, 3.0, 3.0, 5.0, 1.0, 9.0, 1.0, 1.0, 2.0, 0.0, 1.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-6.16711454149352e-42, -5.962524965702097e-42, -5.757935389910673e-42, -5.55334581411925e-42, -5.348756238327827e-42, -5.1441666625364035e-42, -4.93957708674498e-42, -4.734987510953557e-42, -4.5303979351621336e-42, -4.32580835937071e-42, -4.121218783579287e-42, -3.916629207787864e-42, -3.7120396319964404e-42, -3.507450056205017e-42, -3.302860480413594e-42, -3.0982709046221705e-42, -2.893681328830747e-42, -2.689091753039324e-42, -2.4845021772479007e-42, -2.2799126014564774e-42, -2.075323025665054e-42, -1.8707334498736308e-42, -1.6661438740822075e-42, -1.4615542982907842e-42, -1.2569647224993609e-42, -1.0523751467079376e-42, -8.477855709165143e-43, -6.43195995125091e-43, -4.3860641933366774e-43, -2.3401684354224445e-43, -2.942726775082116e-44, 1.7516230804060213e-43, 3.923635700109488e-43, 5.969531458023721e-43, 8.015427215937954e-43, 1.0061322973852187e-42, 1.210721873176642e-42, 1.4153114489680652e-42, 1.6199010247594885e-42, 1.8244906005509118e-42, 2.029080176342335e-42, 2.2336697521337584e-42, 2.4382593279251817e-42, 2.642848903716605e-42, 2.8474384795080283e-42, 3.0520280552994516e-42, 3.256617631090875e-42, 3.461207206882298e-42, 3.6657967826737215e-42, 3.870386358465145e-42, 4.074975934256568e-42, 4.2795655100479913e-42, 4.4841550858394146e-42, 4.688744661630838e-42, 4.893334237422261e-42, 5.0979238132136845e-42, 5.302513389005108e-42, 5.507102964796531e-42, 5.7116925405879544e-42, 5.916282116379378e-42, 6.120871692170801e-42, 6.325461267962224e-42, 6.530050843753648e-42, 6.734640419545071e-42, 6.939229995336494e-42]}, "gradients/decoder.bert.encoder.layer.1.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 4.0, 4.0, 2.0, 3.0, 6.0, 4.0, 6.0, 6.0, 13.0, 12.0, 17.0, 14.0, 20.0, 21.0, 29.0, 41.0, 35.0, 36.0, 46.0, 41.0, 32.0, 45.0, 45.0, 54.0, 41.0, 44.0, 59.0, 41.0, 54.0, 31.0, 28.0, 20.0, 23.0, 28.0, 25.0, 10.0, 13.0, 7.0, 15.0, 11.0, 8.0, 4.0, 3.0, 4.0, 6.0, 2.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.875644460913958e-42, -5.682265272837133e-42, -5.4888860847603085e-42, -5.295506896683484e-42, -5.102127708606659e-42, -4.908748520529834e-42, -4.7153693324530094e-42, -4.521990144376185e-42, -4.32861095629936e-42, -4.135231768222535e-42, -3.9418525801457104e-42, -3.7484733920688857e-42, -3.555094203992061e-42, -3.361715015915236e-42, -3.1683358278384114e-42, -2.9749566397615866e-42, -2.781577451684762e-42, -2.588198263607937e-42, -2.3948190755311124e-42, -2.2014398874542876e-42, -2.008060699377463e-42, -1.814681511300638e-42, -1.6213023232238134e-42, -1.4279231351469886e-42, -1.2345439470701638e-42, -1.0411647589933391e-42, -8.477855709165143e-43, -6.544063828396896e-43, -4.610271947628648e-43, -2.6764800668604006e-43, -7.42688186092153e-44, 1.1911036946760945e-43, 3.2510124372335756e-43, 5.184804318001823e-43, 7.118596198770071e-43, 9.052388079538318e-43, 1.0986179960306566e-42, 1.2919971841074813e-42, 1.485376372184306e-42, 1.678755560261131e-42, 1.8721347483379556e-42, 2.0655139364147804e-42, 2.258893124491605e-42, 2.45227231256843e-42, 2.6456515006452546e-42, 2.8390306887220794e-42, 3.032409876798904e-42, 3.225789064875729e-42, 3.4191682529525537e-42, 3.6125474410293784e-42, 3.805926629106203e-42, 3.999305817183028e-42, 4.1926850052598527e-42, 4.3860641933366774e-42, 4.579443381413502e-42, 4.772822569490327e-42, 4.966201757567152e-42, 5.1595809456439765e-42, 5.352960133720801e-42, 5.546339321797626e-42, 5.739718509874451e-42, 5.933097697951275e-42, 6.1264768860281e-42, 6.319856074104925e-42, 6.51323526218175e-42]}, "gradients/decoder.bert.encoder.layer.1.attention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.1.attention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.1.attention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.1.attention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.1.attention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.1.attention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.1.attention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.1.attention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.0.output.LayerNorm.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 2.0, 0.0, 2.0, 2.0, 1.0, 3.0, 2.0, 2.0, 2.0, 2.0, 2.0, 1.0, 6.0, 5.0, 3.0, 6.0, 8.0, 14.0, 19.0, 22.0, 10.0, 26.0, 30.0, 40.0, 48.0, 51.0, 72.0, 88.0, 83.0, 92.0, 81.0, 71.0, 41.0, 44.0, 29.0, 19.0, 21.0, 10.0, 8.0, 5.0, 8.0, 5.0, 7.0, 5.0, 2.0, 4.0, 1.0, 3.0, 3.0, 3.0, 0.0, 2.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-6.509031366788775e-42, -6.307244387926002e-42, -6.105457409063228e-42, -5.903670430200454e-42, -5.7018834513376807e-42, -5.500096472474907e-42, -5.2983094936121333e-42, -5.09652251474936e-42, -4.894735535886586e-42, -4.6929485570238124e-42, -4.491161578161039e-42, -4.289374599298265e-42, -4.0875876204354914e-42, -3.885800641572718e-42, -3.684013662709944e-42, -3.4822266838471704e-42, -3.280439704984397e-42, -3.078652726121623e-42, -2.8768657472588494e-42, -2.6750787683960758e-42, -2.473291789533302e-42, -2.2715048106705285e-42, -2.0697178318077548e-42, -1.867930852944981e-42, -1.6661438740822075e-42, -1.4643568952194338e-42, -1.2625699163566602e-42, -1.0607829374938865e-42, -8.589959586311129e-43, -6.572089797683392e-43, -4.5542200090556555e-43, -2.536350220427919e-43, -6.025583396596713e-44, 1.4153114489680652e-43, 3.433181237595802e-43, 5.4510510262235384e-43, 7.468920814851275e-43, 9.486790603479012e-43, 1.1504660392106748e-42, 1.3522530180734485e-42, 1.554039996936222e-42, 1.7558269757989958e-42, 1.9576139546617694e-42, 2.159400933524543e-42, 2.3611879123873168e-42, 2.5629748912500904e-42, 2.764761870112864e-42, 2.966548848975638e-42, 3.1683358278384114e-42, 3.370122806701185e-42, 3.571909785563959e-42, 3.7736967644267324e-42, 3.975483743289506e-42, 4.17727072215228e-42, 4.3790577010150533e-42, 4.580844679877827e-42, 4.7826316587406007e-42, 4.9844186376033743e-42, 5.186205616466148e-42, 5.3879925953289216e-42, 5.589779574191695e-42, 5.791566553054469e-42, 5.993353531917243e-42, 6.195140510780016e-42, 6.39692748964279e-42]}, "gradients/decoder.bert.encoder.layer.0.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 4.0, 4.0, 3.0, 3.0, 5.0, 5.0, 5.0, 7.0, 12.0, 14.0, 14.0, 15.0, 18.0, 23.0, 30.0, 37.0, 37.0, 36.0, 47.0, 44.0, 28.0, 45.0, 48.0, 53.0, 41.0, 47.0, 52.0, 46.0, 50.0, 33.0, 27.0, 22.0, 23.0, 27.0, 25.0, 10.0, 13.0, 5.0, 17.0, 11.0, 9.0, 3.0, 3.0, 4.0, 5.0, 3.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.21002769035967e-42, -5.0376679792477174e-42, -4.865308268135765e-42, -4.6929485570238124e-42, -4.52058884591186e-42, -4.3482291347999074e-42, -4.175869423687955e-42, -4.0035097125760024e-42, -3.83115000146405e-42, -3.6587902903520974e-42, -3.486430579240145e-42, -3.3140708681281924e-42, -3.14171115701624e-42, -2.9693514459042874e-42, -2.796991734792335e-42, -2.6246320236803824e-42, -2.45227231256843e-42, -2.2799126014564774e-42, -2.107552890344525e-42, -1.9351931792325724e-42, -1.76283346812062e-42, -1.5904737570086674e-42, -1.4181140458967149e-42, -1.2457543347847624e-42, -1.0733946236728099e-42, -9.010349125608574e-43, -7.286752014489049e-43, -5.563154903369524e-43, -3.839557792249999e-43, -2.1159606811304738e-43, -3.923635700109488e-44, 1.3312335411085762e-43, 2.6484540975739043e-43, 4.372051208693429e-43, 6.095648319812954e-43, 7.81924543093248e-43, 9.542842542052004e-43, 1.126643965317153e-42, 1.2990036764291054e-42, 1.471363387541058e-42, 1.6437230986530104e-42, 1.816082809764963e-42, 1.9884425208769154e-42, 2.160802231988868e-42, 2.3331619431008204e-42, 2.505521654212773e-42, 2.6778813653247254e-42, 2.850241076436678e-42, 3.0226007875486304e-42, 3.194960498660583e-42, 3.3673202097725354e-42, 3.539679920884488e-42, 3.7120396319964404e-42, 3.884399343108393e-42, 4.0567590542203454e-42, 4.229118765332298e-42, 4.4014784764442504e-42, 4.573838187556203e-42, 4.7461978986681554e-42, 4.918557609780108e-42, 5.0909173208920604e-42, 5.263277032004013e-42, 5.4356367431159654e-42, 5.607996454227918e-42, 5.78035616533987e-42]}, "gradients/decoder.bert.encoder.layer.0.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.0.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.0.intermediate.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.0.intermediate.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.0.crossattention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 2.0, 2.0, 0.0, 1.0, 1.0, 6.0, 3.0, 2.0, 4.0, 6.0, 3.0, 4.0, 13.0, 10.0, 22.0, 20.0, 19.0, 30.0, 29.0, 42.0, 54.0, 82.0, 105.0, 117.0, 102.0, 70.0, 77.0, 43.0, 36.0, 23.0, 16.0, 16.0, 5.0, 8.0, 6.0, 9.0, 8.0, 5.0, 4.0, 6.0, 2.0, 0.0, 1.0, 3.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.713093839052279e-42, -5.529523740225728e-42, -5.345953641399177e-42, -5.162383542572626e-42, -4.978813443746075e-42, -4.795243344919524e-42, -4.611673246092973e-42, -4.428103147266422e-42, -4.244533048439871e-42, -4.06096294961332e-42, -3.877392850786769e-42, -3.693822751960218e-42, -3.510252653133667e-42, -3.326682554307116e-42, -3.143112455480565e-42, -2.9595423566540137e-42, -2.7759722578274626e-42, -2.5924021590009116e-42, -2.4088320601743605e-42, -2.2252619613478095e-42, -2.0416918625212585e-42, -1.8581217636947074e-42, -1.6745516648681564e-42, -1.4909815660416054e-42, -1.3074114672150543e-42, -1.1238413683885033e-42, -9.402712695619523e-43, -7.567011707354012e-43, -5.731310719088502e-43, -3.8956097308229915e-43, -2.059908742557481e-43, -2.2420775429197073e-44, 1.4433374182545616e-43, 3.279038406520072e-43, 5.114739394785582e-43, 6.950440383051093e-43, 8.786141371316603e-43, 1.0621842359582113e-42, 1.2457543347847624e-42, 1.4293244336113134e-42, 1.6128945324378644e-42, 1.7964646312644155e-42, 1.9800347300909665e-42, 2.1636048289175176e-42, 2.3471749277440686e-42, 2.5307450265706196e-42, 2.7143151253971707e-42, 2.897885224223722e-42, 3.081455323050273e-42, 3.265025421876824e-42, 3.448595520703375e-42, 3.632165619529926e-42, 3.815735718356477e-42, 3.999305817183028e-42, 4.182875916009579e-42, 4.36644601483613e-42, 4.550016113662681e-42, 4.733586212489232e-42, 4.917156311315783e-42, 5.100726410142334e-42, 5.284296508968885e-42, 5.467866607795436e-42, 5.651436706621987e-42, 5.835006805448538e-42, 6.018576904275089e-42]}, "gradients/decoder.bert.encoder.layer.0.crossattention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 4.0, 4.0, 3.0, 2.0, 6.0, 5.0, 7.0, 4.0, 12.0, 17.0, 15.0, 16.0, 13.0, 27.0, 32.0, 35.0, 35.0, 36.0, 48.0, 46.0, 27.0, 43.0, 55.0, 49.0, 35.0, 53.0, 47.0, 50.0, 46.0, 35.0, 27.0, 26.0, 17.0, 28.0, 24.0, 14.0, 11.0, 9.0, 17.0, 5.0, 10.0, 3.0, 3.0, 5.0, 4.0, 3.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.268355122333393e-42, -4.126823977436586e-42, -3.98529283253978e-42, -3.843761687642973e-42, -3.702230542746167e-42, -3.56069939784936e-42, -3.4191682529525537e-42, -3.277637108055747e-42, -3.1361059631589406e-42, -2.994574818262134e-42, -2.8530436733653276e-42, -2.711512528468521e-42, -2.5699813835717145e-42, -2.428450238674908e-42, -2.2869190937781015e-42, -2.145387948881295e-42, -2.0038568039844884e-42, -1.862325659087682e-42, -1.7207945141908754e-42, -1.5792633692940688e-42, -1.4377322243972623e-42, -1.2962010795004558e-42, -1.1546699346036493e-42, -1.0131387897068427e-42, -8.716076448100362e-43, -7.300764999132297e-43, -5.885453550164232e-43, -4.4701421011961665e-43, -3.0548306522281012e-43, -1.639519203260036e-43, -2.2420775429197073e-44, 1.1911036946760945e-43, 2.1860256043467146e-43, 3.60133705331478e-43, 5.016648502282845e-43, 6.43195995125091e-43, 7.847271400218976e-43, 9.262582849187041e-43, 1.0677894298155106e-42, 1.2093205747123171e-42, 1.3508517196091237e-42, 1.4923828645059302e-42, 1.6339140094027367e-42, 1.7754451542995432e-42, 1.9169762991963498e-42, 2.0585074440931563e-42, 2.2000385889899628e-42, 2.3415697338867693e-42, 2.483100878783576e-42, 2.6246320236803824e-42, 2.766163168577189e-42, 2.9076943134739954e-42, 3.049225458370802e-42, 3.1907566032676085e-42, 3.332287748164415e-42, 3.4738188930612215e-42, 3.615350037958028e-42, 3.7568811828548346e-42, 3.898412327751641e-42, 4.0399434726484476e-42, 4.181474617545254e-42, 4.3230057624420607e-42, 4.464536907338867e-42, 4.606068052235674e-42, 4.74759919713248e-42]}, "gradients/decoder.bert.encoder.layer.0.crossattention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.0.crossattention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.0.crossattention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.0.crossattention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.0.crossattention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.0.crossattention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.0.crossattention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.0.crossattention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.0.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 5.0, 0.0, 1.0, 4.0, 5.0, 4.0, 8.0, 6.0, 11.0, 19.0, 20.0, 13.0, 25.0, 26.0, 32.0, 35.0, 44.0, 35.0, 41.0, 56.0, 39.0, 53.0, 65.0, 52.0, 56.0, 43.0, 57.0, 39.0, 44.0, 30.0, 28.0, 24.0, 24.0, 14.0, 13.0, 11.0, 6.0, 4.0, 3.0, 12.0, 2.0, 2.0, 1.0, 1.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.286391990250182e-42, -1.2429517378561127e-42, -1.1995114854620434e-42, -1.1560712330679741e-42, -1.1126309806739048e-42, -1.0691907282798354e-42, -1.0257504758857661e-42, -9.823102234916968e-43, -9.388699710976274e-43, -8.954297187035581e-43, -8.519894663094888e-43, -8.085492139154194e-43, -7.651089615213501e-43, -7.216687091272808e-43, -6.782284567332115e-43, -6.347882043391421e-43, -5.913479519450728e-43, -5.479076995510035e-43, -5.0446744715693415e-43, -4.610271947628648e-43, -4.175869423687955e-43, -3.7414668997472616e-43, -3.3070643758065683e-43, -2.872661851865875e-43, -2.4382593279251817e-43, -2.0038568039844884e-43, -1.5694542800437951e-43, -1.1350517561031018e-43, -7.006492321624085e-44, -2.6624670822171524e-44, 1.6815581571897805e-44, 6.025583396596713e-44, 1.401298464324817e-43, 1.8357009882655104e-43, 2.2701035122062037e-43, 2.704506036146897e-43, 3.1389085600875902e-43, 3.5733110840282835e-43, 4.007713607968977e-43, 4.44211613190967e-43, 4.8765186558503634e-43, 5.310921179791057e-43, 5.74532370373175e-43, 6.179726227672443e-43, 6.6141287516131366e-43, 7.04853127555383e-43, 7.482933799494523e-43, 7.917336323435216e-43, 8.35173884737591e-43, 8.786141371316603e-43, 9.220543895257296e-43, 9.65494641919799e-43, 1.0089348943138683e-42, 1.0523751467079376e-42, 1.095815399102007e-42, 1.1392556514960763e-42, 1.1826959038901456e-42, 1.226136156284215e-42, 1.2695764086782843e-42, 1.3130166610723536e-42, 1.356456913466423e-42, 1.3998971658604923e-42, 1.4433374182545616e-42, 1.486777670648631e-42, 1.5302179230427002e-42]}, "gradients/decoder.bert.encoder.layer.0.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 3.0, 7.0, 1.0, 4.0, 4.0, 6.0, 7.0, 7.0, 11.0, 16.0, 14.0, 15.0, 15.0, 29.0, 33.0, 31.0, 36.0, 37.0, 50.0, 40.0, 32.0, 42.0, 53.0, 52.0, 36.0, 42.0, 52.0, 54.0, 39.0, 39.0, 28.0, 23.0, 21.0, 24.0, 21.0, 18.0, 11.0, 6.0, 18.0, 7.0, 10.0, 4.0, 2.0, 6.0, 4.0, 2.0, 2.0, 3.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.3032075718220799e-42, -1.2597673194280105e-42, -1.2163270670339412e-42, -1.1728868146398719e-42, -1.1294465622458026e-42, -1.0860063098517332e-42, -1.0425660574576639e-42, -9.991258050635946e-43, -9.556855526695252e-43, -9.122453002754559e-43, -8.688050478813866e-43, -8.253647954873173e-43, -7.81924543093248e-43, -7.384842906991786e-43, -6.950440383051093e-43, -6.516037859110399e-43, -6.081635335169706e-43, -5.647232811229013e-43, -5.2128302872883195e-43, -4.778427763347626e-43, -4.344025239406933e-43, -3.90962271546624e-43, -3.4752201915255463e-43, -3.040817667584853e-43, -2.6064151436441598e-43, -2.1720126197034665e-43, -1.7376100957627732e-43, -1.3032075718220799e-43, -8.688050478813866e-44, -4.344025239406933e-44, 0.0, 4.344025239406933e-44, 6.305843089461677e-44, 1.064986832886861e-43, 1.4993893568275543e-43, 1.9337918807682476e-43, 2.368194404708941e-43, 2.802596928649634e-43, 3.2369994525903274e-43, 3.671401976531021e-43, 4.105804500471714e-43, 4.540207024412407e-43, 4.974609548353101e-43, 5.409012072293794e-43, 5.843414596234487e-43, 6.2778171201751805e-43, 6.712219644115874e-43, 7.146622168056567e-43, 7.58102469199726e-43, 8.015427215937954e-43, 8.449829739878647e-43, 8.88423226381934e-43, 9.318634787760034e-43, 9.753037311700727e-43, 1.018743983564142e-42, 1.0621842359582113e-42, 1.1056244883522807e-42, 1.14906474074635e-42, 1.1925049931404193e-42, 1.2359452455344887e-42, 1.279385497928558e-42, 1.3228257503226273e-42, 1.3662660027166966e-42, 1.409706255110766e-42, 1.4531465075048353e-42]}, "gradients/decoder.bert.encoder.layer.0.attention.output.dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.0.attention.output.dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.0.attention.self.value.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.0.attention.self.value.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.0.attention.self.key.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.0.attention.self.key.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.0.attention.self.query.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.encoder.layer.0.attention.self.query.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.bert.embeddings.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 3.0, 0.0, 0.0, 3.0, 1.0, 6.0, 7.0, 10.0, 8.0, 11.0, 12.0, 17.0, 10.0, 19.0, 12.0, 32.0, 31.0, 30.0, 37.0, 46.0, 33.0, 60.0, 45.0, 45.0, 56.0, 50.0, 48.0, 43.0, 44.0, 36.0, 36.0, 38.0, 30.0, 26.0, 24.0, 17.0, 17.0, 9.0, 13.0, 4.0, 9.0, 12.0, 8.0, 6.0, 6.0, 2.0, 2.0, 1.0, 2.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.2373465439988135e-42, -1.1967088885333938e-42, -1.1560712330679741e-42, -1.1154335776025544e-42, -1.0747959221371347e-42, -1.034158266671715e-42, -9.935206112062953e-43, -9.528829557408756e-43, -9.122453002754559e-43, -8.716076448100362e-43, -8.309699893446165e-43, -7.903323338791968e-43, -7.496946784137771e-43, -7.090570229483574e-43, -6.6841936748293774e-43, -6.2778171201751805e-43, -5.8714405655209835e-43, -5.4650640108667866e-43, -5.05868745621259e-43, -4.652310901558393e-43, -4.245934346904196e-43, -3.839557792249999e-43, -3.433181237595802e-43, -3.026804682941605e-43, -2.620428128287408e-43, -2.214051573633211e-43, -1.807675018979014e-43, -1.401298464324817e-43, -9.949219096706201e-44, -5.885453550164232e-44, -1.8216880036222622e-44, 2.2420775429197073e-44, 6.445972935894159e-44, 1.0509738482436128e-43, 1.4573504028978098e-43, 1.8637269575520067e-43, 2.2701035122062037e-43, 2.6764800668604006e-43, 3.0828566215145976e-43, 3.4892331761687945e-43, 3.8956097308229915e-43, 4.3019862854771884e-43, 4.708362840131385e-43, 5.114739394785582e-43, 5.521115949439779e-43, 5.927492504093976e-43, 6.333869058748173e-43, 6.74024561340237e-43, 7.146622168056567e-43, 7.552998722710764e-43, 7.959375277364961e-43, 8.365751832019158e-43, 8.772128386673355e-43, 9.178504941327552e-43, 9.584881495981749e-43, 9.991258050635946e-43, 1.0397634605290143e-42, 1.080401115994434e-42, 1.1210387714598537e-42, 1.1616764269252734e-42, 1.202314082390693e-42, 1.2429517378561127e-42, 1.2835893933215324e-42, 1.3242270487869521e-42, 1.3648647042523718e-42]}, "gradients/decoder.bert.embeddings.LayerNorm.bias": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 1.0, 2.0, 4.0, 5.0, 3.0, 5.0, 6.0, 2.0, 5.0, 10.0, 9.0, 16.0, 13.0, 22.0, 24.0, 28.0, 22.0, 32.0, 35.0, 40.0, 46.0, 39.0, 49.0, 39.0, 48.0, 37.0, 41.0, 43.0, 52.0, 47.0, 46.0, 39.0, 29.0, 23.0, 23.0, 22.0, 23.0, 15.0, 10.0, 13.0, 8.0, 8.0, 12.0, 7.0, 4.0, 0.0, 2.0, 3.0, 4.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.1476634422820252e-42, -1.1070257868166055e-42, -1.0663881313511858e-42, -1.0257504758857661e-42, -9.851128204203464e-43, -9.444751649549267e-43, -9.03837509489507e-43, -8.631998540240873e-43, -8.225621985586676e-43, -7.81924543093248e-43, -7.412868876278282e-43, -7.006492321624085e-43, -6.6001157669698884e-43, -6.1937392123156915e-43, -5.7873626576614945e-43, -5.3809861030072976e-43, -4.974609548353101e-43, -4.568232993698904e-43, -4.161856439044707e-43, -3.75547988439051e-43, -3.3491033297363128e-43, -2.942726775082116e-43, -2.536350220427919e-43, -2.129973665773722e-43, -1.723597111119525e-43, -1.317220556465328e-43, -9.10844001811131e-44, -5.044674471569341e-44, -9.80908925027372e-45, 3.0828566215145976e-44, 7.146622168056567e-44, 1.1210387714598537e-43, 1.7095841264762768e-43, 2.1159606811304738e-43, 2.5223372357846707e-43, 2.9287137904388677e-43, 3.3350903450930646e-43, 3.7414668997472616e-43, 4.1478434544014585e-43, 4.5542200090556555e-43, 4.9605965637098524e-43, 5.366973118364049e-43, 5.773349673018246e-43, 6.179726227672443e-43, 6.58610278232664e-43, 6.992479336980837e-43, 7.398855891635034e-43, 7.805232446289231e-43, 8.211609000943428e-43, 8.617985555597625e-43, 9.024362110251822e-43, 9.430738664906019e-43, 9.837115219560216e-43, 1.0243491774214413e-42, 1.064986832886861e-42, 1.1056244883522807e-42, 1.1462621438177004e-42, 1.18689979928312e-42, 1.2275374547485398e-42, 1.2681751102139594e-42, 1.3088127656793791e-42, 1.3494504211447988e-42, 1.3900880766102185e-42, 1.4307257320756382e-42, 1.471363387541058e-42]}, "gradients/decoder.bert.embeddings.position_embeddings.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 2.0, 1.0, 6.0, 7.0, 4.0, 3.0, 11.0, 14.0, 26.0, 23.0, 41.0, 51.0, 82.0, 110.0, 163.0, 245.0, 300.0, 434.0, 578.0, 787.0, 998.0, 1304.0, 1576.0, 1962.0, 2323.0, 2826.0, 3196.0, 3504.0, 485775.0, 3326.0, 2744.0, 2500.0, 2090.0, 1764.0, 1379.0, 1059.0, 836.0, 577.0, 444.0, 355.0, 252.0, 181.0, 125.0, 88.0, 56.0, 41.0, 29.0, 16.0, 19.0, 16.0, 10.0, 9.0, 2.0, 2.0, 3.0, 2.0, 3.0, 4.0, 0.0, 0.0, 2.0], "bins": [-8.411994681341877e-42, -8.141544077727187e-42, -7.871093474112497e-42, -7.600642870497808e-42, -7.330192266883118e-42, -7.059741663268428e-42, -6.789291059653739e-42, -6.518840456039049e-42, -6.248389852424359e-42, -5.97793924880967e-42, -5.70748864519498e-42, -5.43703804158029e-42, -5.1665874379656005e-42, -4.896136834350911e-42, -4.625686230736221e-42, -4.3552356271215315e-42, -4.084785023506842e-42, -3.814334419892152e-42, -3.5438838162774624e-42, -3.2734332126627727e-42, -3.002982609048083e-42, -2.7325320054333933e-42, -2.4620814018187036e-42, -2.191630798204014e-42, -1.9211801945893242e-42, -1.6507295909746345e-42, -1.3802789873599448e-42, -1.1098283837452551e-42, -8.393777801305654e-43, -5.689271765158757e-43, -2.9847657290118604e-43, -2.802596928649634e-44, 2.284116496849452e-43, 4.988622532996349e-43, 7.693128569143246e-43, 1.0397634605290143e-42, 1.310214064143704e-42, 1.5806646677583937e-42, 1.8511152713730834e-42, 2.121565874987773e-42, 2.3920164786024627e-42, 2.6624670822171524e-42, 2.932917685831842e-42, 3.203368289446532e-42, 3.4738188930612215e-42, 3.744269496675911e-42, 4.014720100290601e-42, 4.2851707039052906e-42, 4.55562130751998e-42, 4.82607191113467e-42, 5.09652251474936e-42, 5.3669731183640494e-42, 5.637423721978739e-42, 5.907874325593429e-42, 6.178324929208118e-42, 6.448775532822808e-42, 6.719226136437498e-42, 6.989676740052188e-42, 7.260127343666877e-42, 7.530577947281567e-42, 7.801028550896257e-42, 8.071479154510946e-42, 8.341929758125636e-42, 8.612380361740326e-42, 8.882830965355015e-42]}, "gradients/decoder.bert.embeddings.token_type_embeddings.weight": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 1.0, 2.0, 5.0, 3.0, 5.0, 3.0, 4.0, 5.0, 3.0, 13.0, 6.0, 17.0, 15.0, 22.0, 26.0, 21.0, 28.0, 30.0, 40.0, 39.0, 43.0, 42.0, 54.0, 37.0, 45.0, 1062.0, 41.0, 44.0, 49.0, 42.0, 56.0, 34.0, 25.0, 25.0, 22.0, 27.0, 18.0, 14.0, 12.0, 13.0, 7.0, 10.0, 9.0, 10.0, 2.0, 0.0, 2.0, 5.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.2744141215878e-41, -3.1575458296631103e-41, -3.0406775377384206e-41, -2.923809245813731e-41, -2.806940953889041e-41, -2.6900726619643513e-41, -2.5732043700396616e-41, -2.456336078114972e-41, -2.339467786190282e-41, -2.2225994942655924e-41, -2.1057312023409026e-41, -1.9888629104162129e-41, -1.871994618491523e-41, -1.7551263265668334e-41, -1.6382580346421436e-41, -1.521389742717454e-41, -1.4045214507927642e-41, -1.2876531588680744e-41, -1.1707848669433847e-41, -1.0539165750186949e-41, -9.370482830940052e-42, -8.201799911693154e-42, -7.033116992446257e-42, -5.86443407319936e-42, -4.695751153952462e-42, -3.5270682347055646e-42, -2.358385315458667e-42, -1.1897023962117697e-42, -2.1019476964872256e-44, 1.1476634422820252e-42, 2.3163463615289226e-42, 3.48502928077582e-42, 4.655113498487042e-42, 5.82379641773394e-42, 6.992479336980837e-42, 8.161162256227735e-42, 9.329845175474632e-42, 1.049852809472153e-41, 1.1667211013968427e-41, 1.2835893933215324e-41, 1.4004576852462222e-41, 1.517325977170912e-41, 1.6341942690956017e-41, 1.7510625610202914e-41, 1.8679308529449812e-41, 1.984799144869671e-41, 2.1016674367943606e-41, 2.2185357287190504e-41, 2.33540402064374e-41, 2.45227231256843e-41, 2.5691406044931196e-41, 2.6860088964178094e-41, 2.802877188342499e-41, 2.919745480267189e-41, 3.0366137721918786e-41, 3.1534820641165683e-41, 3.270350356041258e-41, 3.387218647965948e-41, 3.5040869398906376e-41, 3.6209552318153273e-41, 3.737823523740017e-41, 3.854691815664707e-41, 3.9715601075893965e-41, 4.0884283995140863e-41, 4.205296691438776e-41]}, "gradients/decoder.bert.embeddings.word_embeddings.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 2.0, 1.0, 1.0, 2.0, 0.0, 2.0, 2.0, 4.0, 9.0, 14.0, 11.0, 12.0, 8.0, 23.0, 80.0, 174.0, 154.0, 241.0, 245.0, 309.0, 1010.0, 449669.0, 30801602.0, 605.0, 162.0, 56.0, 40.0, 19.0, 18.0, 15.0, 9.0, 5.0, 4.0, 3.0, 3.0, 1.0, 0.0, 2.0, 1.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-1959.0, -1907.453125, -1855.90625, -1804.359375, -1752.8125, -1701.265625, -1649.71875, -1598.171875, -1546.625, -1495.078125, -1443.53125, -1391.984375, -1340.4375, -1288.890625, -1237.34375, -1185.796875, -1134.25, -1082.703125, -1031.15625, -979.609375, -928.0625, -876.515625, -824.96875, -773.421875, -721.875, -670.328125, -618.78125, -567.234375, -515.6875, -464.140625, -412.59375, -361.046875, -309.5, -257.953125, -206.40625, -154.859375, -103.3125, -51.765625, -0.21875, 51.328125, 102.875, 154.421875, 205.96875, 257.515625, 309.0625, 360.609375, 412.15625, 463.703125, 515.25, 566.796875, 618.34375, 669.890625, 721.4375, 772.984375, 824.53125, 876.078125, 927.625, 979.171875, 1030.71875, 1082.265625, 1133.8125, 1185.359375, 1236.90625, 1288.453125, 1340.0]}, "gradients/encoder.adapter.layers.2.conv.weight": {"_type": "histogram", "values": [6.0, 2.0, 2.0, 0.0, 7.0, 7.0, 12.0, 12.0, 11.0, 19.0, 24.0, 18.0, 51.0, 51.0, 78.0, 134.0, 194.0, 277.0, 468.0, 666.0, 1107.0, 1772.0, 2718.0, 4317.0, 7129.0, 10921.0, 17670.0, 28375.0, 47511.0, 88672.0, 5202951.0, 667279.0, 87169.0, 47004.0, 27955.0, 17263.0, 10725.0, 6793.0, 4462.0, 2756.0, 1751.0, 1095.0, 689.0, 449.0, 303.0, 175.0, 117.0, 93.0, 54.0, 20.0, 24.0, 19.0, 20.0, 9.0, 10.0, 10.0, 5.0, 10.0, 4.0, 6.0, 2.0, 0.0, 0.0, 3.0], "bins": [-0.0123748779296875, -0.011975526809692383, -0.011576175689697266, -0.011176824569702148, -0.010777473449707031, -0.010378122329711914, -0.009978771209716797, -0.00957942008972168, -0.009180068969726562, -0.008780717849731445, -0.008381366729736328, -0.007982015609741211, -0.007582664489746094, -0.0071833133697509766, -0.006783962249755859, -0.006384611129760742, -0.005985260009765625, -0.005585908889770508, -0.005186557769775391, -0.0047872066497802734, -0.004387855529785156, -0.003988504409790039, -0.003589153289794922, -0.0031898021697998047, -0.0027904510498046875, -0.0023910999298095703, -0.001991748809814453, -0.001592397689819336, -0.0011930465698242188, -0.0007936954498291016, -0.0003943443298339844, 5.0067901611328125e-06, 0.00040435791015625, 0.0008037090301513672, 0.0012030601501464844, 0.0016024112701416016, 0.0020017623901367188, 0.002401113510131836, 0.002800464630126953, 0.0031998157501220703, 0.0035991668701171875, 0.003998517990112305, 0.004397869110107422, 0.004797220230102539, 0.005196571350097656, 0.0055959224700927734, 0.005995273590087891, 0.006394624710083008, 0.006793975830078125, 0.007193326950073242, 0.007592678070068359, 0.007992029190063477, 0.008391380310058594, 0.008790731430053711, 0.009190082550048828, 0.009589433670043945, 0.009988784790039062, 0.01038813591003418, 0.010787487030029297, 0.011186838150024414, 0.011586189270019531, 0.011985540390014648, 0.012384891510009766, 0.012784242630004883, 0.01318359375]}, "gradients/encoder.adapter.layers.2.conv.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 2.0, 4.0, 0.0, 6.0, 4.0, 9.0, 4.0, 14.0, 16.0, 13.0, 16.0, 11.0, 14.0, 18.0, 25.0, 17.0, 37.0, 80.0, 1494.0, 65.0, 29.0, 25.0, 16.0, 23.0, 13.0, 16.0, 10.0, 4.0, 6.0, 9.0, 8.0, 10.0, 6.0, 6.0, 2.0, 4.0, 0.0, 3.0, 1.0, 1.0, 2.0, 0.0, 0.0, 1.0], "bins": [-0.0036563873291015625, -0.0035614073276519775, -0.0034664273262023926, -0.0033714473247528076, -0.0032764673233032227, -0.0031814873218536377, -0.0030865073204040527, -0.0029915273189544678, -0.002896547317504883, -0.002801567316055298, -0.002706587314605713, -0.002611607313156128, -0.002516627311706543, -0.002421647310256958, -0.002326667308807373, -0.002231687307357788, -0.002136707305908203, -0.002041727304458618, -0.0019467473030090332, -0.0018517673015594482, -0.0017567873001098633, -0.0016618072986602783, -0.0015668272972106934, -0.0014718472957611084, -0.0013768672943115234, -0.0012818872928619385, -0.0011869072914123535, -0.0010919272899627686, -0.0009969472885131836, -0.0009019672870635986, -0.0008069872856140137, -0.0007120072841644287, -0.0006170272827148438, -0.0005220472812652588, -0.00042706727981567383, -0.00033208727836608887, -0.0002371072769165039, -0.00014212727546691895, -4.7147274017333984e-05, 4.7832727432250977e-05, 0.00014281272888183594, 0.0002377927303314209, 0.00033277273178100586, 0.0004277527332305908, 0.0005227327346801758, 0.0006177127361297607, 0.0007126927375793457, 0.0008076727390289307, 0.0009026527404785156, 0.0009976327419281006, 0.0010926127433776855, 0.0011875927448272705, 0.0012825727462768555, 0.0013775527477264404, 0.0014725327491760254, 0.0015675127506256104, 0.0016624927520751953, 0.0017574727535247803, 0.0018524527549743652, 0.0019474327564239502, 0.002042412757873535, 0.00213739275932312, 0.002232372760772705, 0.00232735276222229, 0.002422332763671875]}, "gradients/encoder.adapter.layers.1.conv.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 6.0, 7.0, 4.0, 2.0, 18.0, 12.0, 20.0, 33.0, 44.0, 62.0, 76.0, 119.0, 157.0, 220.0, 339.0, 464.0, 710.0, 1032.0, 1479.0, 2319.0, 3625.0, 5535.0, 9185.0, 15120.0, 27113.0, 52712.0, 117485.0, 360561.0, 4746408.0, 639163.0, 160830.0, 66279.0, 32690.0, 18113.0, 10668.0, 6512.0, 4062.0, 2636.0, 1826.0, 1213.0, 779.0, 561.0, 385.0, 263.0, 171.0, 129.0, 90.0, 65.0, 43.0, 31.0, 23.0, 13.0, 12.0, 9.0, 9.0, 6.0, 0.0, 0.0, 3.0, 1.0, 1.0], "bins": [-0.0033283233642578125, -0.003223210573196411, -0.0031180977821350098, -0.0030129849910736084, -0.002907872200012207, -0.0028027594089508057, -0.0026976466178894043, -0.002592533826828003, -0.0024874210357666016, -0.0023823082447052, -0.002277195453643799, -0.0021720826625823975, -0.002066969871520996, -0.0019618570804595947, -0.0018567442893981934, -0.001751631498336792, -0.0016465187072753906, -0.0015414059162139893, -0.0014362931251525879, -0.0013311803340911865, -0.0012260675430297852, -0.0011209547519683838, -0.0010158419609069824, -0.0009107291698455811, -0.0008056163787841797, -0.0007005035877227783, -0.000595390796661377, -0.0004902780055999756, -0.0003851652145385742, -0.00028005242347717285, -0.00017493963241577148, -6.982684135437012e-05, 3.528594970703125e-05, 0.00014039874076843262, 0.000245511531829834, 0.00035062432289123535, 0.0004557371139526367, 0.0005608499050140381, 0.0006659626960754395, 0.0007710754871368408, 0.0008761882781982422, 0.0009813010692596436, 0.001086413860321045, 0.0011915266513824463, 0.0012966394424438477, 0.001401752233505249, 0.0015068650245666504, 0.0016119778156280518, 0.0017170906066894531, 0.0018222033977508545, 0.0019273161888122559, 0.0020324289798736572, 0.0021375417709350586, 0.00224265456199646, 0.0023477673530578613, 0.0024528801441192627, 0.002557992935180664, 0.0026631057262420654, 0.002768218517303467, 0.002873331308364868, 0.0029784440994262695, 0.003083556890487671, 0.0031886696815490723, 0.0032937824726104736, 0.003398895263671875]}, "gradients/encoder.adapter.layers.1.conv.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 1.0, 0.0, 1.0, 4.0, 2.0, 2.0, 5.0, 8.0, 11.0, 17.0, 9.0, 10.0, 9.0, 20.0, 17.0, 29.0, 37.0, 35.0, 49.0, 48.0, 79.0, 189.0, 564.0, 320.0, 124.0, 97.0, 75.0, 51.0, 32.0, 17.0, 32.0, 25.0, 17.0, 9.0, 16.0, 15.0, 11.0, 5.0, 7.0, 6.0, 8.0, 6.0, 7.0, 4.0, 1.0, 3.0, 1.0, 0.0, 1.0, 0.0, 1.0, 3.0, 0.0, 1.0], "bins": [-0.002246856689453125, -0.0021785199642181396, -0.0021101832389831543, -0.002041846513748169, -0.0019735097885131836, -0.0019051730632781982, -0.0018368363380432129, -0.0017684996128082275, -0.0017001628875732422, -0.0016318261623382568, -0.0015634894371032715, -0.0014951527118682861, -0.0014268159866333008, -0.0013584792613983154, -0.00129014253616333, -0.0012218058109283447, -0.0011534690856933594, -0.001085132360458374, -0.0010167956352233887, -0.0009484589099884033, -0.000880122184753418, -0.0008117854595184326, -0.0007434487342834473, -0.0006751120090484619, -0.0006067752838134766, -0.0005384385585784912, -0.00047010183334350586, -0.0004017651081085205, -0.00033342838287353516, -0.0002650916576385498, -0.00019675493240356445, -0.0001284182071685791, -6.008148193359375e-05, 8.255243301391602e-06, 7.659196853637695e-05, 0.0001449286937713623, 0.00021326541900634766, 0.000281602144241333, 0.00034993886947631836, 0.0004182755947113037, 0.00048661231994628906, 0.0005549490451812744, 0.0006232857704162598, 0.0006916224956512451, 0.0007599592208862305, 0.0008282959461212158, 0.0008966326713562012, 0.0009649693965911865, 0.0010333061218261719, 0.0011016428470611572, 0.0011699795722961426, 0.001238316297531128, 0.0013066530227661133, 0.0013749897480010986, 0.001443326473236084, 0.0015116631984710693, 0.0015799999237060547, 0.00164833664894104, 0.0017166733741760254, 0.0017850100994110107, 0.001853346824645996, 0.0019216835498809814, 0.001990020275115967, 0.002058357000350952, 0.0021266937255859375]}, "gradients/encoder.adapter.layers.0.conv.weight": {"_type": "histogram", "values": [3.0, 3.0, 2.0, 2.0, 4.0, 0.0, 1.0, 2.0, 5.0, 10.0, 8.0, 5.0, 7.0, 11.0, 19.0, 32.0, 32.0, 40.0, 52.0, 88.0, 119.0, 184.0, 260.0, 376.0, 591.0, 883.0, 1536.0, 2347.0, 4575.0, 9725.0, 29086.0, 184174.0, 5960909.0, 64647.0, 16690.0, 6777.0, 3167.0, 1747.0, 1163.0, 648.0, 446.0, 307.0, 242.0, 133.0, 97.0, 76.0, 59.0, 38.0, 40.0, 28.0, 11.0, 13.0, 3.0, 3.0, 7.0, 6.0, 5.0, 1.0, 1.0, 2.0, 4.0, 0.0, 1.0, 3.0], "bins": [-0.00421142578125, -0.0040808916091918945, -0.003950357437133789, -0.0038198232650756836, -0.003689289093017578, -0.0035587549209594727, -0.003428220748901367, -0.0032976865768432617, -0.0031671524047851562, -0.0030366182327270508, -0.0029060840606689453, -0.00277554988861084, -0.0026450157165527344, -0.002514481544494629, -0.0023839473724365234, -0.002253413200378418, -0.0021228790283203125, -0.001992344856262207, -0.0018618106842041016, -0.001731276512145996, -0.0016007423400878906, -0.0014702081680297852, -0.0013396739959716797, -0.0012091398239135742, -0.0010786056518554688, -0.0009480714797973633, -0.0008175373077392578, -0.0006870031356811523, -0.0005564689636230469, -0.0004259347915649414, -0.00029540061950683594, -0.00016486644744873047, -3.4332275390625e-05, 9.620189666748047e-05, 0.00022673606872558594, 0.0003572702407836914, 0.0004878044128417969, 0.0006183385848999023, 0.0007488727569580078, 0.0008794069290161133, 0.0010099411010742188, 0.0011404752731323242, 0.0012710094451904297, 0.0014015436172485352, 0.0015320777893066406, 0.001662611961364746, 0.0017931461334228516, 0.001923680305480957, 0.0020542144775390625, 0.002184748649597168, 0.0023152828216552734, 0.002445816993713379, 0.0025763511657714844, 0.00270688533782959, 0.0028374195098876953, 0.0029679536819458008, 0.0030984878540039062, 0.0032290220260620117, 0.003359556198120117, 0.0034900903701782227, 0.003620624542236328, 0.0037511587142944336, 0.003881692886352539, 0.0040122270584106445, 0.00414276123046875]}, "gradients/encoder.adapter.layers.0.conv.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 5.0, 2.0, 4.0, 4.0, 7.0, 4.0, 8.0, 11.0, 22.0, 21.0, 20.0, 27.0, 59.0, 49.0, 48.0, 76.0, 113.0, 152.0, 245.0, 315.0, 204.0, 137.0, 120.0, 80.0, 59.0, 65.0, 47.0, 38.0, 23.0, 18.0, 18.0, 12.0, 8.0, 3.0, 4.0, 3.0, 4.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0014019012451171875, -0.0013553500175476074, -0.0013087987899780273, -0.0012622475624084473, -0.0012156963348388672, -0.0011691451072692871, -0.001122593879699707, -0.001076042652130127, -0.0010294914245605469, -0.0009829401969909668, -0.0009363889694213867, -0.0008898377418518066, -0.0008432865142822266, -0.0007967352867126465, -0.0007501840591430664, -0.0007036328315734863, -0.0006570816040039062, -0.0006105303764343262, -0.0005639791488647461, -0.000517427921295166, -0.00047087669372558594, -0.00042432546615600586, -0.0003777742385864258, -0.0003312230110168457, -0.0002846717834472656, -0.00023812055587768555, -0.00019156932830810547, -0.0001450181007385254, -9.846687316894531e-05, -5.1915645599365234e-05, -5.364418029785156e-06, 4.118680953979492e-05, 8.7738037109375e-05, 0.00013428926467895508, 0.00018084049224853516, 0.00022739171981811523, 0.0002739429473876953, 0.0003204941749572754, 0.00036704540252685547, 0.00041359663009643555, 0.0004601478576660156, 0.0005066990852355957, 0.0005532503128051758, 0.0005998015403747559, 0.0006463527679443359, 0.000692903995513916, 0.0007394552230834961, 0.0007860064506530762, 0.0008325576782226562, 0.0008791089057922363, 0.0009256601333618164, 0.0009722113609313965, 0.0010187625885009766, 0.0010653138160705566, 0.0011118650436401367, 0.0011584162712097168, 0.0012049674987792969, 0.001251518726348877, 0.001298069953918457, 0.0013446211814880371, 0.0013911724090576172, 0.0014377236366271973, 0.0014842748641967773, 0.0015308260917663574, 0.0015773773193359375]}, "gradients/encoder.encoder.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 8.0, 7.0, 19.0, 48.0, 249.0, 512.0, 88.0, 49.0, 14.0, 9.0, 2.0, 3.0, 3.0, 1.0, 2.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00550348125398159, -0.004831152968108654, -0.004158824682235718, -0.0034864963963627815, -0.0028141681104898453, -0.002141839824616909, -0.0014695115387439728, -0.0007971832528710365, -0.00012485496699810028, 0.000547473318874836, 0.0012198016047477722, 0.0018921298906207085, 0.0025644581764936447, 0.003236786462366581, 0.003909114748239517, 0.0045814430341124535, 0.00525377131998539, 0.005926099605858326, 0.006598427891731262, 0.0072707561776041985, 0.007943084463477135, 0.008615412749350071, 0.009287741035223007, 0.009960069321095943, 0.01063239760696888, 0.011304725892841816, 0.011977054178714752, 0.012649382464587688, 0.013321710750460625, 0.013994039036333561, 0.014666367322206497, 0.015338695608079433, 0.01601102575659752, 0.01668335497379303, 0.01735568232834339, 0.018028009682893753, 0.018700338900089264, 0.019372668117284775, 0.020044995471835136, 0.020717322826385498, 0.02138965204358101, 0.02206198126077652, 0.02273430861532688, 0.023406635969877243, 0.024078965187072754, 0.024751294404268265, 0.025423621758818626, 0.026095949113368988, 0.0267682783305645, 0.02744060754776001, 0.02811293490231037, 0.028785262256860733, 0.029457591474056244, 0.030129920691251755, 0.030802248045802116, 0.03147457540035248, 0.03214690461754799, 0.0328192338347435, 0.03349155932664871, 0.03416388854384422, 0.034836217761039734, 0.035508546978235245, 0.036180876195430756, 0.03685320168733597, 0.03752553090453148]}, "gradients/encoder.encoder.layer_norm.bias": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 4.0, 2.0, 10.0, 10.0, 10.0, 8.0, 16.0, 16.0, 26.0, 18.0, 23.0, 30.0, 45.0, 41.0, 39.0, 36.0, 41.0, 39.0, 62.0, 53.0, 60.0, 44.0, 47.0, 29.0, 34.0, 34.0, 30.0, 36.0, 26.0, 19.0, 27.0, 17.0, 22.0, 10.0, 11.0, 10.0, 4.0, 6.0, 6.0, 2.0, 2.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.004060626029968262, -0.0039295293390750885, -0.0037984326481819153, -0.003667335957288742, -0.003536239266395569, -0.0034051425755023956, -0.0032740458846092224, -0.003142949193716049, -0.003011852502822876, -0.0028807558119297028, -0.0027496591210365295, -0.0026185624301433563, -0.002487465739250183, -0.00235636904835701, -0.0022252723574638367, -0.0020941756665706635, -0.0019630789756774902, -0.001831982284784317, -0.0017008855938911438, -0.0015697889029979706, -0.0014386922121047974, -0.0013075955212116241, -0.001176498830318451, -0.0010454021394252777, -0.0009143054485321045, -0.0007832087576389313, -0.0006521120667457581, -0.0005210153758525848, -0.0003899186849594116, -0.0002588219940662384, -0.00012772530317306519, 3.3713877201080322e-06, 0.00013446807861328125, 0.00026556476950645447, 0.0003966614603996277, 0.0005277581512928009, 0.0006588548421859741, 0.0007899515330791473, 0.0009210482239723206, 0.0010521449148654938, 0.001183241605758667, 0.0013143382966518402, 0.0014454349875450134, 0.0015765316784381866, 0.0017076283693313599, 0.001838725060224533, 0.0019698217511177063, 0.0021009184420108795, 0.0022320151329040527, 0.002363111823797226, 0.002494208514690399, 0.0026253052055835724, 0.0027564018964767456, 0.002887498587369919, 0.003018595278263092, 0.0031496919691562653, 0.0032807886600494385, 0.0034118853509426117, 0.003542982041835785, 0.003674078732728958, 0.0038051754236221313, 0.0039362721145153046, 0.004067368805408478, 0.004198465496301651, 0.004329562187194824]}, "gradients/encoder.encoder.layers.23.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 2.0, 2.0, 7.0, 3.0, 8.0, 7.0, 14.0, 22.0, 25.0, 31.0, 51.0, 73.0, 88.0, 126.0, 175.0, 235.0, 350.0, 497.0, 806.0, 1219.0, 1800.0, 2693.0, 4169.0, 8211.0, 14801.0, 4123774.0, 15787.0, 7169.0, 4034.0, 2259.0, 1670.0, 1180.0, 773.0, 477.0, 352.0, 269.0, 237.0, 179.0, 143.0, 132.0, 108.0, 93.0, 64.0, 55.0, 33.0, 20.0, 19.0, 13.0, 12.0, 7.0, 2.0, 6.0, 5.0, 8.0, 1.0, 1.0, 1.0, 1.0], "bins": [-8.213520050048828e-05, -7.953587919473648e-05, -7.693655788898468e-05, -7.433723658323288e-05, -7.173791527748108e-05, -6.913859397172928e-05, -6.653927266597748e-05, -6.393995136022568e-05, -6.134063005447388e-05, -5.8741308748722076e-05, -5.6141987442970276e-05, -5.3542666137218475e-05, -5.0943344831466675e-05, -4.8344023525714874e-05, -4.5744702219963074e-05, -4.314538091421127e-05, -4.054605960845947e-05, -3.794673830270767e-05, -3.534741699695587e-05, -3.274809569120407e-05, -3.014877438545227e-05, -2.754945307970047e-05, -2.495013177394867e-05, -2.235081046819687e-05, -1.975148916244507e-05, -1.7152167856693268e-05, -1.4552846550941467e-05, -1.1953525245189667e-05, -9.354203939437866e-06, -6.754882633686066e-06, -4.155561327934265e-06, -1.5562400221824646e-06, 1.043081283569336e-06, 3.6424025893211365e-06, 6.241723895072937e-06, 8.841045200824738e-06, 1.1440366506576538e-05, 1.4039687812328339e-05, 1.663900911808014e-05, 1.923833042383194e-05, 2.183765172958374e-05, 2.443697303533554e-05, 2.703629434108734e-05, 2.9635615646839142e-05, 3.223493695259094e-05, 3.483425825834274e-05, 3.7433579564094543e-05, 4.0032900869846344e-05, 4.2632222175598145e-05, 4.5231543481349945e-05, 4.7830864787101746e-05, 5.0430186092853546e-05, 5.302950739860535e-05, 5.562882870435715e-05, 5.822815001010895e-05, 6.082747131586075e-05, 6.342679262161255e-05, 6.602611392736435e-05, 6.862543523311615e-05, 7.122475653886795e-05, 7.382407784461975e-05, 7.642339915037155e-05, 7.902272045612335e-05, 8.162204176187515e-05, 8.422136306762695e-05]}, "gradients/encoder.encoder.layers.23.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 3.0, 1.0, 0.0, 1.0, 4.0, 0.0, 3.0, 2.0, 3.0, 6.0, 4.0, 11.0, 13.0, 12.0, 11.0, 12.0, 8.0, 7.0, 4.0, 11.0, 7.0, 4.0, 3.0, 767.0, 8.0, 3.0, 6.0, 7.0, 17.0, 8.0, 8.0, 2.0, 7.0, 12.0, 7.0, 5.0, 5.0, 1.0, 3.0, 1.0, 0.0, 2.0, 1.0, 3.0, 0.0, 3.0, 1.0, 1.0, 0.0, 2.0, 1.0, 6.0, 1.0, 1.0, 0.0, 1.0], "bins": [-4.649162292480469e-06, -4.502013325691223e-06, -4.3548643589019775e-06, -4.207715392112732e-06, -4.060566425323486e-06, -3.913417458534241e-06, -3.766268491744995e-06, -3.6191195249557495e-06, -3.471970558166504e-06, -3.3248215913772583e-06, -3.1776726245880127e-06, -3.030523657798767e-06, -2.8833746910095215e-06, -2.736225724220276e-06, -2.5890767574310303e-06, -2.4419277906417847e-06, -2.294778823852539e-06, -2.1476298570632935e-06, -2.000480890274048e-06, -1.8533319234848022e-06, -1.7061829566955566e-06, -1.559033989906311e-06, -1.4118850231170654e-06, -1.2647360563278198e-06, -1.1175870895385742e-06, -9.704381227493286e-07, -8.23289155960083e-07, -6.761401891708374e-07, -5.289912223815918e-07, -3.818422555923462e-07, -2.3469328880310059e-07, -8.754432201385498e-08, 5.960464477539063e-08, 2.0675361156463623e-07, 3.5390257835388184e-07, 5.010515451431274e-07, 6.48200511932373e-07, 7.953494787216187e-07, 9.424984455108643e-07, 1.0896474123001099e-06, 1.2367963790893555e-06, 1.383945345878601e-06, 1.5310943126678467e-06, 1.6782432794570923e-06, 1.8253922462463379e-06, 1.9725412130355835e-06, 2.119690179824829e-06, 2.2668391466140747e-06, 2.4139881134033203e-06, 2.561137080192566e-06, 2.7082860469818115e-06, 2.855435013771057e-06, 3.0025839805603027e-06, 3.1497329473495483e-06, 3.296881914138794e-06, 3.4440308809280396e-06, 3.591179847717285e-06, 3.7383288145065308e-06, 3.885477781295776e-06, 4.032626748085022e-06, 4.179775714874268e-06, 4.326924681663513e-06, 4.474073648452759e-06, 4.621222615242004e-06, 4.76837158203125e-06]}, "gradients/encoder.encoder.layers.23.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 1.0, 1.0, 1.0, 2.0, 2.0, 3.0, 2.0, 2.0, 4.0, 8.0, 6.0, 11.0, 18.0, 13.0, 19.0, 18.0, 40.0, 43.0, 69.0, 82.0, 139.0, 232.0, 393.0, 852.0, 2624.0, 14151.0, 4070849.0, 93809.0, 7465.0, 1844.0, 718.0, 334.0, 195.0, 106.0, 71.0, 52.0, 37.0, 23.0, 15.0, 7.0, 10.0, 8.0, 4.0, 3.0, 3.0, 2.0, 4.0, 0.0, 0.0, 2.0, 1.0, 1.0], "bins": [-0.00020003318786621094, -0.00019487738609313965, -0.00018972158432006836, -0.00018456578254699707, -0.00017940998077392578, -0.0001742541790008545, -0.0001690983772277832, -0.00016394257545471191, -0.00015878677368164062, -0.00015363097190856934, -0.00014847517013549805, -0.00014331936836242676, -0.00013816356658935547, -0.00013300776481628418, -0.0001278519630432129, -0.0001226961612701416, -0.00011754035949707031, -0.00011238455772399902, -0.00010722875595092773, -0.00010207295417785645, -9.691715240478516e-05, -9.176135063171387e-05, -8.660554885864258e-05, -8.144974708557129e-05, -7.62939453125e-05, -7.113814353942871e-05, -6.598234176635742e-05, -6.082653999328613e-05, -5.5670738220214844e-05, -5.0514936447143555e-05, -4.5359134674072266e-05, -4.0203332901000977e-05, -3.504753112792969e-05, -2.98917293548584e-05, -2.473592758178711e-05, -1.958012580871582e-05, -1.4424324035644531e-05, -9.268522262573242e-06, -4.112720489501953e-06, 1.043081283569336e-06, 6.198883056640625e-06, 1.1354684829711914e-05, 1.6510486602783203e-05, 2.1666288375854492e-05, 2.682209014892578e-05, 3.197789192199707e-05, 3.713369369506836e-05, 4.228949546813965e-05, 4.744529724121094e-05, 5.2601099014282227e-05, 5.7756900787353516e-05, 6.29127025604248e-05, 6.80685043334961e-05, 7.322430610656738e-05, 7.838010787963867e-05, 8.353590965270996e-05, 8.869171142578125e-05, 9.384751319885254e-05, 9.900331497192383e-05, 0.00010415911674499512, 0.0001093149185180664, 0.0001144707202911377, 0.00011962652206420898, 0.00012478232383728027, 0.00012993812561035156]}, "gradients/encoder.encoder.layers.23.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 0.0, 1.0, 3.0, 1.0, 2.0, 2.0, 1.0, 7.0, 2.0, 1.0, 8.0, 8.0, 11.0, 8.0, 14.0, 13.0, 20.0, 28.0, 20.0, 34.0, 79.0, 3464.0, 63.0, 71.0, 32.0, 14.0, 25.0, 21.0, 17.0, 12.0, 20.0, 11.0, 12.0, 9.0, 7.0, 10.0, 6.0, 9.0, 4.0, 4.0, 2.0, 2.0, 1.0, 3.0, 2.0, 2.0, 1.0, 0.0, 1.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.357929229736328e-06, -8.977018296718597e-06, -8.596107363700867e-06, -8.215196430683136e-06, -7.834285497665405e-06, -7.4533745646476746e-06, -7.072463631629944e-06, -6.691552698612213e-06, -6.310641765594482e-06, -5.929730832576752e-06, -5.548819899559021e-06, -5.16790896654129e-06, -4.7869980335235596e-06, -4.406087100505829e-06, -4.025176167488098e-06, -3.6442652344703674e-06, -3.2633543014526367e-06, -2.882443368434906e-06, -2.5015324354171753e-06, -2.1206215023994446e-06, -1.7397105693817139e-06, -1.3587996363639832e-06, -9.778887033462524e-07, -5.969777703285217e-07, -2.1606683731079102e-07, 1.648440957069397e-07, 5.457550287246704e-07, 9.266659617424011e-07, 1.3075768947601318e-06, 1.6884878277778625e-06, 2.0693987607955933e-06, 2.450309693813324e-06, 2.8312206268310547e-06, 3.2121315598487854e-06, 3.593042492866516e-06, 3.973953425884247e-06, 4.3548643589019775e-06, 4.735775291919708e-06, 5.116686224937439e-06, 5.49759715795517e-06, 5.8785080909729e-06, 6.259419023990631e-06, 6.640329957008362e-06, 7.0212408900260925e-06, 7.402151823043823e-06, 7.783062756061554e-06, 8.163973689079285e-06, 8.544884622097015e-06, 8.925795555114746e-06, 9.306706488132477e-06, 9.687617421150208e-06, 1.0068528354167938e-05, 1.0449439287185669e-05, 1.08303502202034e-05, 1.121126115322113e-05, 1.1592172086238861e-05, 1.1973083019256592e-05, 1.2353993952274323e-05, 1.2734904885292053e-05, 1.3115815818309784e-05, 1.3496726751327515e-05, 1.3877637684345245e-05, 1.4258548617362976e-05, 1.4639459550380707e-05, 1.5020370483398438e-05]}, "gradients/encoder.encoder.layers.23.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 5.0, 5.0, 13.0, 35.0, 265.0, 505.0, 125.0, 35.0, 14.0, 3.0, 3.0, 2.0, 0.0, 2.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00013321689039003104, -0.0001254142844118178, -0.00011761166388168931, -0.00010980905790347606, -0.00010200643737334758, -9.420383139513433e-05, -8.640121814096346e-05, -7.85986048867926e-05, -7.079599163262174e-05, -6.299337837845087e-05, -5.5190765124280006e-05, -4.738815550808795e-05, -3.958554225391708e-05, -3.178292899974622e-05, -2.398031938355416e-05, -1.6177706129383296e-05, -8.375092875212431e-06, -5.724805305362679e-07, 7.230131814139895e-06, 1.5032743249321356e-05, 2.283535650349222e-05, 3.0637969757663086e-05, 3.8440579373855144e-05, 4.624319262802601e-05, 5.4045805882196873e-05, 6.184841913636774e-05, 6.96510323905386e-05, 7.745364564470947e-05, 8.525625162292272e-05, 9.30588721530512e-05, 0.00010086147813126445, 0.00010866409138543531, 0.0001164667191915214, 0.00012426932516973466, 0.00013207194569986314, 0.0001398745516780764, 0.00014767717220820487, 0.00015547977818641812, 0.00016328238416463137, 0.00017108500469475985, 0.00017888762522488832, 0.00018669023120310158, 0.00019449285173323005, 0.0002022954577114433, 0.00021009807824157178, 0.00021790068421978503, 0.00022570329019799829, 0.00023350591072812676, 0.00024130851670634001, 0.00024911112268455327, 0.00025691374321468174, 0.0002647163637448102, 0.00027251895517110825, 0.0002803215757012367, 0.0002881241962313652, 0.0002959268167614937, 0.0003037294081877917, 0.0003115320287179202, 0.0003193346201442182, 0.0003271372406743467, 0.00033493986120447516, 0.00034274248173460364, 0.00035054507316090167, 0.00035834769369103014, 0.0003661503142211586]}, "gradients/encoder.encoder.layers.23.final_layer_norm.bias": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 1.0, 3.0, 2.0, 3.0, 1.0, 4.0, 6.0, 6.0, 13.0, 11.0, 22.0, 20.0, 23.0, 32.0, 35.0, 51.0, 40.0, 53.0, 62.0, 61.0, 67.0, 55.0, 66.0, 55.0, 60.0, 43.0, 40.0, 30.0, 39.0, 26.0, 18.0, 21.0, 11.0, 11.0, 5.0, 4.0, 4.0, 5.0, 1.0, 3.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.607439041137695e-05, -4.4343993067741394e-05, -4.2613595724105835e-05, -4.0883198380470276e-05, -3.915280103683472e-05, -3.742240369319916e-05, -3.56920063495636e-05, -3.396160900592804e-05, -3.223121166229248e-05, -3.050081431865692e-05, -2.8770416975021362e-05, -2.7040019631385803e-05, -2.5309622287750244e-05, -2.3579224944114685e-05, -2.1848827600479126e-05, -2.0118430256843567e-05, -1.8388032913208008e-05, -1.665763556957245e-05, -1.492723822593689e-05, -1.319684088230133e-05, -1.1466443538665771e-05, -9.736046195030212e-06, -8.005648851394653e-06, -6.275251507759094e-06, -4.544854164123535e-06, -2.814456820487976e-06, -1.084059476852417e-06, 6.463378667831421e-07, 2.376735210418701e-06, 4.10713255405426e-06, 5.837529897689819e-06, 7.567927241325378e-06, 9.298324584960938e-06, 1.1028721928596497e-05, 1.2759119272232056e-05, 1.4489516615867615e-05, 1.6219913959503174e-05, 1.7950311303138733e-05, 1.9680708646774292e-05, 2.141110599040985e-05, 2.314150333404541e-05, 2.487190067768097e-05, 2.660229802131653e-05, 2.8332695364952087e-05, 3.0063092708587646e-05, 3.1793490052223206e-05, 3.3523887395858765e-05, 3.5254284739494324e-05, 3.698468208312988e-05, 3.871507942676544e-05, 4.0445476770401e-05, 4.217587411403656e-05, 4.390627145767212e-05, 4.563666880130768e-05, 4.736706614494324e-05, 4.9097463488578796e-05, 5.0827860832214355e-05, 5.2558258175849915e-05, 5.4288655519485474e-05, 5.601905286312103e-05, 5.774945020675659e-05, 5.947984755039215e-05, 6.121024489402771e-05, 6.294064223766327e-05, 6.467103958129883e-05]}, "gradients/encoder.encoder.layers.23.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 2.0, 1.0, 3.0, 8.0, 7.0, 3.0, 5.0, 9.0, 6.0, 12.0, 12.0, 20.0, 36.0, 54.0, 63.0, 104.0, 153.0, 176.0, 248.0, 324.0, 437.0, 646.0, 873.0, 1440.0, 2036.0, 3231.0, 5219.0, 8104.0, 14478.0, 25403.0, 44690.0, 854271.0, 35326.0, 20138.0, 11475.0, 7046.0, 4164.0, 2655.0, 1752.0, 1123.0, 790.0, 536.0, 395.0, 299.0, 228.0, 143.0, 110.0, 86.0, 63.0, 58.0, 34.0, 25.0, 18.0, 10.0, 4.0, 5.0, 3.0, 2.0, 4.0, 5.0, 1.0, 1.0, 2.0], "bins": [-5.239248275756836e-05, -5.0770118832588196e-05, -4.914775490760803e-05, -4.752539098262787e-05, -4.5903027057647705e-05, -4.428066313266754e-05, -4.265829920768738e-05, -4.1035935282707214e-05, -3.941357135772705e-05, -3.779120743274689e-05, -3.6168843507766724e-05, -3.454647958278656e-05, -3.2924115657806396e-05, -3.130175173282623e-05, -2.967938780784607e-05, -2.8057023882865906e-05, -2.6434659957885742e-05, -2.481229603290558e-05, -2.3189932107925415e-05, -2.156756818294525e-05, -1.9945204257965088e-05, -1.8322840332984924e-05, -1.670047640800476e-05, -1.5078112483024597e-05, -1.3455748558044434e-05, -1.183338463306427e-05, -1.0211020708084106e-05, -8.588656783103943e-06, -6.966292858123779e-06, -5.343928933143616e-06, -3.721565008163452e-06, -2.0992010831832886e-06, -4.76837158203125e-07, 1.1455267667770386e-06, 2.767890691757202e-06, 4.390254616737366e-06, 6.012618541717529e-06, 7.634982466697693e-06, 9.257346391677856e-06, 1.087971031665802e-05, 1.2502074241638184e-05, 1.4124438166618347e-05, 1.574680209159851e-05, 1.7369166016578674e-05, 1.8991529941558838e-05, 2.0613893866539e-05, 2.2236257791519165e-05, 2.385862171649933e-05, 2.5480985641479492e-05, 2.7103349566459656e-05, 2.872571349143982e-05, 3.0348077416419983e-05, 3.1970441341400146e-05, 3.359280526638031e-05, 3.5215169191360474e-05, 3.683753311634064e-05, 3.84598970413208e-05, 4.0082260966300964e-05, 4.170462489128113e-05, 4.332698881626129e-05, 4.4949352741241455e-05, 4.657171666622162e-05, 4.819408059120178e-05, 4.9816444516181946e-05, 5.143880844116211e-05]}, "gradients/encoder.encoder.layers.23.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 3.0, 1.0, 0.0, 1.0, 4.0, 0.0, 3.0, 2.0, 3.0, 6.0, 4.0, 11.0, 13.0, 12.0, 11.0, 12.0, 8.0, 7.0, 4.0, 11.0, 7.0, 4.0, 3.0, 767.0, 8.0, 3.0, 6.0, 7.0, 17.0, 8.0, 8.0, 2.0, 7.0, 12.0, 7.0, 5.0, 5.0, 1.0, 3.0, 1.0, 0.0, 2.0, 1.0, 3.0, 0.0, 3.0, 1.0, 1.0, 0.0, 2.0, 1.0, 6.0, 1.0, 1.0, 0.0, 1.0], "bins": [-4.649162292480469e-06, -4.502013325691223e-06, -4.3548643589019775e-06, -4.207715392112732e-06, -4.060566425323486e-06, -3.913417458534241e-06, -3.766268491744995e-06, -3.6191195249557495e-06, -3.471970558166504e-06, -3.3248215913772583e-06, -3.1776726245880127e-06, -3.030523657798767e-06, -2.8833746910095215e-06, -2.736225724220276e-06, -2.5890767574310303e-06, -2.4419277906417847e-06, -2.294778823852539e-06, -2.1476298570632935e-06, -2.000480890274048e-06, -1.8533319234848022e-06, -1.7061829566955566e-06, -1.559033989906311e-06, -1.4118850231170654e-06, -1.2647360563278198e-06, -1.1175870895385742e-06, -9.704381227493286e-07, -8.23289155960083e-07, -6.761401891708374e-07, -5.289912223815918e-07, -3.818422555923462e-07, -2.3469328880310059e-07, -8.754432201385498e-08, 5.960464477539063e-08, 2.0675361156463623e-07, 3.5390257835388184e-07, 5.010515451431274e-07, 6.48200511932373e-07, 7.953494787216187e-07, 9.424984455108643e-07, 1.0896474123001099e-06, 1.2367963790893555e-06, 1.383945345878601e-06, 1.5310943126678467e-06, 1.6782432794570923e-06, 1.8253922462463379e-06, 1.9725412130355835e-06, 2.119690179824829e-06, 2.2668391466140747e-06, 2.4139881134033203e-06, 2.561137080192566e-06, 2.7082860469818115e-06, 2.855435013771057e-06, 3.0025839805603027e-06, 3.1497329473495483e-06, 3.296881914138794e-06, 3.4440308809280396e-06, 3.591179847717285e-06, 3.7383288145065308e-06, 3.885477781295776e-06, 4.032626748085022e-06, 4.179775714874268e-06, 4.326924681663513e-06, 4.474073648452759e-06, 4.621222615242004e-06, 4.76837158203125e-06]}, "gradients/encoder.encoder.layers.23.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 3.0, 1.0, 0.0, 1.0, 4.0, 0.0, 4.0, 2.0, 5.0, 5.0, 7.0, 15.0, 15.0, 18.0, 19.0, 20.0, 25.0, 39.0, 42.0, 64.0, 75.0, 270.0, 6824.0, 4167415.0, 18220.0, 804.0, 136.0, 62.0, 47.0, 27.0, 17.0, 10.0, 11.0, 18.0, 14.0, 14.0, 7.0, 4.0, 9.0, 3.0, 1.0, 2.0, 1.0, 3.0, 0.0, 3.0, 1.0, 1.0, 0.0, 2.0, 1.0, 6.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.003570556640625, -0.003457576036453247, -0.003344595432281494, -0.003231614828109741, -0.0031186342239379883, -0.0030056536197662354, -0.0028926730155944824, -0.0027796924114227295, -0.0026667118072509766, -0.0025537312030792236, -0.0024407505989074707, -0.0023277699947357178, -0.002214789390563965, -0.002101808786392212, -0.001988828182220459, -0.001875847578048706, -0.0017628669738769531, -0.0016498863697052002, -0.0015369057655334473, -0.0014239251613616943, -0.0013109445571899414, -0.0011979639530181885, -0.0010849833488464355, -0.0009720027446746826, -0.0008590221405029297, -0.0007460415363311768, -0.0006330609321594238, -0.0005200803279876709, -0.00040709972381591797, -0.00029411911964416504, -0.0001811385154724121, -6.815791130065918e-05, 4.482269287109375e-05, 0.00015780329704284668, 0.0002707839012145996, 0.00038376450538635254, 0.0004967451095581055, 0.0006097257137298584, 0.0007227063179016113, 0.0008356869220733643, 0.0009486675262451172, 0.0010616481304168701, 0.001174628734588623, 0.001287609338760376, 0.001400589942932129, 0.0015135705471038818, 0.0016265511512756348, 0.0017395317554473877, 0.0018525123596191406, 0.0019654929637908936, 0.0020784735679626465, 0.0021914541721343994, 0.0023044347763061523, 0.0024174153804779053, 0.002530395984649658, 0.002643376588821411, 0.002756357192993164, 0.002869337797164917, 0.00298231840133667, 0.003095299005508423, 0.0032082796096801758, 0.0033212602138519287, 0.0034342408180236816, 0.0035472214221954346, 0.0036602020263671875]}, "gradients/encoder.encoder.layers.22.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 3.0, 1.0, 0.0, 1.0, 4.0, 0.0, 3.0, 2.0, 3.0, 6.0, 4.0, 11.0, 13.0, 12.0, 11.0, 12.0, 8.0, 7.0, 4.0, 11.0, 7.0, 4.0, 3.0, 767.0, 8.0, 3.0, 6.0, 7.0, 17.0, 8.0, 8.0, 2.0, 7.0, 12.0, 7.0, 5.0, 5.0, 1.0, 3.0, 1.0, 0.0, 2.0, 1.0, 3.0, 0.0, 3.0, 1.0, 1.0, 0.0, 2.0, 1.0, 6.0, 1.0, 1.0, 0.0, 1.0], "bins": [-4.649162292480469e-06, -4.502013325691223e-06, -4.3548643589019775e-06, -4.207715392112732e-06, -4.060566425323486e-06, -3.913417458534241e-06, -3.766268491744995e-06, -3.6191195249557495e-06, -3.471970558166504e-06, -3.3248215913772583e-06, -3.1776726245880127e-06, -3.030523657798767e-06, -2.8833746910095215e-06, -2.736225724220276e-06, -2.5890767574310303e-06, -2.4419277906417847e-06, -2.294778823852539e-06, -2.1476298570632935e-06, -2.000480890274048e-06, -1.8533319234848022e-06, -1.7061829566955566e-06, -1.559033989906311e-06, -1.4118850231170654e-06, -1.2647360563278198e-06, -1.1175870895385742e-06, -9.704381227493286e-07, -8.23289155960083e-07, -6.761401891708374e-07, -5.289912223815918e-07, -3.818422555923462e-07, -2.3469328880310059e-07, -8.754432201385498e-08, 5.960464477539063e-08, 2.0675361156463623e-07, 3.5390257835388184e-07, 5.010515451431274e-07, 6.48200511932373e-07, 7.953494787216187e-07, 9.424984455108643e-07, 1.0896474123001099e-06, 1.2367963790893555e-06, 1.383945345878601e-06, 1.5310943126678467e-06, 1.6782432794570923e-06, 1.8253922462463379e-06, 1.9725412130355835e-06, 2.119690179824829e-06, 2.2668391466140747e-06, 2.4139881134033203e-06, 2.561137080192566e-06, 2.7082860469818115e-06, 2.855435013771057e-06, 3.0025839805603027e-06, 3.1497329473495483e-06, 3.296881914138794e-06, 3.4440308809280396e-06, 3.591179847717285e-06, 3.7383288145065308e-06, 3.885477781295776e-06, 4.032626748085022e-06, 4.179775714874268e-06, 4.326924681663513e-06, 4.474073648452759e-06, 4.621222615242004e-06, 4.76837158203125e-06]}, "gradients/encoder.encoder.layers.22.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 5.0, 2.0, 5.0, 6.0, 8.0, 24.0, 24.0, 37.0, 68.0, 75.0, 175.0, 611.0, 10951.0, 4121358.0, 59052.0, 1179.0, 227.0, 154.0, 99.0, 80.0, 47.0, 44.0, 20.0, 14.0, 10.0, 7.0, 4.0, 3.0, 3.0, 3.0, 2.0, 1.0, 1.0], "bins": [-0.0015659332275390625, -0.001530863344669342, -0.0014957934617996216, -0.0014607235789299011, -0.0014256536960601807, -0.0013905838131904602, -0.0013555139303207397, -0.0013204440474510193, -0.0012853741645812988, -0.0012503042817115784, -0.001215234398841858, -0.0011801645159721375, -0.001145094633102417, -0.0011100247502326965, -0.001074954867362976, -0.0010398849844932556, -0.0010048151016235352, -0.0009697452187538147, -0.0009346753358840942, -0.0008996054530143738, -0.0008645355701446533, -0.0008294656872749329, -0.0007943958044052124, -0.0007593259215354919, -0.0007242560386657715, -0.000689186155796051, -0.0006541162729263306, -0.0006190463900566101, -0.0005839765071868896, -0.0005489066243171692, -0.0005138367414474487, -0.00047876685857772827, -0.0004436969757080078, -0.00040862709283828735, -0.0003735572099685669, -0.00033848732709884644, -0.000303417444229126, -0.0002683475613594055, -0.00023327767848968506, -0.0001982077956199646, -0.00016313791275024414, -0.00012806802988052368, -9.299814701080322e-05, -5.7928264141082764e-05, -2.2858381271362305e-05, 1.2211501598358154e-05, 4.728138446807861e-05, 8.235126733779907e-05, 0.00011742115020751953, 0.00015249103307724, 0.00018756091594696045, 0.0002226307988166809, 0.00025770068168640137, 0.0002927705645561218, 0.0003278404474258423, 0.00036291033029556274, 0.0003979802131652832, 0.00043305009603500366, 0.0004681199789047241, 0.0005031898617744446, 0.000538259744644165, 0.0005733296275138855, 0.000608399510383606, 0.0006434693932533264, 0.0006785392761230469]}, "gradients/encoder.encoder.layers.22.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 5.0, 2.0, 3.0, 6.0, 9.0, 24.0, 22.0, 37.0, 53.0, 49.0, 92.0, 110.0, 105.0, 2697.0, 194.0, 133.0, 102.0, 123.0, 91.0, 76.0, 46.0, 44.0, 19.0, 15.0, 10.0, 8.0, 3.0, 3.0, 3.0, 3.0, 2.0, 1.0, 1.0], "bins": [-3.647804260253906e-05, -3.566127270460129e-05, -3.484450280666351e-05, -3.402773290872574e-05, -3.3210963010787964e-05, -3.239419311285019e-05, -3.1577423214912415e-05, -3.076065331697464e-05, -2.9943883419036865e-05, -2.912711352109909e-05, -2.8310343623161316e-05, -2.749357372522354e-05, -2.6676803827285767e-05, -2.5860033929347992e-05, -2.5043264031410217e-05, -2.4226494133472443e-05, -2.3409724235534668e-05, -2.2592954337596893e-05, -2.177618443965912e-05, -2.0959414541721344e-05, -2.014264464378357e-05, -1.9325874745845795e-05, -1.850910484790802e-05, -1.7692334949970245e-05, -1.687556505203247e-05, -1.6058795154094696e-05, -1.5242025256156921e-05, -1.4425255358219147e-05, -1.3608485460281372e-05, -1.2791715562343597e-05, -1.1974945664405823e-05, -1.1158175766468048e-05, -1.0341405868530273e-05, -9.524635970592499e-06, -8.707866072654724e-06, -7.89109617471695e-06, -7.074326276779175e-06, -6.2575563788414e-06, -5.4407864809036255e-06, -4.624016582965851e-06, -3.807246685028076e-06, -2.9904767870903015e-06, -2.173706889152527e-06, -1.3569369912147522e-06, -5.401670932769775e-07, 2.766028046607971e-07, 1.0933727025985718e-06, 1.9101426005363464e-06, 2.726912498474121e-06, 3.5436823964118958e-06, 4.36045229434967e-06, 5.177222192287445e-06, 5.99399209022522e-06, 6.810761988162994e-06, 7.627531886100769e-06, 8.444301784038544e-06, 9.261071681976318e-06, 1.0077841579914093e-05, 1.0894611477851868e-05, 1.1711381375789642e-05, 1.2528151273727417e-05, 1.3344921171665192e-05, 1.4161691069602966e-05, 1.4978460967540741e-05, 1.5795230865478516e-05]}, "gradients/encoder.encoder.layers.22.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 3.0, 3.0, 24.0, 345.0, 565.0, 56.0, 20.0, 5.0], "bins": [-0.0030369667802006006, -0.002986370353028178, -0.002935773925855756, -0.002885177731513977, -0.0028345813043415546, -0.0027839848771691322, -0.00273338844999671, -0.0026827920228242874, -0.002632195595651865, -0.0025815991684794426, -0.00253100274130702, -0.0024804063141345978, -0.002429810119792819, -0.0023792136926203966, -0.002328617265447974, -0.002278020838275552, -0.002227424643933773, -0.0021768282167613506, -0.0021262317895889282, -0.002075635362416506, -0.002025039168074727, -0.0019744427409023046, -0.0019238463137298822, -0.0018732498865574598, -0.0018226534593850374, -0.001772057032212615, -0.0017214607214555144, -0.001670864294283092, -0.0016202678671106696, -0.001569671556353569, -0.0015190751291811466, -0.0014684787020087242, -0.0014178823912516236, -0.0013672859640792012, -0.0013166896533221006, -0.0012660932261496782, -0.0012154967989772558, -0.0011649003718048334, -0.0011143040610477328, -0.0010637076338753104, -0.001013111206702888, -0.0009625148377381265, -0.0009119184105657041, -0.0008613220416009426, -0.0008107256144285202, -0.0007601292454637587, -0.0007095328764989972, -0.0006589364493265748, -0.0006083401385694742, -0.0005577437696047127, -0.0005071473424322903, -0.0004565509734675288, -0.00040595457539893687, -0.0003553581773303449, -0.0003047618083655834, -0.00025416541029699147, -0.00020356898312456906, -0.0001529725850559771, -0.00010237620153930038, -5.177981802262366e-05, -1.1834199540317059e-06, 4.9412978114560246e-05, 0.00010000934707932174, 0.0001506057451479137, 0.00020120214321650565]}, "gradients/encoder.encoder.layers.22.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 3.0, 7.0, 14.0, 14.0, 30.0, 33.0, 84.0, 104.0, 138.0, 142.0, 144.0, 111.0, 77.0, 48.0, 30.0, 18.0, 13.0, 4.0, 2.0, 2.0, 1.0], "bins": [-0.0005851387977600098, -0.0005740812048316002, -0.0005630236119031906, -0.000551966018974781, -0.0005409084260463715, -0.0005298508331179619, -0.0005187932401895523, -0.0005077356472611427, -0.0004966780543327332, -0.0004856204614043236, -0.000474562868475914, -0.0004635052755475044, -0.00045244768261909485, -0.00044139008969068527, -0.0004303324967622757, -0.0004192749038338661, -0.00040821731090545654, -0.00039715971797704697, -0.0003861021250486374, -0.0003750445321202278, -0.00036398693919181824, -0.00035292934626340866, -0.0003418717533349991, -0.0003308141604065895, -0.00031975656747817993, -0.00030869897454977036, -0.0002976413816213608, -0.0002865837886929512, -0.0002755261957645416, -0.00026446860283613205, -0.0002534110099077225, -0.0002423534169793129, -0.00023129582405090332, -0.00022023823112249374, -0.00020918063819408417, -0.0001981230452656746, -0.00018706545233726501, -0.00017600785940885544, -0.00016495026648044586, -0.00015389267355203629, -0.0001428350806236267, -0.00013177748769521713, -0.00012071989476680756, -0.00010966230183839798, -9.86047089099884e-05, -8.754711598157883e-05, -7.648952305316925e-05, -6.543193012475967e-05, -5.43743371963501e-05, -4.331674426794052e-05, -3.2259151339530945e-05, -2.120155841112137e-05, -1.0143965482711792e-05, 9.136274456977844e-07, 1.197122037410736e-05, 2.3028813302516937e-05, 3.4086406230926514e-05, 4.514399915933609e-05, 5.6201592087745667e-05, 6.725918501615524e-05, 7.831677794456482e-05, 8.93743708729744e-05, 0.00010043196380138397, 0.00011148955672979355, 0.00012254714965820312]}, "gradients/encoder.encoder.layers.22.attention.out_proj.weight": {"_type": "histogram", "values": [2.0, 2.0, 1.0, 2.0, 1.0, 1.0, 5.0, 1.0, 4.0, 5.0, 3.0, 6.0, 12.0, 9.0, 17.0, 8.0, 7.0, 19.0, 14.0, 21.0, 27.0, 28.0, 26.0, 49.0, 107.0, 257.0, 719.0, 2157.0, 9250.0, 53528.0, 931241.0, 40561.0, 7592.0, 1751.0, 559.0, 201.0, 86.0, 46.0, 33.0, 32.0, 27.0, 14.0, 21.0, 21.0, 8.0, 16.0, 15.0, 8.0, 10.0, 10.0, 8.0, 9.0, 2.0, 3.0, 4.0, 2.0, 3.0, 0.0, 2.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.00019097328186035156, -0.00018469803035259247, -0.00017842277884483337, -0.00017214752733707428, -0.00016587227582931519, -0.0001595970243215561, -0.000153321772813797, -0.0001470465213060379, -0.0001407712697982788, -0.00013449601829051971, -0.00012822076678276062, -0.00012194551527500153, -0.00011567026376724243, -0.00010939501225948334, -0.00010311976075172424, -9.684450924396515e-05, -9.056925773620605e-05, -8.429400622844696e-05, -7.801875472068787e-05, -7.174350321292877e-05, -6.546825170516968e-05, -5.9193000197410583e-05, -5.291774868965149e-05, -4.6642497181892395e-05, -4.03672456741333e-05, -3.4091994166374207e-05, -2.7816742658615112e-05, -2.1541491150856018e-05, -1.5266239643096924e-05, -8.99098813533783e-06, -2.7157366275787354e-06, 3.559514880180359e-06, 9.834766387939453e-06, 1.6110017895698547e-05, 2.238526940345764e-05, 2.8660520911216736e-05, 3.493577241897583e-05, 4.1211023926734924e-05, 4.748627543449402e-05, 5.376152694225311e-05, 6.003677845001221e-05, 6.63120299577713e-05, 7.25872814655304e-05, 7.886253297328949e-05, 8.513778448104858e-05, 9.141303598880768e-05, 9.768828749656677e-05, 0.00010396353900432587, 0.00011023879051208496, 0.00011651404201984406, 0.00012278929352760315, 0.00012906454503536224, 0.00013533979654312134, 0.00014161504805088043, 0.00014789029955863953, 0.00015416555106639862, 0.00016044080257415771, 0.0001667160540819168, 0.0001729913055896759, 0.000179266557097435, 0.0001855418086051941, 0.00019181706011295319, 0.00019809231162071228, 0.00020436756312847137, 0.00021064281463623047]}, "gradients/encoder.encoder.layers.22.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 3.0, 8.0, 14.0, 22.0, 29.0, 17.0, 71.0, 592.0, 98.0, 75.0, 21.0, 23.0, 16.0, 11.0, 5.0, 1.0, 3.0, 1.0, 4.0, 5.0], "bins": [-2.0623207092285156e-05, -2.0226463675498962e-05, -1.982972025871277e-05, -1.9432976841926575e-05, -1.903623342514038e-05, -1.8639490008354187e-05, -1.8242746591567993e-05, -1.78460031747818e-05, -1.7449259757995605e-05, -1.705251634120941e-05, -1.6655772924423218e-05, -1.6259029507637024e-05, -1.586228609085083e-05, -1.5465542674064636e-05, -1.5068799257278442e-05, -1.4672055840492249e-05, -1.4275312423706055e-05, -1.387856900691986e-05, -1.3481825590133667e-05, -1.3085082173347473e-05, -1.268833875656128e-05, -1.2291595339775085e-05, -1.1894851922988892e-05, -1.1498108506202698e-05, -1.1101365089416504e-05, -1.070462167263031e-05, -1.0307878255844116e-05, -9.911134839057922e-06, -9.514391422271729e-06, -9.117648005485535e-06, -8.72090458869934e-06, -8.324161171913147e-06, -7.927417755126953e-06, -7.530674338340759e-06, -7.1339309215545654e-06, -6.737187504768372e-06, -6.340444087982178e-06, -5.943700671195984e-06, -5.54695725440979e-06, -5.150213837623596e-06, -4.753470420837402e-06, -4.3567270040512085e-06, -3.959983587265015e-06, -3.563240170478821e-06, -3.166496753692627e-06, -2.769753336906433e-06, -2.3730099201202393e-06, -1.9762665033340454e-06, -1.5795230865478516e-06, -1.1827796697616577e-06, -7.860362529754639e-07, -3.8929283618927e-07, 7.450580596923828e-09, 4.041939973831177e-07, 8.009374141693115e-07, 1.1976808309555054e-06, 1.5944242477416992e-06, 1.991167664527893e-06, 2.387911081314087e-06, 2.7846544981002808e-06, 3.1813979148864746e-06, 3.5781413316726685e-06, 3.974884748458862e-06, 4.371628165245056e-06, 4.76837158203125e-06]}, "gradients/encoder.encoder.layers.22.attention.v_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 0.0, 1.0, 1.0, 3.0, 1.0, 1.0, 1.0, 3.0, 0.0, 1.0, 5.0, 10.0, 18.0, 44.0, 127.0, 398.0, 1678.0, 9619.0, 1016956.0, 16135.0, 2672.0, 575.0, 180.0, 68.0, 25.0, 17.0, 6.0, 2.0, 3.0, 1.0, 3.0, 1.0, 3.0, 1.0, 0.0, 0.0, 2.0, 1.0, 1.0, 0.0, 0.0, 2.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.226799011230469e-05, -8.915364742279053e-05, -8.603930473327637e-05, -8.292496204376221e-05, -7.981061935424805e-05, -7.669627666473389e-05, -7.358193397521973e-05, -7.046759128570557e-05, -6.73532485961914e-05, -6.423890590667725e-05, -6.112456321716309e-05, -5.8010220527648926e-05, -5.4895877838134766e-05, -5.1781535148620605e-05, -4.8667192459106445e-05, -4.5552849769592285e-05, -4.2438507080078125e-05, -3.9324164390563965e-05, -3.6209821701049805e-05, -3.3095479011535645e-05, -2.9981136322021484e-05, -2.6866793632507324e-05, -2.3752450942993164e-05, -2.0638108253479004e-05, -1.7523765563964844e-05, -1.4409422874450684e-05, -1.1295080184936523e-05, -8.180737495422363e-06, -5.066394805908203e-06, -1.952052116394043e-06, 1.1622905731201172e-06, 4.276633262634277e-06, 7.3909759521484375e-06, 1.0505318641662598e-05, 1.3619661331176758e-05, 1.6734004020690918e-05, 1.9848346710205078e-05, 2.2962689399719238e-05, 2.60770320892334e-05, 2.919137477874756e-05, 3.230571746826172e-05, 3.542006015777588e-05, 3.853440284729004e-05, 4.16487455368042e-05, 4.476308822631836e-05, 4.787743091583252e-05, 5.099177360534668e-05, 5.410611629486084e-05, 5.7220458984375e-05, 6.033480167388916e-05, 6.344914436340332e-05, 6.656348705291748e-05, 6.967782974243164e-05, 7.27921724319458e-05, 7.590651512145996e-05, 7.902085781097412e-05, 8.213520050048828e-05, 8.524954319000244e-05, 8.83638858795166e-05, 9.147822856903076e-05, 9.459257125854492e-05, 9.770691394805908e-05, 0.00010082125663757324, 0.0001039355993270874, 0.00010704994201660156]}, "gradients/encoder.encoder.layers.22.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 0.0, 1.0, 1.0, 3.0, 1.0, 1.0, 1.0, 3.0, 0.0, 1.0, 3.0, 5.0, 1.0, 5.0, 5.0, 9.0, 6.0, 12.0, 905.0, 7.0, 5.0, 3.0, 3.0, 3.0, 2.0, 5.0, 3.0, 2.0, 2.0, 1.0, 3.0, 1.0, 4.0, 0.0, 0.0, 0.0, 2.0, 2.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.2278556823730469e-05, -1.186225563287735e-05, -1.1445954442024231e-05, -1.1029653251171112e-05, -1.0613352060317993e-05, -1.0197050869464874e-05, -9.780749678611755e-06, -9.364448487758636e-06, -8.948147296905518e-06, -8.531846106052399e-06, -8.11554491519928e-06, -7.699243724346161e-06, -7.282942533493042e-06, -6.866641342639923e-06, -6.450340151786804e-06, -6.034038960933685e-06, -5.617737770080566e-06, -5.2014365792274475e-06, -4.785135388374329e-06, -4.36883419752121e-06, -3.952533006668091e-06, -3.536231815814972e-06, -3.119930624961853e-06, -2.703629434108734e-06, -2.2873282432556152e-06, -1.8710270524024963e-06, -1.4547258615493774e-06, -1.0384246706962585e-06, -6.221234798431396e-07, -2.0582228899002075e-07, 2.1047890186309814e-07, 6.26780092716217e-07, 1.043081283569336e-06, 1.4593824744224548e-06, 1.8756836652755737e-06, 2.2919848561286926e-06, 2.7082860469818115e-06, 3.1245872378349304e-06, 3.5408884286880493e-06, 3.957189619541168e-06, 4.373490810394287e-06, 4.789792001247406e-06, 5.206093192100525e-06, 5.622394382953644e-06, 6.038695573806763e-06, 6.454996764659882e-06, 6.8712979555130005e-06, 7.287599146366119e-06, 7.703900337219238e-06, 8.120201528072357e-06, 8.536502718925476e-06, 8.952803909778595e-06, 9.369105100631714e-06, 9.785406291484833e-06, 1.0201707482337952e-05, 1.061800867319107e-05, 1.103430986404419e-05, 1.1450611054897308e-05, 1.1866912245750427e-05, 1.2283213436603546e-05, 1.2699514627456665e-05, 1.3115815818309784e-05, 1.3532117009162903e-05, 1.3948418200016022e-05, 1.436471939086914e-05]}, "gradients/encoder.encoder.layers.22.attention.k_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 3.0, 0.0, 0.0, 0.0, 6.0, 0.0, 0.0, 0.0, 5.0, 5.0, 15.0, 25.0, 43.0, 220.0, 723.0, 4701.0, 1026978.0, 12987.0, 2277.0, 407.0, 103.0, 18.0, 21.0, 9.0, 4.0, 5.0, 0.0, 0.0, 12.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.5762786865234375e-06, -3.4635886549949646e-06, -3.3508986234664917e-06, -3.238208591938019e-06, -3.125518560409546e-06, -3.012828528881073e-06, -2.9001384973526e-06, -2.787448465824127e-06, -2.6747584342956543e-06, -2.5620684027671814e-06, -2.4493783712387085e-06, -2.3366883397102356e-06, -2.2239983081817627e-06, -2.11130827665329e-06, -1.998618245124817e-06, -1.885928213596344e-06, -1.773238182067871e-06, -1.6605481505393982e-06, -1.5478581190109253e-06, -1.4351680874824524e-06, -1.3224780559539795e-06, -1.2097880244255066e-06, -1.0970979928970337e-06, -9.844079613685608e-07, -8.717179298400879e-07, -7.59027898311615e-07, -6.463378667831421e-07, -5.336478352546692e-07, -4.209578037261963e-07, -3.082677721977234e-07, -1.955777406692505e-07, -8.288770914077759e-08, 2.9802322387695312e-08, 1.424923539161682e-07, 2.551823854446411e-07, 3.67872416973114e-07, 4.805624485015869e-07, 5.932524800300598e-07, 7.059425115585327e-07, 8.186325430870056e-07, 9.313225746154785e-07, 1.0440126061439514e-06, 1.1567026376724243e-06, 1.2693926692008972e-06, 1.3820827007293701e-06, 1.494772732257843e-06, 1.607462763786316e-06, 1.7201527953147888e-06, 1.8328428268432617e-06, 1.9455328583717346e-06, 2.0582228899002075e-06, 2.1709129214286804e-06, 2.2836029529571533e-06, 2.3962929844856262e-06, 2.508983016014099e-06, 2.621673047542572e-06, 2.734363079071045e-06, 2.847053110599518e-06, 2.9597431421279907e-06, 3.0724331736564636e-06, 3.1851232051849365e-06, 3.2978132367134094e-06, 3.4105032682418823e-06, 3.5231932997703552e-06, 3.635883331298828e-06]}, "gradients/encoder.encoder.layers.22.attention.k_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 0.0, 6.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 0.0, 972.0, 0.0, 0.0, 0.0, 10.0, 0.0, 0.0, 0.0, 6.0, 0.0, 0.0, 0.0, 12.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.76837158203125e-07, -4.6193599700927734e-07, -4.470348358154297e-07, -4.3213367462158203e-07, -4.172325134277344e-07, -4.023313522338867e-07, -3.8743019104003906e-07, -3.725290298461914e-07, -3.5762786865234375e-07, -3.427267074584961e-07, -3.2782554626464844e-07, -3.129243850708008e-07, -2.980232238769531e-07, -2.8312206268310547e-07, -2.682209014892578e-07, -2.5331974029541016e-07, -2.384185791015625e-07, -2.2351741790771484e-07, -2.086162567138672e-07, -1.9371509552001953e-07, -1.7881393432617188e-07, -1.6391277313232422e-07, -1.4901161193847656e-07, -1.341104507446289e-07, -1.1920928955078125e-07, -1.043081283569336e-07, -8.940696716308594e-08, -7.450580596923828e-08, -5.960464477539063e-08, -4.470348358154297e-08, -2.9802322387695312e-08, -1.4901161193847656e-08, 0.0, 1.4901161193847656e-08, 2.9802322387695312e-08, 4.470348358154297e-08, 5.960464477539063e-08, 7.450580596923828e-08, 8.940696716308594e-08, 1.043081283569336e-07, 1.1920928955078125e-07, 1.341104507446289e-07, 1.4901161193847656e-07, 1.6391277313232422e-07, 1.7881393432617188e-07, 1.9371509552001953e-07, 2.086162567138672e-07, 2.2351741790771484e-07, 2.384185791015625e-07, 2.5331974029541016e-07, 2.682209014892578e-07, 2.8312206268310547e-07, 2.980232238769531e-07, 3.129243850708008e-07, 3.2782554626464844e-07, 3.427267074584961e-07, 3.5762786865234375e-07, 3.725290298461914e-07, 3.8743019104003906e-07, 4.023313522338867e-07, 4.172325134277344e-07, 4.3213367462158203e-07, 4.470348358154297e-07, 4.6193599700927734e-07, 4.76837158203125e-07]}, "gradients/encoder.encoder.layers.22.attention.q_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 7.0, 1.0, 2.0, 6.0, 7.0, 26.0, 63.0, 182.0, 769.0, 4906.0, 7019.0, 1028674.0, 5715.0, 899.0, 173.0, 57.0, 26.0, 7.0, 5.0, 2.0, 1.0, 22.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.7550926208496094e-06, -3.637745976448059e-06, -3.520399332046509e-06, -3.4030526876449585e-06, -3.285706043243408e-06, -3.168359398841858e-06, -3.0510127544403076e-06, -2.9336661100387573e-06, -2.816319465637207e-06, -2.6989728212356567e-06, -2.5816261768341064e-06, -2.464279532432556e-06, -2.346932888031006e-06, -2.2295862436294556e-06, -2.1122395992279053e-06, -1.994892954826355e-06, -1.8775463104248047e-06, -1.7601996660232544e-06, -1.642853021621704e-06, -1.5255063772201538e-06, -1.4081597328186035e-06, -1.2908130884170532e-06, -1.173466444015503e-06, -1.0561197996139526e-06, -9.387731552124023e-07, -8.21426510810852e-07, -7.040798664093018e-07, -5.867332220077515e-07, -4.6938657760620117e-07, -3.520399332046509e-07, -2.3469328880310059e-07, -1.1734664440155029e-07, 0.0, 1.1734664440155029e-07, 2.3469328880310059e-07, 3.520399332046509e-07, 4.6938657760620117e-07, 5.867332220077515e-07, 7.040798664093018e-07, 8.21426510810852e-07, 9.387731552124023e-07, 1.0561197996139526e-06, 1.173466444015503e-06, 1.2908130884170532e-06, 1.4081597328186035e-06, 1.5255063772201538e-06, 1.642853021621704e-06, 1.7601996660232544e-06, 1.8775463104248047e-06, 1.994892954826355e-06, 2.1122395992279053e-06, 2.2295862436294556e-06, 2.346932888031006e-06, 2.464279532432556e-06, 2.5816261768341064e-06, 2.6989728212356567e-06, 2.816319465637207e-06, 2.9336661100387573e-06, 3.0510127544403076e-06, 3.168359398841858e-06, 3.285706043243408e-06, 3.4030526876449585e-06, 3.520399332046509e-06, 3.637745976448059e-06, 3.7550926208496094e-06]}, "gradients/encoder.encoder.layers.22.attention.q_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 7.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 988.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 22.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.364418029785156e-07, -5.19677996635437e-07, -5.029141902923584e-07, -4.861503839492798e-07, -4.6938657760620117e-07, -4.5262277126312256e-07, -4.3585896492004395e-07, -4.1909515857696533e-07, -4.023313522338867e-07, -3.855675458908081e-07, -3.688037395477295e-07, -3.520399332046509e-07, -3.3527612686157227e-07, -3.1851232051849365e-07, -3.0174851417541504e-07, -2.849847078323364e-07, -2.682209014892578e-07, -2.514570951461792e-07, -2.3469328880310059e-07, -2.1792948246002197e-07, -2.0116567611694336e-07, -1.8440186977386475e-07, -1.6763806343078613e-07, -1.5087425708770752e-07, -1.341104507446289e-07, -1.1734664440155029e-07, -1.0058283805847168e-07, -8.381903171539307e-08, -6.705522537231445e-08, -5.029141902923584e-08, -3.3527612686157227e-08, -1.6763806343078613e-08, 0.0, 1.6763806343078613e-08, 3.3527612686157227e-08, 5.029141902923584e-08, 6.705522537231445e-08, 8.381903171539307e-08, 1.0058283805847168e-07, 1.1734664440155029e-07, 1.341104507446289e-07, 1.5087425708770752e-07, 1.6763806343078613e-07, 1.8440186977386475e-07, 2.0116567611694336e-07, 2.1792948246002197e-07, 2.3469328880310059e-07, 2.514570951461792e-07, 2.682209014892578e-07, 2.849847078323364e-07, 3.0174851417541504e-07, 3.1851232051849365e-07, 3.3527612686157227e-07, 3.520399332046509e-07, 3.688037395477295e-07, 3.855675458908081e-07, 4.023313522338867e-07, 4.1909515857696533e-07, 4.3585896492004395e-07, 4.5262277126312256e-07, 4.6938657760620117e-07, 4.861503839492798e-07, 5.029141902923584e-07, 5.19677996635437e-07, 5.364418029785156e-07]}, "gradients/encoder.encoder.layers.22.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0, 5.0, 2.0, 4.0, 7.0, 13.0, 8.0, 14.0, 29.0, 59.0, 66.0, 129.0, 249.0, 168.0, 71.0, 47.0, 44.0, 29.0, 13.0, 14.0, 13.0, 7.0, 4.0, 2.0, 2.0, 2.0, 1.0, 1.0, 1.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0], "bins": [-6.016328188707121e-05, -5.790301656816155e-05, -5.564275124925189e-05, -5.338248593034223e-05, -5.1122224249411374e-05, -4.886195529252291e-05, -4.6601693611592054e-05, -4.4341428292682394e-05, -4.2081162973772734e-05, -3.9820897654863074e-05, -3.7560632335953414e-05, -3.5300367017043754e-05, -3.3040101698134094e-05, -3.077984001720324e-05, -2.851957469829358e-05, -2.625930937938392e-05, -2.399904406047426e-05, -2.17387787415646e-05, -1.947851342265494e-05, -1.7218249922734685e-05, -1.4957984603825025e-05, -1.2697719284915365e-05, -1.0437454875500407e-05, -8.177190466085449e-06, -5.916925147175789e-06, -3.6566602830134798e-06, -1.3963954188511707e-06, 8.638694453111384e-07, 3.1241343094734475e-06, 5.3843996283831075e-06, 7.644664037798066e-06, 9.904928447213024e-06, 1.2165197404101491e-05, 1.4425462723011151e-05, 1.668572804192081e-05, 1.8945991541841067e-05, 2.1206256860750727e-05, 2.3466522179660387e-05, 2.5726785679580644e-05, 2.7987050998490304e-05, 3.0247316317399964e-05, 3.2507581636309624e-05, 3.4767846955219284e-05, 3.7028112274128944e-05, 3.9288373955059797e-05, 4.1548642911948264e-05, 4.3808904592879117e-05, 4.6069169911788777e-05, 4.8329435230698436e-05, 5.0589700549608096e-05, 5.2849965868517756e-05, 5.5110231187427416e-05, 5.7370496506337076e-05, 5.963075818726793e-05, 6.18910271441564e-05, 6.415128882508725e-05, 6.64115505060181e-05, 6.867181218694896e-05, 7.093208114383742e-05, 7.319234282476828e-05, 7.545261178165674e-05, 7.77128734625876e-05, 7.997314241947606e-05, 8.223340410040691e-05, 8.449367305729538e-05]}, "gradients/encoder.encoder.layers.22.layer_norm.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0, 3.0, 2.0, 4.0, 4.0, 0.0, 7.0, 6.0, 11.0, 10.0, 21.0, 21.0, 14.0, 25.0, 22.0, 27.0, 37.0, 35.0, 51.0, 36.0, 35.0, 51.0, 59.0, 54.0, 68.0, 58.0, 41.0, 55.0, 33.0, 33.0, 33.0, 28.0, 24.0, 21.0, 17.0, 17.0, 14.0, 8.0, 5.0, 9.0, 4.0, 4.0, 1.0, 1.0, 2.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0], "bins": [-3.68952751159668e-05, -3.576558083295822e-05, -3.4635886549949646e-05, -3.350619226694107e-05, -3.2376497983932495e-05, -3.124680370092392e-05, -3.0117109417915344e-05, -2.898741513490677e-05, -2.7857720851898193e-05, -2.6728026568889618e-05, -2.5598332285881042e-05, -2.4468638002872467e-05, -2.333894371986389e-05, -2.2209249436855316e-05, -2.107955515384674e-05, -1.9949860870838165e-05, -1.882016658782959e-05, -1.7690472304821014e-05, -1.656077802181244e-05, -1.5431083738803864e-05, -1.4301389455795288e-05, -1.3171695172786713e-05, -1.2042000889778137e-05, -1.0912306606769562e-05, -9.782612323760986e-06, -8.652918040752411e-06, -7.5232237577438354e-06, -6.39352947473526e-06, -5.2638351917266846e-06, -4.134140908718109e-06, -3.0044466257095337e-06, -1.8747523427009583e-06, -7.450580596923828e-07, 3.8463622331619263e-07, 1.514330506324768e-06, 2.6440247893333435e-06, 3.773719072341919e-06, 4.903413355350494e-06, 6.03310763835907e-06, 7.162801921367645e-06, 8.29249620437622e-06, 9.422190487384796e-06, 1.0551884770393372e-05, 1.1681579053401947e-05, 1.2811273336410522e-05, 1.3940967619419098e-05, 1.5070661902427673e-05, 1.620035618543625e-05, 1.7330050468444824e-05, 1.84597447514534e-05, 1.9589439034461975e-05, 2.071913331747055e-05, 2.1848827600479126e-05, 2.29785218834877e-05, 2.4108216166496277e-05, 2.5237910449504852e-05, 2.6367604732513428e-05, 2.7497299015522003e-05, 2.862699329853058e-05, 2.9756687581539154e-05, 3.088638186454773e-05, 3.2016076147556305e-05, 3.314577043056488e-05, 3.4275464713573456e-05, 3.540515899658203e-05]}, "gradients/encoder.encoder.layers.21.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 2.0, 2.0, 2.0, 2.0, 0.0, 3.0, 4.0, 7.0, 7.0, 3.0, 3.0, 7.0, 16.0, 11.0, 11.0, 22.0, 20.0, 23.0, 19.0, 21.0, 32.0, 40.0, 47.0, 49.0, 52.0, 47.0, 59.0, 71.0, 63.0, 72.0, 82.0, 64.0, 102.0, 146.0, 319.0, 840.0, 2783.0, 10342.0, 42208.0, 3763162.0, 323245.0, 33784.0, 9890.0, 3777.0, 1546.0, 749.0, 303.0, 132.0, 61.0, 29.0, 12.0, 5.0], "bins": [-0.0006999969482421875, -0.0006865281611680984, -0.0006730593740940094, -0.0006595905870199203, -0.0006461217999458313, -0.0006326530128717422, -0.0006191842257976532, -0.0006057154387235641, -0.0005922466516494751, -0.000578777864575386, -0.000565309077501297, -0.000551840290427208, -0.0005383715033531189, -0.0005249027162790298, -0.0005114339292049408, -0.0004979651421308517, -0.0004844963550567627, -0.00047102756798267365, -0.0004575587809085846, -0.00044408999383449554, -0.0004306212067604065, -0.00041715241968631744, -0.0004036836326122284, -0.00039021484553813934, -0.0003767460584640503, -0.00036327727138996124, -0.0003498084843158722, -0.00033633969724178314, -0.0003228709101676941, -0.00030940212309360504, -0.000295933336019516, -0.00028246454894542694, -0.0002689957618713379, -0.00025552697479724884, -0.0002420581877231598, -0.00022858940064907074, -0.0002151206135749817, -0.00020165182650089264, -0.0001881830394268036, -0.00017471425235271454, -0.0001612454652786255, -0.00014777667820453644, -0.0001343078911304474, -0.00012083910405635834, -0.00010737031698226929, -9.390152990818024e-05, -8.043274283409119e-05, -6.696395576000214e-05, -5.3495168685913086e-05, -4.0026381611824036e-05, -2.6557594537734985e-05, -1.3088807463645935e-05, 3.7997961044311523e-07, 1.3848766684532166e-05, 2.7317553758621216e-05, 4.0786340832710266e-05, 5.4255127906799316e-05, 6.772391498088837e-05, 8.119270205497742e-05, 9.466148912906647e-05, 0.00010813027620315552, 0.00012159906327724457, 0.00013506785035133362, 0.00014853663742542267, 0.00016200542449951172]}, "gradients/encoder.encoder.layers.21.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 3.0, 8.0, 14.0, 22.0, 29.0, 17.0, 71.0, 592.0, 98.0, 75.0, 21.0, 23.0, 16.0, 11.0, 5.0, 1.0, 3.0, 1.0, 4.0, 5.0], "bins": [-2.0623207092285156e-05, -2.0226463675498962e-05, -1.982972025871277e-05, -1.9432976841926575e-05, -1.903623342514038e-05, -1.8639490008354187e-05, -1.8242746591567993e-05, -1.78460031747818e-05, -1.7449259757995605e-05, -1.705251634120941e-05, -1.6655772924423218e-05, -1.6259029507637024e-05, -1.586228609085083e-05, -1.5465542674064636e-05, -1.5068799257278442e-05, -1.4672055840492249e-05, -1.4275312423706055e-05, -1.387856900691986e-05, -1.3481825590133667e-05, -1.3085082173347473e-05, -1.268833875656128e-05, -1.2291595339775085e-05, -1.1894851922988892e-05, -1.1498108506202698e-05, -1.1101365089416504e-05, -1.070462167263031e-05, -1.0307878255844116e-05, -9.911134839057922e-06, -9.514391422271729e-06, -9.117648005485535e-06, -8.72090458869934e-06, -8.324161171913147e-06, -7.927417755126953e-06, -7.530674338340759e-06, -7.1339309215545654e-06, -6.737187504768372e-06, -6.340444087982178e-06, -5.943700671195984e-06, -5.54695725440979e-06, -5.150213837623596e-06, -4.753470420837402e-06, -4.3567270040512085e-06, -3.959983587265015e-06, -3.563240170478821e-06, -3.166496753692627e-06, -2.769753336906433e-06, -2.3730099201202393e-06, -1.9762665033340454e-06, -1.5795230865478516e-06, -1.1827796697616577e-06, -7.860362529754639e-07, -3.8929283618927e-07, 7.450580596923828e-09, 4.041939973831177e-07, 8.009374141693115e-07, 1.1976808309555054e-06, 1.5944242477416992e-06, 1.991167664527893e-06, 2.387911081314087e-06, 2.7846544981002808e-06, 3.1813979148864746e-06, 3.5781413316726685e-06, 3.974884748458862e-06, 4.371628165245056e-06, 4.76837158203125e-06]}, "gradients/encoder.encoder.layers.21.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 4.0, 0.0, 4.0, 12.0, 18.0, 42.0, 52.0, 60.0, 87.0, 116.0, 115.0, 149.0, 208.0, 8944.0, 4181750.0, 1820.0, 318.0, 167.0, 132.0, 100.0, 81.0, 47.0, 47.0, 11.0, 4.0, 6.0, 2.0, 2.0, 0.0, 2.0], "bins": [-0.0028972625732421875, -0.00283735990524292, -0.0027774572372436523, -0.0027175545692443848, -0.002657651901245117, -0.0025977492332458496, -0.002537846565246582, -0.0024779438972473145, -0.002418041229248047, -0.0023581385612487793, -0.0022982358932495117, -0.002238333225250244, -0.0021784305572509766, -0.002118527889251709, -0.0020586252212524414, -0.001998722553253174, -0.0019388198852539062, -0.0018789172172546387, -0.001819014549255371, -0.0017591118812561035, -0.001699209213256836, -0.0016393065452575684, -0.0015794038772583008, -0.0015195012092590332, -0.0014595985412597656, -0.001399695873260498, -0.0013397932052612305, -0.0012798905372619629, -0.0012199878692626953, -0.0011600852012634277, -0.0011001825332641602, -0.0010402798652648926, -0.000980377197265625, -0.0009204745292663574, -0.0008605718612670898, -0.0008006691932678223, -0.0007407665252685547, -0.0006808638572692871, -0.0006209611892700195, -0.000561058521270752, -0.0005011558532714844, -0.0004412531852722168, -0.0003813505172729492, -0.00032144784927368164, -0.00026154518127441406, -0.00020164251327514648, -0.0001417398452758789, -8.183717727661133e-05, -2.193450927734375e-05, 3.796815872192383e-05, 9.78708267211914e-05, 0.00015777349472045898, 0.00021767616271972656, 0.00027757883071899414, 0.0003374814987182617, 0.0003973841667175293, 0.0004572868347167969, 0.0005171895027160645, 0.000577092170715332, 0.0006369948387145996, 0.0006968975067138672, 0.0007568001747131348, 0.0008167028427124023, 0.0008766055107116699, 0.0009365081787109375]}, "gradients/encoder.encoder.layers.21.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 1.0, 3.0, 18.0, 95.0, 388.0, 2898.0, 449.0, 181.0, 44.0, 12.0, 2.0], "bins": [-0.00017499923706054688, -0.0001719975844025612, -0.0001689959317445755, -0.0001659942790865898, -0.00016299262642860413, -0.00015999097377061844, -0.00015698932111263275, -0.00015398766845464706, -0.00015098601579666138, -0.0001479843631386757, -0.00014498271048069, -0.00014198105782270432, -0.00013897940516471863, -0.00013597775250673294, -0.00013297609984874725, -0.00012997444719076157, -0.00012697279453277588, -0.0001239711418747902, -0.0001209694892168045, -0.00011796783655881882, -0.00011496618390083313, -0.00011196453124284744, -0.00010896287858486176, -0.00010596122592687607, -0.00010295957326889038, -9.99579206109047e-05, -9.6956267952919e-05, -9.395461529493332e-05, -9.095296263694763e-05, -8.795130997896194e-05, -8.494965732097626e-05, -8.194800466299057e-05, -7.894635200500488e-05, -7.59446993470192e-05, -7.294304668903351e-05, -6.994139403104782e-05, -6.693974137306213e-05, -6.393808871507645e-05, -6.093643605709076e-05, -5.793478339910507e-05, -5.4933130741119385e-05, -5.19314780831337e-05, -4.892982542514801e-05, -4.592817276716232e-05, -4.2926520109176636e-05, -3.992486745119095e-05, -3.692321479320526e-05, -3.3921562135219574e-05, -3.091990947723389e-05, -2.79182568192482e-05, -2.4916604161262512e-05, -2.1914951503276825e-05, -1.8913298845291138e-05, -1.591164618730545e-05, -1.2909993529319763e-05, -9.908340871334076e-06, -6.906688213348389e-06, -3.905035555362701e-06, -9.033828973770142e-07, 2.098269760608673e-06, 5.09992241859436e-06, 8.101575076580048e-06, 1.1103227734565735e-05, 1.4104880392551422e-05, 1.710653305053711e-05]}, "gradients/encoder.encoder.layers.21.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 2.0, 2.0, 7.0, 24.0, 92.0, 484.0, 287.0, 71.0, 24.0, 12.0, 4.0, 2.0, 4.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0014929258031770587, -0.0014213335234671831, -0.0013497413601726294, -0.0012781491968780756, -0.0012065569171682, -0.0011349646374583244, -0.0010633724741637707, -0.000991780310869217, -0.0009201880311593413, -0.0008485958096571267, -0.000777003588154912, -0.0007054113666526973, -0.0006338191451504827, -0.000562226923648268, -0.0004906347021460533, -0.00041904248064383864, -0.000347450259141624, -0.0002758580376394093, -0.00020426581613719463, -0.00013267359463497996, -6.108137313276529e-05, 1.0510848369449377e-05, 8.210306987166405e-05, 0.00015369529137387872, 0.0002252875128760934, 0.00029687973437830806, 0.00036847195588052273, 0.0004400641773827374, 0.0005116563988849521, 0.0005832486203871667, 0.0006548408418893814, 0.0007264330633915961, 0.0007980254013091326, 0.0008696176228113472, 0.0009412098443135619, 0.0010128021240234375, 0.0010843942873179913, 0.001155986450612545, 0.0012275787303224206, 0.0012991710100322962, 0.00137076317332685, 0.0014423553366214037, 0.0015139476163312793, 0.0015855398960411549, 0.0016571320593357086, 0.0017287242226302624, 0.001800316502340138, 0.0018719087820500135, 0.0019435009453445673, 0.002015093108639121, 0.0020866855047643185, 0.0021582776680588722, 0.002229869831353426, 0.0023014619946479797, 0.0023730541579425335, 0.002444646554067731, 0.0025162387173622847, 0.0025878308806568384, 0.002659423276782036, 0.0027310154400765896, 0.0028026076033711433, 0.002874199766665697, 0.002945791929960251, 0.0030173843260854483, 0.003088976489380002]}, "gradients/encoder.encoder.layers.21.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 7.0, 13.0, 75.0, 211.0, 346.0, 253.0, 80.0, 19.0, 11.0, 2.0, 1.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.0036429166793823242, -0.003574681468307972, -0.0035064462572336197, -0.0034382110461592674, -0.003369975835084915, -0.003301740624010563, -0.0032335054129362106, -0.0031652702018618584, -0.003097034990787506, -0.003028799779713154, -0.0029605645686388016, -0.0028923293575644493, -0.002824094146490097, -0.0027558589354157448, -0.0026876237243413925, -0.0026193885132670403, -0.002551153302192688, -0.0024829180911183357, -0.0024146828800439835, -0.002346447668969631, -0.002278212457895279, -0.0022099772468209267, -0.0021417420357465744, -0.002073506824672222, -0.00200527161359787, -0.0019370364025235176, -0.0018688011914491653, -0.001800565980374813, -0.0017323307693004608, -0.0016640955582261086, -0.0015958603471517563, -0.001527625136077404, -0.0014593899250030518, -0.0013911547139286995, -0.0013229195028543472, -0.001254684291779995, -0.0011864490807056427, -0.0011182138696312904, -0.0010499786585569382, -0.000981743447482586, -0.0009135082364082336, -0.0008452730253338814, -0.0007770378142595291, -0.0007088026031851768, -0.0006405673921108246, -0.0005723321810364723, -0.0005040969699621201, -0.0004358617588877678, -0.00036762654781341553, -0.00029939133673906326, -0.000231156125664711, -0.00016292091459035873, -9.468570351600647e-05, -2.6450492441654205e-05, 4.178471863269806e-05, 0.00011001992970705032, 0.0001782551407814026, 0.00024649035185575485, 0.0003147255629301071, 0.0003829607740044594, 0.00045119598507881165, 0.0005194311961531639, 0.0005876664072275162, 0.0006559016183018684, 0.0007241368293762207]}, "gradients/encoder.encoder.layers.21.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 4.0, 2.0, 1.0, 2.0, 7.0, 3.0, 6.0, 5.0, 9.0, 9.0, 15.0, 12.0, 15.0, 17.0, 28.0, 27.0, 26.0, 28.0, 24.0, 34.0, 31.0, 45.0, 44.0, 117.0, 503.0, 1044234.0, 2758.0, 136.0, 63.0, 47.0, 42.0, 44.0, 34.0, 25.0, 22.0, 20.0, 18.0, 16.0, 18.0, 15.0, 14.0, 13.0, 12.0, 5.0, 3.0, 2.0, 4.0, 3.0, 1.0, 2.0, 0.0, 2.0, 2.0, 0.0, 2.0, 1.0, 0.0, 1.0], "bins": [-0.0019388198852539062, -0.0018775314092636108, -0.0018162429332733154, -0.00175495445728302, -0.0016936659812927246, -0.0016323775053024292, -0.0015710890293121338, -0.0015098005533218384, -0.001448512077331543, -0.0013872236013412476, -0.0013259351253509521, -0.0012646466493606567, -0.0012033581733703613, -0.001142069697380066, -0.0010807812213897705, -0.001019492745399475, -0.0009582042694091797, -0.0008969157934188843, -0.0008356273174285889, -0.0007743388414382935, -0.000713050365447998, -0.0006517618894577026, -0.0005904734134674072, -0.0005291849374771118, -0.0004678964614868164, -0.000406607985496521, -0.0003453195095062256, -0.0002840310335159302, -0.00022274255752563477, -0.00016145408153533936, -0.00010016560554504395, -3.8877129554748535e-05, 2.2411346435546875e-05, 8.369982242584229e-05, 0.0001449882984161377, 0.0002062767744064331, 0.0002675652503967285, 0.0003288537263870239, 0.00039014220237731934, 0.00045143067836761475, 0.0005127191543579102, 0.0005740076303482056, 0.000635296106338501, 0.0006965845823287964, 0.0007578730583190918, 0.0008191615343093872, 0.0008804500102996826, 0.000941738486289978, 0.0010030269622802734, 0.0010643154382705688, 0.0011256039142608643, 0.0011868923902511597, 0.001248180866241455, 0.0013094693422317505, 0.001370757818222046, 0.0014320462942123413, 0.0014933347702026367, 0.0015546232461929321, 0.0016159117221832275, 0.001677200198173523, 0.0017384886741638184, 0.0017997771501541138, 0.0018610656261444092, 0.0019223541021347046, 0.001983642578125]}, "gradients/encoder.encoder.layers.21.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 44.0, 762.0, 199.0, 17.0], "bins": [-0.00015282630920410156, -0.0001503489911556244, -0.00014787167310714722, -0.00014539435505867004, -0.00014291703701019287, -0.0001404397189617157, -0.00013796240091323853, -0.00013548508286476135, -0.00013300776481628418, -0.000130530446767807, -0.00012805312871932983, -0.00012557581067085266, -0.0001230984926223755, -0.00012062117457389832, -0.00011814385652542114, -0.00011566653847694397, -0.0001131892204284668, -0.00011071190237998962, -0.00010823458433151245, -0.00010575726628303528, -0.0001032799482345581, -0.00010080263018608093, -9.832531213760376e-05, -9.584799408912659e-05, -9.337067604064941e-05, -9.089335799217224e-05, -8.841603994369507e-05, -8.59387218952179e-05, -8.346140384674072e-05, -8.098408579826355e-05, -7.850676774978638e-05, -7.60294497013092e-05, -7.355213165283203e-05, -7.107481360435486e-05, -6.859749555587769e-05, -6.612017750740051e-05, -6.364285945892334e-05, -6.116554141044617e-05, -5.8688223361968994e-05, -5.621090531349182e-05, -5.373358726501465e-05, -5.1256269216537476e-05, -4.87789511680603e-05, -4.630163311958313e-05, -4.382431507110596e-05, -4.1346997022628784e-05, -3.886967897415161e-05, -3.639236092567444e-05, -3.3915042877197266e-05, -3.143772482872009e-05, -2.896040678024292e-05, -2.6483088731765747e-05, -2.4005770683288574e-05, -2.15284526348114e-05, -1.905113458633423e-05, -1.6573816537857056e-05, -1.4096498489379883e-05, -1.161918044090271e-05, -9.141862392425537e-06, -6.664544343948364e-06, -4.187226295471191e-06, -1.7099082469940186e-06, 7.674098014831543e-07, 3.244727849960327e-06, 5.7220458984375e-06]}, "gradients/encoder.encoder.layers.21.attention.v_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 4.0, 4.0, 2.0, 1.0, 6.0, 6.0, 20.0, 7.0, 5.0, 4.0, 5.0, 4.0, 10.0, 14.0, 17.0, 55.0, 160.0, 428.0, 1066.0, 3718.0, 11351.0, 31249.0, 908104.0, 57936.0, 22748.0, 7953.0, 2364.0, 802.0, 275.0, 123.0, 37.0, 18.0, 14.0, 7.0, 3.0, 4.0, 4.0, 2.0, 10.0, 17.0, 2.0, 2.0, 3.0, 2.0, 3.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0006465911865234375, -0.0006256252527236938, -0.0006046593189239502, -0.0005836933851242065, -0.0005627274513244629, -0.0005417615175247192, -0.0005207955837249756, -0.0004998296499252319, -0.0004788637161254883, -0.00045789778232574463, -0.000436931848526001, -0.0004159659147262573, -0.00039499998092651367, -0.00037403404712677, -0.00035306811332702637, -0.0003321021795272827, -0.00031113624572753906, -0.0002901703119277954, -0.00026920437812805176, -0.0002482384443283081, -0.00022727251052856445, -0.0002063065767288208, -0.00018534064292907715, -0.0001643747091293335, -0.00014340877532958984, -0.0001224428415298462, -0.00010147690773010254, -8.051097393035889e-05, -5.9545040130615234e-05, -3.857910633087158e-05, -1.761317253112793e-05, 3.3527612686157227e-06, 2.4318695068359375e-05, 4.528462886810303e-05, 6.625056266784668e-05, 8.721649646759033e-05, 0.00010818243026733398, 0.00012914836406707764, 0.0001501142978668213, 0.00017108023166656494, 0.0001920461654663086, 0.00021301209926605225, 0.0002339780330657959, 0.00025494396686553955, 0.0002759099006652832, 0.00029687583446502686, 0.0003178417682647705, 0.00033880770206451416, 0.0003597736358642578, 0.00038073956966400146, 0.0004017055034637451, 0.00042267143726348877, 0.0004436373710632324, 0.0004646033048629761, 0.0004855692386627197, 0.0005065351724624634, 0.000527501106262207, 0.0005484670400619507, 0.0005694329738616943, 0.000590398907661438, 0.0006113648414611816, 0.0006323307752609253, 0.0006532967090606689, 0.0006742626428604126, 0.0006952285766601562]}, "gradients/encoder.encoder.layers.21.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 4.0, 4.0, 2.0, 1.0, 6.0, 6.0, 21.0, 6.0, 5.0, 4.0, 4.0, 4.0, 7.0, 5.0, 10.0, 2.0, 4.0, 1.0, 2.0, 4.0, 4.0, 5.0, 799.0, 11.0, 9.0, 1.0, 1.0, 0.0, 4.0, 3.0, 8.0, 7.0, 9.0, 3.0, 2.0, 3.0, 5.0, 2.0, 10.0, 17.0, 2.0, 2.0, 3.0, 2.0, 3.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.000133514404296875, -0.00012918561697006226, -0.0001248568296432495, -0.00012052804231643677, -0.00011619925498962402, -0.00011187046766281128, -0.00010754168033599854, -0.00010321289300918579, -9.888410568237305e-05, -9.45553183555603e-05, -9.022653102874756e-05, -8.589774370193481e-05, -8.156895637512207e-05, -7.724016904830933e-05, -7.291138172149658e-05, -6.858259439468384e-05, -6.42538070678711e-05, -5.992501974105835e-05, -5.5596232414245605e-05, -5.126744508743286e-05, -4.693865776062012e-05, -4.260987043380737e-05, -3.828108310699463e-05, -3.3952295780181885e-05, -2.962350845336914e-05, -2.5294721126556396e-05, -2.0965933799743652e-05, -1.6637146472930908e-05, -1.2308359146118164e-05, -7.97957181930542e-06, -3.6507844924926758e-06, 6.780028343200684e-07, 5.0067901611328125e-06, 9.335577487945557e-06, 1.36643648147583e-05, 1.7993152141571045e-05, 2.232193946838379e-05, 2.6650726795196533e-05, 3.097951412200928e-05, 3.530830144882202e-05, 3.9637088775634766e-05, 4.396587610244751e-05, 4.8294663429260254e-05, 5.2623450756073e-05, 5.695223808288574e-05, 6.128102540969849e-05, 6.560981273651123e-05, 6.993860006332397e-05, 7.426738739013672e-05, 7.859617471694946e-05, 8.292496204376221e-05, 8.725374937057495e-05, 9.15825366973877e-05, 9.591132402420044e-05, 0.00010024011135101318, 0.00010456889867782593, 0.00010889768600463867, 0.00011322647333145142, 0.00011755526065826416, 0.0001218840479850769, 0.00012621283531188965, 0.0001305416226387024, 0.00013487040996551514, 0.00013919919729232788, 0.00014352798461914062]}, "gradients/encoder.encoder.layers.21.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 2.0, 3.0, 3.0, 2.0, 6.0, 9.0, 8.0, 9.0, 11.0, 18.0, 19.0, 36.0, 42.0, 65.0, 106.0, 182.0, 192.0, 96.0, 59.0, 42.0, 29.0, 19.0, 13.0, 9.0, 5.0, 8.0, 5.0, 3.0, 4.0, 3.0, 2.0, 1.0, 1.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.0013316574040800333, -0.001296648639254272, -0.0012616399908438325, -0.0012266312260180712, -0.0011916225776076317, -0.0011566138127818704, -0.001121605047956109, -0.0010865963995456696, -0.0010515876347199082, -0.001016578869894147, -0.0009815702214837074, -0.0009465614566579461, -0.0009115527500398457, -0.0008765440434217453, -0.0008415353368036449, -0.0008065266301855445, -0.0007715179235674441, -0.0007365092169493437, -0.0007015005103312433, -0.0006664918037131429, -0.0006314830388873816, -0.0005964743322692811, -0.0005614656256511807, -0.0005264568608254194, -0.0004914482124149799, -0.00045643950579687953, -0.00042143077007494867, -0.00038642206345684826, -0.0003514133277349174, -0.000316404621116817, -0.0002813959144987166, -0.00024638717877678573, -0.00021137844305485487, -0.00017636972188483924, -0.0001413610007148236, -0.0001063522940967232, -7.134357292670757e-05, -3.633485175669193e-05, -1.326145138591528e-06, 3.3682590583339334e-05, 6.869129720143974e-05, 0.00010370001837145537, 0.000138708739541471, 0.0001737174461595714, 0.00020872616732958704, 0.00024373488849960268, 0.0002787435951177031, 0.00031375233083963394, 0.00034876103745773435, 0.00038376974407583475, 0.0004187784797977656, 0.000453787186415866, 0.0004887959221377969, 0.0005238046287558973, 0.0005588133353739977, 0.000593822100199759, 0.0006288307486101985, 0.0006638394552282989, 0.0006988481618463993, 0.0007338569266721606, 0.000768865633290261, 0.0008038743399083614, 0.0008388830465264618, 0.0008738917531445622, 0.0009089005179703236]}, "gradients/encoder.encoder.layers.21.layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 3.0, 1.0, 4.0, 5.0, 1.0, 8.0, 6.0, 9.0, 7.0, 12.0, 10.0, 14.0, 18.0, 15.0, 33.0, 27.0, 31.0, 26.0, 36.0, 51.0, 44.0, 48.0, 54.0, 41.0, 51.0, 46.0, 51.0, 46.0, 29.0, 41.0, 35.0, 34.0, 36.0, 26.0, 18.0, 18.0, 18.0, 11.0, 14.0, 10.0, 6.0, 4.0, 3.0, 2.0, 4.0, 1.0, 2.0, 0.0, 4.0, 1.0, 1.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.000616908073425293, -0.0005992138758301735, -0.000581519678235054, -0.0005638254806399345, -0.0005461312830448151, -0.0005284370854496956, -0.0005107428878545761, -0.0004930486902594566, -0.00047535449266433716, -0.0004576602950692177, -0.0004399660974740982, -0.00042227189987897873, -0.00040457770228385925, -0.0003868835046887398, -0.0003691893070936203, -0.0003514951094985008, -0.00033380091190338135, -0.00031610671430826187, -0.0002984125167131424, -0.0002807183191180229, -0.00026302412152290344, -0.00024532992392778397, -0.0002276357263326645, -0.000209941528737545, -0.00019224733114242554, -0.00017455313354730606, -0.00015685893595218658, -0.0001391647383570671, -0.00012147054076194763, -0.00010377634316682816, -8.608214557170868e-05, -6.83879479765892e-05, -5.0693750381469727e-05, -3.299955278635025e-05, -1.5305355191230774e-05, 2.3888424038887024e-06, 2.008303999900818e-05, 3.7777237594127655e-05, 5.547143518924713e-05, 7.316563278436661e-05, 9.085983037948608e-05, 0.00010855402797460556, 0.00012624822556972504, 0.0001439424231648445, 0.000161636620759964, 0.00017933081835508347, 0.00019702501595020294, 0.00021471921354532242, 0.0002324134111404419, 0.00025010760873556137, 0.00026780180633068085, 0.0002854960039258003, 0.0003031902015209198, 0.0003208843991160393, 0.00033857859671115875, 0.00035627279430627823, 0.0003739669919013977, 0.0003916611894965172, 0.00040935538709163666, 0.00042704958468675613, 0.0004447437822818756, 0.0004624379798769951, 0.00048013217747211456, 0.000497826375067234, 0.0005155205726623535]}, "gradients/encoder.encoder.layers.20.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 3.0, 1.0, 0.0, 2.0, 2.0, 2.0, 4.0, 6.0, 9.0, 4.0, 10.0, 17.0, 11.0, 19.0, 13.0, 15.0, 27.0, 29.0, 39.0, 30.0, 49.0, 43.0, 41.0, 59.0, 117.0, 329.0, 4190445.0, 2957.0, 17.0], "bins": [-0.005916595458984375, -0.0058206841349601746, -0.005724772810935974, -0.005628861486911774, -0.005532950162887573, -0.005437038838863373, -0.005341127514839172, -0.005245216190814972, -0.0051493048667907715, -0.005053393542766571, -0.004957482218742371, -0.00486157089471817, -0.00476565957069397, -0.004669748246669769, -0.004573836922645569, -0.004477925598621368, -0.004382014274597168, -0.0042861029505729675, -0.004190191626548767, -0.004094280302524567, -0.003998368978500366, -0.0039024576544761658, -0.0038065463304519653, -0.003710635006427765, -0.0036147236824035645, -0.003518812358379364, -0.0034229010343551636, -0.003326989710330963, -0.0032310783863067627, -0.0031351670622825623, -0.003039255738258362, -0.0029433444142341614, -0.002847433090209961, -0.0027515217661857605, -0.00265561044216156, -0.0025596991181373596, -0.002463787794113159, -0.0023678764700889587, -0.0022719651460647583, -0.002176053822040558, -0.0020801424980163574, -0.001984231173992157, -0.0018883198499679565, -0.001792408525943756, -0.0016964972019195557, -0.0016005858778953552, -0.0015046745538711548, -0.0014087632298469543, -0.001312851905822754, -0.0012169405817985535, -0.001121029257774353, -0.0010251179337501526, -0.0009292066097259521, -0.0008332952857017517, -0.0007373839616775513, -0.0006414726376533508, -0.0005455613136291504, -0.00044964998960494995, -0.0003537386655807495, -0.00025782734155654907, -0.00016191601753234863, -6.60046935081482e-05, 2.9906630516052246e-05, 0.00012581795454025269, 0.00022172927856445312]}, "gradients/encoder.encoder.layers.20.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 44.0, 762.0, 199.0, 17.0], "bins": [-0.00015282630920410156, -0.0001503489911556244, -0.00014787167310714722, -0.00014539435505867004, -0.00014291703701019287, -0.0001404397189617157, -0.00013796240091323853, -0.00013548508286476135, -0.00013300776481628418, -0.000130530446767807, -0.00012805312871932983, -0.00012557581067085266, -0.0001230984926223755, -0.00012062117457389832, -0.00011814385652542114, -0.00011566653847694397, -0.0001131892204284668, -0.00011071190237998962, -0.00010823458433151245, -0.00010575726628303528, -0.0001032799482345581, -0.00010080263018608093, -9.832531213760376e-05, -9.584799408912659e-05, -9.337067604064941e-05, -9.089335799217224e-05, -8.841603994369507e-05, -8.59387218952179e-05, -8.346140384674072e-05, -8.098408579826355e-05, -7.850676774978638e-05, -7.60294497013092e-05, -7.355213165283203e-05, -7.107481360435486e-05, -6.859749555587769e-05, -6.612017750740051e-05, -6.364285945892334e-05, -6.116554141044617e-05, -5.8688223361968994e-05, -5.621090531349182e-05, -5.373358726501465e-05, -5.1256269216537476e-05, -4.87789511680603e-05, -4.630163311958313e-05, -4.382431507110596e-05, -4.1346997022628784e-05, -3.886967897415161e-05, -3.639236092567444e-05, -3.3915042877197266e-05, -3.143772482872009e-05, -2.896040678024292e-05, -2.6483088731765747e-05, -2.4005770683288574e-05, -2.15284526348114e-05, -1.905113458633423e-05, -1.6573816537857056e-05, -1.4096498489379883e-05, -1.161918044090271e-05, -9.141862392425537e-06, -6.664544343948364e-06, -4.187226295471191e-06, -1.7099082469940186e-06, 7.674098014831543e-07, 3.244727849960327e-06, 5.7220458984375e-06]}, "gradients/encoder.encoder.layers.20.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 0.0, 5.0, 6.0, 7.0, 13.0, 27.0, 31.0, 37.0, 37.0, 57.0, 91.0, 202.0, 721.0, 4234.0, 75348.0, 4090793.0, 19468.0, 2288.0, 519.0, 162.0, 96.0, 49.0, 36.0, 28.0, 14.0, 15.0, 5.0, 4.0, 2.0, 2.0, 0.0, 2.0], "bins": [-0.002655029296875, -0.002598881721496582, -0.002542734146118164, -0.002486586570739746, -0.002430438995361328, -0.00237429141998291, -0.002318143844604492, -0.0022619962692260742, -0.0022058486938476562, -0.0021497011184692383, -0.0020935535430908203, -0.0020374059677124023, -0.0019812583923339844, -0.0019251108169555664, -0.0018689632415771484, -0.0018128156661987305, -0.0017566680908203125, -0.0017005205154418945, -0.0016443729400634766, -0.0015882253646850586, -0.0015320777893066406, -0.0014759302139282227, -0.0014197826385498047, -0.0013636350631713867, -0.0013074874877929688, -0.0012513399124145508, -0.0011951923370361328, -0.0011390447616577148, -0.0010828971862792969, -0.001026749610900879, -0.0009706020355224609, -0.000914454460144043, -0.000858306884765625, -0.000802159309387207, -0.0007460117340087891, -0.0006898641586303711, -0.0006337165832519531, -0.0005775690078735352, -0.0005214214324951172, -0.0004652738571166992, -0.00040912628173828125, -0.0003529787063598633, -0.0002968311309814453, -0.00024068355560302734, -0.00018453598022460938, -0.0001283884048461914, -7.224082946777344e-05, -1.609325408935547e-05, 4.00543212890625e-05, 9.620189666748047e-05, 0.00015234947204589844, 0.0002084970474243164, 0.0002646446228027344, 0.00032079219818115234, 0.0003769397735595703, 0.0004330873489379883, 0.0004892349243164062, 0.0005453824996948242, 0.0006015300750732422, 0.0006576776504516602, 0.0007138252258300781, 0.0007699728012084961, 0.0008261203765869141, 0.000882267951965332, 0.00093841552734375]}, "gradients/encoder.encoder.layers.20.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 4.0, 0.0, 1.0, 3.0, 4.0, 3.0, 15.0, 28.0, 42.0, 69.0, 145.0, 3491.0, 91.0, 66.0, 48.0, 24.0, 28.0, 10.0, 2.0, 5.0, 4.0, 3.0, 2.0, 1.0, 1.0, 2.0, 0.0, 1.0], "bins": [-0.0002338886260986328, -0.00022893957793712616, -0.0002239905297756195, -0.00021904148161411285, -0.0002140924334526062, -0.00020914338529109955, -0.0002041943371295929, -0.00019924528896808624, -0.0001942962408065796, -0.00018934719264507294, -0.00018439814448356628, -0.00017944909632205963, -0.00017450004816055298, -0.00016955099999904633, -0.00016460195183753967, -0.00015965290367603302, -0.00015470385551452637, -0.00014975480735301971, -0.00014480575919151306, -0.0001398567110300064, -0.00013490766286849976, -0.0001299586147069931, -0.00012500956654548645, -0.0001200605183839798, -0.00011511147022247314, -0.00011016242206096649, -0.00010521337389945984, -0.00010026432573795319, -9.531527757644653e-05, -9.036622941493988e-05, -8.541718125343323e-05, -8.046813309192657e-05, -7.551908493041992e-05, -7.057003676891327e-05, -6.562098860740662e-05, -6.067194044589996e-05, -5.572289228439331e-05, -5.077384412288666e-05, -4.5824795961380005e-05, -4.087574779987335e-05, -3.59266996383667e-05, -3.0977651476860046e-05, -2.6028603315353394e-05, -2.107955515384674e-05, -1.6130506992340088e-05, -1.1181458830833435e-05, -6.232410669326782e-06, -1.2833625078201294e-06, 3.6656856536865234e-06, 8.614733815193176e-06, 1.3563781976699829e-05, 1.8512830138206482e-05, 2.3461878299713135e-05, 2.8410926461219788e-05, 3.335997462272644e-05, 3.830902278423309e-05, 4.3258070945739746e-05, 4.82071191072464e-05, 5.315616726875305e-05, 5.8105215430259705e-05, 6.305426359176636e-05, 6.800331175327301e-05, 7.295235991477966e-05, 7.790140807628632e-05, 8.285045623779297e-05]}, "gradients/encoder.encoder.layers.20.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 2.0, 2.0, 3.0, 7.0, 11.0, 23.0, 41.0, 112.0, 343.0, 271.0, 99.0, 56.0, 22.0, 11.0, 3.0, 3.0, 1.0, 1.0, 2.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0009738432127051055, -0.0009377513197250664, -0.0009016594267450273, -0.0008655675919726491, -0.00082947569899261, -0.0007933838060125709, -0.0007572919130325317, -0.0007212000200524926, -0.0006851081270724535, -0.0006490162340924144, -0.0006129243411123753, -0.0005768324481323361, -0.0005407406133599579, -0.0005046487203799188, -0.0004685568273998797, -0.00043246496352367103, -0.00039637309964746237, -0.00036028120666742325, -0.0003241893427912146, -0.00028809744981117547, -0.0002520055859349668, -0.00021591369295492768, -0.00017982179997488856, -0.0001437299360986799, -0.00010763804311864078, -7.154616469051689e-05, -3.5454278986435384e-05, 6.37606717646122e-07, 3.672948514577001e-05, 7.28213635738939e-05, 0.00010891325655393302, 0.0001450051204301417, 0.0001810969552025199, 0.00021718883363064378, 0.0002532807120587677, 0.0002893726050388068, 0.00032546446891501546, 0.0003615563618950546, 0.0003976482548750937, 0.00043374011875130236, 0.0004698320117313415, 0.0005059238756075501, 0.0005420157685875893, 0.0005781076615676284, 0.0006141995545476675, 0.0006502914475277066, 0.0006863833405077457, 0.000722475175280124, 0.0007585670682601631, 0.0007946589612402022, 0.0008307508542202413, 0.0008668426889926195, 0.0009029345819726586, 0.0009390264749526978, 0.0009751183679327369, 0.001011210260912776, 0.0010473021538928151, 0.0010833940468728542, 0.0011194859398528934, 0.0011555778328329325, 0.0011916697258129716, 0.0012277616187930107, 0.001263853395357728, 0.0012999452883377671, 0.0013360371813178062]}, "gradients/encoder.encoder.layers.20.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 4.0, 5.0, 2.0, 3.0, 6.0, 20.0, 12.0, 22.0, 38.0, 43.0, 57.0, 67.0, 79.0, 78.0, 92.0, 96.0, 68.0, 82.0, 72.0, 49.0, 34.0, 25.0, 20.0, 14.0, 5.0, 3.0, 7.0, 4.0, 1.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.0004341006278991699, -0.00042022857815027237, -0.0004063565284013748, -0.00039248447865247726, -0.0003786124289035797, -0.00036474037915468216, -0.0003508683294057846, -0.00033699627965688705, -0.0003231242299079895, -0.00030925218015909195, -0.0002953801304101944, -0.00028150808066129684, -0.0002676360309123993, -0.00025376398116350174, -0.0002398919314146042, -0.00022601988166570663, -0.00021214783191680908, -0.00019827578216791153, -0.00018440373241901398, -0.00017053168267011642, -0.00015665963292121887, -0.00014278758317232132, -0.00012891553342342377, -0.00011504348367452621, -0.00010117143392562866, -8.729938417673111e-05, -7.342733442783356e-05, -5.9555284678936005e-05, -4.568323493003845e-05, -3.18111851811409e-05, -1.7939135432243347e-05, -4.067085683345795e-06, 9.804964065551758e-06, 2.367701381444931e-05, 3.754906356334686e-05, 5.1421113312244415e-05, 6.529316306114197e-05, 7.916521281003952e-05, 9.303726255893707e-05, 0.00010690931230783463, 0.00012078136205673218, 0.00013465341180562973, 0.00014852546155452728, 0.00016239751130342484, 0.0001762695610523224, 0.00019014161080121994, 0.0002040136605501175, 0.00021788571029901505, 0.0002317577600479126, 0.00024562980979681015, 0.0002595018595457077, 0.00027337390929460526, 0.0002872459590435028, 0.00030111800879240036, 0.0003149900585412979, 0.00032886210829019547, 0.000342734158039093, 0.00035660620778799057, 0.0003704782575368881, 0.0003843503072857857, 0.00039822235703468323, 0.0004120944067835808, 0.00042596645653247833, 0.0004398385062813759, 0.00045371055603027344]}, "gradients/encoder.encoder.layers.20.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 3.0, 1.0, 5.0, 5.0, 3.0, 5.0, 7.0, 6.0, 12.0, 15.0, 14.0, 20.0, 16.0, 26.0, 42.0, 45.0, 43.0, 47.0, 45.0, 54.0, 189.0, 654072.0, 393282.0, 194.0, 63.0, 48.0, 46.0, 34.0, 35.0, 33.0, 30.0, 28.0, 20.0, 15.0, 16.0, 11.0, 5.0, 3.0, 9.0, 6.0, 3.0, 5.0, 2.0, 1.0, 2.0, 0.0, 3.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.001911163330078125, -0.0018495023250579834, -0.0017878413200378418, -0.0017261803150177002, -0.0016645193099975586, -0.001602858304977417, -0.0015411972999572754, -0.0014795362949371338, -0.0014178752899169922, -0.0013562142848968506, -0.001294553279876709, -0.0012328922748565674, -0.0011712312698364258, -0.0011095702648162842, -0.0010479092597961426, -0.000986248254776001, -0.0009245872497558594, -0.0008629262447357178, -0.0008012652397155762, -0.0007396042346954346, -0.000677943229675293, -0.0006162822246551514, -0.0005546212196350098, -0.0004929602146148682, -0.00043129920959472656, -0.00036963820457458496, -0.00030797719955444336, -0.00024631619453430176, -0.00018465518951416016, -0.00012299418449401855, -6.133317947387695e-05, 3.2782554626464844e-07, 6.198883056640625e-05, 0.00012364983558654785, 0.00018531084060668945, 0.00024697184562683105, 0.00030863285064697266, 0.00037029385566711426, 0.00043195486068725586, 0.0004936158657073975, 0.0005552768707275391, 0.0006169378757476807, 0.0006785988807678223, 0.0007402598857879639, 0.0008019208908081055, 0.0008635818958282471, 0.0009252429008483887, 0.0009869039058685303, 0.0010485649108886719, 0.0011102259159088135, 0.001171886920928955, 0.0012335479259490967, 0.0012952089309692383, 0.0013568699359893799, 0.0014185309410095215, 0.001480191946029663, 0.0015418529510498047, 0.0016035139560699463, 0.0016651749610900879, 0.0017268359661102295, 0.001788496971130371, 0.0018501579761505127, 0.0019118189811706543, 0.001973479986190796, 0.0020351409912109375]}, "gradients/encoder.encoder.layers.20.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 23.0, 389.0, 565.0, 34.0, 9.0], "bins": [-0.0001518726348876953, -0.00014938320964574814, -0.00014689378440380096, -0.0001444043591618538, -0.00014191493391990662, -0.00013942550867795944, -0.00013693608343601227, -0.0001344466581940651, -0.00013195723295211792, -0.00012946780771017075, -0.00012697838246822357, -0.0001244889572262764, -0.00012199953198432922, -0.00011951010674238205, -0.00011702068150043488, -0.0001145312562584877, -0.00011204183101654053, -0.00010955240577459335, -0.00010706298053264618, -0.000104573555290699, -0.00010208413004875183, -9.959470480680466e-05, -9.710527956485748e-05, -9.461585432291031e-05, -9.212642908096313e-05, -8.963700383901596e-05, -8.714757859706879e-05, -8.465815335512161e-05, -8.216872811317444e-05, -7.967930287122726e-05, -7.718987762928009e-05, -7.470045238733292e-05, -7.221102714538574e-05, -6.972160190343857e-05, -6.72321766614914e-05, -6.474275141954422e-05, -6.225332617759705e-05, -5.976390093564987e-05, -5.72744756937027e-05, -5.4785050451755524e-05, -5.229562520980835e-05, -4.9806199967861176e-05, -4.7316774725914e-05, -4.482734948396683e-05, -4.233792424201965e-05, -3.984849900007248e-05, -3.7359073758125305e-05, -3.486964851617813e-05, -3.238022327423096e-05, -2.9890798032283783e-05, -2.740137279033661e-05, -2.4911947548389435e-05, -2.242252230644226e-05, -1.9933097064495087e-05, -1.7443671822547913e-05, -1.4954246580600739e-05, -1.2464821338653564e-05, -9.97539609670639e-06, -7.485970854759216e-06, -4.996545612812042e-06, -2.507120370864868e-06, -1.7695128917694092e-08, 2.47173011302948e-06, 4.961155354976654e-06, 7.450580596923828e-06]}, "gradients/encoder.encoder.layers.20.attention.v_proj.weight": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 2.0, 1.0, 1.0, 3.0, 3.0, 16.0, 6.0, 6.0, 1.0, 13.0, 15.0, 32.0, 54.0, 132.0, 281.0, 703.0, 1615.0, 4330.0, 11120.0, 25824.0, 939689.0, 38234.0, 15421.0, 6895.0, 2401.0, 983.0, 416.0, 171.0, 76.0, 37.0, 23.0, 11.0, 8.0, 5.0, 6.0, 10.0, 12.0, 3.0, 2.0, 1.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0], "bins": [-0.0005292892456054688, -0.0005131065845489502, -0.0004969239234924316, -0.0004807412624359131, -0.00046455860137939453, -0.000448375940322876, -0.0004321932792663574, -0.00041601061820983887, -0.0003998279571533203, -0.00038364529609680176, -0.0003674626350402832, -0.00035127997398376465, -0.0003350973129272461, -0.00031891465187072754, -0.000302731990814209, -0.00028654932975769043, -0.0002703666687011719, -0.0002541840076446533, -0.00023800134658813477, -0.0002218186855316162, -0.00020563602447509766, -0.0001894533634185791, -0.00017327070236206055, -0.000157088041305542, -0.00014090538024902344, -0.00012472271919250488, -0.00010854005813598633, -9.235739707946777e-05, -7.617473602294922e-05, -5.9992074966430664e-05, -4.380941390991211e-05, -2.7626752853393555e-05, -1.1444091796875e-05, 4.738569259643555e-06, 2.092123031616211e-05, 3.7103891372680664e-05, 5.328655242919922e-05, 6.946921348571777e-05, 8.565187454223633e-05, 0.00010183453559875488, 0.00011801719665527344, 0.000134199857711792, 0.00015038251876831055, 0.0001665651798248291, 0.00018274784088134766, 0.0001989305019378662, 0.00021511316299438477, 0.00023129582405090332, 0.0002474784851074219, 0.00026366114616394043, 0.000279843807220459, 0.00029602646827697754, 0.0003122091293334961, 0.00032839179039001465, 0.0003445744514465332, 0.00036075711250305176, 0.0003769397735595703, 0.00039312243461608887, 0.0004093050956726074, 0.000425487756729126, 0.00044167041778564453, 0.0004578530788421631, 0.00047403573989868164, 0.0004902184009552002, 0.0005064010620117188]}, "gradients/encoder.encoder.layers.20.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 2.0, 1.0, 1.0, 3.0, 3.0, 16.0, 6.0, 3.0, 0.0, 1.0, 3.0, 2.0, 7.0, 11.0, 0.0, 4.0, 3.0, 3.0, 4.0, 7.0, 845.0, 8.0, 1.0, 4.0, 3.0, 5.0, 7.0, 4.0, 5.0, 4.0, 3.0, 2.0, 3.0, 5.0, 3.0, 10.0, 12.0, 3.0, 2.0, 1.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0], "bins": [-0.0001480579376220703, -0.0001435317099094391, -0.00013900548219680786, -0.00013447925448417664, -0.0001299530267715454, -0.00012542679905891418, -0.00012090057134628296, -0.00011637434363365173, -0.00011184811592102051, -0.00010732188820838928, -0.00010279566049575806, -9.826943278312683e-05, -9.37432050704956e-05, -8.921697735786438e-05, -8.469074964523315e-05, -8.016452193260193e-05, -7.56382942199707e-05, -7.111206650733948e-05, -6.658583879470825e-05, -6.205961108207703e-05, -5.75333833694458e-05, -5.3007155656814575e-05, -4.848092794418335e-05, -4.3954700231552124e-05, -3.94284725189209e-05, -3.490224480628967e-05, -3.0376017093658447e-05, -2.584978938102722e-05, -2.1323561668395996e-05, -1.679733395576477e-05, -1.2271106243133545e-05, -7.74487853050232e-06, -3.2186508178710938e-06, 1.3075768947601318e-06, 5.833804607391357e-06, 1.0360032320022583e-05, 1.4886260032653809e-05, 1.9412487745285034e-05, 2.393871545791626e-05, 2.8464943170547485e-05, 3.299117088317871e-05, 3.7517398595809937e-05, 4.204362630844116e-05, 4.656985402107239e-05, 5.109608173370361e-05, 5.562230944633484e-05, 6.0148537158966064e-05, 6.467476487159729e-05, 6.920099258422852e-05, 7.372722029685974e-05, 7.825344800949097e-05, 8.277967572212219e-05, 8.730590343475342e-05, 9.183213114738464e-05, 9.635835886001587e-05, 0.0001008845865726471, 0.00010541081428527832, 0.00010993704199790955, 0.00011446326971054077, 0.000118989497423172, 0.00012351572513580322, 0.00012804195284843445, 0.00013256818056106567, 0.0001370944082736969, 0.00014162063598632812]}, "gradients/encoder.encoder.layers.20.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 4.0, 8.0, 9.0, 17.0, 35.0, 60.0, 126.0, 310.0, 267.0, 86.0, 47.0, 26.0, 9.0, 8.0, 3.0, 3.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.002331400290131569, -0.002273084595799446, -0.0022147686686366796, -0.002156452974304557, -0.0020981370471417904, -0.0020398213528096676, -0.001981505425646901, -0.0019231897313147783, -0.0018648738041520119, -0.0018065579934045672, -0.0017482421826571226, -0.001689926371909678, -0.0016316105611622334, -0.0015732947504147887, -0.001514978939667344, -0.0014566632453352213, -0.0013983474345877767, -0.001340031623840332, -0.0012817158130928874, -0.0012234000023454428, -0.0011650841915979981, -0.0011067683808505535, -0.0010484526865184307, -0.0009901367593556643, -0.0009318210068158805, -0.0008735051960684359, -0.0008151893853209913, -0.0007568736327812076, -0.0006985578220337629, -0.0006402420112863183, -0.0005819262005388737, -0.000523610389791429, -0.00046529469545930624, -0.0004069788847118616, -0.000348663073964417, -0.0002903472923208028, -0.00023203148157335818, -0.00017371567082591355, -0.00011539988918229938, -5.7084078434854746e-05, 1.2317323125898838e-06, 5.95475357840769e-05, 0.00011786333925556391, 0.00017617913545109332, 0.00023449494619853795, 0.0002928107569459826, 0.00035112653858959675, 0.0004094423493370414, 0.000467758160084486, 0.0005260739708319306, 0.0005843897815793753, 0.0006427055923268199, 0.0007010214030742645, 0.0007593372138217092, 0.0008176529663614929, 0.0008759687771089375, 0.0009342845878563821, 0.0009926003403961658, 0.0010509161511436105, 0.001109231961891055, 0.0011675477726384997, 0.0012258635833859444, 0.001284179394133389, 0.0013424952048808336, 0.0014008110156282783]}, "gradients/encoder.encoder.layers.20.layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 3.0, 8.0, 11.0, 9.0, 17.0, 23.0, 26.0, 28.0, 50.0, 56.0, 69.0, 72.0, 85.0, 70.0, 71.0, 71.0, 85.0, 44.0, 46.0, 37.0, 31.0, 22.0, 32.0, 17.0, 14.0, 7.0, 2.0, 2.0, 2.0, 3.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0006498098373413086, -0.0006275922060012817, -0.0006053745746612549, -0.000583156943321228, -0.0005609393119812012, -0.0005387216806411743, -0.0005165040493011475, -0.0004942864179611206, -0.00047206878662109375, -0.0004498511552810669, -0.00042763352394104004, -0.0004054158926010132, -0.00038319826126098633, -0.00036098062992095947, -0.0003387629985809326, -0.00031654536724090576, -0.0002943277359008789, -0.00027211010456085205, -0.0002498924732208252, -0.00022767484188079834, -0.00020545721054077148, -0.00018323957920074463, -0.00016102194786071777, -0.00013880431652069092, -0.00011658668518066406, -9.436905384063721e-05, -7.215142250061035e-05, -4.9933791160583496e-05, -2.771615982055664e-05, -5.498528480529785e-06, 1.671910285949707e-05, 3.8936734199523926e-05, 6.115436553955078e-05, 8.337199687957764e-05, 0.00010558962821960449, 0.00012780725955963135, 0.0001500248908996582, 0.00017224252223968506, 0.00019446015357971191, 0.00021667778491973877, 0.00023889541625976562, 0.0002611130475997925, 0.00028333067893981934, 0.0003055483102798462, 0.00032776594161987305, 0.0003499835729598999, 0.00037220120429992676, 0.0003944188356399536, 0.00041663646697998047, 0.0004388540983200073, 0.0004610717296600342, 0.00048328936100006104, 0.0005055069923400879, 0.0005277246236801147, 0.0005499422550201416, 0.0005721598863601685, 0.0005943775177001953, 0.0006165951490402222, 0.000638812780380249, 0.0006610304117202759, 0.0006832480430603027, 0.0007054656744003296, 0.0007276833057403564, 0.0007499009370803833, 0.0007721185684204102]}, "gradients/encoder.encoder.layers.19.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0, 1.0, 1.0, 4.0, 4.0, 3.0, 4.0, 3.0, 4.0, 3.0, 5.0, 7.0, 13.0, 7.0, 6.0, 8.0, 7.0, 11.0, 12.0, 13.0, 12.0, 16.0, 12.0, 17.0, 18.0, 16.0, 16.0, 16.0, 23.0, 18.0, 28.0, 22.0, 28.0, 30.0, 32.0, 65.0, 126.0, 419.0, 178359.0, 4014222.0, 662.0, 22.0], "bins": [-0.002986907958984375, -0.0029379520565271378, -0.0028889961540699005, -0.0028400402516126633, -0.002791084349155426, -0.0027421284466981888, -0.0026931725442409515, -0.0026442166417837143, -0.002595260739326477, -0.00254630483686924, -0.0024973489344120026, -0.0024483930319547653, -0.002399437129497528, -0.002350481227040291, -0.0023015253245830536, -0.0022525694221258163, -0.002203613519668579, -0.002154657617211342, -0.0021057017147541046, -0.0020567458122968674, -0.00200778990983963, -0.001958834007382393, -0.0019098781049251556, -0.0018609222024679184, -0.0018119663000106812, -0.001763010397553444, -0.0017140544950962067, -0.0016650985926389694, -0.0016161426901817322, -0.001567186787724495, -0.0015182308852672577, -0.0014692749828100204, -0.0014203190803527832, -0.001371363177895546, -0.0013224072754383087, -0.0012734513729810715, -0.0012244954705238342, -0.001175539568066597, -0.0011265836656093597, -0.0010776277631521225, -0.0010286718606948853, -0.000979715958237648, -0.0009307600557804108, -0.0008818041533231735, -0.0008328482508659363, -0.000783892348408699, -0.0007349364459514618, -0.0006859805434942245, -0.0006370246410369873, -0.0005880687385797501, -0.0005391128361225128, -0.0004901569336652756, -0.00044120103120803833, -0.0003922451287508011, -0.00034328922629356384, -0.0002943333238363266, -0.00024537742137908936, -0.0001964215189218521, -0.00014746561646461487, -9.850971400737762e-05, -4.955381155014038e-05, -5.979090929031372e-07, 4.8357993364334106e-05, 9.731389582157135e-05, 0.0001462697982788086]}, "gradients/encoder.encoder.layers.19.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 23.0, 389.0, 565.0, 34.0, 9.0], "bins": [-0.0001518726348876953, -0.00014938320964574814, -0.00014689378440380096, -0.0001444043591618538, -0.00014191493391990662, -0.00013942550867795944, -0.00013693608343601227, -0.0001344466581940651, -0.00013195723295211792, -0.00012946780771017075, -0.00012697838246822357, -0.0001244889572262764, -0.00012199953198432922, -0.00011951010674238205, -0.00011702068150043488, -0.0001145312562584877, -0.00011204183101654053, -0.00010955240577459335, -0.00010706298053264618, -0.000104573555290699, -0.00010208413004875183, -9.959470480680466e-05, -9.710527956485748e-05, -9.461585432291031e-05, -9.212642908096313e-05, -8.963700383901596e-05, -8.714757859706879e-05, -8.465815335512161e-05, -8.216872811317444e-05, -7.967930287122726e-05, -7.718987762928009e-05, -7.470045238733292e-05, -7.221102714538574e-05, -6.972160190343857e-05, -6.72321766614914e-05, -6.474275141954422e-05, -6.225332617759705e-05, -5.976390093564987e-05, -5.72744756937027e-05, -5.4785050451755524e-05, -5.229562520980835e-05, -4.9806199967861176e-05, -4.7316774725914e-05, -4.482734948396683e-05, -4.233792424201965e-05, -3.984849900007248e-05, -3.7359073758125305e-05, -3.486964851617813e-05, -3.238022327423096e-05, -2.9890798032283783e-05, -2.740137279033661e-05, -2.4911947548389435e-05, -2.242252230644226e-05, -1.9933097064495087e-05, -1.7443671822547913e-05, -1.4954246580600739e-05, -1.2464821338653564e-05, -9.97539609670639e-06, -7.485970854759216e-06, -4.996545612812042e-06, -2.507120370864868e-06, -1.7695128917694092e-08, 2.47173011302948e-06, 4.961155354976654e-06, 7.450580596923828e-06]}, "gradients/encoder.encoder.layers.19.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 4.0, 7.0, 11.0, 30.0, 43.0, 65.0, 100.0, 120.0, 156.0, 195.0, 348.0, 1211.0, 6187.0, 95382.0, 4066075.0, 20427.0, 2586.0, 663.0, 266.0, 134.0, 93.0, 89.0, 44.0, 30.0, 14.0, 4.0, 7.0, 2.0, 4.0, 0.0, 0.0, 1.0], "bins": [-0.0017995834350585938, -0.0017606690526008606, -0.0017217546701431274, -0.0016828402876853943, -0.0016439259052276611, -0.001605011522769928, -0.0015660971403121948, -0.0015271827578544617, -0.0014882683753967285, -0.0014493539929389954, -0.0014104396104812622, -0.001371525228023529, -0.001332610845565796, -0.0012936964631080627, -0.0012547820806503296, -0.0012158676981925964, -0.0011769533157348633, -0.0011380389332771301, -0.001099124550819397, -0.0010602101683616638, -0.0010212957859039307, -0.0009823814034461975, -0.0009434670209884644, -0.0009045526385307312, -0.000865638256072998, -0.0008267238736152649, -0.0007878094911575317, -0.0007488951086997986, -0.0007099807262420654, -0.0006710663437843323, -0.0006321519613265991, -0.000593237578868866, -0.0005543231964111328, -0.0005154088139533997, -0.0004764944314956665, -0.00043758004903793335, -0.0003986656665802002, -0.00035975128412246704, -0.0003208369016647339, -0.00028192251920700073, -0.00024300813674926758, -0.00020409375429153442, -0.00016517937183380127, -0.00012626498937606812, -8.735060691833496e-05, -4.843622446060181e-05, -9.521842002868652e-06, 2.9392540454864502e-05, 6.830692291259766e-05, 0.00010722130537033081, 0.00014613568782806396, 0.00018505007028579712, 0.00022396445274353027, 0.00026287883520126343, 0.0003017932176589966, 0.00034070760011672974, 0.0003796219825744629, 0.00041853636503219604, 0.0004574507474899292, 0.0004963651299476624, 0.0005352795124053955, 0.0005741938948631287, 0.0006131082773208618, 0.000652022659778595, 0.0006909370422363281]}, "gradients/encoder.encoder.layers.19.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 1.0, 5.0, 3.0, 1.0, 8.0, 4.0, 8.0, 22.0, 34.0, 47.0, 55.0, 165.0, 3457.0, 89.0, 56.0, 38.0, 35.0, 18.0, 15.0, 11.0, 5.0, 3.0, 2.0, 0.0, 2.0, 2.0, 2.0, 0.0, 0.0, 1.0], "bins": [-0.00018978118896484375, -0.00018567778170108795, -0.00018157437443733215, -0.00017747096717357635, -0.00017336755990982056, -0.00016926415264606476, -0.00016516074538230896, -0.00016105733811855316, -0.00015695393085479736, -0.00015285052359104156, -0.00014874711632728577, -0.00014464370906352997, -0.00014054030179977417, -0.00013643689453601837, -0.00013233348727226257, -0.00012823008000850677, -0.00012412667274475098, -0.00012002326548099518, -0.00011591985821723938, -0.00011181645095348358, -0.00010771304368972778, -0.00010360963642597198, -9.950622916221619e-05, -9.540282189846039e-05, -9.129941463470459e-05, -8.719600737094879e-05, -8.309260010719299e-05, -7.89891928434372e-05, -7.48857855796814e-05, -7.07823783159256e-05, -6.66789710521698e-05, -6.2575563788414e-05, -5.84721565246582e-05, -5.4368749260902405e-05, -5.0265341997146606e-05, -4.616193473339081e-05, -4.205852746963501e-05, -3.795512020587921e-05, -3.385171294212341e-05, -2.9748305678367615e-05, -2.5644898414611816e-05, -2.1541491150856018e-05, -1.743808388710022e-05, -1.3334676623344421e-05, -9.231269359588623e-06, -5.127862095832825e-06, -1.0244548320770264e-06, 3.078952431678772e-06, 7.18235969543457e-06, 1.1285766959190369e-05, 1.5389174222946167e-05, 1.9492581486701965e-05, 2.3595988750457764e-05, 2.7699396014213562e-05, 3.180280327796936e-05, 3.590621054172516e-05, 4.000961780548096e-05, 4.4113025069236755e-05, 4.8216432332992554e-05, 5.231983959674835e-05, 5.642324686050415e-05, 6.052665412425995e-05, 6.463006138801575e-05, 6.873346865177155e-05, 7.283687591552734e-05]}, "gradients/encoder.encoder.layers.19.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 2.0, 2.0, 8.0, 9.0, 14.0, 42.0, 51.0, 104.0, 340.0, 210.0, 88.0, 72.0, 26.0, 20.0, 6.0, 9.0, 4.0, 4.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0012187289539724588, -0.001190297887660563, -0.0011618667049333453, -0.0011334356386214495, -0.0011050045723095536, -0.001076573389582336, -0.00104814232327044, -0.0010197112569585443, -0.0009912800742313266, -0.0009628489497117698, -0.000934417883399874, -0.0009059867588803172, -0.0008775556343607605, -0.0008491245098412037, -0.0008206934435293078, -0.0007922623190097511, -0.0007638312526978552, -0.0007354001281782985, -0.0007069690618664026, -0.0006785379373468459, -0.0006501068128272891, -0.0006216757465153933, -0.0005932446219958365, -0.0005648134974762797, -0.0005363824311643839, -0.0005079513066448271, -0.0004795202112291008, -0.0004510891158133745, -0.00042265799129381776, -0.00039422689587809145, -0.00036579580046236515, -0.0003373646759428084, -0.00030893355142325163, -0.0002805024560075253, -0.00025207133148796856, -0.00022364023607224226, -0.00019520912610460073, -0.0001667780161369592, -0.0001383469207212329, -0.00010991581075359136, -8.148470078594983e-05, -5.30535944562871e-05, -2.4622488126624376e-05, 3.8086145650595427e-06, 3.2239724532701075e-05, 6.067083450034261e-05, 8.910192991606891e-05, 0.00011753303988371044, 0.00014596414985135198, 0.0001743952598189935, 0.00020282636978663504, 0.00023125746520236135, 0.0002596885897219181, 0.0002881196851376444, 0.0003165507805533707, 0.0003449819050729275, 0.0003734130004886538, 0.0004018440959043801, 0.00043027522042393684, 0.00045870631583966315, 0.00048713741125538945, 0.0005155685357749462, 0.0005439996020868421, 0.0005724307266063988, 0.0006008618511259556]}, "gradients/encoder.encoder.layers.19.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 3.0, 4.0, 7.0, 6.0, 9.0, 19.0, 23.0, 35.0, 43.0, 51.0, 57.0, 77.0, 70.0, 79.0, 74.0, 68.0, 80.0, 70.0, 51.0, 54.0, 39.0, 31.0, 20.0, 12.0, 10.0, 9.0, 1.0, 5.0, 3.0, 1.0, 2.0, 3.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.00041353702545166016, -0.00040040165185928345, -0.00038726627826690674, -0.00037413090467453003, -0.0003609955310821533, -0.0003478601574897766, -0.0003347247838973999, -0.0003215894103050232, -0.0003084540367126465, -0.0002953186631202698, -0.00028218328952789307, -0.00026904791593551636, -0.00025591254234313965, -0.00024277716875076294, -0.00022964179515838623, -0.00021650642156600952, -0.0002033710479736328, -0.0001902356743812561, -0.0001771003007888794, -0.00016396492719650269, -0.00015082955360412598, -0.00013769418001174927, -0.00012455880641937256, -0.00011142343282699585, -9.828805923461914e-05, -8.515268564224243e-05, -7.201731204986572e-05, -5.8881938457489014e-05, -4.5746564865112305e-05, -3.2611191272735596e-05, -1.9475817680358887e-05, -6.340444087982178e-06, 6.794929504394531e-06, 1.993030309677124e-05, 3.306567668914795e-05, 4.620105028152466e-05, 5.933642387390137e-05, 7.247179746627808e-05, 8.560717105865479e-05, 9.87425446510315e-05, 0.0001118779182434082, 0.0001250132918357849, 0.00013814866542816162, 0.00015128403902053833, 0.00016441941261291504, 0.00017755478620529175, 0.00019069015979766846, 0.00020382553339004517, 0.00021696090698242188, 0.00023009628057479858, 0.0002432316541671753, 0.000256367027759552, 0.0002695024013519287, 0.0002826377749443054, 0.00029577314853668213, 0.00030890852212905884, 0.00032204389572143555, 0.00033517926931381226, 0.00034831464290618896, 0.0003614500164985657, 0.0003745853900909424, 0.0003877207636833191, 0.0004008561372756958, 0.0004139915108680725, 0.0004271268844604492]}, "gradients/encoder.encoder.layers.19.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 4.0, 3.0, 0.0, 9.0, 6.0, 12.0, 10.0, 11.0, 14.0, 13.0, 20.0, 22.0, 17.0, 33.0, 27.0, 31.0, 32.0, 28.0, 28.0, 43.0, 32.0, 61.0, 232.0, 101819.0, 945345.0, 290.0, 59.0, 36.0, 40.0, 34.0, 34.0, 34.0, 31.0, 23.0, 25.0, 18.0, 16.0, 13.0, 14.0, 9.0, 13.0, 4.0, 2.0, 5.0, 3.0, 2.0, 4.0, 4.0, 1.0, 2.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0011091232299804688, -0.0010709911584854126, -0.0010328590869903564, -0.0009947270154953003, -0.0009565949440002441, -0.000918462872505188, -0.0008803308010101318, -0.0008421987295150757, -0.0008040666580200195, -0.0007659345865249634, -0.0007278025150299072, -0.0006896704435348511, -0.0006515383720397949, -0.0006134063005447388, -0.0005752742290496826, -0.0005371421575546265, -0.0004990100860595703, -0.00046087801456451416, -0.000422745943069458, -0.00038461387157440186, -0.0003464818000793457, -0.00030834972858428955, -0.0002702176570892334, -0.00023208558559417725, -0.0001939535140991211, -0.00015582144260406494, -0.00011768937110900879, -7.955729961395264e-05, -4.1425228118896484e-05, -3.293156623840332e-06, 3.483891487121582e-05, 7.297098636627197e-05, 0.00011110305786132812, 0.00014923512935638428, 0.00018736720085144043, 0.00022549927234649658, 0.00026363134384155273, 0.0003017634153366089, 0.00033989548683166504, 0.0003780275583267212, 0.00041615962982177734, 0.0004542917013168335, 0.0004924237728118896, 0.0005305558443069458, 0.000568687915802002, 0.0006068199872970581, 0.0006449520587921143, 0.0006830841302871704, 0.0007212162017822266, 0.0007593482732772827, 0.0007974803447723389, 0.000835612416267395, 0.0008737444877624512, 0.0009118765592575073, 0.0009500086307525635, 0.0009881407022476196, 0.0010262727737426758, 0.001064404845237732, 0.001102536916732788, 0.0011406689882278442, 0.0011788010597229004, 0.0012169331312179565, 0.0012550652027130127, 0.0012931972742080688, 0.001331329345703125]}, "gradients/encoder.encoder.layers.19.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 22.0, 262.0, 646.0, 79.0, 11.0], "bins": [-0.00015103816986083984, -0.00014857016503810883, -0.0001461021602153778, -0.0001436341553926468, -0.00014116615056991577, -0.00013869814574718475, -0.00013623014092445374, -0.00013376213610172272, -0.0001312941312789917, -0.00012882612645626068, -0.00012635812163352966, -0.00012389011681079865, -0.00012142211198806763, -0.00011895410716533661, -0.00011648610234260559, -0.00011401809751987457, -0.00011155009269714355, -0.00010908208787441254, -0.00010661408305168152, -0.0001041460782289505, -0.00010167807340621948, -9.921006858348846e-05, -9.674206376075745e-05, -9.427405893802643e-05, -9.180605411529541e-05, -8.933804929256439e-05, -8.687004446983337e-05, -8.440203964710236e-05, -8.193403482437134e-05, -7.946603000164032e-05, -7.69980251789093e-05, -7.453002035617828e-05, -7.206201553344727e-05, -6.959401071071625e-05, -6.712600588798523e-05, -6.465800106525421e-05, -6.21899962425232e-05, -5.9721991419792175e-05, -5.725398659706116e-05, -5.478598177433014e-05, -5.231797695159912e-05, -4.98499721288681e-05, -4.7381967306137085e-05, -4.491396248340607e-05, -4.244595766067505e-05, -3.997795283794403e-05, -3.750994801521301e-05, -3.5041943192481995e-05, -3.2573938369750977e-05, -3.010593354701996e-05, -2.763792872428894e-05, -2.5169923901557922e-05, -2.2701919078826904e-05, -2.0233914256095886e-05, -1.7765909433364868e-05, -1.529790461063385e-05, -1.2829899787902832e-05, -1.0361894965171814e-05, -7.893890142440796e-06, -5.425885319709778e-06, -2.9578804969787598e-06, -4.898756742477417e-07, 1.9781291484832764e-06, 4.4461339712142944e-06, 6.9141387939453125e-06]}, "gradients/encoder.encoder.layers.19.attention.v_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 2.0, 1.0, 0.0, 0.0, 3.0, 0.0, 2.0, 2.0, 11.0, 6.0, 3.0, 2.0, 6.0, 3.0, 3.0, 1.0, 6.0, 3.0, 21.0, 28.0, 51.0, 91.0, 297.0, 613.0, 1457.0, 3284.0, 6168.0, 13343.0, 26973.0, 921081.0, 38722.0, 19030.0, 8947.0, 4364.0, 2296.0, 939.0, 443.0, 181.0, 59.0, 45.0, 26.0, 6.0, 8.0, 2.0, 4.0, 3.0, 0.0, 2.0, 4.0, 1.0, 4.0, 12.0, 3.0, 3.0, 1.0, 1.0, 0.0, 0.0, 3.0, 0.0, 1.0, 3.0], "bins": [-0.0003123283386230469, -0.00030248984694480896, -0.00029265135526657104, -0.00028281286358833313, -0.0002729743719100952, -0.0002631358802318573, -0.0002532973885536194, -0.00024345889687538147, -0.00023362040519714355, -0.00022378191351890564, -0.00021394342184066772, -0.0002041049301624298, -0.0001942664384841919, -0.00018442794680595398, -0.00017458945512771606, -0.00016475096344947815, -0.00015491247177124023, -0.00014507398009300232, -0.0001352354884147644, -0.0001253969967365265, -0.00011555850505828857, -0.00010572001338005066, -9.588152170181274e-05, -8.604303002357483e-05, -7.620453834533691e-05, -6.6366046667099e-05, -5.6527554988861084e-05, -4.668906331062317e-05, -3.6850571632385254e-05, -2.701207995414734e-05, -1.7173588275909424e-05, -7.335096597671509e-06, 2.5033950805664062e-06, 1.2341886758804321e-05, 2.2180378437042236e-05, 3.201887011528015e-05, 4.1857361793518066e-05, 5.169585347175598e-05, 6.15343451499939e-05, 7.137283682823181e-05, 8.121132850646973e-05, 9.104982018470764e-05, 0.00010088831186294556, 0.00011072680354118347, 0.00012056529521942139, 0.0001304037868976593, 0.00014024227857589722, 0.00015008077025413513, 0.00015991926193237305, 0.00016975775361061096, 0.00017959624528884888, 0.0001894347369670868, 0.0001992732286453247, 0.00020911172032356262, 0.00021895021200180054, 0.00022878870368003845, 0.00023862719535827637, 0.0002484656870365143, 0.0002583041787147522, 0.0002681426703929901, 0.00027798116207122803, 0.00028781965374946594, 0.00029765814542770386, 0.00030749663710594177, 0.0003173351287841797]}, "gradients/encoder.encoder.layers.19.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 1.0, 2.0, 1.0, 0.0, 0.0, 3.0, 0.0, 2.0, 0.0, 13.0, 6.0, 3.0, 2.0, 6.0, 3.0, 3.0, 0.0, 3.0, 2.0, 9.0, 7.0, 4.0, 2.0, 0.0, 2.0, 1.0, 1.0, 5.0, 0.0, 2.0, 841.0, 5.0, 4.0, 2.0, 2.0, 3.0, 2.0, 1.0, 9.0, 1.0, 7.0, 11.0, 4.0, 5.0, 1.0, 1.0, 3.0, 0.0, 2.0, 3.0, 2.0, 4.0, 12.0, 3.0, 3.0, 1.0, 1.0, 0.0, 0.0, 3.0, 0.0, 1.0, 3.0], "bins": [-0.00010281801223754883, -9.957980364561081e-05, -9.634159505367279e-05, -9.310338646173477e-05, -8.986517786979675e-05, -8.662696927785873e-05, -8.338876068592072e-05, -8.01505520939827e-05, -7.691234350204468e-05, -7.367413491010666e-05, -7.043592631816864e-05, -6.719771772623062e-05, -6.39595091342926e-05, -6.0721300542354584e-05, -5.7483091950416565e-05, -5.4244883358478546e-05, -5.100667476654053e-05, -4.776846617460251e-05, -4.453025758266449e-05, -4.129204899072647e-05, -3.805384039878845e-05, -3.481563180685043e-05, -3.1577423214912415e-05, -2.8339214622974396e-05, -2.5101006031036377e-05, -2.1862797439098358e-05, -1.862458884716034e-05, -1.538638025522232e-05, -1.2148171663284302e-05, -8.909963071346283e-06, -5.671754479408264e-06, -2.4335458874702454e-06, 8.046627044677734e-07, 4.042871296405792e-06, 7.281079888343811e-06, 1.051928848028183e-05, 1.3757497072219849e-05, 1.6995705664157867e-05, 2.0233914256095886e-05, 2.3472122848033905e-05, 2.6710331439971924e-05, 2.9948540031909943e-05, 3.318674862384796e-05, 3.642495721578598e-05, 3.9663165807724e-05, 4.290137439966202e-05, 4.613958299160004e-05, 4.9377791583538055e-05, 5.2616000175476074e-05, 5.585420876741409e-05, 5.909241735935211e-05, 6.233062595129013e-05, 6.556883454322815e-05, 6.880704313516617e-05, 7.204525172710419e-05, 7.52834603190422e-05, 7.852166891098022e-05, 8.175987750291824e-05, 8.499808609485626e-05, 8.823629468679428e-05, 9.14745032787323e-05, 9.471271187067032e-05, 9.795092046260834e-05, 0.00010118912905454636, 0.00010442733764648438]}, "gradients/encoder.encoder.layers.19.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.layer_norm.weight": {"_type": "histogram", "values": [2.0, 0.0, 2.0, 1.0, 2.0, 0.0, 3.0, 4.0, 5.0, 6.0, 4.0, 8.0, 7.0, 19.0, 31.0, 41.0, 60.0, 81.0, 95.0, 251.0, 124.0, 79.0, 51.0, 31.0, 30.0, 21.0, 14.0, 13.0, 8.0, 7.0, 3.0, 3.0, 4.0, 2.0, 3.0, 1.0, 2.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0005416676867753267, -0.0005140327266417444, -0.0004863977083005011, -0.0004587627190630883, -0.0004311277298256755, -0.00040349276969209313, -0.00037585775135084987, -0.0003482227912172675, -0.00032058777287602425, -0.00029295278363861144, -0.0002653177944011986, -0.00023768280516378582, -0.000210047815926373, -0.00018241284124087542, -0.0001547778520034626, -0.0001271428627660498, -9.950788808055222e-05, -7.187289884313941e-05, -4.423791324370541e-05, -1.6602927644271404e-05, 1.1032061593141407e-05, 3.86670435545966e-05, 6.630203279200941e-05, 9.393702202942222e-05, 0.00012157201126683503, 0.00014920700050424784, 0.00017684198974166065, 0.00020447696442715824, 0.00023211195366457105, 0.00025974694290198386, 0.00028738193213939667, 0.0003150169213768095, 0.0003426519106142223, 0.0003702868998516351, 0.0003979218890890479, 0.0004255568783264607, 0.00045319186756387353, 0.0004808268276974559, 0.0005084618460386992, 0.0005360968061722815, 0.0005637318245135248, 0.0005913667846471071, 0.0006190018029883504, 0.0006466367631219327, 0.000674271781463176, 0.0007019067415967584, 0.0007295417599380016, 0.000757176720071584, 0.0007848116802051663, 0.0008124466403387487, 0.000840081658679992, 0.0008677166188135743, 0.0008953516371548176, 0.0009229865972883999, 0.0009506216156296432, 0.0009782565757632256, 0.0010058915941044688, 0.001033526612445712, 0.0010611615143716335, 0.0010887965327128768, 0.00111643155105412, 0.0011440665693953633, 0.0011717014713212848, 0.001199336489662528, 0.0012269715080037713]}, "gradients/encoder.encoder.layers.19.layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 3.0, 2.0, 2.0, 2.0, 4.0, 10.0, 8.0, 3.0, 13.0, 16.0, 12.0, 14.0, 22.0, 25.0, 23.0, 29.0, 38.0, 43.0, 61.0, 55.0, 42.0, 44.0, 65.0, 57.0, 40.0, 49.0, 60.0, 37.0, 36.0, 26.0, 20.0, 29.0, 31.0, 23.0, 11.0, 13.0, 5.0, 11.0, 11.0, 5.0, 4.0, 6.0, 2.0, 1.0, 2.0, 3.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0005525350570678711, -0.0005370806902647018, -0.0005216263234615326, -0.0005061719566583633, -0.0004907175898551941, -0.00047526322305202484, -0.0004598088562488556, -0.00044435448944568634, -0.0004289001226425171, -0.00041344575583934784, -0.0003979913890361786, -0.00038253702223300934, -0.0003670826554298401, -0.00035162828862667084, -0.0003361739218235016, -0.00032071955502033234, -0.0003052651882171631, -0.00028981082141399384, -0.0002743564546108246, -0.00025890208780765533, -0.00024344772100448608, -0.00022799335420131683, -0.00021253898739814758, -0.00019708462059497833, -0.00018163025379180908, -0.00016617588698863983, -0.00015072152018547058, -0.00013526715338230133, -0.00011981278657913208, -0.00010435841977596283, -8.890405297279358e-05, -7.344968616962433e-05, -5.799531936645508e-05, -4.254095256328583e-05, -2.7086585760116577e-05, -1.1632218956947327e-05, 3.822147846221924e-06, 1.9276514649391174e-05, 3.4730881452560425e-05, 5.0185248255729675e-05, 6.563961505889893e-05, 8.109398186206818e-05, 9.654834866523743e-05, 0.00011200271546840668, 0.00012745708227157593, 0.00014291144907474518, 0.00015836581587791443, 0.00017382018268108368, 0.00018927454948425293, 0.00020472891628742218, 0.00022018328309059143, 0.00023563764989376068, 0.00025109201669692993, 0.0002665463835000992, 0.00028200075030326843, 0.0002974551171064377, 0.00031290948390960693, 0.0003283638507127762, 0.00034381821751594543, 0.0003592725843191147, 0.00037472695112228394, 0.0003901813179254532, 0.00040563568472862244, 0.0004210900515317917, 0.00043654441833496094]}, "gradients/encoder.encoder.layers.18.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 3.0, 1.0, 0.0, 1.0, 0.0, 5.0, 0.0, 2.0, 3.0, 5.0, 3.0, 9.0, 7.0, 4.0, 6.0, 6.0, 12.0, 12.0, 15.0, 12.0, 19.0, 14.0, 21.0, 27.0, 22.0, 26.0, 36.0, 42.0, 175.0, 10614.0, 4182673.0, 494.0, 28.0], "bins": [-0.004039764404296875, -0.003973748534917831, -0.003907732665538788, -0.0038417167961597443, -0.0037757009267807007, -0.003709685057401657, -0.0036436691880226135, -0.00357765331864357, -0.0035116374492645264, -0.003445621579885483, -0.003379605710506439, -0.0033135898411273956, -0.003247573971748352, -0.0031815581023693085, -0.003115542232990265, -0.0030495263636112213, -0.0029835104942321777, -0.002917494624853134, -0.0028514787554740906, -0.002785462886095047, -0.0027194470167160034, -0.00265343114733696, -0.0025874152779579163, -0.0025213994085788727, -0.002455383539199829, -0.0023893676698207855, -0.002323351800441742, -0.0022573359310626984, -0.002191320061683655, -0.002125304192304611, -0.0020592883229255676, -0.001993272453546524, -0.0019272565841674805, -0.0018612407147884369, -0.0017952248454093933, -0.0017292089760303497, -0.0016631931066513062, -0.0015971772372722626, -0.001531161367893219, -0.0014651454985141754, -0.0013991296291351318, -0.0013331137597560883, -0.0012670978903770447, -0.001201082020998001, -0.0011350661516189575, -0.001069050282239914, -0.0010030344128608704, -0.0009370185434818268, -0.0008710026741027832, -0.0008049868047237396, -0.000738970935344696, -0.0006729550659656525, -0.0006069391965866089, -0.0005409233272075653, -0.00047490745782852173, -0.00040889158844947815, -0.00034287571907043457, -0.000276859849691391, -0.0002108439803123474, -0.00014482811093330383, -7.881224155426025e-05, -1.2796372175216675e-05, 5.3219497203826904e-05, 0.00011923536658287048, 0.00018525123596191406]}, "gradients/encoder.encoder.layers.18.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 22.0, 262.0, 646.0, 79.0, 11.0], "bins": [-0.00015103816986083984, -0.00014857016503810883, -0.0001461021602153778, -0.0001436341553926468, -0.00014116615056991577, -0.00013869814574718475, -0.00013623014092445374, -0.00013376213610172272, -0.0001312941312789917, -0.00012882612645626068, -0.00012635812163352966, -0.00012389011681079865, -0.00012142211198806763, -0.00011895410716533661, -0.00011648610234260559, -0.00011401809751987457, -0.00011155009269714355, -0.00010908208787441254, -0.00010661408305168152, -0.0001041460782289505, -0.00010167807340621948, -9.921006858348846e-05, -9.674206376075745e-05, -9.427405893802643e-05, -9.180605411529541e-05, -8.933804929256439e-05, -8.687004446983337e-05, -8.440203964710236e-05, -8.193403482437134e-05, -7.946603000164032e-05, -7.69980251789093e-05, -7.453002035617828e-05, -7.206201553344727e-05, -6.959401071071625e-05, -6.712600588798523e-05, -6.465800106525421e-05, -6.21899962425232e-05, -5.9721991419792175e-05, -5.725398659706116e-05, -5.478598177433014e-05, -5.231797695159912e-05, -4.98499721288681e-05, -4.7381967306137085e-05, -4.491396248340607e-05, -4.244595766067505e-05, -3.997795283794403e-05, -3.750994801521301e-05, -3.5041943192481995e-05, -3.2573938369750977e-05, -3.010593354701996e-05, -2.763792872428894e-05, -2.5169923901557922e-05, -2.2701919078826904e-05, -2.0233914256095886e-05, -1.7765909433364868e-05, -1.529790461063385e-05, -1.2829899787902832e-05, -1.0361894965171814e-05, -7.893890142440796e-06, -5.425885319709778e-06, -2.9578804969787598e-06, -4.898756742477417e-07, 1.9781291484832764e-06, 4.4461339712142944e-06, 6.9141387939453125e-06]}, "gradients/encoder.encoder.layers.18.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 3.0, 8.0, 18.0, 44.0, 105.0, 210.0, 402.0, 957.0, 4859.0, 59370.0, 4103684.0, 20645.0, 2764.0, 633.0, 285.0, 157.0, 78.0, 30.0, 20.0, 10.0, 3.0, 4.0, 2.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.0010690689086914062, -0.0010359734296798706, -0.001002877950668335, -0.0009697824716567993, -0.0009366869926452637, -0.000903591513633728, -0.0008704960346221924, -0.0008374005556106567, -0.0008043050765991211, -0.0007712095975875854, -0.0007381141185760498, -0.0007050186395645142, -0.0006719231605529785, -0.0006388276815414429, -0.0006057322025299072, -0.0005726367235183716, -0.0005395412445068359, -0.0005064457654953003, -0.00047335028648376465, -0.000440254807472229, -0.00040715932846069336, -0.0003740638494491577, -0.00034096837043762207, -0.0003078728914260864, -0.0002747774124145508, -0.00024168193340301514, -0.0002085864543914795, -0.00017549097537994385, -0.0001423954963684082, -0.00010930001735687256, -7.620453834533691e-05, -4.310905933380127e-05, -1.0013580322265625e-05, 2.308189868927002e-05, 5.6177377700805664e-05, 8.927285671234131e-05, 0.00012236833572387695, 0.0001554638147354126, 0.00018855929374694824, 0.0002216547727584839, 0.00025475025177001953, 0.0002878457307815552, 0.0003209412097930908, 0.00035403668880462646, 0.0003871321678161621, 0.00042022764682769775, 0.0004533231258392334, 0.00048641860485076904, 0.0005195140838623047, 0.0005526095628738403, 0.000585705041885376, 0.0006188005208969116, 0.0006518959999084473, 0.0006849914789199829, 0.0007180869579315186, 0.0007511824369430542, 0.0007842779159545898, 0.0008173733949661255, 0.0008504688739776611, 0.0008835643529891968, 0.0009166598320007324, 0.0009497553110122681, 0.0009828507900238037, 0.0010159462690353394, 0.001049041748046875]}, "gradients/encoder.encoder.layers.18.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 3.0, 4.0, 6.0, 11.0, 13.0, 15.0, 17.0, 25.0, 43.0, 119.0, 3607.0, 63.0, 37.0, 32.0, 24.0, 15.0, 12.0, 11.0, 8.0, 9.0, 3.0, 4.0, 2.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.00010919570922851562, -0.00010581593960523605, -0.00010243616998195648, -9.905640035867691e-05, -9.567663073539734e-05, -9.229686111211777e-05, -8.89170914888382e-05, -8.553732186555862e-05, -8.215755224227905e-05, -7.877778261899948e-05, -7.539801299571991e-05, -7.201824337244034e-05, -6.863847374916077e-05, -6.52587041258812e-05, -6.187893450260162e-05, -5.849916487932205e-05, -5.511939525604248e-05, -5.173962563276291e-05, -4.835985600948334e-05, -4.4980086386203766e-05, -4.1600316762924194e-05, -3.822054713964462e-05, -3.484077751636505e-05, -3.146100789308548e-05, -2.8081238269805908e-05, -2.4701468646526337e-05, -2.1321699023246765e-05, -1.7941929399967194e-05, -1.4562159776687622e-05, -1.118239015340805e-05, -7.802620530128479e-06, -4.4228509068489075e-06, -1.043081283569336e-06, 2.3366883397102356e-06, 5.716457962989807e-06, 9.096227586269379e-06, 1.247599720954895e-05, 1.5855766832828522e-05, 1.9235536456108093e-05, 2.2615306079387665e-05, 2.5995075702667236e-05, 2.9374845325946808e-05, 3.275461494922638e-05, 3.613438457250595e-05, 3.951415419578552e-05, 4.2893923819065094e-05, 4.6273693442344666e-05, 4.965346306562424e-05, 5.303323268890381e-05, 5.641300231218338e-05, 5.979277193546295e-05, 6.317254155874252e-05, 6.65523111820221e-05, 6.993208080530167e-05, 7.331185042858124e-05, 7.669162005186081e-05, 8.007138967514038e-05, 8.345115929841995e-05, 8.683092892169952e-05, 9.02106985449791e-05, 9.359046816825867e-05, 9.697023779153824e-05, 0.00010035000741481781, 0.00010372977703809738, 0.00010710954666137695]}, "gradients/encoder.encoder.layers.18.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 2.0, 2.0, 1.0, 4.0, 6.0, 16.0, 20.0, 26.0, 36.0, 67.0, 134.0, 324.0, 139.0, 71.0, 53.0, 36.0, 21.0, 14.0, 11.0, 10.0, 8.0, 5.0, 1.0, 2.0, 4.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.0005142492009326816, -0.0004939725040458143, -0.00047369577805511653, -0.0004534190520644188, -0.0004331423551775515, -0.00041286562918685377, -0.000392588903196156, -0.00037231220630928874, -0.00035203550942242146, -0.0003317587834317237, -0.00031148208654485643, -0.0002912053605541587, -0.0002709286636672914, -0.00025065193767659366, -0.00023037522623781115, -0.00021009851479902864, -0.0001898217888083309, -0.00016954507736954838, -0.00014926836593076587, -0.00012899163994006813, -0.00010871493577724323, -8.843822433846071e-05, -6.816150562372059e-05, -4.788479418493807e-05, -2.760808274615556e-05, -7.331369488383643e-06, 1.2945343769388273e-05, 3.3222058846149594e-05, 5.349877028493211e-05, 7.377548172371462e-05, 9.405220043845475e-05, 0.00011432891187723726, 0.00013460562331601977, 0.0001548823347548023, 0.0001751590461935848, 0.00019543577218428254, 0.00021571246907114983, 0.00023598919506184757, 0.0002562659210525453, 0.0002765426179394126, 0.0002968193148262799, 0.0003170960408169776, 0.0003373727377038449, 0.00035764946369454265, 0.00037792616058140993, 0.00039820288657210767, 0.0004184796125628054, 0.0004387563094496727, 0.00045903303544037044, 0.0004793097614310682, 0.0004995864583179355, 0.0005198631552048028, 0.000540139910299331, 0.0005604166071861982, 0.0005806933040730655, 0.0006009700009599328, 0.000621246756054461, 0.0006415234529413283, 0.0006618002080358565, 0.0006820769049227238, 0.0007023536018095911, 0.0007226302986964583, 0.0007429070537909865, 0.0007631837506778538, 0.0007834604475647211]}, "gradients/encoder.encoder.layers.18.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 2.0, 3.0, 3.0, 11.0, 12.0, 11.0, 10.0, 8.0, 17.0, 28.0, 31.0, 39.0, 31.0, 47.0, 57.0, 31.0, 61.0, 57.0, 52.0, 50.0, 61.0, 56.0, 55.0, 48.0, 36.0, 28.0, 30.0, 25.0, 29.0, 18.0, 15.0, 8.0, 10.0, 10.0, 6.0, 3.0, 5.0, 2.0, 2.0, 2.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00027424097061157227, -0.0002658441662788391, -0.00025744736194610596, -0.0002490505576133728, -0.00024065375328063965, -0.0002322569489479065, -0.00022386014461517334, -0.00021546334028244019, -0.00020706653594970703, -0.00019866973161697388, -0.00019027292728424072, -0.00018187612295150757, -0.00017347931861877441, -0.00016508251428604126, -0.0001566857099533081, -0.00014828890562057495, -0.0001398921012878418, -0.00013149529695510864, -0.0001230984926223755, -0.00011470168828964233, -0.00010630488395690918, -9.790807962417603e-05, -8.951127529144287e-05, -8.111447095870972e-05, -7.271766662597656e-05, -6.432086229324341e-05, -5.5924057960510254e-05, -4.75272536277771e-05, -3.9130449295043945e-05, -3.073364496231079e-05, -2.2336840629577637e-05, -1.3940036296844482e-05, -5.543231964111328e-06, 2.853572368621826e-06, 1.125037670135498e-05, 1.9647181034088135e-05, 2.804398536682129e-05, 3.644078969955444e-05, 4.48375940322876e-05, 5.323439836502075e-05, 6.16312026977539e-05, 7.002800703048706e-05, 7.842481136322021e-05, 8.682161569595337e-05, 9.521842002868652e-05, 0.00010361522436141968, 0.00011201202869415283, 0.00012040883302688599, 0.00012880563735961914, 0.0001372024416923523, 0.00014559924602508545, 0.0001539960503578186, 0.00016239285469055176, 0.0001707896590232849, 0.00017918646335601807, 0.00018758326768875122, 0.00019598007202148438, 0.00020437687635421753, 0.00021277368068695068, 0.00022117048501968384, 0.000229567289352417, 0.00023796409368515015, 0.0002463608980178833, 0.00025475770235061646, 0.0002631545066833496]}, "gradients/encoder.encoder.layers.18.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 2.0, 3.0, 1.0, 4.0, 6.0, 9.0, 6.0, 5.0, 10.0, 12.0, 21.0, 22.0, 20.0, 32.0, 42.0, 37.0, 37.0, 37.0, 41.0, 56.0, 230.0, 940921.0, 106403.0, 173.0, 61.0, 49.0, 40.0, 42.0, 36.0, 25.0, 31.0, 35.0, 21.0, 17.0, 18.0, 19.0, 12.0, 5.0, 12.0, 5.0, 0.0, 4.0, 3.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0], "bins": [-0.0016374588012695312, -0.0015931129455566406, -0.00154876708984375, -0.0015044212341308594, -0.0014600753784179688, -0.0014157295227050781, -0.0013713836669921875, -0.0013270378112792969, -0.0012826919555664062, -0.0012383460998535156, -0.001194000244140625, -0.0011496543884277344, -0.0011053085327148438, -0.0010609626770019531, -0.0010166168212890625, -0.0009722709655761719, -0.0009279251098632812, -0.0008835792541503906, -0.0008392333984375, -0.0007948875427246094, -0.0007505416870117188, -0.0007061958312988281, -0.0006618499755859375, -0.0006175041198730469, -0.0005731582641601562, -0.0005288124084472656, -0.000484466552734375, -0.0004401206970214844, -0.00039577484130859375, -0.0003514289855957031, -0.0003070831298828125, -0.0002627372741699219, -0.00021839141845703125, -0.00017404556274414062, -0.00012969970703125, -8.535385131835938e-05, -4.100799560546875e-05, 3.337860107421875e-06, 4.76837158203125e-05, 9.202957153320312e-05, 0.00013637542724609375, 0.00018072128295898438, 0.000225067138671875, 0.0002694129943847656, 0.00031375885009765625, 0.0003581047058105469, 0.0004024505615234375, 0.0004467964172363281, 0.0004911422729492188, 0.0005354881286621094, 0.000579833984375, 0.0006241798400878906, 0.0006685256958007812, 0.0007128715515136719, 0.0007572174072265625, 0.0008015632629394531, 0.0008459091186523438, 0.0008902549743652344, 0.000934600830078125, 0.0009789466857910156, 0.0010232925415039062, 0.0010676383972167969, 0.0011119842529296875, 0.0011563301086425781, 0.0012006759643554688]}, "gradients/encoder.encoder.layers.18.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 3.0, 37.0, 335.0, 571.0, 65.0, 11.0], "bins": [-0.0001518726348876953, -0.0001493869349360466, -0.0001469012349843979, -0.00014441553503274918, -0.00014192983508110046, -0.00013944413512945175, -0.00013695843517780304, -0.00013447273522615433, -0.00013198703527450562, -0.0001295013353228569, -0.0001270156353712082, -0.00012452993541955948, -0.00012204423546791077, -0.00011955853551626205, -0.00011707283556461334, -0.00011458713561296463, -0.00011210143566131592, -0.0001096157357096672, -0.0001071300357580185, -0.00010464433580636978, -0.00010215863585472107, -9.967293590307236e-05, -9.718723595142365e-05, -9.470153599977493e-05, -9.221583604812622e-05, -8.973013609647751e-05, -8.72444361448288e-05, -8.475873619318008e-05, -8.227303624153137e-05, -7.978733628988266e-05, -7.730163633823395e-05, -7.481593638658524e-05, -7.233023643493652e-05, -6.984453648328781e-05, -6.73588365316391e-05, -6.487313657999039e-05, -6.238743662834167e-05, -5.990173667669296e-05, -5.741603672504425e-05, -5.493033677339554e-05, -5.2444636821746826e-05, -4.9958936870098114e-05, -4.74732369184494e-05, -4.498753696680069e-05, -4.250183701515198e-05, -4.0016137063503265e-05, -3.753043711185455e-05, -3.504473716020584e-05, -3.255903720855713e-05, -3.0073337256908417e-05, -2.7587637305259705e-05, -2.5101937353610992e-05, -2.261623740196228e-05, -2.0130537450313568e-05, -1.7644837498664856e-05, -1.5159137547016144e-05, -1.2673437595367432e-05, -1.018773764371872e-05, -7.702037692070007e-06, -5.216337740421295e-06, -2.730637788772583e-06, -2.4493783712387085e-07, 2.2407621145248413e-06, 4.7264620661735535e-06, 7.212162017822266e-06]}, "gradients/encoder.encoder.layers.18.attention.v_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 5.0, 1.0, 1.0, 2.0, 2.0, 11.0, 5.0, 4.0, 3.0, 5.0, 3.0, 3.0, 6.0, 16.0, 38.0, 85.0, 211.0, 779.0, 2296.0, 7035.0, 20982.0, 938411.0, 54577.0, 15654.0, 5568.0, 1848.0, 642.0, 216.0, 65.0, 21.0, 16.0, 7.0, 2.0, 7.0, 2.0, 2.0, 1.0, 12.0, 6.0, 3.0, 1.0, 3.0, 2.0, 1.0, 6.0, 6.0, 0.0, 0.0, 1.0], "bins": [-0.0005745887756347656, -0.0005590096116065979, -0.0005434304475784302, -0.0005278512835502625, -0.0005122721195220947, -0.000496692955493927, -0.0004811137914657593, -0.00046553462743759155, -0.00044995546340942383, -0.0004343762993812561, -0.0004187971353530884, -0.00040321797132492065, -0.00038763880729675293, -0.0003720596432685852, -0.0003564804792404175, -0.00034090131521224976, -0.00032532215118408203, -0.0003097429871559143, -0.0002941638231277466, -0.00027858465909957886, -0.00026300549507141113, -0.0002474263310432434, -0.00023184716701507568, -0.00021626800298690796, -0.00020068883895874023, -0.0001851096749305725, -0.00016953051090240479, -0.00015395134687423706, -0.00013837218284606934, -0.0001227930188179016, -0.00010721385478973389, -9.163469076156616e-05, -7.605552673339844e-05, -6.047636270523071e-05, -4.489719867706299e-05, -2.9318034648895264e-05, -1.3738870620727539e-05, 1.8402934074401855e-06, 1.741945743560791e-05, 3.2998621463775635e-05, 4.857778549194336e-05, 6.415694952011108e-05, 7.973611354827881e-05, 9.531527757644653e-05, 0.00011089444160461426, 0.00012647360563278198, 0.0001420527696609497, 0.00015763193368911743, 0.00017321109771728516, 0.00018879026174545288, 0.0002043694257736206, 0.00021994858980178833, 0.00023552775382995605, 0.0002511069178581238, 0.0002666860818862915, 0.00028226524591445923, 0.00029784440994262695, 0.0003134235739707947, 0.0003290027379989624, 0.0003445819020271301, 0.00036016106605529785, 0.0003757402300834656, 0.0003913193941116333, 0.000406898558139801, 0.00042247772216796875]}, "gradients/encoder.encoder.layers.18.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 5.0, 1.0, 1.0, 2.0, 1.0, 11.0, 6.0, 4.0, 2.0, 5.0, 3.0, 2.0, 2.0, 8.0, 3.0, 3.0, 6.0, 5.0, 7.0, 3.0, 8.0, 833.0, 10.0, 5.0, 1.0, 4.0, 4.0, 2.0, 5.0, 9.0, 4.0, 3.0, 2.0, 5.0, 2.0, 2.0, 2.0, 11.0, 6.0, 3.0, 1.0, 3.0, 2.0, 1.0, 6.0, 6.0, 0.0, 0.0, 1.0], "bins": [-0.00016117095947265625, -0.00015679839998483658, -0.0001524258404970169, -0.00014805328100919724, -0.00014368072152137756, -0.0001393081620335579, -0.00013493560254573822, -0.00013056304305791855, -0.00012619048357009888, -0.0001218179240822792, -0.00011744536459445953, -0.00011307280510663986, -0.00010870024561882019, -0.00010432768613100052, -9.995512664318085e-05, -9.558256715536118e-05, -9.12100076675415e-05, -8.683744817972183e-05, -8.246488869190216e-05, -7.809232920408249e-05, -7.371976971626282e-05, -6.934721022844315e-05, -6.497465074062347e-05, -6.06020912528038e-05, -5.622953176498413e-05, -5.185697227716446e-05, -4.748441278934479e-05, -4.3111853301525116e-05, -3.8739293813705444e-05, -3.436673432588577e-05, -2.99941748380661e-05, -2.562161535024643e-05, -2.1249055862426758e-05, -1.6876496374607086e-05, -1.2503936886787415e-05, -8.131377398967743e-06, -3.7588179111480713e-06, 6.137415766716003e-07, 4.986301064491272e-06, 9.358860552310944e-06, 1.3731420040130615e-05, 1.8103979527950287e-05, 2.247653901576996e-05, 2.684909850358963e-05, 3.12216579914093e-05, 3.5594217479228973e-05, 3.9966776967048645e-05, 4.433933645486832e-05, 4.871189594268799e-05, 5.308445543050766e-05, 5.745701491832733e-05, 6.1829574406147e-05, 6.620213389396667e-05, 7.057469338178635e-05, 7.494725286960602e-05, 7.931981235742569e-05, 8.369237184524536e-05, 8.806493133306503e-05, 9.24374908208847e-05, 9.681005030870438e-05, 0.00010118260979652405, 0.00010555516928434372, 0.00010992772877216339, 0.00011430028825998306, 0.00011867284774780273]}, "gradients/encoder.encoder.layers.18.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.layer_norm.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 3.0, 1.0, 0.0, 1.0, 2.0, 1.0, 5.0, 4.0, 8.0, 5.0, 19.0, 17.0, 24.0, 33.0, 69.0, 81.0, 167.0, 233.0, 105.0, 76.0, 40.0, 34.0, 27.0, 19.0, 12.0, 16.0, 2.0, 2.0, 0.0, 5.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.0007771470700390637, -0.0007463588262908161, -0.0007155705825425684, -0.0006847823387943208, -0.0006539940950460732, -0.0006232058512978256, -0.000592417549341917, -0.0005616293055936694, -0.0005308410618454218, -0.0005000528180971742, -0.00046926457434892654, -0.0004384763306006789, -0.0004076880868524313, -0.0003768998431041837, -0.0003461115702521056, -0.00031532332650385797, -0.0002845351118594408, -0.0002537468681111932, -0.00022295862436294556, -0.0001921703660627827, -0.00016138212231453508, -0.00013059387856628746, -9.98056202661246e-05, -6.901737651787698e-05, -3.822913276962936e-05, -7.440885383402929e-06, 2.3347362002823502e-05, 5.413561302702874e-05, 8.492385677527636e-05, 0.00011571210052352399, 0.00014650035882368684, 0.00017728860257193446, 0.000208076904527843, 0.00023886514827609062, 0.00026965339202433825, 0.00030044163577258587, 0.0003312298795208335, 0.0003620181232690811, 0.0003928063961211592, 0.0004235946398694068, 0.00045438288361765444, 0.00048517112736590207, 0.0005159594002179801, 0.0005467476439662278, 0.0005775358877144754, 0.000608324131462723, 0.0006391123752109706, 0.0006699006189592183, 0.0007006888627074659, 0.0007314771064557135, 0.0007622653502039611, 0.0007930535939522088, 0.0008238418377004564, 0.000854630081448704, 0.0008854183834046125, 0.0009162066271528602, 0.0009469948709011078, 0.0009777831146493554, 0.001008571358397603, 0.0010393596021458507, 0.0010701478458940983, 0.001100936089642346, 0.0011317243333905935, 0.0011625125771388412, 0.0011933008208870888]}, "gradients/encoder.encoder.layers.18.layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 2.0, 0.0, 3.0, 1.0, 3.0, 3.0, 4.0, 4.0, 11.0, 8.0, 9.0, 15.0, 19.0, 28.0, 35.0, 32.0, 28.0, 37.0, 46.0, 53.0, 58.0, 47.0, 55.0, 47.0, 54.0, 54.0, 47.0, 37.0, 46.0, 37.0, 23.0, 42.0, 22.0, 20.0, 13.0, 12.0, 12.0, 8.0, 5.0, 9.0, 9.0, 7.0, 3.0, 2.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00048744678497314453, -0.00047187041491270065, -0.0004562940448522568, -0.0004407176747918129, -0.000425141304731369, -0.00040956493467092514, -0.00039398856461048126, -0.0003784121945500374, -0.0003628358244895935, -0.00034725945442914963, -0.00033168308436870575, -0.00031610671430826187, -0.000300530344247818, -0.0002849539741873741, -0.00026937760412693024, -0.00025380123406648636, -0.00023822486400604248, -0.0002226484939455986, -0.00020707212388515472, -0.00019149575382471085, -0.00017591938376426697, -0.0001603430137038231, -0.0001447666436433792, -0.00012919027358293533, -0.00011361390352249146, -9.803753346204758e-05, -8.24611634016037e-05, -6.688479334115982e-05, -5.130842328071594e-05, -3.5732053220272064e-05, -2.0155683159828186e-05, -4.579313099384308e-06, 1.099705696105957e-05, 2.657342702150345e-05, 4.214979708194733e-05, 5.7726167142391205e-05, 7.330253720283508e-05, 8.887890726327896e-05, 0.00010445527732372284, 0.00012003164738416672, 0.0001356080174446106, 0.00015118438750505447, 0.00016676075756549835, 0.00018233712762594223, 0.0001979134976863861, 0.00021348986774683, 0.00022906623780727386, 0.00024464260786771774, 0.0002602189779281616, 0.0002757953479886055, 0.0002913717180490494, 0.00030694808810949326, 0.00032252445816993713, 0.000338100828230381, 0.0003536771982908249, 0.00036925356835126877, 0.00038482993841171265, 0.0004004063084721565, 0.0004159826785326004, 0.0004315590485930443, 0.00044713541865348816, 0.00046271178871393204, 0.0004782881587743759, 0.0004938645288348198, 0.0005094408988952637]}, "gradients/encoder.encoder.layers.17.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 2.0, 3.0, 1.0, 1.0, 1.0, 2.0, 3.0, 3.0, 3.0, 4.0, 2.0, 5.0, 10.0, 9.0, 6.0, 11.0, 8.0, 13.0, 11.0, 16.0, 22.0, 21.0, 21.0, 22.0, 26.0, 28.0, 27.0, 42.0, 28.0, 39.0, 93.0, 345.0, 49715.0, 4143228.0, 500.0, 26.0], "bins": [-0.0026798248291015625, -0.0026359613984823227, -0.002592097967863083, -0.002548234537243843, -0.0025043711066246033, -0.0024605076760053635, -0.0024166442453861237, -0.002372780814766884, -0.002328917384147644, -0.0022850539535284042, -0.0022411905229091644, -0.0021973270922899246, -0.002153463661670685, -0.002109600231051445, -0.002065736800432205, -0.0020218733698129654, -0.0019780099391937256, -0.0019341465085744858, -0.001890283077955246, -0.0018464196473360062, -0.0018025562167167664, -0.0017586927860975266, -0.0017148293554782867, -0.001670965924859047, -0.0016271024942398071, -0.0015832390636205673, -0.0015393756330013275, -0.0014955122023820877, -0.001451648771762848, -0.001407785341143608, -0.0013639219105243683, -0.0013200584799051285, -0.0012761950492858887, -0.0012323316186666489, -0.001188468188047409, -0.0011446047574281693, -0.0011007413268089294, -0.0010568778961896896, -0.0010130144655704498, -0.00096915103495121, -0.0009252876043319702, -0.0008814241737127304, -0.0008375607430934906, -0.0007936973124742508, -0.000749833881855011, -0.0007059704512357712, -0.0006621070206165314, -0.0006182435899972916, -0.0005743801593780518, -0.000530516728758812, -0.00048665329813957214, -0.00044278986752033234, -0.00039892643690109253, -0.0003550630062818527, -0.0003111995756626129, -0.0002673361450433731, -0.0002234727144241333, -0.0001796092838048935, -0.0001357458531856537, -9.188242256641388e-05, -4.801899194717407e-05, -4.155561327934265e-06, 3.970786929130554e-05, 8.357129991054535e-05, 0.00012743473052978516]}, "gradients/encoder.encoder.layers.17.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 3.0, 37.0, 335.0, 571.0, 65.0, 11.0], "bins": [-0.0001518726348876953, -0.0001493869349360466, -0.0001469012349843979, -0.00014441553503274918, -0.00014192983508110046, -0.00013944413512945175, -0.00013695843517780304, -0.00013447273522615433, -0.00013198703527450562, -0.0001295013353228569, -0.0001270156353712082, -0.00012452993541955948, -0.00012204423546791077, -0.00011955853551626205, -0.00011707283556461334, -0.00011458713561296463, -0.00011210143566131592, -0.0001096157357096672, -0.0001071300357580185, -0.00010464433580636978, -0.00010215863585472107, -9.967293590307236e-05, -9.718723595142365e-05, -9.470153599977493e-05, -9.221583604812622e-05, -8.973013609647751e-05, -8.72444361448288e-05, -8.475873619318008e-05, -8.227303624153137e-05, -7.978733628988266e-05, -7.730163633823395e-05, -7.481593638658524e-05, -7.233023643493652e-05, -6.984453648328781e-05, -6.73588365316391e-05, -6.487313657999039e-05, -6.238743662834167e-05, -5.990173667669296e-05, -5.741603672504425e-05, -5.493033677339554e-05, -5.2444636821746826e-05, -4.9958936870098114e-05, -4.74732369184494e-05, -4.498753696680069e-05, -4.250183701515198e-05, -4.0016137063503265e-05, -3.753043711185455e-05, -3.504473716020584e-05, -3.255903720855713e-05, -3.0073337256908417e-05, -2.7587637305259705e-05, -2.5101937353610992e-05, -2.261623740196228e-05, -2.0130537450313568e-05, -1.7644837498664856e-05, -1.5159137547016144e-05, -1.2673437595367432e-05, -1.018773764371872e-05, -7.702037692070007e-06, -5.216337740421295e-06, -2.730637788772583e-06, -2.4493783712387085e-07, 2.2407621145248413e-06, 4.7264620661735535e-06, 7.212162017822266e-06]}, "gradients/encoder.encoder.layers.17.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 2.0, 1.0, 2.0, 3.0, 9.0, 10.0, 13.0, 39.0, 83.0, 110.0, 245.0, 354.0, 699.0, 1333.0, 3191.0, 12566.0, 227127.0, 3925081.0, 17552.0, 3397.0, 1256.0, 588.0, 316.0, 158.0, 82.0, 32.0, 21.0, 12.0, 3.0, 3.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.0010852813720703125, -0.0010575130581855774, -0.0010297447443008423, -0.0010019764304161072, -0.0009742081165313721, -0.000946439802646637, -0.0009186714887619019, -0.0008909031748771667, -0.0008631348609924316, -0.0008353665471076965, -0.0008075982332229614, -0.0007798299193382263, -0.0007520616054534912, -0.0007242932915687561, -0.000696524977684021, -0.0006687566637992859, -0.0006409883499145508, -0.0006132200360298157, -0.0005854517221450806, -0.0005576834082603455, -0.0005299150943756104, -0.0005021467804908752, -0.00047437846660614014, -0.00044661015272140503, -0.0004188418388366699, -0.0003910735249519348, -0.0003633052110671997, -0.0003355368971824646, -0.0003077685832977295, -0.0002800002694129944, -0.0002522319555282593, -0.00022446364164352417, -0.00019669532775878906, -0.00016892701387405396, -0.00014115869998931885, -0.00011339038610458374, -8.562207221984863e-05, -5.7853758335113525e-05, -3.0085444450378418e-05, -2.3171305656433105e-06, 2.5451183319091797e-05, 5.3219497203826904e-05, 8.098781108856201e-05, 0.00010875612497329712, 0.00013652443885803223, 0.00016429275274276733, 0.00019206106662750244, 0.00021982938051223755, 0.00024759769439697266, 0.00027536600828170776, 0.00030313432216644287, 0.000330902636051178, 0.0003586709499359131, 0.0003864392638206482, 0.0004142075777053833, 0.0004419758915901184, 0.0004697442054748535, 0.0004975125193595886, 0.0005252808332443237, 0.0005530491471290588, 0.0005808174610137939, 0.000608585774898529, 0.0006363540887832642, 0.0006641224026679993, 0.0006918907165527344]}, "gradients/encoder.encoder.layers.17.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 2.0, 1.0, 2.0, 2.0, 4.0, 2.0, 0.0, 5.0, 9.0, 9.0, 7.0, 17.0, 25.0, 40.0, 48.0, 92.0, 355.0, 3208.0, 91.0, 55.0, 29.0, 24.0, 23.0, 17.0, 5.0, 1.0, 4.0, 3.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.00019538402557373047, -0.0001903865486383438, -0.00018538907170295715, -0.0001803915947675705, -0.00017539411783218384, -0.00017039664089679718, -0.00016539916396141052, -0.00016040168702602386, -0.0001554042100906372, -0.00015040673315525055, -0.0001454092562198639, -0.00014041177928447723, -0.00013541430234909058, -0.00013041682541370392, -0.00012541934847831726, -0.0001204218715429306, -0.00011542439460754395, -0.00011042691767215729, -0.00010542944073677063, -0.00010043196380138397, -9.543448686599731e-05, -9.043700993061066e-05, -8.5439532995224e-05, -8.044205605983734e-05, -7.544457912445068e-05, -7.044710218906403e-05, -6.544962525367737e-05, -6.045214831829071e-05, -5.545467138290405e-05, -5.0457194447517395e-05, -4.545971751213074e-05, -4.046224057674408e-05, -3.546476364135742e-05, -3.0467286705970764e-05, -2.5469809770584106e-05, -2.047233283519745e-05, -1.547485589981079e-05, -1.0477378964424133e-05, -5.479902029037476e-06, -4.824250936508179e-07, 4.51505184173584e-06, 9.512528777122498e-06, 1.4510005712509155e-05, 1.9507482647895813e-05, 2.450495958328247e-05, 2.950243651866913e-05, 3.4499913454055786e-05, 3.9497390389442444e-05, 4.44948673248291e-05, 4.949234426021576e-05, 5.448982119560242e-05, 5.9487298130989075e-05, 6.448477506637573e-05, 6.948225200176239e-05, 7.447972893714905e-05, 7.94772058725357e-05, 8.447468280792236e-05, 8.947215974330902e-05, 9.446963667869568e-05, 9.946711361408234e-05, 0.000104464590549469, 0.00010946206748485565, 0.00011445954442024231, 0.00011945702135562897, 0.00012445449829101562]}, "gradients/encoder.encoder.layers.17.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 3.0, 2.0, 8.0, 23.0, 28.0, 73.0, 209.0, 454.0, 121.0, 58.0, 15.0, 12.0, 4.0, 2.0, 0.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0017526638694107533, -0.0016859244788065553, -0.0016191850882023573, -0.0015524455811828375, -0.0014857061905786395, -0.0014189667999744415, -0.0013522272929549217, -0.0012854879023507237, -0.0012187485117465258, -0.0011520091211423278, -0.0010852697305381298, -0.00101853022351861, -0.000951790832914412, -0.000885051442310214, -0.0008183119934983552, -0.0007515725446864963, -0.0006848331540822983, -0.0006180937634781003, -0.0005513543146662414, -0.00048461489495821297, -0.00041787547525018454, -0.0003511360555421561, -0.00028439663583412766, -0.00021765721612609923, -0.0001509177964180708, -8.417837671004236e-05, -1.7438957002013922e-05, 4.9300462706014514e-05, 0.00011603988241404295, 0.00018277930212207139, 0.0002495187218300998, 0.00031625814153812826, 0.00038299732841551304, 0.0004497367481235415, 0.0005164761678315699, 0.0005832156166434288, 0.0006499550072476268, 0.0007166943978518248, 0.0007834338466636837, 0.0008501732954755425, 0.0009169126860797405, 0.0009836520766839385, 0.0010503914672881365, 0.0011171309743076563, 0.0011838703649118543, 0.0012506097555160522, 0.001317349262535572, 0.00138408865313977, 0.001450828043743968, 0.001517567434348166, 0.001584306824952364, 0.0016510463319718838, 0.0017177857225760818, 0.0017845251131802797, 0.0018512646201997995, 0.0019180040108039975, 0.0019847434014081955, 0.0020514829084277153, 0.0021182221826165915, 0.0021849616896361113, 0.0022517009638249874, 0.0023184404708445072, 0.002385179977864027, 0.002451919252052903, 0.002518658759072423]}, "gradients/encoder.encoder.layers.17.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 6.0, 5.0, 25.0, 35.0, 68.0, 96.0, 107.0, 151.0, 126.0, 116.0, 93.0, 67.0, 56.0, 29.0, 13.0, 7.0, 5.0, 3.0, 1.0, 0.0, 4.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0011060237884521484, -0.0010733259841799736, -0.0010406281799077988, -0.001007930375635624, -0.0009752325713634491, -0.0009425347670912743, -0.0009098369628190994, -0.0008771391585469246, -0.0008444413542747498, -0.0008117435500025749, -0.0007790457457304001, -0.0007463479414582253, -0.0007136501371860504, -0.0006809523329138756, -0.0006482545286417007, -0.0006155567243695259, -0.0005828589200973511, -0.0005501611158251762, -0.0005174633115530014, -0.00048476550728082657, -0.00045206770300865173, -0.0004193698987364769, -0.00038667209446430206, -0.00035397429019212723, -0.0003212764859199524, -0.00028857868164777756, -0.0002558808773756027, -0.0002231830731034279, -0.00019048526883125305, -0.00015778746455907822, -0.00012508966028690338, -9.239185601472855e-05, -5.969405174255371e-05, -2.6996247470378876e-05, 5.7015568017959595e-06, 3.8399361073970795e-05, 7.109716534614563e-05, 0.00010379496961832047, 0.0001364927738904953, 0.00016919057816267014, 0.00020188838243484497, 0.0002345861867070198, 0.00026728399097919464, 0.0002999817952513695, 0.0003326795995235443, 0.00036537740379571915, 0.000398075208067894, 0.0004307730123400688, 0.00046347081661224365, 0.0004961686208844185, 0.0005288664251565933, 0.0005615642294287682, 0.000594262033700943, 0.0006269598379731178, 0.0006596576422452927, 0.0006923554465174675, 0.0007250532507896423, 0.0007577510550618172, 0.000790448859333992, 0.0008231466636061668, 0.0008558444678783417, 0.0008885422721505165, 0.0009212400764226913, 0.0009539378806948662, 0.000986635684967041]}, "gradients/encoder.encoder.layers.17.attention.out_proj.weight": {"_type": "histogram", "values": [4.0, 0.0, 1.0, 2.0, 0.0, 2.0, 2.0, 3.0, 4.0, 4.0, 4.0, 8.0, 12.0, 15.0, 8.0, 12.0, 22.0, 22.0, 15.0, 24.0, 22.0, 30.0, 31.0, 21.0, 40.0, 33.0, 26.0, 42.0, 76.0, 541.0, 113304.0, 932803.0, 929.0, 115.0, 35.0, 48.0, 31.0, 35.0, 21.0, 30.0, 21.0, 25.0, 19.0, 20.0, 15.0, 9.0, 17.0, 10.0, 10.0, 6.0, 8.0, 9.0, 3.0, 4.0, 6.0, 4.0, 2.0, 2.0, 4.0, 1.0, 1.0, 1.0, 1.0, 1.0], "bins": [-0.0009918212890625, -0.000959932804107666, -0.000928044319152832, -0.000896155834197998, -0.0008642673492431641, -0.0008323788642883301, -0.0008004903793334961, -0.0007686018943786621, -0.0007367134094238281, -0.0007048249244689941, -0.0006729364395141602, -0.0006410479545593262, -0.0006091594696044922, -0.0005772709846496582, -0.0005453824996948242, -0.0005134940147399902, -0.00048160552978515625, -0.00044971704483032227, -0.0004178285598754883, -0.0003859400749206543, -0.0003540515899658203, -0.00032216310501098633, -0.00029027462005615234, -0.00025838613510131836, -0.00022649765014648438, -0.0001946091651916504, -0.0001627206802368164, -0.00013083219528198242, -9.894371032714844e-05, -6.705522537231445e-05, -3.516674041748047e-05, -3.2782554626464844e-06, 2.86102294921875e-05, 6.0498714447021484e-05, 9.238719940185547e-05, 0.00012427568435668945, 0.00015616416931152344, 0.00018805265426635742, 0.0002199411392211914, 0.0002518296241760254, 0.0002837181091308594, 0.00031560659408569336, 0.00034749507904052734, 0.00037938356399536133, 0.0004112720489501953, 0.0004431605339050293, 0.0004750490188598633, 0.0005069375038146973, 0.0005388259887695312, 0.0005707144737243652, 0.0006026029586791992, 0.0006344914436340332, 0.0006663799285888672, 0.0006982684135437012, 0.0007301568984985352, 0.0007620453834533691, 0.0007939338684082031, 0.0008258223533630371, 0.0008577108383178711, 0.0008895993232727051, 0.0009214878082275391, 0.000953376293182373, 0.000985264778137207, 0.001017153263092041, 0.001049041748046875]}, "gradients/encoder.encoder.layers.17.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 4.0, 37.0, 335.0, 548.0, 83.0, 9.0, 3.0], "bins": [-0.0001468658447265625, -0.00014442205429077148, -0.00014197826385498047, -0.00013953447341918945, -0.00013709068298339844, -0.00013464689254760742, -0.0001322031021118164, -0.0001297593116760254, -0.00012731552124023438, -0.00012487173080444336, -0.00012242794036865234, -0.00011998414993286133, -0.00011754035949707031, -0.0001150965690612793, -0.00011265277862548828, -0.00011020898818969727, -0.00010776519775390625, -0.00010532140731811523, -0.00010287761688232422, -0.0001004338264465332, -9.799003601074219e-05, -9.554624557495117e-05, -9.310245513916016e-05, -9.065866470336914e-05, -8.821487426757812e-05, -8.577108383178711e-05, -8.33272933959961e-05, -8.088350296020508e-05, -7.843971252441406e-05, -7.599592208862305e-05, -7.355213165283203e-05, -7.110834121704102e-05, -6.866455078125e-05, -6.622076034545898e-05, -6.377696990966797e-05, -6.133317947387695e-05, -5.888938903808594e-05, -5.644559860229492e-05, -5.4001808166503906e-05, -5.155801773071289e-05, -4.9114227294921875e-05, -4.667043685913086e-05, -4.4226646423339844e-05, -4.178285598754883e-05, -3.933906555175781e-05, -3.68952751159668e-05, -3.445148468017578e-05, -3.2007694244384766e-05, -2.956390380859375e-05, -2.7120113372802734e-05, -2.467632293701172e-05, -2.2232532501220703e-05, -1.9788742065429688e-05, -1.7344951629638672e-05, -1.4901161193847656e-05, -1.245737075805664e-05, -1.0013580322265625e-05, -7.569789886474609e-06, -5.125999450683594e-06, -2.682209014892578e-06, -2.384185791015625e-07, 2.205371856689453e-06, 4.649162292480469e-06, 7.092952728271484e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.17.attention.v_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 1.0, 2.0, 3.0, 4.0, 1.0, 5.0, 7.0, 4.0, 13.0, 3.0, 7.0, 11.0, 14.0, 20.0, 22.0, 49.0, 75.0, 106.0, 219.0, 317.0, 575.0, 812.0, 1341.0, 2104.0, 3227.0, 5076.0, 7712.0, 11098.0, 15936.0, 32008.0, 915430.0, 16640.0, 11620.0, 8428.0, 5654.0, 3555.0, 2320.0, 1534.0, 980.0, 633.0, 391.0, 238.0, 126.0, 84.0, 43.0, 26.0, 16.0, 13.0, 9.0, 15.0, 9.0, 7.0, 5.0, 2.0, 6.0, 4.0, 5.0, 3.0, 0.0, 3.0, 2.0], "bins": [-0.00017964839935302734, -0.00017422251403331757, -0.0001687966287136078, -0.000163370743393898, -0.00015794485807418823, -0.00015251897275447845, -0.00014709308743476868, -0.0001416672021150589, -0.00013624131679534912, -0.00013081543147563934, -0.00012538954615592957, -0.00011996366083621979, -0.00011453777551651001, -0.00010911189019680023, -0.00010368600487709045, -9.826011955738068e-05, -9.28342342376709e-05, -8.740834891796112e-05, -8.198246359825134e-05, -7.655657827854156e-05, -7.113069295883179e-05, -6.570480763912201e-05, -6.027892231941223e-05, -5.4853036999702454e-05, -4.9427151679992676e-05, -4.40012663602829e-05, -3.857538104057312e-05, -3.314949572086334e-05, -2.7723610401153564e-05, -2.2297725081443787e-05, -1.687183976173401e-05, -1.1445954442024231e-05, -6.020069122314453e-06, -5.941838026046753e-07, 4.8317015171051025e-06, 1.025758683681488e-05, 1.5683472156524658e-05, 2.1109357476234436e-05, 2.6535242795944214e-05, 3.196112811565399e-05, 3.738701343536377e-05, 4.281289875507355e-05, 4.8238784074783325e-05, 5.36646693944931e-05, 5.909055471420288e-05, 6.451644003391266e-05, 6.994232535362244e-05, 7.536821067333221e-05, 8.079409599304199e-05, 8.621998131275177e-05, 9.164586663246155e-05, 9.707175195217133e-05, 0.0001024976372718811, 0.00010792352259159088, 0.00011334940791130066, 0.00011877529323101044, 0.00012420117855072021, 0.00012962706387043, 0.00013505294919013977, 0.00014047883450984955, 0.00014590471982955933, 0.0001513306051492691, 0.00015675649046897888, 0.00016218237578868866, 0.00016760826110839844]}, "gradients/encoder.encoder.layers.17.attention.v_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 1.0, 2.0, 1.0, 4.0, 0.0, 3.0, 3.0, 0.0, 10.0, 1.0, 2.0, 1.0, 1.0, 1.0, 3.0, 2.0, 2.0, 2.0, 4.0, 3.0, 2.0, 1.0, 1.0, 3.0, 3.0, 3.0, 5.0, 1.0, 6.0, 10.0, 851.0, 5.0, 5.0, 0.0, 4.0, 2.0, 0.0, 2.0, 1.0, 2.0, 7.0, 5.0, 1.0, 0.0, 2.0, 8.0, 4.0, 4.0, 6.0, 4.0, 5.0, 6.0, 2.0, 1.0, 2.0, 2.0, 4.0, 2.0, 0.0, 1.0, 2.0], "bins": [-0.0001068115234375, -0.00010358262807130814, -0.00010035373270511627, -9.712483733892441e-05, -9.389594197273254e-05, -9.066704660654068e-05, -8.743815124034882e-05, -8.420925587415695e-05, -8.098036050796509e-05, -7.775146514177322e-05, -7.452256977558136e-05, -7.12936744093895e-05, -6.806477904319763e-05, -6.483588367700577e-05, -6.16069883108139e-05, -5.837809294462204e-05, -5.5149197578430176e-05, -5.192030221223831e-05, -4.869140684604645e-05, -4.5462511479854584e-05, -4.223361611366272e-05, -3.9004720747470856e-05, -3.577582538127899e-05, -3.254693001508713e-05, -2.9318034648895264e-05, -2.60891392827034e-05, -2.2860243916511536e-05, -1.963134855031967e-05, -1.6402453184127808e-05, -1.3173557817935944e-05, -9.94466245174408e-06, -6.7157670855522156e-06, -3.4868717193603516e-06, -2.5797635316848755e-07, 2.9709190130233765e-06, 6.1998143792152405e-06, 9.428709745407104e-06, 1.2657605111598969e-05, 1.5886500477790833e-05, 1.9115395843982697e-05, 2.234429121017456e-05, 2.5573186576366425e-05, 2.880208194255829e-05, 3.203097730875015e-05, 3.5259872674942017e-05, 3.848876804113388e-05, 4.1717663407325745e-05, 4.494655877351761e-05, 4.817545413970947e-05, 5.140434950590134e-05, 5.46332448720932e-05, 5.7862140238285065e-05, 6.109103560447693e-05, 6.431993097066879e-05, 6.754882633686066e-05, 7.077772170305252e-05, 7.400661706924438e-05, 7.723551243543625e-05, 8.046440780162811e-05, 8.369330316781998e-05, 8.692219853401184e-05, 9.01510939002037e-05, 9.337998926639557e-05, 9.660888463258743e-05, 9.98377799987793e-05]}, "gradients/encoder.encoder.layers.17.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 4.0, 3.0, 4.0, 7.0, 9.0, 20.0, 21.0, 45.0, 40.0, 82.0, 153.0, 216.0, 117.0, 77.0, 55.0, 40.0, 30.0, 20.0, 12.0, 13.0, 8.0, 11.0, 4.0, 4.0, 4.0, 4.0, 2.0, 5.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.000885140965692699, -0.000860086060129106, -0.000835031212773174, -0.0008099763072095811, -0.0007849214016459882, -0.0007598665542900562, -0.0007348116487264633, -0.0007097567431628704, -0.0006847018375992775, -0.0006596469320356846, -0.0006345920846797526, -0.0006095371791161597, -0.0005844822735525668, -0.0005594274261966348, -0.0005343725206330419, -0.000509317615069449, -0.0004842627386096865, -0.00045920786214992404, -0.00043415295658633113, -0.0004090980801265687, -0.00038404317456297576, -0.0003589882981032133, -0.0003339333925396204, -0.00030887851607985795, -0.0002838236396200955, -0.00025876876316033304, -0.00023371385759674013, -0.00020865898113697767, -0.00018360407557338476, -0.0001585491991136223, -0.00013349430810194463, -0.00010843941709026694, -8.338451152667403e-05, -5.832962051499635e-05, -3.3274733141297475e-05, -8.2198457675986e-06, 1.6835045244079083e-05, 4.188992897979915e-05, 6.694481999147683e-05, 9.199971100315452e-05, 0.0001170546020148322, 0.00014210949302650988, 0.00016716438403818756, 0.00019221927504986525, 0.0002172741515096277, 0.00024232904252130538, 0.00026738393353298306, 0.000292438839096576, 0.00031749371555633843, 0.0003425485920161009, 0.0003676034975796938, 0.00039265837403945625, 0.00041771327960304916, 0.0004427681560628116, 0.0004678230616264045, 0.0004928779089823365, 0.0005179328145459294, 0.0005429877201095223, 0.0005680425674654543, 0.0005930974730290473, 0.0006181523785926402, 0.0006432072259485722, 0.0006682621315121651, 0.000693317037075758, 0.0007183719426393509]}, "gradients/encoder.encoder.layers.17.layer_norm.bias": {"_type": "histogram", "values": [1.0, 3.0, 1.0, 3.0, 2.0, 2.0, 8.0, 5.0, 11.0, 11.0, 18.0, 28.0, 31.0, 36.0, 43.0, 48.0, 57.0, 71.0, 67.0, 68.0, 64.0, 79.0, 64.0, 55.0, 57.0, 38.0, 39.0, 18.0, 30.0, 17.0, 17.0, 5.0, 9.0, 4.0, 3.0, 4.0, 2.0, 3.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00037723779678344727, -0.00035807956010103226, -0.00033892132341861725, -0.00031976308673620224, -0.00030060485005378723, -0.0002814466133713722, -0.0002622883766889572, -0.0002431301400065422, -0.0002239719033241272, -0.0002048136666417122, -0.00018565542995929718, -0.00016649719327688217, -0.00014733895659446716, -0.00012818071991205215, -0.00010902248322963715, -8.986424654722214e-05, -7.070600986480713e-05, -5.154777318239212e-05, -3.238953649997711e-05, -1.3231299817562103e-05, 5.926936864852905e-06, 2.5085173547267914e-05, 4.424341022968292e-05, 6.340164691209793e-05, 8.255988359451294e-05, 0.00010171812027692795, 0.00012087635695934296, 0.00014003459364175797, 0.00015919283032417297, 0.00017835106700658798, 0.000197509303689003, 0.000216667540371418, 0.000235825777053833, 0.000254984013736248, 0.000274142250418663, 0.00029330048710107803, 0.00031245872378349304, 0.00033161696046590805, 0.00035077519714832306, 0.00036993343383073807, 0.0003890916705131531, 0.0004082499071955681, 0.0004274081438779831, 0.0004465663805603981, 0.0004657246172428131, 0.0004848828539252281, 0.0005040410906076431, 0.0005231993272900581, 0.0005423575639724731, 0.0005615158006548882, 0.0005806740373373032, 0.0005998322740197182, 0.0006189905107021332, 0.0006381487473845482, 0.0006573069840669632, 0.0006764652207493782, 0.0006956234574317932, 0.0007147816941142082, 0.0007339399307966232, 0.0007530981674790382, 0.0007722564041614532, 0.0007914146408438683, 0.0008105728775262833, 0.0008297311142086983, 0.0008488893508911133]}, "gradients/encoder.encoder.layers.16.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 1.0, 4.0, 9.0, 14.0, 23.0, 17.0, 28.0, 42.0, 55.0, 119.0, 9911.0, 4183917.0, 138.0, 12.0, 3.0], "bins": [-0.00678253173828125, -0.006669677793979645, -0.0065568238496780396, -0.006443969905376434, -0.006331115961074829, -0.006218262016773224, -0.006105408072471619, -0.005992554128170013, -0.005879700183868408, -0.005766846239566803, -0.005653992295265198, -0.0055411383509635925, -0.005428284406661987, -0.005315430462360382, -0.005202576518058777, -0.005089722573757172, -0.004976868629455566, -0.004864014685153961, -0.004751160740852356, -0.004638306796550751, -0.0045254528522491455, -0.00441259890794754, -0.004299744963645935, -0.00418689101934433, -0.004074037075042725, -0.003961183130741119, -0.003848329186439514, -0.003735475242137909, -0.0036226212978363037, -0.0035097673535346985, -0.0033969134092330933, -0.003284059464931488, -0.003171205520629883, -0.0030583515763282776, -0.0029454976320266724, -0.002832643687725067, -0.002719789743423462, -0.0026069357991218567, -0.0024940818548202515, -0.0023812279105186462, -0.002268373966217041, -0.002155520021915436, -0.0020426660776138306, -0.0019298121333122253, -0.0018169581890106201, -0.001704104244709015, -0.0015912503004074097, -0.0014783963561058044, -0.0013655424118041992, -0.001252688467502594, -0.0011398345232009888, -0.0010269805788993835, -0.0009141266345977783, -0.0008012726902961731, -0.0006884187459945679, -0.0005755648016929626, -0.0004627108573913574, -0.0003498569130897522, -0.00023700296878814697, -0.00012414902448654175, -1.1295080184936523e-05, 0.0001015588641166687, 0.00021441280841827393, 0.00032726675271987915, 0.0004401206970214844]}, "gradients/encoder.encoder.layers.16.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 4.0, 37.0, 335.0, 548.0, 83.0, 9.0, 3.0], "bins": [-0.0001468658447265625, -0.00014442205429077148, -0.00014197826385498047, -0.00013953447341918945, -0.00013709068298339844, -0.00013464689254760742, -0.0001322031021118164, -0.0001297593116760254, -0.00012731552124023438, -0.00012487173080444336, -0.00012242794036865234, -0.00011998414993286133, -0.00011754035949707031, -0.0001150965690612793, -0.00011265277862548828, -0.00011020898818969727, -0.00010776519775390625, -0.00010532140731811523, -0.00010287761688232422, -0.0001004338264465332, -9.799003601074219e-05, -9.554624557495117e-05, -9.310245513916016e-05, -9.065866470336914e-05, -8.821487426757812e-05, -8.577108383178711e-05, -8.33272933959961e-05, -8.088350296020508e-05, -7.843971252441406e-05, -7.599592208862305e-05, -7.355213165283203e-05, -7.110834121704102e-05, -6.866455078125e-05, -6.622076034545898e-05, -6.377696990966797e-05, -6.133317947387695e-05, -5.888938903808594e-05, -5.644559860229492e-05, -5.4001808166503906e-05, -5.155801773071289e-05, -4.9114227294921875e-05, -4.667043685913086e-05, -4.4226646423339844e-05, -4.178285598754883e-05, -3.933906555175781e-05, -3.68952751159668e-05, -3.445148468017578e-05, -3.2007694244384766e-05, -2.956390380859375e-05, -2.7120113372802734e-05, -2.467632293701172e-05, -2.2232532501220703e-05, -1.9788742065429688e-05, -1.7344951629638672e-05, -1.4901161193847656e-05, -1.245737075805664e-05, -1.0013580322265625e-05, -7.569789886474609e-06, -5.125999450683594e-06, -2.682209014892578e-06, -2.384185791015625e-07, 2.205371856689453e-06, 4.649162292480469e-06, 7.092952728271484e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.16.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 2.0, 2.0, 1.0, 2.0, 1.0, 2.0, 4.0, 9.0, 15.0, 26.0, 38.0, 67.0, 113.0, 193.0, 286.0, 514.0, 862.0, 1604.0, 2974.0, 5825.0, 11584.0, 25377.0, 77699.0, 3950378.0, 67750.0, 23780.0, 11461.0, 5952.0, 3267.0, 1871.0, 1077.0, 632.0, 370.0, 212.0, 120.0, 84.0, 53.0, 18.0, 21.0, 17.0, 9.0, 11.0, 3.0, 5.0, 1.0, 2.0, 4.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.00020194053649902344, -0.00019508786499500275, -0.00018823519349098206, -0.00018138252198696136, -0.00017452985048294067, -0.00016767717897891998, -0.0001608245074748993, -0.0001539718359708786, -0.0001471191644668579, -0.00014026649296283722, -0.00013341382145881653, -0.00012656114995479584, -0.00011970847845077515, -0.00011285580694675446, -0.00010600313544273376, -9.915046393871307e-05, -9.229779243469238e-05, -8.544512093067169e-05, -7.8592449426651e-05, -7.173977792263031e-05, -6.488710641860962e-05, -5.803443491458893e-05, -5.118176341056824e-05, -4.4329091906547546e-05, -3.7476420402526855e-05, -3.0623748898506165e-05, -2.3771077394485474e-05, -1.6918405890464783e-05, -1.0065734386444092e-05, -3.213062882423401e-06, 3.63960862159729e-06, 1.0492280125617981e-05, 1.7344951629638672e-05, 2.4197623133659363e-05, 3.1050294637680054e-05, 3.7902966141700745e-05, 4.4755637645721436e-05, 5.1608309149742126e-05, 5.846098065376282e-05, 6.531365215778351e-05, 7.21663236618042e-05, 7.901899516582489e-05, 8.587166666984558e-05, 9.272433817386627e-05, 9.957700967788696e-05, 0.00010642968118190765, 0.00011328235268592834, 0.00012013502418994904, 0.00012698769569396973, 0.00013384036719799042, 0.0001406930387020111, 0.0001475457102060318, 0.0001543983817100525, 0.00016125105321407318, 0.00016810372471809387, 0.00017495639622211456, 0.00018180906772613525, 0.00018866173923015594, 0.00019551441073417664, 0.00020236708223819733, 0.00020921975374221802, 0.0002160724252462387, 0.0002229250967502594, 0.0002297777682542801, 0.00023663043975830078]}, "gradients/encoder.encoder.layers.16.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 2.0, 0.0, 2.0, 1.0, 0.0, 2.0, 1.0, 3.0, 3.0, 6.0, 8.0, 8.0, 6.0, 9.0, 11.0, 14.0, 13.0, 33.0, 51.0, 136.0, 3419.0, 130.0, 37.0, 28.0, 21.0, 16.0, 17.0, 15.0, 12.0, 9.0, 10.0, 11.0, 7.0, 9.0, 3.0, 5.0, 8.0, 7.0, 2.0, 3.0, 2.0, 1.0, 2.0, 3.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-5.5789947509765625e-05, -5.389843136072159e-05, -5.200691521167755e-05, -5.0115399062633514e-05, -4.822388291358948e-05, -4.633236676454544e-05, -4.4440850615501404e-05, -4.254933446645737e-05, -4.065781831741333e-05, -3.876630216836929e-05, -3.6874786019325256e-05, -3.498326987028122e-05, -3.309175372123718e-05, -3.1200237572193146e-05, -2.930872142314911e-05, -2.7417205274105072e-05, -2.5525689125061035e-05, -2.3634172976016998e-05, -2.174265682697296e-05, -1.9851140677928925e-05, -1.7959624528884888e-05, -1.606810837984085e-05, -1.4176592230796814e-05, -1.2285076081752777e-05, -1.039355993270874e-05, -8.502043783664703e-06, -6.6105276346206665e-06, -4.71901148557663e-06, -2.8274953365325928e-06, -9.359791874885559e-07, 9.55536961555481e-07, 2.847053110599518e-06, 4.738569259643555e-06, 6.6300854086875916e-06, 8.521601557731628e-06, 1.0413117706775665e-05, 1.2304633855819702e-05, 1.4196150004863739e-05, 1.6087666153907776e-05, 1.7979182302951813e-05, 1.987069845199585e-05, 2.1762214601039886e-05, 2.3653730750083923e-05, 2.554524689912796e-05, 2.7436763048171997e-05, 2.9328279197216034e-05, 3.121979534626007e-05, 3.311131149530411e-05, 3.5002827644348145e-05, 3.689434379339218e-05, 3.878585994243622e-05, 4.0677376091480255e-05, 4.256889224052429e-05, 4.446040838956833e-05, 4.6351924538612366e-05, 4.82434406876564e-05, 5.013495683670044e-05, 5.2026472985744476e-05, 5.391798913478851e-05, 5.580950528383255e-05, 5.770102143287659e-05, 5.9592537581920624e-05, 6.148405373096466e-05, 6.33755698800087e-05, 6.526708602905273e-05]}, "gradients/encoder.encoder.layers.16.final_layer_norm.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 3.0, 1.0, 2.0, 1.0, 4.0, 3.0, 9.0, 10.0, 14.0, 11.0, 28.0, 40.0, 52.0, 85.0, 230.0, 143.0, 83.0, 77.0, 52.0, 37.0, 25.0, 17.0, 18.0, 16.0, 9.0, 4.0, 13.0, 4.0, 4.0, 3.0, 2.0, 3.0, 3.0, 2.0, 2.0, 1.0, 0.0, 0.0, 2.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.00035732201649807394, -0.0003434424288570881, -0.00032956284121610224, -0.0003156832535751164, -0.0003018036368303001, -0.0002879240782931447, -0.0002740444615483284, -0.00026016487390734255, -0.0002462852862663567, -0.00023240569862537086, -0.00021852611098438501, -0.00020464650879148394, -0.0001907669211504981, -0.00017688733350951225, -0.00016300773131661117, -0.00014912814367562532, -0.00013524855603463948, -0.00012136896839365363, -0.00010748937347671017, -9.360977855976671e-05, -7.973019091878086e-05, -6.585060327779502e-05, -5.1971008360851556e-05, -3.8091413443908095e-05, -2.421182580292225e-05, -1.0332234523957595e-05, 3.5473567550070584e-06, 1.7426948033971712e-05, 3.1306539312936366e-05, 4.518612695392221e-05, 5.906572187086567e-05, 7.294531678780913e-05, 8.682487532496452e-05, 0.00010070446296595037, 0.00011458405788289383, 0.0001284636527998373, 0.00014234324044082314, 0.00015622282808180898, 0.00017010243027471006, 0.0001839820179156959, 0.00019786160555668175, 0.0002117411931976676, 0.00022562078083865345, 0.00023950038303155452, 0.0002533799852244556, 0.000267259543761611, 0.0002811391605064273, 0.00029501874814741313, 0.000308898335788399, 0.00032277792342938483, 0.0003366575110703707, 0.0003505370987113565, 0.00036441668635234237, 0.00037829630309715867, 0.0003921758907381445, 0.00040605547837913036, 0.0004199350660201162, 0.00043381465366110206, 0.0004476942413020879, 0.00046157382894307375, 0.00047545344568789005, 0.0004893330042250454, 0.0005032126209698617, 0.0005170921795070171, 0.0005309717962518334]}, "gradients/encoder.encoder.layers.16.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 2.0, 7.0, 7.0, 10.0, 2.0, 6.0, 10.0, 13.0, 12.0, 14.0, 26.0, 27.0, 36.0, 27.0, 42.0, 43.0, 40.0, 51.0, 52.0, 47.0, 52.0, 55.0, 44.0, 50.0, 47.0, 39.0, 40.0, 30.0, 30.0, 32.0, 18.0, 22.0, 16.0, 14.0, 16.0, 5.0, 7.0, 3.0, 8.0, 4.0, 4.0, 4.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0002511143684387207, -0.00024292990565299988, -0.00023474544286727905, -0.00022656098008155823, -0.0002183765172958374, -0.00021019205451011658, -0.00020200759172439575, -0.00019382312893867493, -0.0001856386661529541, -0.00017745420336723328, -0.00016926974058151245, -0.00016108527779579163, -0.0001529008150100708, -0.00014471635222434998, -0.00013653188943862915, -0.00012834742665290833, -0.0001201629638671875, -0.00011197850108146667, -0.00010379403829574585, -9.560957551002502e-05, -8.74251127243042e-05, -7.924064993858337e-05, -7.105618715286255e-05, -6.287172436714172e-05, -5.46872615814209e-05, -4.650279879570007e-05, -3.831833600997925e-05, -3.0133873224258423e-05, -2.1949410438537598e-05, -1.3764947652816772e-05, -5.580484867095947e-06, 2.603977918624878e-06, 1.0788440704345703e-05, 1.897290349006653e-05, 2.7157366275787354e-05, 3.534182906150818e-05, 4.3526291847229004e-05, 5.171075463294983e-05, 5.9895217418670654e-05, 6.807968020439148e-05, 7.62641429901123e-05, 8.444860577583313e-05, 9.263306856155396e-05, 0.00010081753134727478, 0.0001090019941329956, 0.00011718645691871643, 0.00012537091970443726, 0.00013355538249015808, 0.0001417398452758789, 0.00014992430806159973, 0.00015810877084732056, 0.00016629323363304138, 0.0001744776964187622, 0.00018266215920448303, 0.00019084662199020386, 0.00019903108477592468, 0.0002072155475616455, 0.00021540001034736633, 0.00022358447313308716, 0.00023176893591880798, 0.0002399533987045288, 0.00024813786149024963, 0.00025632232427597046, 0.0002645067870616913, 0.0002726912498474121]}, "gradients/encoder.encoder.layers.16.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 3.0, 0.0, 0.0, 1.0, 2.0, 5.0, 2.0, 3.0, 2.0, 7.0, 1.0, 12.0, 7.0, 10.0, 6.0, 15.0, 12.0, 17.0, 20.0, 23.0, 21.0, 33.0, 24.0, 34.0, 31.0, 38.0, 36.0, 51.0, 122.0, 1923.0, 1024100.0, 21276.0, 314.0, 49.0, 37.0, 27.0, 32.0, 32.0, 34.0, 21.0, 22.0, 22.0, 20.0, 21.0, 14.0, 11.0, 12.0, 18.0, 15.0, 6.0, 3.0, 8.0, 3.0, 4.0, 2.0, 5.0, 2.0, 1.0, 0.0, 2.0], "bins": [-0.0010528564453125, -0.0010225176811218262, -0.0009921789169311523, -0.0009618401527404785, -0.0009315013885498047, -0.0009011626243591309, -0.000870823860168457, -0.0008404850959777832, -0.0008101463317871094, -0.0007798075675964355, -0.0007494688034057617, -0.0007191300392150879, -0.0006887912750244141, -0.0006584525108337402, -0.0006281137466430664, -0.0005977749824523926, -0.0005674362182617188, -0.0005370974540710449, -0.0005067586898803711, -0.00047641992568969727, -0.00044608116149902344, -0.0004157423973083496, -0.0003854036331176758, -0.00035506486892700195, -0.0003247261047363281, -0.0002943873405456543, -0.00026404857635498047, -0.00023370981216430664, -0.0002033710479736328, -0.00017303228378295898, -0.00014269351959228516, -0.00011235475540161133, -8.20159912109375e-05, -5.167722702026367e-05, -2.1338462829589844e-05, 9.000301361083984e-06, 3.933906555175781e-05, 6.967782974243164e-05, 0.00010001659393310547, 0.0001303553581237793, 0.00016069412231445312, 0.00019103288650512695, 0.00022137165069580078, 0.0002517104148864746, 0.00028204917907714844, 0.00031238794326782227, 0.0003427267074584961, 0.0003730654716491699, 0.00040340423583984375, 0.0004337430000305176, 0.0004640817642211914, 0.0004944205284118652, 0.0005247592926025391, 0.0005550980567932129, 0.0005854368209838867, 0.0006157755851745605, 0.0006461143493652344, 0.0006764531135559082, 0.000706791877746582, 0.0007371306419372559, 0.0007674694061279297, 0.0007978081703186035, 0.0008281469345092773, 0.0008584856986999512, 0.000888824462890625]}, "gradients/encoder.encoder.layers.16.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 4.0, 47.0, 364.0, 511.0, 82.0, 8.0, 3.0], "bins": [-0.00014519691467285156, -0.00014277920126914978, -0.000140361487865448, -0.00013794377446174622, -0.00013552606105804443, -0.00013310834765434265, -0.00013069063425064087, -0.0001282729208469391, -0.0001258552074432373, -0.00012343749403953552, -0.00012101978063583374, -0.00011860206723213196, -0.00011618435382843018, -0.0001137666404247284, -0.00011134892702102661, -0.00010893121361732483, -0.00010651350021362305, -0.00010409578680992126, -0.00010167807340621948, -9.92603600025177e-05, -9.684264659881592e-05, -9.442493319511414e-05, -9.200721979141235e-05, -8.958950638771057e-05, -8.717179298400879e-05, -8.475407958030701e-05, -8.233636617660522e-05, -7.991865277290344e-05, -7.750093936920166e-05, -7.508322596549988e-05, -7.26655125617981e-05, -7.024779915809631e-05, -6.783008575439453e-05, -6.541237235069275e-05, -6.299465894699097e-05, -6.0576945543289185e-05, -5.81592321395874e-05, -5.574151873588562e-05, -5.332380533218384e-05, -5.0906091928482056e-05, -4.8488378524780273e-05, -4.607066512107849e-05, -4.365295171737671e-05, -4.123523831367493e-05, -3.8817524909973145e-05, -3.639981150627136e-05, -3.398209810256958e-05, -3.15643846988678e-05, -2.9146671295166016e-05, -2.6728957891464233e-05, -2.431124448776245e-05, -2.189353108406067e-05, -1.9475817680358887e-05, -1.7058104276657104e-05, -1.4640390872955322e-05, -1.222267746925354e-05, -9.804964065551758e-06, -7.387250661849976e-06, -4.969537258148193e-06, -2.551823854446411e-06, -1.341104507446289e-07, 2.2836029529571533e-06, 4.7013163566589355e-06, 7.119029760360718e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.16.attention.v_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 3.0, 2.0, 1.0, 3.0, 4.0, 4.0, 10.0, 10.0, 14.0, 15.0, 18.0, 19.0, 22.0, 44.0, 59.0, 84.0, 114.0, 192.0, 331.0, 548.0, 873.0, 1372.0, 2248.0, 3280.0, 5125.0, 7791.0, 11889.0, 16986.0, 26849.0, 895176.0, 25954.0, 16537.0, 11534.0, 7785.0, 4962.0, 3176.0, 2105.0, 1254.0, 823.0, 484.0, 297.0, 176.0, 94.0, 80.0, 54.0, 35.0, 26.0, 27.0, 14.0, 15.0, 12.0, 13.0, 9.0, 4.0, 6.0, 4.0, 2.0, 1.0, 3.0, 2.0], "bins": [-0.00017189979553222656, -0.00016676262021064758, -0.0001616254448890686, -0.00015648826956748962, -0.00015135109424591064, -0.00014621391892433167, -0.00014107674360275269, -0.0001359395682811737, -0.00013080239295959473, -0.00012566521763801575, -0.00012052804231643677, -0.00011539086699485779, -0.00011025369167327881, -0.00010511651635169983, -9.997934103012085e-05, -9.484216570854187e-05, -8.970499038696289e-05, -8.456781506538391e-05, -7.943063974380493e-05, -7.429346442222595e-05, -6.915628910064697e-05, -6.401911377906799e-05, -5.8881938457489014e-05, -5.3744763135910034e-05, -4.8607587814331055e-05, -4.3470412492752075e-05, -3.8333237171173096e-05, -3.3196061849594116e-05, -2.8058886528015137e-05, -2.2921711206436157e-05, -1.7784535884857178e-05, -1.2647360563278198e-05, -7.510185241699219e-06, -2.3730099201202393e-06, 2.7641654014587402e-06, 7.90134072303772e-06, 1.30385160446167e-05, 1.817569136619568e-05, 2.3312866687774658e-05, 2.8450042009353638e-05, 3.358721733093262e-05, 3.87243926525116e-05, 4.3861567974090576e-05, 4.8998743295669556e-05, 5.4135918617248535e-05, 5.9273093938827515e-05, 6.44102692604065e-05, 6.954744458198547e-05, 7.468461990356445e-05, 7.982179522514343e-05, 8.495897054672241e-05, 9.009614586830139e-05, 9.523332118988037e-05, 0.00010037049651145935, 0.00010550767183303833, 0.00011064484715461731, 0.00011578202247619629, 0.00012091919779777527, 0.00012605637311935425, 0.00013119354844093323, 0.0001363307237625122, 0.0001414678990840912, 0.00014660507440567017, 0.00015174224972724915, 0.00015687942504882812]}, "gradients/encoder.encoder.layers.16.attention.v_proj.bias": {"_type": "histogram", "values": [2.0, 2.0, 1.0, 2.0, 2.0, 3.0, 0.0, 4.0, 4.0, 6.0, 8.0, 4.0, 7.0, 5.0, 4.0, 10.0, 1.0, 3.0, 3.0, 3.0, 5.0, 2.0, 2.0, 3.0, 3.0, 4.0, 5.0, 4.0, 3.0, 7.0, 822.0, 9.0, 1.0, 3.0, 4.0, 3.0, 1.0, 2.0, 1.0, 5.0, 3.0, 4.0, 4.0, 1.0, 2.0, 3.0, 6.0, 0.0, 3.0, 5.0, 5.0, 6.0, 4.0, 2.0, 2.0, 1.0, 2.0, 1.0, 2.0, 3.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.00010311603546142578, -9.973905980587006e-05, -9.636208415031433e-05, -9.29851084947586e-05, -8.960813283920288e-05, -8.623115718364716e-05, -8.285418152809143e-05, -7.94772058725357e-05, -7.610023021697998e-05, -7.272325456142426e-05, -6.934627890586853e-05, -6.59693032503128e-05, -6.259232759475708e-05, -5.9215351939201355e-05, -5.583837628364563e-05, -5.2461400628089905e-05, -4.908442497253418e-05, -4.5707449316978455e-05, -4.233047366142273e-05, -3.8953498005867004e-05, -3.557652235031128e-05, -3.2199546694755554e-05, -2.882257103919983e-05, -2.5445595383644104e-05, -2.206861972808838e-05, -1.8691644072532654e-05, -1.531466841697693e-05, -1.1937692761421204e-05, -8.560717105865479e-06, -5.183741450309753e-06, -1.8067657947540283e-06, 1.5702098608016968e-06, 4.947185516357422e-06, 8.324161171913147e-06, 1.1701136827468872e-05, 1.5078112483024597e-05, 1.8455088138580322e-05, 2.1832063794136047e-05, 2.5209039449691772e-05, 2.8586015105247498e-05, 3.196299076080322e-05, 3.533996641635895e-05, 3.871694207191467e-05, 4.20939177274704e-05, 4.547089338302612e-05, 4.884786903858185e-05, 5.222484469413757e-05, 5.56018203496933e-05, 5.8978796005249023e-05, 6.235577166080475e-05, 6.573274731636047e-05, 6.91097229719162e-05, 7.248669862747192e-05, 7.586367428302765e-05, 7.924064993858337e-05, 8.26176255941391e-05, 8.599460124969482e-05, 8.937157690525055e-05, 9.274855256080627e-05, 9.6125528216362e-05, 9.950250387191772e-05, 0.00010287947952747345, 0.00010625645518302917, 0.0001096334308385849, 0.00011301040649414062]}, "gradients/encoder.encoder.layers.16.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 3.0, 1.0, 3.0, 2.0, 9.0, 4.0, 7.0, 7.0, 9.0, 7.0, 7.0, 14.0, 24.0, 23.0, 34.0, 54.0, 74.0, 94.0, 235.0, 107.0, 69.0, 62.0, 33.0, 34.0, 20.0, 20.0, 17.0, 11.0, 5.0, 9.0, 8.0, 2.0, 1.0, 2.0, 1.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0], "bins": [-0.0009428668417967856, -0.0009176761377602816, -0.0008924854919314384, -0.0008672947878949344, -0.0008421040838584304, -0.0008169134380295873, -0.0007917227339930832, -0.0007665320299565792, -0.0007413413841277361, -0.0007161506800912321, -0.0006909600342623889, -0.0006657693302258849, -0.0006405786261893809, -0.0006153879221528769, -0.0005901972763240337, -0.0005650065722875297, -0.0005398158682510257, -0.0005146251642145216, -0.0004894345183856785, -0.0004642438143491745, -0.00043905311031267047, -0.0004138624353799969, -0.0003886717604473233, -0.0003634810564108193, -0.0003382903814781457, -0.00031309970654547215, -0.0002879090025089681, -0.00026271832757629454, -0.00023752763809170574, -0.00021233694860711694, -0.00018714627367444336, -0.00016195558418985456, -0.00013676483649760485, -0.00011157414701301605, -8.638346480438486e-05, -6.119278259575367e-05, -3.600209311116487e-05, -1.0811403626576066e-05, 1.4379271306097507e-05, 3.956996079068631e-05, 6.476065027527511e-05, 8.995133975986391e-05, 0.0001151420219684951, 0.0001403327041771263, 0.0001655233936617151, 0.0001907140831463039, 0.00021590475807897747, 0.00024109544756356627, 0.00026628613704815507, 0.00029147681198082864, 0.0003166675160173327, 0.00034185819095000625, 0.0003670488949865103, 0.00039223956991918385, 0.0004174302448518574, 0.00044262094888836145, 0.00046781162382103503, 0.0004930022987537086, 0.0005181930027902126, 0.0005433836486190557, 0.0005685743526555598, 0.0005937650566920638, 0.0006189557025209069, 0.000644146406557411, 0.000669337110593915]}, "gradients/encoder.encoder.layers.16.layer_norm.bias": {"_type": "histogram", "values": [2.0, 2.0, 1.0, 3.0, 2.0, 1.0, 6.0, 10.0, 12.0, 16.0, 26.0, 38.0, 40.0, 35.0, 63.0, 51.0, 53.0, 66.0, 92.0, 70.0, 57.0, 82.0, 68.0, 50.0, 44.0, 43.0, 22.0, 24.0, 11.0, 13.0, 7.0, 8.0, 1.0, 0.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0004526376724243164, -0.0004287026822566986, -0.0004047676920890808, -0.000380832701921463, -0.0003568977117538452, -0.0003329627215862274, -0.0003090277314186096, -0.0002850927412509918, -0.000261157751083374, -0.00023722276091575623, -0.00021328777074813843, -0.00018935278058052063, -0.00016541779041290283, -0.00014148280024528503, -0.00011754781007766724, -9.361281991004944e-05, -6.967782974243164e-05, -4.574283957481384e-05, -2.1807849407196045e-05, 2.127140760421753e-06, 2.606213092803955e-05, 4.999712109565735e-05, 7.393211126327515e-05, 9.786710143089294e-05, 0.00012180209159851074, 0.00014573708176612854, 0.00016967207193374634, 0.00019360706210136414, 0.00021754205226898193, 0.00024147704243659973, 0.00026541203260421753, 0.00028934702277183533, 0.0003132820129394531, 0.0003372170031070709, 0.0003611519932746887, 0.0003850869834423065, 0.0004090219736099243, 0.0004329569637775421, 0.0004568919539451599, 0.0004808269441127777, 0.0005047619342803955, 0.0005286969244480133, 0.0005526319146156311, 0.0005765669047832489, 0.0006005018949508667, 0.0006244368851184845, 0.0006483718752861023, 0.0006723068654537201, 0.0006962418556213379, 0.0007201768457889557, 0.0007441118359565735, 0.0007680468261241913, 0.0007919818162918091, 0.0008159168064594269, 0.0008398517966270447, 0.0008637867867946625, 0.0008877217769622803, 0.0009116567671298981, 0.0009355917572975159, 0.0009595267474651337, 0.0009834617376327515, 0.0010073967278003693, 0.001031331717967987, 0.0010552667081356049, 0.0010792016983032227]}, "gradients/encoder.encoder.layers.15.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 2.0, 2.0, 2.0, 4.0, 6.0, 7.0, 6.0, 11.0, 15.0, 21.0, 23.0, 30.0, 33.0, 28.0, 48.0, 184.0, 42034.0, 4151664.0, 161.0, 12.0, 4.0], "bins": [-0.0034046173095703125, -0.0033479202538728714, -0.0032912231981754303, -0.003234526142477989, -0.003177829086780548, -0.003121132031083107, -0.003064434975385666, -0.003007737919688225, -0.0029510408639907837, -0.0028943438082933426, -0.0028376467525959015, -0.0027809496968984604, -0.0027242526412010193, -0.002667555585503578, -0.002610858529806137, -0.002554161474108696, -0.002497464418411255, -0.0024407673627138138, -0.0023840703070163727, -0.0023273732513189316, -0.0022706761956214905, -0.0022139791399240494, -0.0021572820842266083, -0.002100585028529167, -0.002043887972831726, -0.001987190917134285, -0.0019304938614368439, -0.0018737968057394028, -0.0018170997500419617, -0.0017604026943445206, -0.0017037056386470795, -0.0016470085829496384, -0.0015903115272521973, -0.0015336144715547562, -0.001476917415857315, -0.001420220360159874, -0.0013635233044624329, -0.0013068262487649918, -0.0012501291930675507, -0.0011934321373701096, -0.0011367350816726685, -0.0010800380259752274, -0.0010233409702777863, -0.0009666439145803452, -0.000909946858882904, -0.000853249803185463, -0.0007965527474880219, -0.0007398556917905807, -0.0006831586360931396, -0.0006264615803956985, -0.0005697645246982574, -0.0005130674690008163, -0.00045637041330337524, -0.00039967335760593414, -0.00034297630190849304, -0.00028627924621105194, -0.00022958219051361084, -0.00017288513481616974, -0.00011618807911872864, -5.949102342128754e-05, -2.7939677238464355e-06, 5.3903087973594666e-05, 0.00011060014367103577, 0.00016729719936847687, 0.00022399425506591797]}, "gradients/encoder.encoder.layers.15.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 4.0, 47.0, 364.0, 511.0, 82.0, 8.0, 3.0], "bins": [-0.00014519691467285156, -0.00014277920126914978, -0.000140361487865448, -0.00013794377446174622, -0.00013552606105804443, -0.00013310834765434265, -0.00013069063425064087, -0.0001282729208469391, -0.0001258552074432373, -0.00012343749403953552, -0.00012101978063583374, -0.00011860206723213196, -0.00011618435382843018, -0.0001137666404247284, -0.00011134892702102661, -0.00010893121361732483, -0.00010651350021362305, -0.00010409578680992126, -0.00010167807340621948, -9.92603600025177e-05, -9.684264659881592e-05, -9.442493319511414e-05, -9.200721979141235e-05, -8.958950638771057e-05, -8.717179298400879e-05, -8.475407958030701e-05, -8.233636617660522e-05, -7.991865277290344e-05, -7.750093936920166e-05, -7.508322596549988e-05, -7.26655125617981e-05, -7.024779915809631e-05, -6.783008575439453e-05, -6.541237235069275e-05, -6.299465894699097e-05, -6.0576945543289185e-05, -5.81592321395874e-05, -5.574151873588562e-05, -5.332380533218384e-05, -5.0906091928482056e-05, -4.8488378524780273e-05, -4.607066512107849e-05, -4.365295171737671e-05, -4.123523831367493e-05, -3.8817524909973145e-05, -3.639981150627136e-05, -3.398209810256958e-05, -3.15643846988678e-05, -2.9146671295166016e-05, -2.6728957891464233e-05, -2.431124448776245e-05, -2.189353108406067e-05, -1.9475817680358887e-05, -1.7058104276657104e-05, -1.4640390872955322e-05, -1.222267746925354e-05, -9.804964065551758e-06, -7.387250661849976e-06, -4.969537258148193e-06, -2.551823854446411e-06, -1.341104507446289e-07, 2.2836029529571533e-06, 4.7013163566589355e-06, 7.119029760360718e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.15.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 4.0, 3.0, 8.0, 16.0, 9.0, 21.0, 31.0, 49.0, 73.0, 132.0, 215.0, 370.0, 714.0, 1380.0, 3006.0, 6124.0, 14107.0, 37656.0, 3700585.0, 368807.0, 35803.0, 13473.0, 5776.0, 2842.0, 1406.0, 775.0, 376.0, 193.0, 104.0, 77.0, 54.0, 25.0, 29.0, 16.0, 12.0, 9.0, 5.0, 5.0, 3.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00019609928131103516, -0.00018933042883872986, -0.00018256157636642456, -0.00017579272389411926, -0.00016902387142181396, -0.00016225501894950867, -0.00015548616647720337, -0.00014871731400489807, -0.00014194846153259277, -0.00013517960906028748, -0.00012841075658798218, -0.00012164190411567688, -0.00011487305164337158, -0.00010810419917106628, -0.00010133534669876099, -9.456649422645569e-05, -8.779764175415039e-05, -8.102878928184509e-05, -7.42599368095398e-05, -6.74910843372345e-05, -6.07222318649292e-05, -5.39533793926239e-05, -4.7184526920318604e-05, -4.0415674448013306e-05, -3.364682197570801e-05, -2.687796950340271e-05, -2.0109117031097412e-05, -1.3340264558792114e-05, -6.571412086486816e-06, 1.9744038581848145e-07, 6.966292858123779e-06, 1.3735145330429077e-05, 2.0503997802734375e-05, 2.7272850275039673e-05, 3.404170274734497e-05, 4.081055521965027e-05, 4.7579407691955566e-05, 5.4348260164260864e-05, 6.111711263656616e-05, 6.788596510887146e-05, 7.465481758117676e-05, 8.142367005348206e-05, 8.819252252578735e-05, 9.496137499809265e-05, 0.00010173022747039795, 0.00010849907994270325, 0.00011526793241500854, 0.00012203678488731384, 0.00012880563735961914, 0.00013557448983192444, 0.00014234334230422974, 0.00014911219477653503, 0.00015588104724884033, 0.00016264989972114563, 0.00016941875219345093, 0.00017618760466575623, 0.00018295645713806152, 0.00018972530961036682, 0.00019649416208267212, 0.00020326301455497742, 0.00021003186702728271, 0.000216800719499588, 0.0002235695719718933, 0.0002303384244441986, 0.0002371072769165039]}, "gradients/encoder.encoder.layers.15.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 0.0, 5.0, 2.0, 3.0, 1.0, 3.0, 3.0, 15.0, 12.0, 8.0, 11.0, 14.0, 29.0, 16.0, 23.0, 79.0, 3290.0, 337.0, 73.0, 30.0, 27.0, 22.0, 13.0, 15.0, 12.0, 6.0, 7.0, 4.0, 3.0, 7.0, 5.0, 6.0, 3.0, 2.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-6.908178329467773e-05, -6.669759750366211e-05, -6.431341171264648e-05, -6.192922592163086e-05, -5.9545040130615234e-05, -5.716085433959961e-05, -5.4776668548583984e-05, -5.239248275756836e-05, -5.0008296966552734e-05, -4.762411117553711e-05, -4.5239925384521484e-05, -4.285573959350586e-05, -4.0471553802490234e-05, -3.808736801147461e-05, -3.5703182220458984e-05, -3.331899642944336e-05, -3.0934810638427734e-05, -2.855062484741211e-05, -2.6166439056396484e-05, -2.378225326538086e-05, -2.1398067474365234e-05, -1.901388168334961e-05, -1.6629695892333984e-05, -1.424551010131836e-05, -1.1861324310302734e-05, -9.47713851928711e-06, -7.092952728271484e-06, -4.708766937255859e-06, -2.3245811462402344e-06, 5.960464477539063e-08, 2.4437904357910156e-06, 4.827976226806641e-06, 7.212162017822266e-06, 9.59634780883789e-06, 1.1980533599853516e-05, 1.436471939086914e-05, 1.6748905181884766e-05, 1.913309097290039e-05, 2.1517276763916016e-05, 2.390146255493164e-05, 2.6285648345947266e-05, 2.866983413696289e-05, 3.1054019927978516e-05, 3.343820571899414e-05, 3.5822391510009766e-05, 3.820657730102539e-05, 4.0590763092041016e-05, 4.297494888305664e-05, 4.5359134674072266e-05, 4.774332046508789e-05, 5.0127506256103516e-05, 5.251169204711914e-05, 5.4895877838134766e-05, 5.728006362915039e-05, 5.9664249420166016e-05, 6.204843521118164e-05, 6.443262100219727e-05, 6.681680679321289e-05, 6.920099258422852e-05, 7.158517837524414e-05, 7.396936416625977e-05, 7.635354995727539e-05, 7.873773574829102e-05, 8.112192153930664e-05, 8.350610733032227e-05]}, "gradients/encoder.encoder.layers.15.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 2.0, 3.0, 4.0, 9.0, 6.0, 10.0, 23.0, 26.0, 31.0, 49.0, 51.0, 133.0, 247.0, 135.0, 79.0, 45.0, 42.0, 30.0, 26.0, 14.0, 8.0, 6.0, 7.0, 6.0, 4.0, 6.0, 2.0, 6.0, 1.0, 0.0, 1.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.00036246958188712597, -0.00035198344266973436, -0.0003414972743485123, -0.0003310111351311207, -0.00032052499591372907, -0.00031003885669633746, -0.0002995526883751154, -0.0002890665491577238, -0.0002785804099403322, -0.00026809427072294056, -0.0002576081024017185, -0.0002471219631843269, -0.00023663582396693528, -0.00022614967019762844, -0.0002156635164283216, -0.00020517737721093, -0.00019469122344162315, -0.0001842050696723163, -0.0001737189304549247, -0.00016323277668561786, -0.00015274663746822625, -0.00014226048369891942, -0.0001317743444815278, -0.00012128819071222097, -0.00011080204421887174, -0.00010031589772552252, -8.98297512321733e-05, -7.934360473882407e-05, -6.885745096951723e-05, -5.8371308114146814e-05, -4.788515798281878e-05, -3.739901148946956e-05, -2.6912864996120334e-05, -1.642671850277111e-05, -5.9405701904324815e-06, 4.545578121906146e-06, 1.503172461525537e-05, 2.5517871108604595e-05, 3.6004021239932626e-05, 4.649016773328185e-05, 5.6976314226631075e-05, 6.74624607199803e-05, 7.794860721332952e-05, 8.843475370667875e-05, 9.892090747598559e-05, 0.0001094070466933772, 0.00011989320046268404, 0.00013037933968007565, 0.00014086549344938248, 0.00015135164721868932, 0.00016183778643608093, 0.00017232394020538777, 0.00018281007942277938, 0.00019329623319208622, 0.00020378237240947783, 0.00021426852617878467, 0.0002247546799480915, 0.00023524083371739835, 0.0002457269874867052, 0.0002562131267040968, 0.0002666992659214884, 0.00027718540513888, 0.0002876715734601021, 0.0002981577126774937, 0.0003086438518948853]}, "gradients/encoder.encoder.layers.15.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 3.0, 2.0, 4.0, 3.0, 4.0, 4.0, 12.0, 7.0, 17.0, 32.0, 22.0, 20.0, 29.0, 42.0, 52.0, 44.0, 53.0, 67.0, 69.0, 69.0, 64.0, 69.0, 50.0, 45.0, 46.0, 33.0, 31.0, 30.0, 12.0, 17.0, 17.0, 12.0, 14.0, 10.0, 4.0, 4.0, 4.0, 5.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00015544891357421875, -0.00014858320355415344, -0.00014171749353408813, -0.00013485178351402283, -0.00012798607349395752, -0.00012112036347389221, -0.0001142546534538269, -0.0001073889434337616, -0.00010052323341369629, -9.365752339363098e-05, -8.679181337356567e-05, -7.992610335350037e-05, -7.306039333343506e-05, -6.619468331336975e-05, -5.932897329330444e-05, -5.2463263273239136e-05, -4.559755325317383e-05, -3.873184323310852e-05, -3.186613321304321e-05, -2.5000423192977905e-05, -1.8134713172912598e-05, -1.126900315284729e-05, -4.403293132781982e-06, 2.462416887283325e-06, 9.328126907348633e-06, 1.619383692741394e-05, 2.3059546947479248e-05, 2.9925256967544556e-05, 3.679096698760986e-05, 4.365667700767517e-05, 5.052238702774048e-05, 5.7388097047805786e-05, 6.42538070678711e-05, 7.11195170879364e-05, 7.798522710800171e-05, 8.485093712806702e-05, 9.171664714813232e-05, 9.858235716819763e-05, 0.00010544806718826294, 0.00011231377720832825, 0.00011917948722839355, 0.00012604519724845886, 0.00013291090726852417, 0.00013977661728858948, 0.00014664232730865479, 0.0001535080373287201, 0.0001603737473487854, 0.0001672394573688507, 0.00017410516738891602, 0.00018097087740898132, 0.00018783658742904663, 0.00019470229744911194, 0.00020156800746917725, 0.00020843371748924255, 0.00021529942750930786, 0.00022216513752937317, 0.00022903084754943848, 0.00023589655756950378, 0.0002427622675895691, 0.0002496279776096344, 0.0002564936876296997, 0.000263359397649765, 0.0002702251076698303, 0.00027709081768989563, 0.00028395652770996094]}, "gradients/encoder.encoder.layers.15.attention.out_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 1.0, 0.0, 4.0, 3.0, 3.0, 6.0, 6.0, 10.0, 17.0, 13.0, 13.0, 15.0, 21.0, 29.0, 19.0, 26.0, 34.0, 30.0, 39.0, 42.0, 44.0, 64.0, 479.0, 289381.0, 757268.0, 542.0, 73.0, 37.0, 32.0, 44.0, 30.0, 42.0, 27.0, 27.0, 29.0, 23.0, 17.0, 20.0, 13.0, 8.0, 9.0, 5.0, 3.0, 6.0, 4.0, 2.0, 3.0, 2.0, 1.0, 3.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.000736236572265625, -0.0007089972496032715, -0.000681757926940918, -0.0006545186042785645, -0.0006272792816162109, -0.0006000399589538574, -0.0005728006362915039, -0.0005455613136291504, -0.0005183219909667969, -0.0004910826683044434, -0.00046384334564208984, -0.00043660402297973633, -0.0004093647003173828, -0.0003821253776550293, -0.0003548860549926758, -0.00032764673233032227, -0.00030040740966796875, -0.00027316808700561523, -0.0002459287643432617, -0.0002186894416809082, -0.0001914501190185547, -0.00016421079635620117, -0.00013697147369384766, -0.00010973215103149414, -8.249282836914062e-05, -5.525350570678711e-05, -2.8014183044433594e-05, -7.748603820800781e-07, 2.6464462280273438e-05, 5.370378494262695e-05, 8.094310760498047e-05, 0.00010818243026733398, 0.0001354217529296875, 0.00016266107559204102, 0.00018990039825439453, 0.00021713972091674805, 0.00024437904357910156, 0.0002716183662414551, 0.0002988576889038086, 0.0003260970115661621, 0.0003533363342285156, 0.00038057565689086914, 0.00040781497955322266, 0.00043505430221557617, 0.0004622936248779297, 0.0004895329475402832, 0.0005167722702026367, 0.0005440115928649902, 0.0005712509155273438, 0.0005984902381896973, 0.0006257295608520508, 0.0006529688835144043, 0.0006802082061767578, 0.0007074475288391113, 0.0007346868515014648, 0.0007619261741638184, 0.0007891654968261719, 0.0008164048194885254, 0.0008436441421508789, 0.0008708834648132324, 0.0008981227874755859, 0.0009253621101379395, 0.000952601432800293, 0.0009798407554626465, 0.001007080078125]}, "gradients/encoder.encoder.layers.15.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 8.0, 59.0, 431.0, 439.0, 71.0, 8.0, 3.0], "bins": [-0.00014281272888183594, -0.00014043226838111877, -0.0001380518078804016, -0.00013567134737968445, -0.00013329088687896729, -0.00013091042637825012, -0.00012852996587753296, -0.0001261495053768158, -0.00012376904487609863, -0.00012138858437538147, -0.0001190081238746643, -0.00011662766337394714, -0.00011424720287322998, -0.00011186674237251282, -0.00010948628187179565, -0.00010710582137107849, -0.00010472536087036133, -0.00010234490036964417, -9.9964439868927e-05, -9.758397936820984e-05, -9.520351886749268e-05, -9.282305836677551e-05, -9.044259786605835e-05, -8.806213736534119e-05, -8.568167686462402e-05, -8.330121636390686e-05, -8.09207558631897e-05, -7.854029536247253e-05, -7.615983486175537e-05, -7.377937436103821e-05, -7.139891386032104e-05, -6.901845335960388e-05, -6.663799285888672e-05, -6.425753235816956e-05, -6.187707185745239e-05, -5.949661135673523e-05, -5.7116150856018066e-05, -5.47356903553009e-05, -5.235522985458374e-05, -4.997476935386658e-05, -4.7594308853149414e-05, -4.521384835243225e-05, -4.283338785171509e-05, -4.0452927350997925e-05, -3.807246685028076e-05, -3.56920063495636e-05, -3.3311545848846436e-05, -3.093108534812927e-05, -2.855062484741211e-05, -2.6170164346694946e-05, -2.3789703845977783e-05, -2.140924334526062e-05, -1.9028782844543457e-05, -1.6648322343826294e-05, -1.4267861843109131e-05, -1.1887401342391968e-05, -9.506940841674805e-06, -7.126480340957642e-06, -4.7460198402404785e-06, -2.3655593395233154e-06, 1.4901161193847656e-08, 2.3953616619110107e-06, 4.775822162628174e-06, 7.156282663345337e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.15.attention.v_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 6.0, 4.0, 7.0, 0.0, 5.0, 7.0, 15.0, 21.0, 14.0, 21.0, 36.0, 69.0, 67.0, 108.0, 196.0, 242.0, 405.0, 673.0, 1077.0, 1518.0, 2374.0, 3352.0, 4733.0, 7139.0, 10130.0, 14456.0, 23327.0, 906333.0, 23918.0, 15185.0, 10423.0, 7292.0, 4991.0, 3533.0, 2348.0, 1538.0, 1073.0, 685.0, 440.0, 254.0, 184.0, 116.0, 61.0, 60.0, 31.0, 26.0, 19.0, 14.0, 13.0, 9.0, 5.0, 5.0, 5.0, 3.0, 6.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00013899803161621094, -0.00013444572687149048, -0.00012989342212677002, -0.00012534111738204956, -0.0001207888126373291, -0.00011623650789260864, -0.00011168420314788818, -0.00010713189840316772, -0.00010257959365844727, -9.80272889137268e-05, -9.347498416900635e-05, -8.892267942428589e-05, -8.437037467956543e-05, -7.981806993484497e-05, -7.526576519012451e-05, -7.071346044540405e-05, -6.61611557006836e-05, -6.160885095596313e-05, -5.7056546211242676e-05, -5.250424146652222e-05, -4.795193672180176e-05, -4.33996319770813e-05, -3.884732723236084e-05, -3.429502248764038e-05, -2.9742717742919922e-05, -2.5190412998199463e-05, -2.0638108253479004e-05, -1.6085803508758545e-05, -1.1533498764038086e-05, -6.981194019317627e-06, -2.428889274597168e-06, 2.123415470123291e-06, 6.67572021484375e-06, 1.1228024959564209e-05, 1.5780329704284668e-05, 2.0332634449005127e-05, 2.4884939193725586e-05, 2.9437243938446045e-05, 3.3989548683166504e-05, 3.854185342788696e-05, 4.309415817260742e-05, 4.764646291732788e-05, 5.219876766204834e-05, 5.67510724067688e-05, 6.130337715148926e-05, 6.585568189620972e-05, 7.040798664093018e-05, 7.496029138565063e-05, 7.95125961303711e-05, 8.406490087509155e-05, 8.861720561981201e-05, 9.316951036453247e-05, 9.772181510925293e-05, 0.00010227411985397339, 0.00010682642459869385, 0.0001113787293434143, 0.00011593103408813477, 0.00012048333883285522, 0.00012503564357757568, 0.00012958794832229614, 0.0001341402530670166, 0.00013869255781173706, 0.00014324486255645752, 0.00014779716730117798, 0.00015234947204589844]}, "gradients/encoder.encoder.layers.15.attention.v_proj.bias": {"_type": "histogram", "values": [7.0, 2.0, 1.0, 0.0, 3.0, 2.0, 3.0, 7.0, 3.0, 6.0, 5.0, 5.0, 3.0, 1.0, 0.0, 1.0, 1.0, 3.0, 5.0, 3.0, 5.0, 0.0, 1.0, 3.0, 2.0, 4.0, 7.0, 6.0, 832.0, 12.0, 5.0, 4.0, 3.0, 2.0, 2.0, 2.0, 8.0, 4.0, 3.0, 6.0, 1.0, 3.0, 3.0, 4.0, 3.0, 5.0, 4.0, 6.0, 6.0, 1.0, 1.0, 2.0, 3.0, 0.0, 0.0, 2.0, 0.0, 5.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00010412931442260742, -0.00010050926357507706, -9.688921272754669e-05, -9.326916188001633e-05, -8.964911103248596e-05, -8.60290601849556e-05, -8.240900933742523e-05, -7.878895848989487e-05, -7.51689076423645e-05, -7.154885679483414e-05, -6.792880594730377e-05, -6.430875509977341e-05, -6.068870425224304e-05, -5.706865340471268e-05, -5.344860255718231e-05, -4.982855170965195e-05, -4.620850086212158e-05, -4.258845001459122e-05, -3.896839916706085e-05, -3.534834831953049e-05, -3.172829747200012e-05, -2.8108246624469757e-05, -2.4488195776939392e-05, -2.0868144929409027e-05, -1.7248094081878662e-05, -1.3628043234348297e-05, -1.0007992386817932e-05, -6.387941539287567e-06, -2.767890691757202e-06, 8.521601557731628e-07, 4.472211003303528e-06, 8.092261850833893e-06, 1.1712312698364258e-05, 1.5332363545894623e-05, 1.8952414393424988e-05, 2.2572465240955353e-05, 2.6192516088485718e-05, 2.9812566936016083e-05, 3.343261778354645e-05, 3.705266863107681e-05, 4.067271947860718e-05, 4.429277032613754e-05, 4.791282117366791e-05, 5.153287202119827e-05, 5.515292286872864e-05, 5.8772973716259e-05, 6.239302456378937e-05, 6.601307541131973e-05, 6.96331262588501e-05, 7.325317710638046e-05, 7.687322795391083e-05, 8.049327880144119e-05, 8.411332964897156e-05, 8.773338049650192e-05, 9.135343134403229e-05, 9.497348219156265e-05, 9.859353303909302e-05, 0.00010221358388662338, 0.00010583363473415375, 0.00010945368558168411, 0.00011307373642921448, 0.00011669378727674484, 0.00012031383812427521, 0.00012393388897180557, 0.00012755393981933594]}, "gradients/encoder.encoder.layers.15.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 2.0, 1.0, 1.0, 5.0, 3.0, 4.0, 6.0, 8.0, 5.0, 8.0, 12.0, 25.0, 31.0, 46.0, 76.0, 98.0, 239.0, 136.0, 101.0, 60.0, 45.0, 31.0, 16.0, 18.0, 12.0, 8.0, 7.0, 1.0, 3.0, 3.0, 2.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0006941490573808551, -0.0006660918588750064, -0.0006380346021614969, -0.0006099774036556482, -0.0005819201469421387, -0.00055386294843629, -0.0005258056917227805, -0.0004977484932169318, -0.00046969123650342226, -0.00044163400889374316, -0.00041357678128406405, -0.00038551955367438495, -0.00035746232606470585, -0.0003294051275588572, -0.00030134787084534764, -0.000273290672339499, -0.0002452334447298199, -0.0002171762171201408, -0.0001891189895104617, -0.00016106176190078259, -0.00013300453429110348, -0.00010494732123333961, -7.68900936236605e-05, -4.88328660139814e-05, -2.07756384043023e-05, 7.2815873863874e-06, 3.53388131770771e-05, 6.33960371487774e-05, 9.14532647584565e-05, 0.00011951048509217799, 0.0001475677127018571, 0.0001756249403115362, 0.0002036821679212153, 0.0002317393955308944, 0.0002597966231405735, 0.0002878538507502526, 0.0003159110783599317, 0.00034396827686578035, 0.0003720255335792899, 0.00040008273208513856, 0.0004281399887986481, 0.0004561972164083272, 0.0004842544440180063, 0.000512311642523855, 0.0005403688992373645, 0.0005684260977432132, 0.0005964833544567227, 0.0006245405529625714, 0.00065259775146842, 0.0006806549499742687, 0.0007087122066877782, 0.0007367694051936269, 0.0007648266619071364, 0.0007928838604129851, 0.0008209411171264946, 0.0008489983156323433, 0.0008770555723458529, 0.0009051127708517015, 0.0009331700275652111, 0.0009612272260710597, 0.0009892844827845693, 0.0010173417394980788, 0.0010453988797962666, 0.0010734561365097761, 0.0011015133932232857]}, "gradients/encoder.encoder.layers.15.layer_norm.bias": {"_type": "histogram", "values": [1.0, 2.0, 1.0, 0.0, 1.0, 2.0, 7.0, 4.0, 11.0, 8.0, 9.0, 17.0, 20.0, 31.0, 35.0, 39.0, 27.0, 61.0, 60.0, 55.0, 54.0, 63.0, 69.0, 60.0, 58.0, 51.0, 46.0, 43.0, 37.0, 34.0, 30.0, 26.0, 15.0, 15.0, 3.0, 8.0, 8.0, 6.0, 3.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0004089474678039551, -0.0003905324265360832, -0.00037211738526821136, -0.0003537023440003395, -0.00033528730273246765, -0.0003168722614645958, -0.00029845722019672394, -0.0002800421789288521, -0.0002616271376609802, -0.00024321209639310837, -0.0002247970551252365, -0.00020638201385736465, -0.0001879669725894928, -0.00016955193132162094, -0.00015113689005374908, -0.00013272184878587723, -0.00011430680751800537, -9.589176625013351e-05, -7.747672498226166e-05, -5.90616837143898e-05, -4.0646642446517944e-05, -2.2231601178646088e-05, -3.816559910774231e-06, 1.4598481357097626e-05, 3.301352262496948e-05, 5.142856389284134e-05, 6.98436051607132e-05, 8.825864642858505e-05, 0.00010667368769645691, 0.00012508872896432877, 0.00014350377023220062, 0.00016191881150007248, 0.00018033385276794434, 0.0001987488940358162, 0.00021716393530368805, 0.0002355789765715599, 0.00025399401783943176, 0.0002724090591073036, 0.0002908241003751755, 0.00030923914164304733, 0.0003276541829109192, 0.00034606922417879105, 0.0003644842654466629, 0.00038289930671453476, 0.0004013143479824066, 0.0004197293892502785, 0.00043814443051815033, 0.0004565594717860222, 0.00047497451305389404, 0.0004933895543217659, 0.0005118045955896378, 0.0005302196368575096, 0.0005486346781253815, 0.0005670497193932533, 0.0005854647606611252, 0.000603879801928997, 0.0006222948431968689, 0.0006407098844647408, 0.0006591249257326126, 0.0006775399670004845, 0.0006959550082683563, 0.0007143700495362282, 0.0007327850908041, 0.0007512001320719719, 0.0007696151733398438]}, "gradients/encoder.encoder.layers.14.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 2.0, 2.0, 2.0, 5.0, 1.0, 11.0, 4.0, 16.0, 19.0, 37.0, 116.0, 4106220.0, 87781.0, 73.0, 8.0, 3.0], "bins": [-0.006694793701171875, -0.006583206355571747, -0.006471619009971619, -0.0063600316643714905, -0.006248444318771362, -0.006136856973171234, -0.006025269627571106, -0.005913682281970978, -0.00580209493637085, -0.0056905075907707214, -0.005578920245170593, -0.005467332899570465, -0.005355745553970337, -0.005244158208370209, -0.005132570862770081, -0.005020983517169952, -0.004909396171569824, -0.004797808825969696, -0.004686221480369568, -0.00457463413476944, -0.0044630467891693115, -0.004351459443569183, -0.004239872097969055, -0.004128284752368927, -0.004016697406768799, -0.0039051100611686707, -0.0037935227155685425, -0.0036819353699684143, -0.003570348024368286, -0.003458760678768158, -0.00334717333316803, -0.0032355859875679016, -0.0031239986419677734, -0.0030124112963676453, -0.002900823950767517, -0.002789236605167389, -0.0026776492595672607, -0.0025660619139671326, -0.0024544745683670044, -0.0023428872227668762, -0.002231299877166748, -0.00211971253156662, -0.0020081251859664917, -0.0018965378403663635, -0.0017849504947662354, -0.0016733631491661072, -0.001561775803565979, -0.0014501884579658508, -0.0013386011123657227, -0.0012270137667655945, -0.0011154264211654663, -0.0010038390755653381, -0.00089225172996521, -0.0007806643843650818, -0.0006690770387649536, -0.0005574896931648254, -0.00044590234756469727, -0.0003343150019645691, -0.00022272765636444092, -0.00011114031076431274, 4.470348358154297e-07, 0.0001120343804359436, 0.00022362172603607178, 0.00033520907163619995, 0.0004467964172363281]}, "gradients/encoder.encoder.layers.14.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 8.0, 59.0, 431.0, 439.0, 71.0, 8.0, 3.0], "bins": [-0.00014281272888183594, -0.00014043226838111877, -0.0001380518078804016, -0.00013567134737968445, -0.00013329088687896729, -0.00013091042637825012, -0.00012852996587753296, -0.0001261495053768158, -0.00012376904487609863, -0.00012138858437538147, -0.0001190081238746643, -0.00011662766337394714, -0.00011424720287322998, -0.00011186674237251282, -0.00010948628187179565, -0.00010710582137107849, -0.00010472536087036133, -0.00010234490036964417, -9.9964439868927e-05, -9.758397936820984e-05, -9.520351886749268e-05, -9.282305836677551e-05, -9.044259786605835e-05, -8.806213736534119e-05, -8.568167686462402e-05, -8.330121636390686e-05, -8.09207558631897e-05, -7.854029536247253e-05, -7.615983486175537e-05, -7.377937436103821e-05, -7.139891386032104e-05, -6.901845335960388e-05, -6.663799285888672e-05, -6.425753235816956e-05, -6.187707185745239e-05, -5.949661135673523e-05, -5.7116150856018066e-05, -5.47356903553009e-05, -5.235522985458374e-05, -4.997476935386658e-05, -4.7594308853149414e-05, -4.521384835243225e-05, -4.283338785171509e-05, -4.0452927350997925e-05, -3.807246685028076e-05, -3.56920063495636e-05, -3.3311545848846436e-05, -3.093108534812927e-05, -2.855062484741211e-05, -2.6170164346694946e-05, -2.3789703845977783e-05, -2.140924334526062e-05, -1.9028782844543457e-05, -1.6648322343826294e-05, -1.4267861843109131e-05, -1.1887401342391968e-05, -9.506940841674805e-06, -7.126480340957642e-06, -4.7460198402404785e-06, -2.3655593395233154e-06, 1.4901161193847656e-08, 2.3953616619110107e-06, 4.775822162628174e-06, 7.156282663345337e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.14.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 2.0, 2.0, 2.0, 4.0, 3.0, 3.0, 6.0, 8.0, 9.0, 20.0, 38.0, 65.0, 98.0, 158.0, 213.0, 401.0, 689.0, 1209.0, 2050.0, 3559.0, 6264.0, 11114.0, 23669.0, 239114.0, 3853219.0, 24865.0, 11327.0, 6480.0, 3854.0, 2204.0, 1338.0, 859.0, 516.0, 348.0, 178.0, 132.0, 88.0, 51.0, 33.0, 29.0, 14.0, 18.0, 16.0, 12.0, 7.0, 1.0, 3.0, 3.0, 3.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.0001245737075805664, -0.00011959858238697052, -0.00011462345719337463, -0.00010964833199977875, -0.00010467320680618286, -9.969808161258698e-05, -9.472295641899109e-05, -8.97478312253952e-05, -8.477270603179932e-05, -7.979758083820343e-05, -7.482245564460754e-05, -6.984733045101166e-05, -6.487220525741577e-05, -5.9897080063819885e-05, -5.4921954870224e-05, -4.994682967662811e-05, -4.4971704483032227e-05, -3.999657928943634e-05, -3.5021454095840454e-05, -3.0046328902244568e-05, -2.507120370864868e-05, -2.0096078515052795e-05, -1.512095332145691e-05, -1.0145828127861023e-05, -5.170702934265137e-06, -1.955777406692505e-07, 4.779547452926636e-06, 9.754672646522522e-06, 1.4729797840118408e-05, 1.9704923033714294e-05, 2.468004822731018e-05, 2.9655173420906067e-05, 3.463029861450195e-05, 3.960542380809784e-05, 4.4580549001693726e-05, 4.955567419528961e-05, 5.45307993888855e-05, 5.9505924582481384e-05, 6.448104977607727e-05, 6.945617496967316e-05, 7.443130016326904e-05, 7.940642535686493e-05, 8.438155055046082e-05, 8.93566757440567e-05, 9.433180093765259e-05, 9.930692613124847e-05, 0.00010428205132484436, 0.00010925717651844025, 0.00011423230171203613, 0.00011920742690563202, 0.0001241825520992279, 0.0001291576772928238, 0.00013413280248641968, 0.00013910792768001556, 0.00014408305287361145, 0.00014905817806720734, 0.00015403330326080322, 0.0001590084284543991, 0.000163983553647995, 0.00016895867884159088, 0.00017393380403518677, 0.00017890892922878265, 0.00018388405442237854, 0.00018885917961597443, 0.0001938343048095703]}, "gradients/encoder.encoder.layers.14.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 1.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 3.0, 2.0, 4.0, 3.0, 3.0, 5.0, 1.0, 2.0, 2.0, 6.0, 8.0, 7.0, 16.0, 16.0, 20.0, 72.0, 216.0, 3503.0, 68.0, 24.0, 19.0, 8.0, 5.0, 7.0, 6.0, 5.0, 4.0, 3.0, 7.0, 5.0, 7.0, 3.0, 4.0, 2.0, 1.0, 4.0, 5.0, 4.0, 1.0, 1.0, 2.0, 3.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-3.8623809814453125e-05, -3.7083402276039124e-05, -3.554299473762512e-05, -3.400258719921112e-05, -3.246217966079712e-05, -3.092177212238312e-05, -2.9381364583969116e-05, -2.7840957045555115e-05, -2.6300549507141113e-05, -2.4760141968727112e-05, -2.321973443031311e-05, -2.167932689189911e-05, -2.0138919353485107e-05, -1.8598511815071106e-05, -1.7058104276657104e-05, -1.5517696738243103e-05, -1.3977289199829102e-05, -1.24368816614151e-05, -1.0896474123001099e-05, -9.356066584587097e-06, -7.815659046173096e-06, -6.275251507759094e-06, -4.734843969345093e-06, -3.1944364309310913e-06, -1.6540288925170898e-06, -1.1362135410308838e-07, 1.426786184310913e-06, 2.9671937227249146e-06, 4.507601261138916e-06, 6.0480087995529175e-06, 7.588416337966919e-06, 9.12882387638092e-06, 1.0669231414794922e-05, 1.2209638953208923e-05, 1.3750046491622925e-05, 1.5290454030036926e-05, 1.6830861568450928e-05, 1.837126910686493e-05, 1.991167664527893e-05, 2.1452084183692932e-05, 2.2992491722106934e-05, 2.4532899260520935e-05, 2.6073306798934937e-05, 2.7613714337348938e-05, 2.915412187576294e-05, 3.069452941417694e-05, 3.223493695259094e-05, 3.3775344491004944e-05, 3.5315752029418945e-05, 3.685615956783295e-05, 3.839656710624695e-05, 3.993697464466095e-05, 4.147738218307495e-05, 4.301778972148895e-05, 4.4558197259902954e-05, 4.6098604798316956e-05, 4.763901233673096e-05, 4.917941987514496e-05, 5.071982741355896e-05, 5.226023495197296e-05, 5.380064249038696e-05, 5.5341050028800964e-05, 5.6881457567214966e-05, 5.842186510562897e-05, 5.996227264404297e-05]}, "gradients/encoder.encoder.layers.14.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 2.0, 0.0, 2.0, 2.0, 4.0, 1.0, 4.0, 6.0, 10.0, 12.0, 14.0, 15.0, 19.0, 34.0, 49.0, 79.0, 161.0, 212.0, 108.0, 60.0, 47.0, 41.0, 35.0, 21.0, 17.0, 18.0, 6.0, 7.0, 7.0, 5.0, 3.0, 1.0, 2.0, 2.0, 3.0, 2.0, 2.0, 2.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00015999629977159202, -0.0001520970108686015, -0.00014419772196561098, -0.00013629843306262046, -0.00012839914415962994, -0.00012049985525663942, -0.0001126005663536489, -0.00010470127745065838, -9.680198854766786e-05, -8.890269964467734e-05, -8.100341074168682e-05, -7.31041218386963e-05, -6.520483293570578e-05, -5.730554403271526e-05, -4.940625512972474e-05, -4.150696622673422e-05, -3.36076773237437e-05, -2.570838842075318e-05, -1.780909951776266e-05, -9.909810614772141e-06, -2.010521711781621e-06, 5.888767191208899e-06, 1.3788056094199419e-05, 2.168734499718994e-05, 2.958663390018046e-05, 3.748592280317098e-05, 4.53852117061615e-05, 5.328450060915202e-05, 6.118378951214254e-05, 6.908307841513306e-05, 7.698236731812358e-05, 8.48816562211141e-05, 9.278097422793508e-05, 0.0001006802631309256, 0.00010857955203391612, 0.00011647884093690664, 0.00012437812983989716, 0.00013227741874288768, 0.0001401767076458782, 0.00014807599654886872, 0.00015597528545185924, 0.00016387457435484976, 0.00017177386325784028, 0.0001796731521608308, 0.00018757244106382132, 0.00019547172996681184, 0.00020337101886980236, 0.00021127030777279288, 0.0002191695966757834, 0.00022706888557877392, 0.00023496817448176444, 0.00024286746338475496, 0.0002507667522877455, 0.0002586660557426512, 0.0002665653300937265, 0.0002744646044448018, 0.00028236390789970756, 0.0002902632113546133, 0.0002981624857056886, 0.0003060617600567639, 0.00031396106351166964, 0.0003218603669665754, 0.0003297596413176507, 0.00033765891566872597, 0.0003455582191236317]}, "gradients/encoder.encoder.layers.14.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 2.0, 1.0, 3.0, 6.0, 9.0, 5.0, 7.0, 8.0, 13.0, 16.0, 16.0, 22.0, 30.0, 33.0, 30.0, 37.0, 39.0, 40.0, 51.0, 44.0, 44.0, 44.0, 47.0, 59.0, 47.0, 44.0, 36.0, 29.0, 37.0, 42.0, 27.0, 26.0, 21.0, 26.0, 17.0, 13.0, 9.0, 9.0, 8.0, 5.0, 5.0, 2.0, 2.0, 2.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.00013774633407592773, -0.00013324525207281113, -0.00012874417006969452, -0.0001242430880665779, -0.0001197420060634613, -0.0001152409240603447, -0.00011073984205722809, -0.00010623876005411148, -0.00010173767805099487, -9.723659604787827e-05, -9.273551404476166e-05, -8.823443204164505e-05, -8.373335003852844e-05, -7.923226803541183e-05, -7.473118603229523e-05, -7.023010402917862e-05, -6.572902202606201e-05, -6.12279400229454e-05, -5.6726858019828796e-05, -5.222577601671219e-05, -4.772469401359558e-05, -4.3223612010478973e-05, -3.8722530007362366e-05, -3.422144800424576e-05, -2.972036600112915e-05, -2.5219283998012543e-05, -2.0718201994895935e-05, -1.6217119991779327e-05, -1.171603798866272e-05, -7.214955985546112e-06, -2.7138739824295044e-06, 1.7872080206871033e-06, 6.288290023803711e-06, 1.0789372026920319e-05, 1.5290454030036926e-05, 1.9791536033153534e-05, 2.429261803627014e-05, 2.879370003938675e-05, 3.329478204250336e-05, 3.7795864045619965e-05, 4.229694604873657e-05, 4.679802805185318e-05, 5.129911005496979e-05, 5.5800192058086395e-05, 6.0301274061203e-05, 6.480235606431961e-05, 6.930343806743622e-05, 7.380452007055283e-05, 7.830560207366943e-05, 8.280668407678604e-05, 8.730776607990265e-05, 9.180884808301926e-05, 9.630993008613586e-05, 0.00010081101208925247, 0.00010531209409236908, 0.00010981317609548569, 0.0001143142580986023, 0.0001188153401017189, 0.0001233164221048355, 0.00012781750410795212, 0.00013231858611106873, 0.00013681966811418533, 0.00014132075011730194, 0.00014582183212041855, 0.00015032291412353516]}, "gradients/encoder.encoder.layers.14.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 2.0, 2.0, 0.0, 3.0, 6.0, 1.0, 8.0, 2.0, 13.0, 6.0, 18.0, 16.0, 18.0, 19.0, 20.0, 22.0, 29.0, 21.0, 34.0, 28.0, 36.0, 42.0, 36.0, 58.0, 272.0, 16113.0, 1028747.0, 2459.0, 137.0, 56.0, 37.0, 31.0, 30.0, 32.0, 26.0, 28.0, 22.0, 23.0, 11.0, 17.0, 16.0, 19.0, 10.0, 13.0, 7.0, 5.0, 3.0, 2.0, 6.0, 0.0, 1.0, 3.0, 3.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0], "bins": [-0.0006527900695800781, -0.0006305426359176636, -0.000608295202255249, -0.0005860477685928345, -0.0005638003349304199, -0.0005415529012680054, -0.0005193054676055908, -0.0004970580339431763, -0.0004748106002807617, -0.00045256316661834717, -0.0004303157329559326, -0.00040806829929351807, -0.0003858208656311035, -0.00036357343196868896, -0.0003413259983062744, -0.00031907856464385986, -0.0002968311309814453, -0.00027458369731903076, -0.0002523362636566162, -0.00023008882999420166, -0.0002078413963317871, -0.00018559396266937256, -0.000163346529006958, -0.00014109909534454346, -0.0001188516616821289, -9.660422801971436e-05, -7.43567943572998e-05, -5.2109360694885254e-05, -2.9861927032470703e-05, -7.614493370056152e-06, 1.4632940292358398e-05, 3.688037395477295e-05, 5.91278076171875e-05, 8.137524127960205e-05, 0.0001036226749420166, 0.00012587010860443115, 0.0001481175422668457, 0.00017036497592926025, 0.0001926124095916748, 0.00021485984325408936, 0.0002371072769165039, 0.00025935471057891846, 0.000281602144241333, 0.00030384957790374756, 0.0003260970115661621, 0.00034834444522857666, 0.0003705918788909912, 0.00039283931255340576, 0.0004150867462158203, 0.00043733417987823486, 0.0004595816135406494, 0.00048182904720306396, 0.0005040764808654785, 0.0005263239145278931, 0.0005485713481903076, 0.0005708187818527222, 0.0005930662155151367, 0.0006153136491775513, 0.0006375610828399658, 0.0006598085165023804, 0.0006820559501647949, 0.0007043033838272095, 0.000726550817489624, 0.0007487982511520386, 0.0007710456848144531]}, "gradients/encoder.encoder.layers.14.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 9.0, 67.0, 437.0, 416.0, 76.0, 11.0, 3.0], "bins": [-0.0001418590545654297, -0.00013949349522590637, -0.00013712793588638306, -0.00013476237654685974, -0.00013239681720733643, -0.0001300312578678131, -0.0001276656985282898, -0.00012530013918876648, -0.00012293457984924316, -0.00012056902050971985, -0.00011820346117019653, -0.00011583790183067322, -0.0001134723424911499, -0.00011110678315162659, -0.00010874122381210327, -0.00010637566447257996, -0.00010401010513305664, -0.00010164454579353333, -9.927898645401001e-05, -9.69134271144867e-05, -9.454786777496338e-05, -9.218230843544006e-05, -8.981674909591675e-05, -8.745118975639343e-05, -8.508563041687012e-05, -8.27200710773468e-05, -8.035451173782349e-05, -7.798895239830017e-05, -7.562339305877686e-05, -7.325783371925354e-05, -7.089227437973022e-05, -6.852671504020691e-05, -6.61611557006836e-05, -6.379559636116028e-05, -6.143003702163696e-05, -5.906447768211365e-05, -5.669891834259033e-05, -5.4333359003067017e-05, -5.19677996635437e-05, -4.9602240324020386e-05, -4.723668098449707e-05, -4.4871121644973755e-05, -4.250556230545044e-05, -4.0140002965927124e-05, -3.777444362640381e-05, -3.540888428688049e-05, -3.304332494735718e-05, -3.067776560783386e-05, -2.8312206268310547e-05, -2.594664692878723e-05, -2.3581087589263916e-05, -2.12155282497406e-05, -1.8849968910217285e-05, -1.648440957069397e-05, -1.4118850231170654e-05, -1.1753290891647339e-05, -9.387731552124023e-06, -7.022172212600708e-06, -4.656612873077393e-06, -2.291053533554077e-06, 7.450580596923828e-08, 2.4400651454925537e-06, 4.805624485015869e-06, 7.1711838245391846e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.14.attention.v_proj.weight": {"_type": "histogram", "values": [2.0, 3.0, 5.0, 5.0, 4.0, 2.0, 6.0, 15.0, 15.0, 37.0, 28.0, 43.0, 43.0, 96.0, 137.0, 167.0, 263.0, 381.0, 544.0, 767.0, 1037.0, 1432.0, 1961.0, 2816.0, 3861.0, 5242.0, 7423.0, 10533.0, 16509.0, 41193.0, 898334.0, 17157.0, 11122.0, 7686.0, 5522.0, 4042.0, 2829.0, 2068.0, 1512.0, 1085.0, 775.0, 590.0, 395.0, 275.0, 173.0, 110.0, 102.0, 73.0, 48.0, 27.0, 19.0, 12.0, 11.0, 12.0, 8.0, 8.0, 3.0, 3.0, 1.0, 0.0, 1.0, 1.0, 0.0, 2.0], "bins": [-9.775161743164062e-05, -9.449943900108337e-05, -9.124726057052612e-05, -8.799508213996887e-05, -8.474290370941162e-05, -8.149072527885437e-05, -7.823854684829712e-05, -7.498636841773987e-05, -7.173418998718262e-05, -6.848201155662537e-05, -6.522983312606812e-05, -6.197765469551086e-05, -5.872547626495361e-05, -5.547329783439636e-05, -5.222111940383911e-05, -4.896894097328186e-05, -4.571676254272461e-05, -4.246458411216736e-05, -3.921240568161011e-05, -3.5960227251052856e-05, -3.2708048820495605e-05, -2.9455870389938354e-05, -2.6203691959381104e-05, -2.2951513528823853e-05, -1.96993350982666e-05, -1.644715666770935e-05, -1.31949782371521e-05, -9.942799806594849e-06, -6.690621376037598e-06, -3.4384429454803467e-06, -1.862645149230957e-07, 3.0659139156341553e-06, 6.318092346191406e-06, 9.570270776748657e-06, 1.2822449207305908e-05, 1.607462763786316e-05, 1.932680606842041e-05, 2.257898449897766e-05, 2.5831162929534912e-05, 2.9083341360092163e-05, 3.2335519790649414e-05, 3.5587698221206665e-05, 3.8839876651763916e-05, 4.209205508232117e-05, 4.534423351287842e-05, 4.859641194343567e-05, 5.184859037399292e-05, 5.510076880455017e-05, 5.835294723510742e-05, 6.160512566566467e-05, 6.485730409622192e-05, 6.810948252677917e-05, 7.136166095733643e-05, 7.461383938789368e-05, 7.786601781845093e-05, 8.111819624900818e-05, 8.437037467956543e-05, 8.762255311012268e-05, 9.087473154067993e-05, 9.412690997123718e-05, 9.737908840179443e-05, 0.00010063126683235168, 0.00010388344526290894, 0.00010713562369346619, 0.00011038780212402344]}, "gradients/encoder.encoder.layers.14.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 2.0, 3.0, 0.0, 2.0, 0.0, 2.0, 5.0, 3.0, 6.0, 2.0, 2.0, 2.0, 2.0, 2.0, 3.0, 2.0, 2.0, 6.0, 2.0, 3.0, 1.0, 4.0, 3.0, 3.0, 6.0, 7.0, 8.0, 5.0, 25.0, 823.0, 9.0, 5.0, 3.0, 4.0, 3.0, 4.0, 1.0, 4.0, 1.0, 4.0, 9.0, 1.0, 2.0, 3.0, 1.0, 6.0, 3.0, 3.0, 3.0, 2.0, 2.0, 0.0, 3.0, 2.0, 3.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-9.745359420776367e-05, -9.421352297067642e-05, -9.097345173358917e-05, -8.773338049650192e-05, -8.449330925941467e-05, -8.125323802232742e-05, -7.801316678524017e-05, -7.477309554815292e-05, -7.153302431106567e-05, -6.829295307397842e-05, -6.505288183689117e-05, -6.181281059980392e-05, -5.8572739362716675e-05, -5.5332668125629425e-05, -5.2092596888542175e-05, -4.8852525651454926e-05, -4.5612454414367676e-05, -4.2372383177280426e-05, -3.9132311940193176e-05, -3.5892240703105927e-05, -3.265216946601868e-05, -2.9412098228931427e-05, -2.6172026991844177e-05, -2.2931955754756927e-05, -1.9691884517669678e-05, -1.6451813280582428e-05, -1.3211742043495178e-05, -9.971670806407928e-06, -6.731599569320679e-06, -3.491528332233429e-06, -2.514570951461792e-07, 2.9886141419410706e-06, 6.22868537902832e-06, 9.46875661611557e-06, 1.270882785320282e-05, 1.594889909029007e-05, 1.918897032737732e-05, 2.242904156446457e-05, 2.566911280155182e-05, 2.890918403863907e-05, 3.214925527572632e-05, 3.538932651281357e-05, 3.862939774990082e-05, 4.186946898698807e-05, 4.510954022407532e-05, 4.834961146116257e-05, 5.158968269824982e-05, 5.482975393533707e-05, 5.8069825172424316e-05, 6.130989640951157e-05, 6.454996764659882e-05, 6.779003888368607e-05, 7.103011012077332e-05, 7.427018135786057e-05, 7.751025259494781e-05, 8.075032383203506e-05, 8.399039506912231e-05, 8.723046630620956e-05, 9.047053754329681e-05, 9.371060878038406e-05, 9.695068001747131e-05, 0.00010019075125455856, 0.00010343082249164581, 0.00010667089372873306, 0.00010991096496582031]}, "gradients/encoder.encoder.layers.14.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 3.0, 2.0, 1.0, 5.0, 1.0, 6.0, 4.0, 1.0, 7.0, 7.0, 8.0, 13.0, 12.0, 18.0, 31.0, 54.0, 64.0, 102.0, 157.0, 207.0, 91.0, 57.0, 38.0, 30.0, 25.0, 14.0, 13.0, 12.0, 10.0, 6.0, 7.0, 5.0, 4.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0006260644877329469, -0.000605929468292743, -0.0005857943906448781, -0.0005656593712046742, -0.0005455243517644703, -0.0005253892741166055, -0.0005052542546764016, -0.00048511920613236725, -0.0004649841575883329, -0.00044484910904429853, -0.0004247140896040946, -0.00040457904106006026, -0.0003844439925160259, -0.00036430894397199154, -0.00034417392453178763, -0.00032403887598775327, -0.00030390385654754937, -0.000283768808003515, -0.0002636337885633111, -0.00024349874001927674, -0.00022336369147524238, -0.00020322865748312324, -0.0001830936234910041, -0.00016295857494696975, -0.00014282354095485061, -0.00012268850696273148, -0.00010255345841869712, -8.241842442657799e-05, -6.228338315850124e-05, -4.214834189042449e-05, -2.2013307898305357e-05, -1.8782593542709947e-06, 1.825677463784814e-05, 3.8391815905924886e-05, 5.852685353602283e-05, 7.866189116612077e-05, 9.879693243419752e-05, 0.00011893197370227426, 0.0001390670076943934, 0.00015920205623842776, 0.0001793370902305469, 0.00019947212422266603, 0.0002196071727667004, 0.00023974220675881952, 0.00025987724075093865, 0.000280012289294973, 0.0003001473378390074, 0.0003202823572792113, 0.00034041740582324564, 0.00036055245436728, 0.0003806874738074839, 0.0004008225223515183, 0.00042095757089555264, 0.00044109259033575654, 0.0004612276388797909, 0.00048136268742382526, 0.0005014977068640292, 0.0005216327263042331, 0.0005417678039520979, 0.0005619028233923018, 0.0005820378428325057, 0.0006021729204803705, 0.0006223079399205744, 0.0006424429593607783, 0.0006625780370086432]}, "gradients/encoder.encoder.layers.14.layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 5.0, 7.0, 7.0, 9.0, 11.0, 17.0, 20.0, 23.0, 28.0, 52.0, 46.0, 47.0, 53.0, 65.0, 59.0, 70.0, 69.0, 72.0, 58.0, 72.0, 44.0, 40.0, 39.0, 31.0, 24.0, 8.0, 8.0, 11.0, 12.0, 7.0, 3.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00033926963806152344, -0.0003228038549423218, -0.0003063380718231201, -0.00028987228870391846, -0.0002734065055847168, -0.00025694072246551514, -0.00024047493934631348, -0.00022400915622711182, -0.00020754337310791016, -0.0001910775899887085, -0.00017461180686950684, -0.00015814602375030518, -0.00014168024063110352, -0.00012521445751190186, -0.0001087486743927002, -9.228289127349854e-05, -7.581710815429688e-05, -5.9351325035095215e-05, -4.2885541915893555e-05, -2.6419758796691895e-05, -9.953975677490234e-06, 6.511807441711426e-06, 2.2977590560913086e-05, 3.9443373680114746e-05, 5.5909156799316406e-05, 7.237493991851807e-05, 8.884072303771973e-05, 0.00010530650615692139, 0.00012177228927612305, 0.0001382380723953247, 0.00015470385551452637, 0.00017116963863372803, 0.0001876354217529297, 0.00020410120487213135, 0.000220566987991333, 0.00023703277111053467, 0.00025349855422973633, 0.000269964337348938, 0.00028643012046813965, 0.0003028959035873413, 0.00031936168670654297, 0.00033582746982574463, 0.0003522932529449463, 0.00036875903606414795, 0.0003852248191833496, 0.00040169060230255127, 0.00041815638542175293, 0.0004346221685409546, 0.00045108795166015625, 0.0004675537347793579, 0.00048401951789855957, 0.0005004853010177612, 0.0005169510841369629, 0.0005334168672561646, 0.0005498826503753662, 0.0005663484334945679, 0.0005828142166137695, 0.0005992799997329712, 0.0006157457828521729, 0.0006322115659713745, 0.0006486773490905762, 0.0006651431322097778, 0.0006816089153289795, 0.0006980746984481812, 0.0007145404815673828]}, "gradients/encoder.encoder.layers.13.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 4.0, 2.0, 0.0, 5.0, 3.0, 3.0, 3.0, 2.0, 6.0, 7.0, 6.0, 6.0, 9.0, 9.0, 14.0, 15.0, 20.0, 46.0, 277.0, 4141289.0, 52327.0, 219.0, 19.0, 4.0], "bins": [-0.002727508544921875, -0.002682030200958252, -0.002636551856994629, -0.002591073513031006, -0.002545595169067383, -0.0025001168251037598, -0.0024546384811401367, -0.0024091601371765137, -0.0023636817932128906, -0.0023182034492492676, -0.0022727251052856445, -0.0022272467613220215, -0.0021817684173583984, -0.0021362900733947754, -0.0020908117294311523, -0.0020453333854675293, -0.0019998550415039062, -0.001954376697540283, -0.0019088983535766602, -0.0018634200096130371, -0.001817941665649414, -0.001772463321685791, -0.001726984977722168, -0.001681506633758545, -0.0016360282897949219, -0.0015905499458312988, -0.0015450716018676758, -0.0014995932579040527, -0.0014541149139404297, -0.0014086365699768066, -0.0013631582260131836, -0.0013176798820495605, -0.0012722015380859375, -0.0012267231941223145, -0.0011812448501586914, -0.0011357665061950684, -0.0010902881622314453, -0.0010448098182678223, -0.0009993314743041992, -0.0009538531303405762, -0.0009083747863769531, -0.0008628964424133301, -0.000817418098449707, -0.000771939754486084, -0.0007264614105224609, -0.0006809830665588379, -0.0006355047225952148, -0.0005900263786315918, -0.0005445480346679688, -0.0004990696907043457, -0.00045359134674072266, -0.0004081130027770996, -0.00036263465881347656, -0.0003171563148498535, -0.00027167797088623047, -0.00022619962692260742, -0.00018072128295898438, -0.00013524293899536133, -8.976459503173828e-05, -4.4286251068115234e-05, 1.1920928955078125e-06, 4.667043685913086e-05, 9.21487808227539e-05, 0.00013762712478637695, 0.00018310546875]}, "gradients/encoder.encoder.layers.13.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 9.0, 67.0, 437.0, 416.0, 76.0, 11.0, 3.0], "bins": [-0.0001418590545654297, -0.00013949349522590637, -0.00013712793588638306, -0.00013476237654685974, -0.00013239681720733643, -0.0001300312578678131, -0.0001276656985282898, -0.00012530013918876648, -0.00012293457984924316, -0.00012056902050971985, -0.00011820346117019653, -0.00011583790183067322, -0.0001134723424911499, -0.00011110678315162659, -0.00010874122381210327, -0.00010637566447257996, -0.00010401010513305664, -0.00010164454579353333, -9.927898645401001e-05, -9.69134271144867e-05, -9.454786777496338e-05, -9.218230843544006e-05, -8.981674909591675e-05, -8.745118975639343e-05, -8.508563041687012e-05, -8.27200710773468e-05, -8.035451173782349e-05, -7.798895239830017e-05, -7.562339305877686e-05, -7.325783371925354e-05, -7.089227437973022e-05, -6.852671504020691e-05, -6.61611557006836e-05, -6.379559636116028e-05, -6.143003702163696e-05, -5.906447768211365e-05, -5.669891834259033e-05, -5.4333359003067017e-05, -5.19677996635437e-05, -4.9602240324020386e-05, -4.723668098449707e-05, -4.4871121644973755e-05, -4.250556230545044e-05, -4.0140002965927124e-05, -3.777444362640381e-05, -3.540888428688049e-05, -3.304332494735718e-05, -3.067776560783386e-05, -2.8312206268310547e-05, -2.594664692878723e-05, -2.3581087589263916e-05, -2.12155282497406e-05, -1.8849968910217285e-05, -1.648440957069397e-05, -1.4118850231170654e-05, -1.1753290891647339e-05, -9.387731552124023e-06, -7.022172212600708e-06, -4.656612873077393e-06, -2.291053533554077e-06, 7.450580596923828e-08, 2.4400651454925537e-06, 4.805624485015869e-06, 7.1711838245391846e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.13.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 4.0, 4.0, 5.0, 9.0, 13.0, 12.0, 27.0, 41.0, 50.0, 58.0, 98.0, 129.0, 207.0, 287.0, 376.0, 588.0, 891.0, 1327.0, 2129.0, 3290.0, 5535.0, 10083.0, 22020.0, 108362.0, 3974855.0, 32767.0, 12896.0, 6837.0, 3991.0, 2471.0, 1608.0, 1086.0, 696.0, 496.0, 284.0, 244.0, 143.0, 95.0, 80.0, 54.0, 47.0, 29.0, 22.0, 14.0, 12.0, 10.0, 7.0, 2.0, 3.0, 4.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.00012969970703125, -0.00012554042041301727, -0.00012138113379478455, -0.00011722184717655182, -0.00011306256055831909, -0.00010890327394008636, -0.00010474398732185364, -0.00010058470070362091, -9.642541408538818e-05, -9.226612746715546e-05, -8.810684084892273e-05, -8.394755423069e-05, -7.978826761245728e-05, -7.562898099422455e-05, -7.146969437599182e-05, -6.73104077577591e-05, -6.315112113952637e-05, -5.899183452129364e-05, -5.483254790306091e-05, -5.0673261284828186e-05, -4.651397466659546e-05, -4.235468804836273e-05, -3.8195401430130005e-05, -3.403611481189728e-05, -2.987682819366455e-05, -2.5717541575431824e-05, -2.1558254957199097e-05, -1.739896833896637e-05, -1.3239681720733643e-05, -9.080395102500916e-06, -4.9211084842681885e-06, -7.618218660354614e-07, 3.3974647521972656e-06, 7.556751370429993e-06, 1.171603798866272e-05, 1.5875324606895447e-05, 2.0034611225128174e-05, 2.41938978433609e-05, 2.8353184461593628e-05, 3.2512471079826355e-05, 3.667175769805908e-05, 4.083104431629181e-05, 4.4990330934524536e-05, 4.914961755275726e-05, 5.330890417098999e-05, 5.746819078922272e-05, 6.162747740745544e-05, 6.578676402568817e-05, 6.99460506439209e-05, 7.410533726215363e-05, 7.826462388038635e-05, 8.242391049861908e-05, 8.65831971168518e-05, 9.074248373508453e-05, 9.490177035331726e-05, 9.906105697154999e-05, 0.00010322034358978271, 0.00010737963020801544, 0.00011153891682624817, 0.0001156982034444809, 0.00011985749006271362, 0.00012401677668094635, 0.00012817606329917908, 0.0001323353499174118, 0.00013649463653564453]}, "gradients/encoder.encoder.layers.13.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 2.0, 3.0, 1.0, 1.0, 3.0, 1.0, 1.0, 5.0, 2.0, 6.0, 3.0, 3.0, 9.0, 7.0, 11.0, 20.0, 17.0, 45.0, 152.0, 3624.0, 61.0, 20.0, 17.0, 14.0, 11.0, 5.0, 7.0, 3.0, 5.0, 4.0, 5.0, 4.0, 1.0, 2.0, 4.0, 4.0, 2.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-5.060434341430664e-05, -4.898104816675186e-05, -4.735775291919708e-05, -4.5734457671642303e-05, -4.4111162424087524e-05, -4.2487867176532745e-05, -4.0864571928977966e-05, -3.924127668142319e-05, -3.761798143386841e-05, -3.599468618631363e-05, -3.437139093875885e-05, -3.274809569120407e-05, -3.112480044364929e-05, -2.9501505196094513e-05, -2.7878209948539734e-05, -2.6254914700984955e-05, -2.4631619453430176e-05, -2.3008324205875397e-05, -2.1385028958320618e-05, -1.976173371076584e-05, -1.813843846321106e-05, -1.651514321565628e-05, -1.4891847968101501e-05, -1.3268552720546722e-05, -1.1645257472991943e-05, -1.0021962225437164e-05, -8.398666977882385e-06, -6.775371730327606e-06, -5.152076482772827e-06, -3.528781235218048e-06, -1.905485987663269e-06, -2.8219074010849e-07, 1.341104507446289e-06, 2.964399755001068e-06, 4.587695002555847e-06, 6.210990250110626e-06, 7.834285497665405e-06, 9.457580745220184e-06, 1.1080875992774963e-05, 1.2704171240329742e-05, 1.4327466487884521e-05, 1.59507617354393e-05, 1.757405698299408e-05, 1.919735223054886e-05, 2.0820647478103638e-05, 2.2443942725658417e-05, 2.4067237973213196e-05, 2.5690533220767975e-05, 2.7313828468322754e-05, 2.8937123715877533e-05, 3.056041896343231e-05, 3.218371421098709e-05, 3.380700945854187e-05, 3.543030470609665e-05, 3.705359995365143e-05, 3.867689520120621e-05, 4.0300190448760986e-05, 4.1923485696315765e-05, 4.3546780943870544e-05, 4.5170076191425323e-05, 4.67933714389801e-05, 4.841666668653488e-05, 5.003996193408966e-05, 5.166325718164444e-05, 5.328655242919922e-05]}, "gradients/encoder.encoder.layers.13.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 0.0, 1.0, 1.0, 1.0, 5.0, 5.0, 4.0, 5.0, 9.0, 5.0, 10.0, 18.0, 36.0, 46.0, 72.0, 116.0, 273.0, 131.0, 74.0, 62.0, 35.0, 29.0, 19.0, 13.0, 17.0, 3.0, 4.0, 3.0, 1.0, 3.0, 5.0, 2.0, 1.0, 2.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.00019981630612164736, -0.0001930549624375999, -0.00018629361875355244, -0.00017953227506950498, -0.00017277093138545752, -0.00016600958770141006, -0.00015924822946544737, -0.0001524868857813999, -0.00014572554209735245, -0.00013896419841330498, -0.00013220285472925752, -0.00012544151104521006, -0.00011868016008520499, -0.00011191881640115753, -0.00010515746544115245, -9.839612175710499e-05, -9.163477807305753e-05, -8.487343438901007e-05, -7.811209070496261e-05, -7.135073974495754e-05, -6.458939606091008e-05, -5.7828052376862615e-05, -5.106670505483635e-05, -4.430535773281008e-05, -3.754401404876262e-05, -3.078267036471516e-05, -2.402132304268889e-05, -1.7259977539652027e-05, -1.0498632036615163e-05, -3.7372883525677025e-06, 3.024058969458565e-06, 9.785406291484833e-06, 1.654676452744752e-05, 2.3308110030484386e-05, 3.006945553352125e-05, 3.683080285554752e-05, 4.359214653959498e-05, 5.035349022364244e-05, 5.7114837545668706e-05, 6.387618486769497e-05, 7.063752855174243e-05, 7.73988722357899e-05, 8.416021591983736e-05, 9.092156687984243e-05, 9.768291056388989e-05, 0.00010444425424793735, 0.00011120560520794243, 0.00011796694889198989, 0.00012472829257603735, 0.0001314896362600848, 0.00013825097994413227, 0.00014501232362817973, 0.00015177368186414242, 0.00015853502554818988, 0.00016529636923223734, 0.0001720577129162848, 0.00017881905660033226, 0.00018558040028437972, 0.00019234174396842718, 0.00019910308765247464, 0.0002058644313365221, 0.00021262577502056956, 0.00021938713325653225, 0.0002261484769405797, 0.00023290982062462717]}, "gradients/encoder.encoder.layers.13.final_layer_norm.bias": {"_type": "histogram", "values": [2.0, 0.0, 3.0, 1.0, 1.0, 3.0, 4.0, 7.0, 2.0, 5.0, 4.0, 10.0, 2.0, 8.0, 15.0, 11.0, 14.0, 27.0, 20.0, 34.0, 26.0, 40.0, 28.0, 40.0, 35.0, 36.0, 46.0, 41.0, 56.0, 50.0, 46.0, 44.0, 42.0, 43.0, 27.0, 25.0, 32.0, 35.0, 22.0, 21.0, 14.0, 16.0, 10.0, 9.0, 10.0, 5.0, 6.0, 8.0, 3.0, 8.0, 3.0, 7.0, 4.0, 4.0, 1.0, 2.0, 2.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.071826934814453e-05, -8.757691830396652e-05, -8.443556725978851e-05, -8.12942162156105e-05, -7.81528651714325e-05, -7.501151412725449e-05, -7.187016308307648e-05, -6.872881203889847e-05, -6.558746099472046e-05, -6.244610995054245e-05, -5.930475890636444e-05, -5.616340786218643e-05, -5.302205681800842e-05, -4.9880705773830414e-05, -4.6739354729652405e-05, -4.3598003685474396e-05, -4.045665264129639e-05, -3.731530159711838e-05, -3.417395055294037e-05, -3.103259950876236e-05, -2.789124846458435e-05, -2.474989742040634e-05, -2.1608546376228333e-05, -1.8467195332050323e-05, -1.5325844287872314e-05, -1.2184493243694305e-05, -9.043142199516296e-06, -5.901791155338287e-06, -2.7604401111602783e-06, 3.809109330177307e-07, 3.5222619771957397e-06, 6.663613021373749e-06, 9.804964065551758e-06, 1.2946315109729767e-05, 1.6087666153907776e-05, 1.9229017198085785e-05, 2.2370368242263794e-05, 2.5511719286441803e-05, 2.8653070330619812e-05, 3.179442137479782e-05, 3.493577241897583e-05, 3.807712346315384e-05, 4.121847450733185e-05, 4.435982555150986e-05, 4.7501176595687866e-05, 5.0642527639865875e-05, 5.3783878684043884e-05, 5.692522972822189e-05, 6.00665807723999e-05, 6.320793181657791e-05, 6.634928286075592e-05, 6.949063390493393e-05, 7.263198494911194e-05, 7.577333599328995e-05, 7.891468703746796e-05, 8.205603808164597e-05, 8.519738912582397e-05, 8.833874017000198e-05, 9.148009121417999e-05, 9.4621442258358e-05, 9.776279330253601e-05, 0.00010090414434671402, 0.00010404549539089203, 0.00010718684643507004, 0.00011032819747924805]}, "gradients/encoder.encoder.layers.13.attention.out_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 3.0, 1.0, 2.0, 2.0, 3.0, 3.0, 6.0, 7.0, 15.0, 13.0, 13.0, 16.0, 24.0, 23.0, 33.0, 41.0, 35.0, 41.0, 38.0, 58.0, 185.0, 15630.0, 1031046.0, 894.0, 72.0, 61.0, 34.0, 41.0, 43.0, 40.0, 29.0, 24.0, 25.0, 17.0, 9.0, 12.0, 9.0, 5.0, 6.0, 6.0, 1.0, 4.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0007200241088867188, -0.000691533088684082, -0.0006630420684814453, -0.0006345510482788086, -0.0006060600280761719, -0.0005775690078735352, -0.0005490779876708984, -0.0005205869674682617, -0.000492095947265625, -0.0004636049270629883, -0.00043511390686035156, -0.00040662288665771484, -0.0003781318664550781, -0.0003496408462524414, -0.0003211498260498047, -0.00029265880584716797, -0.00026416778564453125, -0.00023567676544189453, -0.0002071857452392578, -0.0001786947250366211, -0.00015020370483398438, -0.00012171268463134766, -9.322166442871094e-05, -6.473064422607422e-05, -3.62396240234375e-05, -7.748603820800781e-06, 2.0742416381835938e-05, 4.9233436584472656e-05, 7.772445678710938e-05, 0.0001062154769897461, 0.0001347064971923828, 0.00016319751739501953, 0.00019168853759765625, 0.00022017955780029297, 0.0002486705780029297, 0.0002771615982055664, 0.0003056526184082031, 0.00033414363861083984, 0.00036263465881347656, 0.0003911256790161133, 0.00041961669921875, 0.0004481077194213867, 0.00047659873962402344, 0.0005050897598266602, 0.0005335807800292969, 0.0005620718002319336, 0.0005905628204345703, 0.000619053840637207, 0.0006475448608398438, 0.0006760358810424805, 0.0007045269012451172, 0.0007330179214477539, 0.0007615089416503906, 0.0007899999618530273, 0.0008184909820556641, 0.0008469820022583008, 0.0008754730224609375, 0.0009039640426635742, 0.0009324550628662109, 0.0009609460830688477, 0.0009894371032714844, 0.001017928123474121, 0.0010464191436767578, 0.0010749101638793945, 0.0011034011840820312]}, "gradients/encoder.encoder.layers.13.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 3.0, 11.0, 83.0, 429.0, 408.0, 71.0, 13.0, 3.0], "bins": [-0.0001404285430908203, -0.00013808533549308777, -0.00013574212789535522, -0.00013339892029762268, -0.00013105571269989014, -0.0001287125051021576, -0.00012636929750442505, -0.0001240260899066925, -0.00012168288230895996, -0.00011933967471122742, -0.00011699646711349487, -0.00011465325951576233, -0.00011231005191802979, -0.00010996684432029724, -0.0001076236367225647, -0.00010528042912483215, -0.00010293722152709961, -0.00010059401392936707, -9.825080633163452e-05, -9.590759873390198e-05, -9.356439113616943e-05, -9.122118353843689e-05, -8.887797594070435e-05, -8.65347683429718e-05, -8.419156074523926e-05, -8.184835314750671e-05, -7.950514554977417e-05, -7.716193795204163e-05, -7.481873035430908e-05, -7.247552275657654e-05, -7.0132315158844e-05, -6.778910756111145e-05, -6.54458999633789e-05, -6.310269236564636e-05, -6.075948476791382e-05, -5.8416277170181274e-05, -5.607306957244873e-05, -5.3729861974716187e-05, -5.138665437698364e-05, -4.90434467792511e-05, -4.6700239181518555e-05, -4.435703158378601e-05, -4.201382398605347e-05, -3.967061638832092e-05, -3.732740879058838e-05, -3.4984201192855835e-05, -3.264099359512329e-05, -3.0297785997390747e-05, -2.7954578399658203e-05, -2.561137080192566e-05, -2.3268163204193115e-05, -2.092495560646057e-05, -1.8581748008728027e-05, -1.6238540410995483e-05, -1.389533281326294e-05, -1.1552125215530396e-05, -9.208917617797852e-06, -6.865710020065308e-06, -4.522502422332764e-06, -2.1792948246002197e-06, 1.6391277313232422e-07, 2.507120370864868e-06, 4.850327968597412e-06, 7.193535566329956e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.13.attention.v_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 2.0, 2.0, 5.0, 5.0, 10.0, 8.0, 12.0, 18.0, 30.0, 41.0, 48.0, 92.0, 95.0, 137.0, 204.0, 292.0, 425.0, 577.0, 767.0, 1211.0, 1631.0, 2280.0, 3132.0, 4421.0, 6091.0, 8464.0, 11703.0, 16729.0, 23608.0, 49619.0, 830788.0, 25241.0, 17359.0, 12199.0, 8825.0, 6355.0, 4604.0, 3338.0, 2335.0, 1695.0, 1221.0, 821.0, 607.0, 470.0, 294.0, 186.0, 158.0, 114.0, 80.0, 60.0, 52.0, 25.0, 19.0, 20.0, 12.0, 13.0, 6.0, 9.0, 2.0, 5.0, 1.0, 1.0], "bins": [-9.97781753540039e-05, -9.666662663221359e-05, -9.355507791042328e-05, -9.044352918863297e-05, -8.733198046684265e-05, -8.422043174505234e-05, -8.110888302326202e-05, -7.799733430147171e-05, -7.48857855796814e-05, -7.177423685789108e-05, -6.866268813610077e-05, -6.555113941431046e-05, -6.243959069252014e-05, -5.932804197072983e-05, -5.6216493248939514e-05, -5.31049445271492e-05, -4.999339580535889e-05, -4.688184708356857e-05, -4.377029836177826e-05, -4.0658749639987946e-05, -3.754720091819763e-05, -3.443565219640732e-05, -3.1324103474617004e-05, -2.821255475282669e-05, -2.5101006031036377e-05, -2.1989457309246063e-05, -1.887790858745575e-05, -1.5766359865665436e-05, -1.2654811143875122e-05, -9.543262422084808e-06, -6.431713700294495e-06, -3.320164978504181e-06, -2.086162567138672e-07, 2.9029324650764465e-06, 6.01448118686676e-06, 9.126029908657074e-06, 1.2237578630447388e-05, 1.53491273522377e-05, 1.8460676074028015e-05, 2.157222479581833e-05, 2.4683773517608643e-05, 2.7795322239398956e-05, 3.090687096118927e-05, 3.4018419682979584e-05, 3.71299684047699e-05, 4.024151712656021e-05, 4.3353065848350525e-05, 4.646461457014084e-05, 4.957616329193115e-05, 5.2687712013721466e-05, 5.579926073551178e-05, 5.8910809457302094e-05, 6.202235817909241e-05, 6.513390690088272e-05, 6.824545562267303e-05, 7.135700434446335e-05, 7.446855306625366e-05, 7.758010178804398e-05, 8.069165050983429e-05, 8.38031992316246e-05, 8.691474795341492e-05, 9.002629667520523e-05, 9.313784539699554e-05, 9.624939411878586e-05, 9.936094284057617e-05]}, "gradients/encoder.encoder.layers.13.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 2.0, 2.0, 1.0, 2.0, 0.0, 2.0, 3.0, 5.0, 5.0, 5.0, 2.0, 5.0, 1.0, 6.0, 8.0, 6.0, 8.0, 5.0, 8.0, 6.0, 6.0, 9.0, 1.0, 6.0, 2.0, 6.0, 9.0, 9.0, 14.0, 759.0, 4.0, 8.0, 7.0, 6.0, 2.0, 1.0, 7.0, 4.0, 1.0, 4.0, 5.0, 6.0, 7.0, 4.0, 3.0, 5.0, 7.0, 7.0, 3.0, 4.0, 5.0, 0.0, 2.0, 2.0, 3.0, 4.0, 2.0, 1.0, 4.0, 0.0, 1.0], "bins": [-0.00011372566223144531, -0.00011018384248018265, -0.00010664202272891998, -0.00010310020297765732, -9.955838322639465e-05, -9.601656347513199e-05, -9.247474372386932e-05, -8.893292397260666e-05, -8.5391104221344e-05, -8.184928447008133e-05, -7.830746471881866e-05, -7.4765644967556e-05, -7.122382521629333e-05, -6.768200546503067e-05, -6.4140185713768e-05, -6.059836596250534e-05, -5.7056546211242676e-05, -5.351472645998001e-05, -4.9972906708717346e-05, -4.643108695745468e-05, -4.2889267206192017e-05, -3.934744745492935e-05, -3.580562770366669e-05, -3.226380795240402e-05, -2.8721988201141357e-05, -2.5180168449878693e-05, -2.1638348698616028e-05, -1.8096528947353363e-05, -1.4554709196090698e-05, -1.1012889444828033e-05, -7.471069693565369e-06, -3.929249942302704e-06, -3.8743019104003906e-07, 3.1543895602226257e-06, 6.6962093114852905e-06, 1.0238029062747955e-05, 1.377984881401062e-05, 1.7321668565273285e-05, 2.086348831653595e-05, 2.4405308067798615e-05, 2.794712781906128e-05, 3.1488947570323944e-05, 3.503076732158661e-05, 3.8572587072849274e-05, 4.211440682411194e-05, 4.56562265753746e-05, 4.919804632663727e-05, 5.273986607789993e-05, 5.62816858291626e-05, 5.982350558042526e-05, 6.336532533168793e-05, 6.690714508295059e-05, 7.044896483421326e-05, 7.399078458547592e-05, 7.753260433673859e-05, 8.107442408800125e-05, 8.461624383926392e-05, 8.815806359052658e-05, 9.169988334178925e-05, 9.524170309305191e-05, 9.878352284431458e-05, 0.00010232534259557724, 0.0001058671623468399, 0.00010940898209810257, 0.00011295080184936523]}, "gradients/encoder.encoder.layers.13.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 3.0, 2.0, 1.0, 6.0, 2.0, 2.0, 6.0, 4.0, 14.0, 5.0, 11.0, 13.0, 26.0, 29.0, 56.0, 62.0, 88.0, 262.0, 164.0, 80.0, 45.0, 28.0, 35.0, 27.0, 9.0, 9.0, 9.0, 7.0, 1.0, 2.0, 1.0, 2.0, 1.0, 3.0, 2.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0009209249983541667, -0.000890908355358988, -0.0008608917123638093, -0.0008308750693686306, -0.000800858426373452, -0.0007708417833782732, -0.0007408251985907555, -0.0007108085555955768, -0.0006807919126003981, -0.0006507752696052194, -0.0006207586266100407, -0.000590741983614862, -0.0005607253406196833, -0.0005307086976245046, -0.0005006920546293259, -0.0004706754407379776, -0.00044065876863896847, -0.00041064212564378977, -0.00038062548264861107, -0.00035060883965343237, -0.00032059219665825367, -0.00029057555366307497, -0.00026055893977172673, -0.00023054229677654803, -0.00020052565378136933, -0.00017050901078619063, -0.00014049236779101193, -0.00011047573934774846, -8.045909635256976e-05, -5.044245335739106e-05, -2.0425824914127588e-05, 9.590818081051111e-06, 3.9607519283890724e-05, 6.962416227906942e-05, 9.964079799829051e-05, 0.0001296574337175116, 0.0001596740767126903, 0.000189690719707869, 0.00021970734815113246, 0.00024972399114631116, 0.00027974063414148986, 0.00030975727713666856, 0.00033977392013184726, 0.0003697905340231955, 0.0003998071770183742, 0.0004298238200135529, 0.0004598404630087316, 0.0004898571060039103, 0.000519873748999089, 0.0005498903919942677, 0.0005799070349894464, 0.0006099236779846251, 0.0006399403209798038, 0.0006699569639749825, 0.0006999735487625003, 0.000729990191757679, 0.0007600068347528577, 0.0007900234777480364, 0.0008200401207432151, 0.0008500567637383938, 0.0008800734067335725, 0.0009100900497287512, 0.0009401066927239299, 0.0009701233357191086, 0.0010001399787142873]}, "gradients/encoder.encoder.layers.13.layer_norm.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 2.0, 2.0, 6.0, 3.0, 10.0, 24.0, 26.0, 31.0, 51.0, 68.0, 67.0, 65.0, 69.0, 85.0, 71.0, 78.0, 89.0, 74.0, 56.0, 28.0, 35.0, 22.0, 16.0, 17.0, 11.0, 3.0, 4.0, 3.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0004448890686035156, -0.00041884463280439377, -0.0003928001970052719, -0.00036675576120615005, -0.0003407113254070282, -0.00031466688960790634, -0.0002886224538087845, -0.00026257801800966263, -0.00023653358221054077, -0.00021048914641141891, -0.00018444471061229706, -0.0001584002748131752, -0.00013235583901405334, -0.00010631140321493149, -8.026696741580963e-05, -5.4222531616687775e-05, -2.8178095817565918e-05, -2.1336600184440613e-06, 2.3910775780677795e-05, 4.995521157979965e-05, 7.599964737892151e-05, 0.00010204408317804337, 0.00012808851897716522, 0.00015413295477628708, 0.00018017739057540894, 0.0002062218263745308, 0.00023226626217365265, 0.0002583106979727745, 0.00028435513377189636, 0.0003103995695710182, 0.0003364440053701401, 0.00036248844116926193, 0.0003885328769683838, 0.00041457731276750565, 0.0004406217485666275, 0.00046666618436574936, 0.0004927106201648712, 0.0005187550559639931, 0.0005447994917631149, 0.0005708439275622368, 0.0005968883633613586, 0.0006229327991604805, 0.0006489772349596024, 0.0006750216707587242, 0.0007010661065578461, 0.0007271105423569679, 0.0007531549781560898, 0.0007791994139552116, 0.0008052438497543335, 0.0008312882855534554, 0.0008573327213525772, 0.0008833771571516991, 0.0009094215929508209, 0.0009354660287499428, 0.0009615104645490646, 0.0009875549003481865, 0.0010135993361473083, 0.0010396437719464302, 0.001065688207745552, 0.001091732643544674, 0.0011177770793437958, 0.0011438215151429176, 0.0011698659509420395, 0.0011959103867411613, 0.0012219548225402832]}, "gradients/encoder.encoder.layers.12.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 1.0, 0.0, 0.0, 2.0, 0.0, 1.0, 3.0, 2.0, 2.0, 3.0, 1.0, 3.0, 2.0, 8.0, 2.0, 2.0, 2.0, 6.0, 5.0, 5.0, 14.0, 7.0, 12.0, 26.0, 57.0, 399.0, 4165003.0, 28411.0, 289.0, 24.0, 4.0], "bins": [-0.0018033981323242188, -0.0017733089625835419, -0.001743219792842865, -0.0017131306231021881, -0.0016830414533615112, -0.0016529522836208344, -0.0016228631138801575, -0.0015927739441394806, -0.0015626847743988037, -0.0015325956046581268, -0.00150250643491745, -0.001472417265176773, -0.0014423280954360962, -0.0014122389256954193, -0.0013821497559547424, -0.0013520605862140656, -0.0013219714164733887, -0.0012918822467327118, -0.001261793076992035, -0.001231703907251358, -0.0012016147375106812, -0.0011715255677700043, -0.0011414363980293274, -0.0011113472282886505, -0.0010812580585479736, -0.0010511688888072968, -0.0010210797190666199, -0.000990990549325943, -0.0009609013795852661, -0.0009308122098445892, -0.0009007230401039124, -0.0008706338703632355, -0.0008405447006225586, -0.0008104555308818817, -0.0007803663611412048, -0.000750277191400528, -0.0007201880216598511, -0.0006900988519191742, -0.0006600096821784973, -0.0006299205124378204, -0.0005998313426971436, -0.0005697421729564667, -0.0005396530032157898, -0.0005095638334751129, -0.00047947466373443604, -0.00044938549399375916, -0.0004192963242530823, -0.0003892071545124054, -0.0003591179847717285, -0.00032902881503105164, -0.00029893964529037476, -0.0002688504755496979, -0.000238761305809021, -0.00020867213606834412, -0.00017858296632766724, -0.00014849379658699036, -0.00011840462684631348, -8.83154571056366e-05, -5.822628736495972e-05, -2.8137117624282837e-05, 1.952052116394043e-06, 3.204122185707092e-05, 6.21303915977478e-05, 9.221956133842468e-05, 0.00012230873107910156]}, "gradients/encoder.encoder.layers.12.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 3.0, 11.0, 83.0, 429.0, 408.0, 71.0, 13.0, 3.0], "bins": [-0.0001404285430908203, -0.00013808533549308777, -0.00013574212789535522, -0.00013339892029762268, -0.00013105571269989014, -0.0001287125051021576, -0.00012636929750442505, -0.0001240260899066925, -0.00012168288230895996, -0.00011933967471122742, -0.00011699646711349487, -0.00011465325951576233, -0.00011231005191802979, -0.00010996684432029724, -0.0001076236367225647, -0.00010528042912483215, -0.00010293722152709961, -0.00010059401392936707, -9.825080633163452e-05, -9.590759873390198e-05, -9.356439113616943e-05, -9.122118353843689e-05, -8.887797594070435e-05, -8.65347683429718e-05, -8.419156074523926e-05, -8.184835314750671e-05, -7.950514554977417e-05, -7.716193795204163e-05, -7.481873035430908e-05, -7.247552275657654e-05, -7.0132315158844e-05, -6.778910756111145e-05, -6.54458999633789e-05, -6.310269236564636e-05, -6.075948476791382e-05, -5.8416277170181274e-05, -5.607306957244873e-05, -5.3729861974716187e-05, -5.138665437698364e-05, -4.90434467792511e-05, -4.6700239181518555e-05, -4.435703158378601e-05, -4.201382398605347e-05, -3.967061638832092e-05, -3.732740879058838e-05, -3.4984201192855835e-05, -3.264099359512329e-05, -3.0297785997390747e-05, -2.7954578399658203e-05, -2.561137080192566e-05, -2.3268163204193115e-05, -2.092495560646057e-05, -1.8581748008728027e-05, -1.6238540410995483e-05, -1.389533281326294e-05, -1.1552125215530396e-05, -9.208917617797852e-06, -6.865710020065308e-06, -4.522502422332764e-06, -2.1792948246002197e-06, 1.6391277313232422e-07, 2.507120370864868e-06, 4.850327968597412e-06, 7.193535566329956e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.12.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 6.0, 1.0, 10.0, 9.0, 20.0, 19.0, 31.0, 49.0, 65.0, 81.0, 121.0, 184.0, 244.0, 377.0, 534.0, 793.0, 1188.0, 1669.0, 2581.0, 4016.0, 6031.0, 10309.0, 19690.0, 74840.0, 3985635.0, 44831.0, 16111.0, 8603.0, 5433.0, 3530.0, 2359.0, 1501.0, 1054.0, 751.0, 472.0, 347.0, 233.0, 170.0, 123.0, 78.0, 61.0, 44.0, 34.0, 19.0, 15.0, 6.0, 7.0, 6.0, 2.0, 2.0, 2.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-8.07642936706543e-05, -7.826928049325943e-05, -7.577426731586456e-05, -7.32792541384697e-05, -7.078424096107483e-05, -6.828922778367996e-05, -6.57942146062851e-05, -6.329920142889023e-05, -6.080418825149536e-05, -5.8309175074100494e-05, -5.581416189670563e-05, -5.331914871931076e-05, -5.0824135541915894e-05, -4.8329122364521027e-05, -4.583410918712616e-05, -4.333909600973129e-05, -4.0844082832336426e-05, -3.834906965494156e-05, -3.585405647754669e-05, -3.3359043300151825e-05, -3.086403012275696e-05, -2.836901694536209e-05, -2.5874003767967224e-05, -2.3378990590572357e-05, -2.088397741317749e-05, -1.8388964235782623e-05, -1.5893951058387756e-05, -1.339893788099289e-05, -1.0903924703598022e-05, -8.408911526203156e-06, -5.9138983488082886e-06, -3.4188851714134216e-06, -9.238719940185547e-07, 1.5711411833763123e-06, 4.066154360771179e-06, 6.561167538166046e-06, 9.056180715560913e-06, 1.155119389295578e-05, 1.4046207070350647e-05, 1.6541220247745514e-05, 1.903623342514038e-05, 2.1531246602535248e-05, 2.4026259779930115e-05, 2.652127295732498e-05, 2.901628613471985e-05, 3.1511299312114716e-05, 3.400631248950958e-05, 3.650132566690445e-05, 3.8996338844299316e-05, 4.149135202169418e-05, 4.398636519908905e-05, 4.648137837648392e-05, 4.8976391553878784e-05, 5.147140473127365e-05, 5.396641790866852e-05, 5.6461431086063385e-05, 5.895644426345825e-05, 6.145145744085312e-05, 6.394647061824799e-05, 6.644148379564285e-05, 6.893649697303772e-05, 7.143151015043259e-05, 7.392652332782745e-05, 7.642153650522232e-05, 7.891654968261719e-05]}, "gradients/encoder.encoder.layers.12.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 2.0, 1.0, 1.0, 4.0, 3.0, 2.0, 2.0, 3.0, 3.0, 1.0, 3.0, 5.0, 4.0, 9.0, 9.0, 6.0, 12.0, 11.0, 18.0, 57.0, 114.0, 3582.0, 94.0, 45.0, 17.0, 8.0, 8.0, 7.0, 6.0, 8.0, 5.0, 3.0, 2.0, 2.0, 7.0, 3.0, 2.0, 3.0, 3.0, 2.0, 3.0, 1.0, 0.0, 1.0, 1.0, 1.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0], "bins": [-3.88026237487793e-05, -3.760494291782379e-05, -3.6407262086868286e-05, -3.520958125591278e-05, -3.4011900424957275e-05, -3.281421959400177e-05, -3.1616538763046265e-05, -3.041885793209076e-05, -2.9221177101135254e-05, -2.802349627017975e-05, -2.6825815439224243e-05, -2.5628134608268738e-05, -2.4430453777313232e-05, -2.3232772946357727e-05, -2.203509211540222e-05, -2.0837411284446716e-05, -1.963973045349121e-05, -1.8442049622535706e-05, -1.72443687915802e-05, -1.6046687960624695e-05, -1.484900712966919e-05, -1.3651326298713684e-05, -1.2453645467758179e-05, -1.1255964636802673e-05, -1.0058283805847168e-05, -8.860602974891663e-06, -7.662922143936157e-06, -6.465241312980652e-06, -5.2675604820251465e-06, -4.069879651069641e-06, -2.8721988201141357e-06, -1.6745179891586304e-06, -4.76837158203125e-07, 7.208436727523804e-07, 1.9185245037078857e-06, 3.116205334663391e-06, 4.3138861656188965e-06, 5.511566996574402e-06, 6.709247827529907e-06, 7.906928658485413e-06, 9.104609489440918e-06, 1.0302290320396423e-05, 1.1499971151351929e-05, 1.2697651982307434e-05, 1.389533281326294e-05, 1.5093013644218445e-05, 1.629069447517395e-05, 1.7488375306129456e-05, 1.868605613708496e-05, 1.9883736968040466e-05, 2.108141779899597e-05, 2.2279098629951477e-05, 2.3476779460906982e-05, 2.4674460291862488e-05, 2.5872141122817993e-05, 2.70698219537735e-05, 2.8267502784729004e-05, 2.946518361568451e-05, 3.0662864446640015e-05, 3.186054527759552e-05, 3.3058226108551025e-05, 3.425590693950653e-05, 3.5453587770462036e-05, 3.665126860141754e-05, 3.784894943237305e-05]}, "gradients/encoder.encoder.layers.12.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 3.0, 0.0, 2.0, 7.0, 5.0, 6.0, 8.0, 7.0, 19.0, 20.0, 38.0, 62.0, 112.0, 253.0, 196.0, 94.0, 53.0, 44.0, 27.0, 20.0, 11.0, 11.0, 6.0, 2.0, 4.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00017342352657578886, -0.00016671254707034677, -0.0001600015675649047, -0.0001532905880594626, -0.00014657960855402052, -0.00013986862904857844, -0.00013315764954313636, -0.00012644667003769428, -0.00011973569053225219, -0.00011302471102681011, -0.00010631373152136803, -9.960275201592594e-05, -9.289177251048386e-05, -8.618079300504178e-05, -7.94698134995997e-05, -7.275883399415761e-05, -6.604786176467314e-05, -5.933688225923106e-05, -5.262590275378898e-05, -4.5914923248346895e-05, -3.920394374290481e-05, -3.2492967875441536e-05, -2.5781988369999453e-05, -1.907100886455737e-05, -1.2360029359115288e-05, -5.649050308420556e-06, 1.0619287422741763e-06, 7.772907338221557e-06, 1.448388684366364e-05, 2.119486453011632e-05, 2.7905844035558403e-05, 3.4616823541000485e-05, 4.132780304644257e-05, 4.803878255188465e-05, 5.4749762057326734e-05, 6.146074156276882e-05, 6.81717210682109e-05, 7.488270057365298e-05, 8.159368007909507e-05, 8.830465958453715e-05, 9.501563908997923e-05, 0.00010172661859542131, 0.0001084375981008634, 0.00011514857760630548, 0.00012185955711174756, 0.00012857053661718965, 0.00013528151612263173, 0.0001419924956280738, 0.00014870346058160067, 0.00015541444008704275, 0.00016212541959248483, 0.00016883639909792691, 0.000175547378603369, 0.00018225835810881108, 0.00018896933761425316, 0.00019568031711969525, 0.00020239129662513733, 0.0002091022761305794, 0.0002158132556360215, 0.00022252423514146358, 0.00022923521464690566, 0.00023594619415234774, 0.00024265717365778983, 0.0002493681386113167, 0.000256079132668674]}, "gradients/encoder.encoder.layers.12.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 2.0, 1.0, 0.0, 1.0, 1.0, 6.0, 4.0, 11.0, 8.0, 16.0, 8.0, 14.0, 32.0, 34.0, 48.0, 30.0, 45.0, 46.0, 58.0, 46.0, 61.0, 47.0, 54.0, 66.0, 51.0, 50.0, 56.0, 33.0, 30.0, 35.0, 31.0, 28.0, 15.0, 15.0, 9.0, 1.0, 8.0, 3.0, 3.0, 5.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.00011479854583740234, -0.00011138524860143661, -0.00010797195136547089, -0.00010455865412950516, -0.00010114535689353943, -9.77320596575737e-05, -9.431876242160797e-05, -9.090546518564224e-05, -8.749216794967651e-05, -8.407887071371078e-05, -8.066557347774506e-05, -7.725227624177933e-05, -7.38389790058136e-05, -7.042568176984787e-05, -6.701238453388214e-05, -6.359908729791641e-05, -6.0185790061950684e-05, -5.6772492825984955e-05, -5.3359195590019226e-05, -4.99458983540535e-05, -4.653260111808777e-05, -4.311930388212204e-05, -3.970600664615631e-05, -3.629270941019058e-05, -3.2879412174224854e-05, -2.9466114938259125e-05, -2.6052817702293396e-05, -2.2639520466327667e-05, -1.922622323036194e-05, -1.581292599439621e-05, -1.2399628758430481e-05, -8.986331522464752e-06, -5.5730342864990234e-06, -2.1597370505332947e-06, 1.253560185432434e-06, 4.666857421398163e-06, 8.080154657363892e-06, 1.149345189332962e-05, 1.4906749129295349e-05, 1.8320046365261078e-05, 2.1733343601226807e-05, 2.5146640837192535e-05, 2.8559938073158264e-05, 3.197323530912399e-05, 3.538653254508972e-05, 3.879982978105545e-05, 4.221312701702118e-05, 4.562642425298691e-05, 4.903972148895264e-05, 5.2453018724918365e-05, 5.5866315960884094e-05, 5.927961319684982e-05, 6.269291043281555e-05, 6.610620766878128e-05, 6.951950490474701e-05, 7.293280214071274e-05, 7.634609937667847e-05, 7.97593966126442e-05, 8.317269384860992e-05, 8.658599108457565e-05, 8.999928832054138e-05, 9.341258555650711e-05, 9.682588279247284e-05, 0.00010023918002843857, 0.0001036524772644043]}, "gradients/encoder.encoder.layers.12.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 2.0, 1.0, 1.0, 1.0, 5.0, 5.0, 3.0, 4.0, 6.0, 7.0, 7.0, 15.0, 20.0, 16.0, 15.0, 22.0, 27.0, 33.0, 30.0, 35.0, 45.0, 41.0, 111.0, 1327.0, 1010575.0, 35418.0, 345.0, 72.0, 46.0, 40.0, 35.0, 37.0, 30.0, 20.0, 26.0, 23.0, 29.0, 19.0, 12.0, 11.0, 18.0, 5.0, 4.0, 5.0, 5.0, 4.0, 0.0, 2.0, 0.0, 1.0, 3.0, 2.0, 2.0, 1.0, 1.0, 1.0, 1.0], "bins": [-0.0006785392761230469, -0.0006571859121322632, -0.0006358325481414795, -0.0006144791841506958, -0.0005931258201599121, -0.0005717724561691284, -0.0005504190921783447, -0.000529065728187561, -0.0005077123641967773, -0.00048635900020599365, -0.00046500563621520996, -0.00044365227222442627, -0.0004222989082336426, -0.0004009455442428589, -0.0003795921802520752, -0.0003582388162612915, -0.0003368854522705078, -0.0003155320882797241, -0.00029417872428894043, -0.00027282536029815674, -0.00025147199630737305, -0.00023011863231658936, -0.00020876526832580566, -0.00018741190433502197, -0.00016605854034423828, -0.0001447051763534546, -0.0001233518123626709, -0.00010199844837188721, -8.064508438110352e-05, -5.9291720390319824e-05, -3.793835639953613e-05, -1.658499240875244e-05, 4.76837158203125e-06, 2.612173557281494e-05, 4.747509956359863e-05, 6.882846355438232e-05, 9.018182754516602e-05, 0.00011153519153594971, 0.0001328885555267334, 0.0001542419195175171, 0.00017559528350830078, 0.00019694864749908447, 0.00021830201148986816, 0.00023965537548065186, 0.00026100873947143555, 0.00028236210346221924, 0.00030371546745300293, 0.0003250688314437866, 0.0003464221954345703, 0.000367775559425354, 0.0003891289234161377, 0.0004104822874069214, 0.0004318356513977051, 0.00045318901538848877, 0.00047454237937927246, 0.0004958957433700562, 0.0005172491073608398, 0.0005386024713516235, 0.0005599558353424072, 0.0005813091993331909, 0.0006026625633239746, 0.0006240159273147583, 0.000645369291305542, 0.0006667226552963257, 0.0006880760192871094]}, "gradients/encoder.encoder.layers.12.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 4.0, 11.0, 85.0, 441.0, 386.0, 78.0, 13.0, 3.0], "bins": [-0.00013959407806396484, -0.00013726390898227692, -0.000134933739900589, -0.00013260357081890106, -0.00013027340173721313, -0.0001279432326555252, -0.00012561306357383728, -0.00012328289449214935, -0.00012095272541046143, -0.0001186225563287735, -0.00011629238724708557, -0.00011396221816539764, -0.00011163204908370972, -0.00010930188000202179, -0.00010697171092033386, -0.00010464154183864594, -0.00010231137275695801, -9.998120367527008e-05, -9.765103459358215e-05, -9.532086551189423e-05, -9.29906964302063e-05, -9.066052734851837e-05, -8.833035826683044e-05, -8.600018918514252e-05, -8.367002010345459e-05, -8.133985102176666e-05, -7.900968194007874e-05, -7.667951285839081e-05, -7.434934377670288e-05, -7.201917469501495e-05, -6.968900561332703e-05, -6.73588365316391e-05, -6.502866744995117e-05, -6.269849836826324e-05, -6.036832928657532e-05, -5.803816020488739e-05, -5.570799112319946e-05, -5.3377822041511536e-05, -5.104765295982361e-05, -4.871748387813568e-05, -4.6387314796447754e-05, -4.405714571475983e-05, -4.17269766330719e-05, -3.939680755138397e-05, -3.7066638469696045e-05, -3.473646938800812e-05, -3.240630030632019e-05, -3.0076131224632263e-05, -2.7745962142944336e-05, -2.541579306125641e-05, -2.308562397956848e-05, -2.0755454897880554e-05, -1.8425285816192627e-05, -1.60951167345047e-05, -1.3764947652816772e-05, -1.1434778571128845e-05, -9.104609489440918e-06, -6.774440407752991e-06, -4.4442713260650635e-06, -2.1141022443771362e-06, 2.1606683731079102e-07, 2.5462359189987183e-06, 4.8764050006866455e-06, 7.206574082374573e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.12.attention.v_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 4.0, 3.0, 3.0, 2.0, 2.0, 0.0, 3.0, 2.0, 8.0, 8.0, 3.0, 10.0, 12.0, 28.0, 55.0, 71.0, 94.0, 151.0, 237.0, 379.0, 566.0, 897.0, 1357.0, 2248.0, 3317.0, 5297.0, 7992.0, 12580.0, 17931.0, 27953.0, 865661.0, 38821.0, 21556.0, 14146.0, 9613.0, 6298.0, 4048.0, 2594.0, 1617.0, 1050.0, 672.0, 478.0, 308.0, 167.0, 103.0, 93.0, 49.0, 25.0, 12.0, 9.0, 11.0, 7.0, 3.0, 4.0, 2.0, 3.0, 0.0, 2.0, 4.0, 1.0, 1.0, 3.0], "bins": [-0.00012123584747314453, -0.00011752825230360031, -0.00011382065713405609, -0.00011011306196451187, -0.00010640546679496765, -0.00010269787162542343, -9.899027645587921e-05, -9.528268128633499e-05, -9.157508611679077e-05, -8.786749094724655e-05, -8.415989577770233e-05, -8.045230060815811e-05, -7.674470543861389e-05, -7.303711026906967e-05, -6.932951509952545e-05, -6.562191992998123e-05, -6.191432476043701e-05, -5.820672959089279e-05, -5.449913442134857e-05, -5.079153925180435e-05, -4.708394408226013e-05, -4.337634891271591e-05, -3.966875374317169e-05, -3.596115857362747e-05, -3.225356340408325e-05, -2.8545968234539032e-05, -2.4838373064994812e-05, -2.1130777895450592e-05, -1.7423182725906372e-05, -1.3715587556362152e-05, -1.0007992386817932e-05, -6.300397217273712e-06, -2.592802047729492e-06, 1.1147931218147278e-06, 4.822388291358948e-06, 8.529983460903168e-06, 1.2237578630447388e-05, 1.5945173799991608e-05, 1.9652768969535828e-05, 2.3360364139080048e-05, 2.7067959308624268e-05, 3.077555447816849e-05, 3.448314964771271e-05, 3.819074481725693e-05, 4.189833998680115e-05, 4.560593515634537e-05, 4.931353032588959e-05, 5.302112549543381e-05, 5.672872066497803e-05, 6.043631583452225e-05, 6.414391100406647e-05, 6.785150617361069e-05, 7.155910134315491e-05, 7.526669651269913e-05, 7.897429168224335e-05, 8.268188685178757e-05, 8.638948202133179e-05, 9.009707719087601e-05, 9.380467236042023e-05, 9.751226752996445e-05, 0.00010121986269950867, 0.00010492745786905289, 0.00010863505303859711, 0.00011234264820814133, 0.00011605024337768555]}, "gradients/encoder.encoder.layers.12.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 1.0, 4.0, 3.0, 3.0, 2.0, 2.0, 0.0, 3.0, 2.0, 8.0, 4.0, 3.0, 2.0, 3.0, 5.0, 7.0, 7.0, 8.0, 6.0, 5.0, 8.0, 3.0, 4.0, 1.0, 4.0, 3.0, 4.0, 2.0, 5.0, 9.0, 11.0, 762.0, 14.0, 14.0, 6.0, 5.0, 2.0, 3.0, 9.0, 7.0, 2.0, 3.0, 1.0, 7.0, 3.0, 3.0, 5.0, 2.0, 5.0, 5.0, 2.0, 5.0, 4.0, 3.0, 3.0, 2.0, 3.0, 0.0, 2.0, 4.0, 1.0, 1.0, 3.0], "bins": [-0.00010448694229125977, -0.00010129157453775406, -9.809620678424835e-05, -9.490083903074265e-05, -9.170547127723694e-05, -8.851010352373123e-05, -8.531473577022552e-05, -8.211936801671982e-05, -7.892400026321411e-05, -7.57286325097084e-05, -7.25332647562027e-05, -6.933789700269699e-05, -6.614252924919128e-05, -6.294716149568558e-05, -5.975179374217987e-05, -5.6556425988674164e-05, -5.336105823516846e-05, -5.016569048166275e-05, -4.6970322728157043e-05, -4.377495497465134e-05, -4.057958722114563e-05, -3.738421946763992e-05, -3.4188851714134216e-05, -3.099348396062851e-05, -2.7798116207122803e-05, -2.4602748453617096e-05, -2.140738070011139e-05, -1.8212012946605682e-05, -1.5016645193099976e-05, -1.1821277439594269e-05, -8.625909686088562e-06, -5.430541932582855e-06, -2.2351741790771484e-06, 9.601935744285583e-07, 4.155561327934265e-06, 7.350929081439972e-06, 1.0546296834945679e-05, 1.3741664588451385e-05, 1.6937032341957092e-05, 2.01324000954628e-05, 2.3327767848968506e-05, 2.6523135602474213e-05, 2.971850335597992e-05, 3.2913871109485626e-05, 3.610923886299133e-05, 3.930460661649704e-05, 4.2499974370002747e-05, 4.569534212350845e-05, 4.889070987701416e-05, 5.208607763051987e-05, 5.5281445384025574e-05, 5.847681313753128e-05, 6.167218089103699e-05, 6.48675486445427e-05, 6.80629163980484e-05, 7.125828415155411e-05, 7.445365190505981e-05, 7.764901965856552e-05, 8.084438741207123e-05, 8.403975516557693e-05, 8.723512291908264e-05, 9.043049067258835e-05, 9.362585842609406e-05, 9.682122617959976e-05, 0.00010001659393310547]}, "gradients/encoder.encoder.layers.12.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 0.0, 3.0, 2.0, 3.0, 2.0, 6.0, 7.0, 6.0, 16.0, 11.0, 18.0, 17.0, 28.0, 44.0, 55.0, 90.0, 169.0, 208.0, 89.0, 54.0, 47.0, 35.0, 31.0, 19.0, 14.0, 7.0, 2.0, 8.0, 3.0, 6.0, 3.0, 2.0, 2.0, 4.0, 1.0, 1.0, 0.0, 0.0, 2.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.000781170732807368, -0.0007568810251541436, -0.0007325912592932582, -0.0007083015516400337, -0.0006840118439868093, -0.0006597221363335848, -0.0006354323704726994, -0.0006111426628194749, -0.0005868528969585896, -0.0005625631893053651, -0.0005382734234444797, -0.0005139837157912552, -0.0004896940081380308, -0.00046540427138097584, -0.0004411145346239209, -0.00041682482697069645, -0.000392535119317472, -0.00036824538256041706, -0.0003439556749071926, -0.00031966593815013766, -0.0002953762304969132, -0.00027108649373985827, -0.00024679675698280334, -0.00022250703477766365, -0.00019821731257252395, -0.00017392759036738425, -0.00014963786816224456, -0.00012534813140518963, -0.00010105840920004994, -7.676868699491024e-05, -5.2478950237855315e-05, -2.818922803271562e-05, -3.8995640352368355e-06, 2.0390161807881668e-05, 4.467988765100017e-05, 6.896961713209748e-05, 9.325933933723718e-05, 0.00011754906154237688, 0.0001418387982994318, 0.0001661285205045715, 0.0001904182427097112, 0.0002147079649148509, 0.0002389976871199906, 0.0002632874238770455, 0.00028757716063410044, 0.0003118668682873249, 0.00033615660504437983, 0.00036044634180143476, 0.0003847360494546592, 0.00040902578621171415, 0.0004333154938649386, 0.00045760523062199354, 0.000481894938275218, 0.0005061846459284425, 0.0005304744117893279, 0.0005547641194425523, 0.0005790538853034377, 0.0006033435929566622, 0.0006276333588175476, 0.000651923066470772, 0.0006762127741239965, 0.0007005025399848819, 0.0007247922476381063, 0.0007490819552913308, 0.0007733716629445553]}, "gradients/encoder.encoder.layers.12.layer_norm.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 6.0, 9.0, 10.0, 12.0, 13.0, 21.0, 24.0, 23.0, 34.0, 42.0, 45.0, 54.0, 61.0, 70.0, 82.0, 88.0, 68.0, 63.0, 57.0, 62.0, 46.0, 30.0, 18.0, 21.0, 14.0, 17.0, 9.0, 9.0, 3.0, 1.0, 2.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00048607587814331055, -0.00046375859528779984, -0.0004414413124322891, -0.0004191240295767784, -0.0003968067467212677, -0.000374489463865757, -0.0003521721810102463, -0.00032985489815473557, -0.00030753761529922485, -0.00028522033244371414, -0.00026290304958820343, -0.00024058576673269272, -0.000218268483877182, -0.0001959512010216713, -0.00017363391816616058, -0.00015131663531064987, -0.00012899935245513916, -0.00010668206959962845, -8.436478674411774e-05, -6.204750388860703e-05, -3.9730221033096313e-05, -1.7412938177585602e-05, 4.90434467792511e-06, 2.722162753343582e-05, 4.953891038894653e-05, 7.185619324445724e-05, 9.417347609996796e-05, 0.00011649075895547867, 0.00013880804181098938, 0.0001611253246665001, 0.0001834426075220108, 0.00020575989037752151, 0.00022807717323303223, 0.00025039445608854294, 0.00027271173894405365, 0.00029502902179956436, 0.0003173463046550751, 0.0003396635875105858, 0.0003619808703660965, 0.0003842981532216072, 0.0004066154360771179, 0.00042893271893262863, 0.00045125000178813934, 0.00047356728464365005, 0.0004958845674991608, 0.0005182018503546715, 0.0005405191332101822, 0.0005628364160656929, 0.0005851536989212036, 0.0006074709817767143, 0.000629788264632225, 0.0006521055474877357, 0.0006744228303432465, 0.0006967401131987572, 0.0007190573960542679, 0.0007413746789097786, 0.0007636919617652893, 0.0007860092446208, 0.0008083265274763107, 0.0008306438103318214, 0.0008529610931873322, 0.0008752783760428429, 0.0008975956588983536, 0.0009199129417538643, 0.000942230224609375]}, "gradients/encoder.encoder.layers.11.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0, 2.0, 0.0, 5.0, 17.0, 101.0, 4192220.0, 1855.0, 81.0, 13.0, 3.0], "bins": [-0.00998687744140625, -0.009820178151130676, -0.009653478860855103, -0.009486779570579529, -0.009320080280303955, -0.009153380990028381, -0.008986681699752808, -0.008819982409477234, -0.00865328311920166, -0.008486583828926086, -0.008319884538650513, -0.008153185248374939, -0.007986485958099365, -0.007819786667823792, -0.007653087377548218, -0.007486388087272644, -0.00731968879699707, -0.007152989506721497, -0.006986290216445923, -0.006819590926170349, -0.006652891635894775, -0.006486192345619202, -0.006319493055343628, -0.006152793765068054, -0.0059860944747924805, -0.005819395184516907, -0.005652695894241333, -0.005485996603965759, -0.0053192973136901855, -0.005152598023414612, -0.004985898733139038, -0.004819199442863464, -0.004652500152587891, -0.004485800862312317, -0.004319101572036743, -0.004152402281761169, -0.003985702991485596, -0.003819003701210022, -0.0036523044109344482, -0.0034856051206588745, -0.0033189058303833008, -0.003152206540107727, -0.0029855072498321533, -0.0028188079595565796, -0.002652108669281006, -0.002485409379005432, -0.0023187100887298584, -0.0021520107984542847, -0.001985311508178711, -0.0018186122179031372, -0.0016519129276275635, -0.0014852136373519897, -0.001318514347076416, -0.0011518150568008423, -0.0009851157665252686, -0.0008184164762496948, -0.0006517171859741211, -0.00048501789569854736, -0.00031831860542297363, -0.0001516193151473999, 1.5079975128173828e-05, 0.00018177926540374756, 0.0003484785556793213, 0.000515177845954895, 0.0006818771362304688]}, "gradients/encoder.encoder.layers.11.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 4.0, 11.0, 85.0, 441.0, 386.0, 78.0, 13.0, 3.0], "bins": [-0.00013959407806396484, -0.00013726390898227692, -0.000134933739900589, -0.00013260357081890106, -0.00013027340173721313, -0.0001279432326555252, -0.00012561306357383728, -0.00012328289449214935, -0.00012095272541046143, -0.0001186225563287735, -0.00011629238724708557, -0.00011396221816539764, -0.00011163204908370972, -0.00010930188000202179, -0.00010697171092033386, -0.00010464154183864594, -0.00010231137275695801, -9.998120367527008e-05, -9.765103459358215e-05, -9.532086551189423e-05, -9.29906964302063e-05, -9.066052734851837e-05, -8.833035826683044e-05, -8.600018918514252e-05, -8.367002010345459e-05, -8.133985102176666e-05, -7.900968194007874e-05, -7.667951285839081e-05, -7.434934377670288e-05, -7.201917469501495e-05, -6.968900561332703e-05, -6.73588365316391e-05, -6.502866744995117e-05, -6.269849836826324e-05, -6.036832928657532e-05, -5.803816020488739e-05, -5.570799112319946e-05, -5.3377822041511536e-05, -5.104765295982361e-05, -4.871748387813568e-05, -4.6387314796447754e-05, -4.405714571475983e-05, -4.17269766330719e-05, -3.939680755138397e-05, -3.7066638469696045e-05, -3.473646938800812e-05, -3.240630030632019e-05, -3.0076131224632263e-05, -2.7745962142944336e-05, -2.541579306125641e-05, -2.308562397956848e-05, -2.0755454897880554e-05, -1.8425285816192627e-05, -1.60951167345047e-05, -1.3764947652816772e-05, -1.1434778571128845e-05, -9.104609489440918e-06, -6.774440407752991e-06, -4.4442713260650635e-06, -2.1141022443771362e-06, 2.1606683731079102e-07, 2.5462359189987183e-06, 4.8764050006866455e-06, 7.206574082374573e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.11.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 1.0, 2.0, 5.0, 1.0, 5.0, 7.0, 9.0, 13.0, 22.0, 35.0, 39.0, 47.0, 116.0, 137.0, 232.0, 411.0, 697.0, 1276.0, 2774.0, 4179179.0, 5034.0, 1727.0, 1010.0, 578.0, 315.0, 217.0, 119.0, 88.0, 57.0, 41.0, 24.0, 23.0, 21.0, 13.0, 4.0, 6.0, 2.0, 7.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00027489662170410156, -0.0002628155052661896, -0.0002507343888282776, -0.0002386532723903656, -0.0002265721559524536, -0.00021449103951454163, -0.00020240992307662964, -0.00019032880663871765, -0.00017824769020080566, -0.00016616657376289368, -0.0001540854573249817, -0.0001420043408870697, -0.00012992322444915771, -0.00011784210801124573, -0.00010576099157333374, -9.367987513542175e-05, -8.159875869750977e-05, -6.951764225959778e-05, -5.743652582168579e-05, -4.5355409383773804e-05, -3.3274292945861816e-05, -2.119317650794983e-05, -9.112060070037842e-06, 2.9690563678741455e-06, 1.5050172805786133e-05, 2.713128924369812e-05, 3.921240568161011e-05, 5.1293522119522095e-05, 6.337463855743408e-05, 7.545575499534607e-05, 8.753687143325806e-05, 9.961798787117004e-05, 0.00011169910430908203, 0.00012378022074699402, 0.000135861337184906, 0.000147942453622818, 0.00016002357006072998, 0.00017210468649864197, 0.00018418580293655396, 0.00019626691937446594, 0.00020834803581237793, 0.00022042915225028992, 0.0002325102686882019, 0.0002445913851261139, 0.0002566725015640259, 0.00026875361800193787, 0.00028083473443984985, 0.00029291585087776184, 0.00030499696731567383, 0.0003170780837535858, 0.0003291592001914978, 0.0003412403166294098, 0.0003533214330673218, 0.00036540254950523376, 0.00037748366594314575, 0.00038956478238105774, 0.0004016458988189697, 0.0004137270152568817, 0.0004258081316947937, 0.0004378892481327057, 0.0004499703645706177, 0.00046205148100852966, 0.00047413259744644165, 0.00048621371388435364, 0.0004982948303222656]}, "gradients/encoder.encoder.layers.11.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 0.0, 2.0, 7.0, 4064.0, 3.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 3.0, 1.0, 0.0, 0.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.4809112548828125e-05, -3.32370400428772e-05, -3.166496753692627e-05, -3.0092895030975342e-05, -2.8520822525024414e-05, -2.6948750019073486e-05, -2.537667751312256e-05, -2.380460500717163e-05, -2.2232532501220703e-05, -2.0660459995269775e-05, -1.9088387489318848e-05, -1.751631498336792e-05, -1.5944242477416992e-05, -1.4372169971466064e-05, -1.2800097465515137e-05, -1.1228024959564209e-05, -9.655952453613281e-06, -8.083879947662354e-06, -6.511807441711426e-06, -4.939734935760498e-06, -3.3676624298095703e-06, -1.7955899238586426e-06, -2.2351741790771484e-07, 1.3485550880432129e-06, 2.9206275939941406e-06, 4.492700099945068e-06, 6.064772605895996e-06, 7.636845111846924e-06, 9.208917617797852e-06, 1.078099012374878e-05, 1.2353062629699707e-05, 1.3925135135650635e-05, 1.5497207641601562e-05, 1.706928014755249e-05, 1.8641352653503418e-05, 2.0213425159454346e-05, 2.1785497665405273e-05, 2.33575701713562e-05, 2.492964267730713e-05, 2.6501715183258057e-05, 2.8073787689208984e-05, 2.9645860195159912e-05, 3.121793270111084e-05, 3.279000520706177e-05, 3.4362077713012695e-05, 3.593415021896362e-05, 3.750622272491455e-05, 3.907829523086548e-05, 4.0650367736816406e-05, 4.2222440242767334e-05, 4.379451274871826e-05, 4.536658525466919e-05, 4.693865776062012e-05, 4.8510730266571045e-05, 5.008280277252197e-05, 5.16548752784729e-05, 5.322694778442383e-05, 5.4799020290374756e-05, 5.6371092796325684e-05, 5.794316530227661e-05, 5.951523780822754e-05, 6.108731031417847e-05, 6.26593828201294e-05, 6.423145532608032e-05, 6.580352783203125e-05]}, "gradients/encoder.encoder.layers.11.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 3.0, 2.0, 0.0, 3.0, 10.0, 9.0, 14.0, 31.0, 39.0, 96.0, 363.0, 188.0, 96.0, 42.0, 45.0, 19.0, 11.0, 18.0, 7.0, 9.0, 5.0, 1.0, 1.0, 3.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.00011776939209084958, -0.00011109815386589617, -0.00010442691564094275, -9.775568469194695e-05, -9.108444646699354e-05, -8.441320824204013e-05, -7.774197729304433e-05, -7.107073906809092e-05, -6.43995008431375e-05, -5.772826261818409e-05, -5.1057028031209484e-05, -4.438579344423488e-05, -3.7714555219281465e-05, -3.104331699432805e-05, -2.4372082407353446e-05, -1.770084782037884e-05, -1.1029609595425427e-05, -4.3583731894614175e-06, 2.312863216502592e-06, 8.984099622466601e-06, 1.565533602843061e-05, 2.2326574253384024e-05, 2.899780884035863e-05, 3.5669043427333236e-05, 4.234028165228665e-05, 4.901151987724006e-05, 5.568275446421467e-05, 6.235398905118927e-05, 6.902522727614269e-05, 7.56964655010961e-05, 8.23676964500919e-05, 8.903893467504531e-05, 9.57101583480835e-05, 0.00010238139657303691, 0.00010905263479799032, 0.00011572386574698612, 0.00012239511124789715, 0.00012906634947285056, 0.00013573757314588875, 0.00014240881137084216, 0.00014908004959579557, 0.00015575128782074898, 0.0001624225260457024, 0.0001690937642706558, 0.000175764987943694, 0.0001824362261686474, 0.00018910746439360082, 0.00019577870261855423, 0.00020244994084350765, 0.00020912117906846106, 0.00021579241729341447, 0.0002224636555183679, 0.0002291348937433213, 0.0002358061319682747, 0.0002424773556413129, 0.0002491485793143511, 0.0002558198175393045, 0.0002624910557642579, 0.0002691622939892113, 0.00027583353221416473, 0.00028250477043911815, 0.00028917600866407156, 0.000295847246889025, 0.0003025184851139784, 0.0003091897233389318]}, "gradients/encoder.encoder.layers.11.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 6.0, 3.0, 4.0, 4.0, 5.0, 7.0, 16.0, 9.0, 23.0, 19.0, 40.0, 31.0, 42.0, 35.0, 57.0, 55.0, 46.0, 44.0, 69.0, 58.0, 61.0, 52.0, 54.0, 43.0, 37.0, 47.0, 31.0, 24.0, 22.0, 21.0, 19.0, 5.0, 7.0, 3.0, 4.0, 7.0, 1.0, 2.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 1.0], "bins": [-9.202957153320312e-05, -8.937064558267593e-05, -8.671171963214874e-05, -8.405279368162155e-05, -8.139386773109436e-05, -7.873494178056717e-05, -7.607601583003998e-05, -7.341708987951279e-05, -7.07581639289856e-05, -6.80992379784584e-05, -6.544031202793121e-05, -6.278138607740402e-05, -6.012246012687683e-05, -5.746353417634964e-05, -5.480460822582245e-05, -5.214568227529526e-05, -4.9486756324768066e-05, -4.6827830374240875e-05, -4.4168904423713684e-05, -4.150997847318649e-05, -3.88510525226593e-05, -3.619212657213211e-05, -3.353320062160492e-05, -3.087427467107773e-05, -2.8215348720550537e-05, -2.5556422770023346e-05, -2.2897496819496155e-05, -2.0238570868968964e-05, -1.7579644918441772e-05, -1.4920718967914581e-05, -1.226179301738739e-05, -9.602867066860199e-06, -6.943941116333008e-06, -4.285015165805817e-06, -1.6260892152786255e-06, 1.0328367352485657e-06, 3.691762685775757e-06, 6.350688636302948e-06, 9.00961458683014e-06, 1.166854053735733e-05, 1.4327466487884521e-05, 1.6986392438411713e-05, 1.9645318388938904e-05, 2.2304244339466095e-05, 2.4963170289993286e-05, 2.7622096240520477e-05, 3.028102219104767e-05, 3.293994814157486e-05, 3.559887409210205e-05, 3.825780004262924e-05, 4.091672599315643e-05, 4.3575651943683624e-05, 4.6234577894210815e-05, 4.8893503844738007e-05, 5.15524297952652e-05, 5.421135574579239e-05, 5.687028169631958e-05, 5.952920764684677e-05, 6.218813359737396e-05, 6.484705954790115e-05, 6.750598549842834e-05, 7.016491144895554e-05, 7.282383739948273e-05, 7.548276335000992e-05, 7.814168930053711e-05]}, "gradients/encoder.encoder.layers.11.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 0.0, 1.0, 1.0, 3.0, 2.0, 4.0, 2.0, 2.0, 7.0, 4.0, 5.0, 5.0, 12.0, 15.0, 11.0, 23.0, 12.0, 22.0, 21.0, 36.0, 21.0, 24.0, 30.0, 29.0, 38.0, 50.0, 71.0, 361.0, 38737.0, 1006502.0, 1979.0, 128.0, 49.0, 47.0, 35.0, 33.0, 32.0, 41.0, 38.0, 22.0, 17.0, 13.0, 17.0, 14.0, 9.0, 6.0, 8.0, 4.0, 9.0, 2.0, 9.0, 0.0, 2.0, 3.0, 0.0, 0.0, 2.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.0004558563232421875, -0.00044171884655952454, -0.00042758136987686157, -0.0004134438931941986, -0.00039930641651153564, -0.0003851689398288727, -0.0003710314631462097, -0.00035689398646354675, -0.0003427565097808838, -0.0003286190330982208, -0.00031448155641555786, -0.0003003440797328949, -0.00028620660305023193, -0.00027206912636756897, -0.000257931649684906, -0.00024379417300224304, -0.00022965669631958008, -0.00021551921963691711, -0.00020138174295425415, -0.0001872442662715912, -0.00017310678958892822, -0.00015896931290626526, -0.0001448318362236023, -0.00013069435954093933, -0.00011655688285827637, -0.0001024194061756134, -8.828192949295044e-05, -7.414445281028748e-05, -6.000697612762451e-05, -4.586949944496155e-05, -3.1732022762298584e-05, -1.759454607963562e-05, -3.4570693969726562e-06, 1.0680407285690308e-05, 2.481788396835327e-05, 3.8955360651016235e-05, 5.30928373336792e-05, 6.723031401634216e-05, 8.136779069900513e-05, 9.550526738166809e-05, 0.00010964274406433105, 0.00012378022074699402, 0.00013791769742965698, 0.00015205517411231995, 0.0001661926507949829, 0.00018033012747764587, 0.00019446760416030884, 0.0002086050808429718, 0.00022274255752563477, 0.00023688003420829773, 0.0002510175108909607, 0.00026515498757362366, 0.0002792924642562866, 0.0002934299409389496, 0.00030756741762161255, 0.0003217048943042755, 0.0003358423709869385, 0.00034997984766960144, 0.0003641173243522644, 0.00037825480103492737, 0.00039239227771759033, 0.0004065297544002533, 0.00042066723108291626, 0.0004348047077655792, 0.0004489421844482422]}, "gradients/encoder.encoder.layers.11.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 2.0, 12.0, 92.0, 423.0, 388.0, 83.0, 17.0, 3.0], "bins": [-0.00013959407806396484, -0.00013726390898227692, -0.000134933739900589, -0.00013260357081890106, -0.00013027340173721313, -0.0001279432326555252, -0.00012561306357383728, -0.00012328289449214935, -0.00012095272541046143, -0.0001186225563287735, -0.00011629238724708557, -0.00011396221816539764, -0.00011163204908370972, -0.00010930188000202179, -0.00010697171092033386, -0.00010464154183864594, -0.00010231137275695801, -9.998120367527008e-05, -9.765103459358215e-05, -9.532086551189423e-05, -9.29906964302063e-05, -9.066052734851837e-05, -8.833035826683044e-05, -8.600018918514252e-05, -8.367002010345459e-05, -8.133985102176666e-05, -7.900968194007874e-05, -7.667951285839081e-05, -7.434934377670288e-05, -7.201917469501495e-05, -6.968900561332703e-05, -6.73588365316391e-05, -6.502866744995117e-05, -6.269849836826324e-05, -6.036832928657532e-05, -5.803816020488739e-05, -5.570799112319946e-05, -5.3377822041511536e-05, -5.104765295982361e-05, -4.871748387813568e-05, -4.6387314796447754e-05, -4.405714571475983e-05, -4.17269766330719e-05, -3.939680755138397e-05, -3.7066638469696045e-05, -3.473646938800812e-05, -3.240630030632019e-05, -3.0076131224632263e-05, -2.7745962142944336e-05, -2.541579306125641e-05, -2.308562397956848e-05, -2.0755454897880554e-05, -1.8425285816192627e-05, -1.60951167345047e-05, -1.3764947652816772e-05, -1.1434778571128845e-05, -9.104609489440918e-06, -6.774440407752991e-06, -4.4442713260650635e-06, -2.1141022443771362e-06, 2.1606683731079102e-07, 2.5462359189987183e-06, 4.8764050006866455e-06, 7.206574082374573e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.11.attention.v_proj.weight": {"_type": "histogram", "values": [3.0, 4.0, 3.0, 8.0, 17.0, 16.0, 25.0, 49.0, 62.0, 81.0, 125.0, 152.0, 239.0, 269.0, 366.0, 566.0, 714.0, 843.0, 1119.0, 1566.0, 2029.0, 2613.0, 3363.0, 4350.0, 5784.0, 7419.0, 9034.0, 12071.0, 15432.0, 19586.0, 835153.0, 40369.0, 19342.0, 14832.0, 11324.0, 9143.0, 7151.0, 5427.0, 4351.0, 3195.0, 2486.0, 1961.0, 1485.0, 1049.0, 871.0, 642.0, 520.0, 352.0, 300.0, 207.0, 160.0, 95.0, 72.0, 63.0, 40.0, 25.0, 19.0, 18.0, 6.0, 5.0, 1.0, 1.0, 1.0, 2.0], "bins": [-6.574392318725586e-05, -6.361864507198334e-05, -6.149336695671082e-05, -5.9368088841438293e-05, -5.724281072616577e-05, -5.511753261089325e-05, -5.299225449562073e-05, -5.0866976380348206e-05, -4.8741698265075684e-05, -4.661642014980316e-05, -4.449114203453064e-05, -4.236586391925812e-05, -4.0240585803985596e-05, -3.8115307688713074e-05, -3.599002957344055e-05, -3.386475145816803e-05, -3.173947334289551e-05, -2.9614195227622986e-05, -2.7488917112350464e-05, -2.5363638997077942e-05, -2.323836088180542e-05, -2.1113082766532898e-05, -1.8987804651260376e-05, -1.6862526535987854e-05, -1.4737248420715332e-05, -1.261197030544281e-05, -1.0486692190170288e-05, -8.361414074897766e-06, -6.236135959625244e-06, -4.110857844352722e-06, -1.9855797290802e-06, 1.3969838619232178e-07, 2.2649765014648438e-06, 4.390254616737366e-06, 6.515532732009888e-06, 8.64081084728241e-06, 1.0766088962554932e-05, 1.2891367077827454e-05, 1.5016645193099976e-05, 1.7141923308372498e-05, 1.926720142364502e-05, 2.139247953891754e-05, 2.3517757654190063e-05, 2.5643035769462585e-05, 2.7768313884735107e-05, 2.989359200000763e-05, 3.201887011528015e-05, 3.414414823055267e-05, 3.6269426345825195e-05, 3.839470446109772e-05, 4.051998257637024e-05, 4.264526069164276e-05, 4.477053880691528e-05, 4.6895816922187805e-05, 4.902109503746033e-05, 5.114637315273285e-05, 5.327165126800537e-05, 5.539692938327789e-05, 5.7522207498550415e-05, 5.964748561382294e-05, 6.177276372909546e-05, 6.389804184436798e-05, 6.60233199596405e-05, 6.814859807491302e-05, 7.027387619018555e-05]}, "gradients/encoder.encoder.layers.11.attention.v_proj.bias": {"_type": "histogram", "values": [4.0, 1.0, 2.0, 3.0, 8.0, 4.0, 0.0, 1.0, 2.0, 5.0, 5.0, 9.0, 5.0, 6.0, 3.0, 1.0, 2.0, 6.0, 5.0, 6.0, 5.0, 4.0, 1.0, 1.0, 4.0, 4.0, 0.0, 1.0, 9.0, 26.0, 764.0, 5.0, 1.0, 5.0, 5.0, 6.0, 5.0, 2.0, 3.0, 5.0, 4.0, 6.0, 7.0, 5.0, 1.0, 2.0, 5.0, 14.0, 7.0, 4.0, 7.0, 0.0, 1.0, 5.0, 3.0, 6.0, 2.0, 3.0, 1.0, 4.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.00010478496551513672, -0.00010129809379577637, -9.781122207641602e-05, -9.432435035705566e-05, -9.083747863769531e-05, -8.735060691833496e-05, -8.386373519897461e-05, -8.037686347961426e-05, -7.68899917602539e-05, -7.340312004089355e-05, -6.99162483215332e-05, -6.642937660217285e-05, -6.29425048828125e-05, -5.945563316345215e-05, -5.59687614440918e-05, -5.2481889724731445e-05, -4.8995018005371094e-05, -4.550814628601074e-05, -4.202127456665039e-05, -3.853440284729004e-05, -3.504753112792969e-05, -3.1560659408569336e-05, -2.8073787689208984e-05, -2.4586915969848633e-05, -2.110004425048828e-05, -1.761317253112793e-05, -1.4126300811767578e-05, -1.0639429092407227e-05, -7.152557373046875e-06, -3.6656856536865234e-06, -1.7881393432617188e-07, 3.3080577850341797e-06, 6.794929504394531e-06, 1.0281801223754883e-05, 1.3768672943115234e-05, 1.7255544662475586e-05, 2.0742416381835938e-05, 2.422928810119629e-05, 2.771615982055664e-05, 3.120303153991699e-05, 3.4689903259277344e-05, 3.8176774978637695e-05, 4.166364669799805e-05, 4.51505184173584e-05, 4.863739013671875e-05, 5.21242618560791e-05, 5.561113357543945e-05, 5.9098005294799805e-05, 6.258487701416016e-05, 6.607174873352051e-05, 6.955862045288086e-05, 7.304549217224121e-05, 7.653236389160156e-05, 8.001923561096191e-05, 8.350610733032227e-05, 8.699297904968262e-05, 9.047985076904297e-05, 9.396672248840332e-05, 9.745359420776367e-05, 0.00010094046592712402, 0.00010442733764648438, 0.00010791420936584473, 0.00011140108108520508, 0.00011488795280456543, 0.00011837482452392578]}, "gradients/encoder.encoder.layers.11.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 1.0, 3.0, 0.0, 11.0, 5.0, 5.0, 11.0, 16.0, 11.0, 28.0, 29.0, 33.0, 49.0, 103.0, 166.0, 227.0, 112.0, 67.0, 36.0, 18.0, 23.0, 16.0, 12.0, 7.0, 5.0, 4.0, 4.0, 4.0, 6.0, 1.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.000945941312238574, -0.0009182686917483807, -0.0008905961294658482, -0.0008629235089756548, -0.0008352509466931224, -0.000807578326202929, -0.0007799057057127357, -0.0007522331434302032, -0.0007245605811476707, -0.0006968879606574774, -0.0006692153983749449, -0.0006415427778847516, -0.0006138702156022191, -0.0005861975951120257, -0.0005585249746218324, -0.0005308524123392999, -0.0005031797918491066, -0.00047550720046274364, -0.00044783460907638073, -0.00042016198858618736, -0.0003924894263036549, -0.00036481680581346154, -0.00033714421442709863, -0.0003094716230407357, -0.0002817990316543728, -0.0002541264402680099, -0.000226453848881647, -0.00019878124294336885, -0.00017110865155700594, -0.00014343606017064303, -0.00011576345423236489, -8.809086284600198e-05, -6.041827145963907e-05, -3.2745676435297355e-05, -5.073081410955638e-06, 2.2599517251364887e-05, 5.02721086377278e-05, 7.794470002409071e-05, 0.00010561730596236885, 0.00013328989734873176, 0.00016096248873509467, 0.00018863508012145758, 0.0002163076715078205, 0.00024398027744609863, 0.00027165288338437676, 0.0002993254456669092, 0.0003269980661571026, 0.0003546706575434655, 0.0003823432489298284, 0.0004100158403161913, 0.0004376884317025542, 0.0004653610521927476, 0.00049303361447528, 0.0005207062349654734, 0.0005483787972480059, 0.0005760514177381992, 0.0006037240382283926, 0.000631396658718586, 0.0006590692210011184, 0.0006867418414913118, 0.0007144144037738442, 0.0007420870242640376, 0.000769759644754231, 0.0007974322070367634, 0.0008251047693192959]}, "gradients/encoder.encoder.layers.11.layer_norm.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 2.0, 9.0, 13.0, 19.0, 20.0, 21.0, 29.0, 35.0, 30.0, 56.0, 81.0, 76.0, 84.0, 88.0, 81.0, 74.0, 66.0, 49.0, 44.0, 35.0, 24.0, 19.0, 23.0, 17.0, 5.0, 6.0, 7.0, 1.0, 1.0, 3.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0004253387451171875, -0.00039965007454156876, -0.00037396140396595, -0.00034827273339033127, -0.0003225840628147125, -0.0002968953922390938, -0.00027120672166347504, -0.0002455180510878563, -0.00021982938051223755, -0.0001941407099366188, -0.00016845203936100006, -0.00014276336878538132, -0.00011707469820976257, -9.138602763414383e-05, -6.569735705852509e-05, -4.000868648290634e-05, -1.4320015907287598e-05, 1.1368654668331146e-05, 3.705732524394989e-05, 6.274599581956863e-05, 8.843466639518738e-05, 0.00011412333697080612, 0.00013981200754642487, 0.0001655006781220436, 0.00019118934869766235, 0.0002168780192732811, 0.00024256668984889984, 0.0002682553604245186, 0.00029394403100013733, 0.0003196327015757561, 0.0003453213721513748, 0.00037101004272699356, 0.0003966987133026123, 0.00042238738387823105, 0.0004480760544538498, 0.00047376472502946854, 0.0004994533956050873, 0.000525142066180706, 0.0005508307367563248, 0.0005765194073319435, 0.0006022080779075623, 0.000627896748483181, 0.0006535854190587997, 0.0006792740896344185, 0.0007049627602100372, 0.000730651430785656, 0.0007563401013612747, 0.0007820287719368935, 0.0008077174425125122, 0.000833406113088131, 0.0008590947836637497, 0.0008847834542393684, 0.0009104721248149872, 0.0009361607953906059, 0.0009618494659662247, 0.0009875381365418434, 0.0010132268071174622, 0.001038915477693081, 0.0010646041482686996, 0.0010902928188443184, 0.0011159814894199371, 0.0011416701599955559, 0.0011673588305711746, 0.0011930475011467934, 0.0012187361717224121]}, "gradients/encoder.encoder.layers.10.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 4.0, 0.0, 2.0, 1.0, 5.0, 14.0, 97.0, 4192660.0, 1416.0, 83.0, 17.0, 3.0], "bins": [-0.00537872314453125, -0.005288936197757721, -0.005199149250984192, -0.005109362304210663, -0.005019575357437134, -0.004929788410663605, -0.004840001463890076, -0.004750214517116547, -0.004660427570343018, -0.0045706406235694885, -0.0044808536767959595, -0.00439106673002243, -0.004301279783248901, -0.004211492836475372, -0.004121705889701843, -0.004031918942928314, -0.003942131996154785, -0.003852345049381256, -0.003762558102607727, -0.003672771155834198, -0.003582984209060669, -0.00349319726228714, -0.003403410315513611, -0.003313623368740082, -0.0032238364219665527, -0.0031340494751930237, -0.0030442625284194946, -0.0029544755816459656, -0.0028646886348724365, -0.0027749016880989075, -0.0026851147413253784, -0.0025953277945518494, -0.0025055408477783203, -0.0024157539010047913, -0.002325966954231262, -0.002236180007457733, -0.002146393060684204, -0.002056606113910675, -0.001966819167137146, -0.001877032220363617, -0.0017872452735900879, -0.0016974583268165588, -0.0016076713800430298, -0.0015178844332695007, -0.0014280974864959717, -0.0013383105397224426, -0.0012485235929489136, -0.0011587366461753845, -0.0010689496994018555, -0.0009791627526283264, -0.0008893758058547974, -0.0007995888590812683, -0.0007098019123077393, -0.0006200149655342102, -0.0005302280187606812, -0.0004404410719871521, -0.00035065412521362305, -0.000260867178440094, -0.00017108023166656494, -8.129328489303589e-05, 8.493661880493164e-06, 9.828060865402222e-05, 0.00018806755542755127, 0.0002778545022010803, 0.0003676414489746094]}, "gradients/encoder.encoder.layers.10.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 2.0, 12.0, 92.0, 423.0, 388.0, 83.0, 17.0, 3.0], "bins": [-0.00013959407806396484, -0.00013726390898227692, -0.000134933739900589, -0.00013260357081890106, -0.00013027340173721313, -0.0001279432326555252, -0.00012561306357383728, -0.00012328289449214935, -0.00012095272541046143, -0.0001186225563287735, -0.00011629238724708557, -0.00011396221816539764, -0.00011163204908370972, -0.00010930188000202179, -0.00010697171092033386, -0.00010464154183864594, -0.00010231137275695801, -9.998120367527008e-05, -9.765103459358215e-05, -9.532086551189423e-05, -9.29906964302063e-05, -9.066052734851837e-05, -8.833035826683044e-05, -8.600018918514252e-05, -8.367002010345459e-05, -8.133985102176666e-05, -7.900968194007874e-05, -7.667951285839081e-05, -7.434934377670288e-05, -7.201917469501495e-05, -6.968900561332703e-05, -6.73588365316391e-05, -6.502866744995117e-05, -6.269849836826324e-05, -6.036832928657532e-05, -5.803816020488739e-05, -5.570799112319946e-05, -5.3377822041511536e-05, -5.104765295982361e-05, -4.871748387813568e-05, -4.6387314796447754e-05, -4.405714571475983e-05, -4.17269766330719e-05, -3.939680755138397e-05, -3.7066638469696045e-05, -3.473646938800812e-05, -3.240630030632019e-05, -3.0076131224632263e-05, -2.7745962142944336e-05, -2.541579306125641e-05, -2.308562397956848e-05, -2.0755454897880554e-05, -1.8425285816192627e-05, -1.60951167345047e-05, -1.3764947652816772e-05, -1.1434778571128845e-05, -9.104609489440918e-06, -6.774440407752991e-06, -4.4442713260650635e-06, -2.1141022443771362e-06, 2.1606683731079102e-07, 2.5462359189987183e-06, 4.8764050006866455e-06, 7.206574082374573e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.10.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 2.0, 0.0, 7.0, 2.0, 10.0, 6.0, 12.0, 14.0, 21.0, 29.0, 27.0, 29.0, 60.0, 55.0, 93.0, 97.0, 131.0, 168.0, 215.0, 241.0, 335.0, 393.0, 469.0, 580.0, 653.0, 1214.0, 4333.0, 4170989.0, 8504.0, 1728.0, 798.0, 540.0, 503.0, 403.0, 319.0, 262.0, 216.0, 189.0, 139.0, 109.0, 92.0, 70.0, 41.0, 50.0, 42.0, 21.0, 27.0, 15.0, 12.0, 16.0, 7.0, 3.0, 2.0, 3.0, 2.0, 3.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00011992454528808594, -0.00011601485311985016, -0.00011210516095161438, -0.0001081954687833786, -0.00010428577661514282, -0.00010037608444690704, -9.646639227867126e-05, -9.255670011043549e-05, -8.864700794219971e-05, -8.473731577396393e-05, -8.082762360572815e-05, -7.691793143749237e-05, -7.300823926925659e-05, -6.909854710102081e-05, -6.518885493278503e-05, -6.127916276454926e-05, -5.7369470596313477e-05, -5.34597784280777e-05, -4.955008625984192e-05, -4.564039409160614e-05, -4.173070192337036e-05, -3.782100975513458e-05, -3.3911317586898804e-05, -3.0001625418663025e-05, -2.6091933250427246e-05, -2.2182241082191467e-05, -1.827254891395569e-05, -1.436285674571991e-05, -1.0453164577484131e-05, -6.543472409248352e-06, -2.6337802410125732e-06, 1.2759119272232056e-06, 5.185604095458984e-06, 9.095296263694763e-06, 1.3004988431930542e-05, 1.691468060016632e-05, 2.08243727684021e-05, 2.473406493663788e-05, 2.8643757104873657e-05, 3.2553449273109436e-05, 3.6463141441345215e-05, 4.0372833609580994e-05, 4.428252577781677e-05, 4.819221794605255e-05, 5.210191011428833e-05, 5.601160228252411e-05, 5.992129445075989e-05, 6.383098661899567e-05, 6.774067878723145e-05, 7.165037095546722e-05, 7.5560063123703e-05, 7.946975529193878e-05, 8.337944746017456e-05, 8.728913962841034e-05, 9.119883179664612e-05, 9.51085239648819e-05, 9.901821613311768e-05, 0.00010292790830135345, 0.00010683760046958923, 0.00011074729263782501, 0.00011465698480606079, 0.00011856667697429657, 0.00012247636914253235, 0.00012638606131076813, 0.0001302957534790039]}, "gradients/encoder.encoder.layers.10.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 3.0, 8.0, 7.0, 4053.0, 5.0, 1.0, 2.0, 5.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.504753112792969e-05, -3.390572965145111e-05, -3.2763928174972534e-05, -3.162212669849396e-05, -3.048032522201538e-05, -2.9338523745536804e-05, -2.8196722269058228e-05, -2.705492079257965e-05, -2.5913119316101074e-05, -2.4771317839622498e-05, -2.362951636314392e-05, -2.2487714886665344e-05, -2.1345913410186768e-05, -2.020411193370819e-05, -1.9062310457229614e-05, -1.7920508980751038e-05, -1.677870750427246e-05, -1.5636906027793884e-05, -1.4495104551315308e-05, -1.3353303074836731e-05, -1.2211501598358154e-05, -1.1069700121879578e-05, -9.927898645401001e-06, -8.786097168922424e-06, -7.644295692443848e-06, -6.502494215965271e-06, -5.360692739486694e-06, -4.218891263008118e-06, -3.077089786529541e-06, -1.9352883100509644e-06, -7.934868335723877e-07, 3.4831464290618896e-07, 1.4901161193847656e-06, 2.6319175958633423e-06, 3.773719072341919e-06, 4.915520548820496e-06, 6.057322025299072e-06, 7.199123501777649e-06, 8.340924978256226e-06, 9.482726454734802e-06, 1.0624527931213379e-05, 1.1766329407691956e-05, 1.2908130884170532e-05, 1.4049932360649109e-05, 1.5191733837127686e-05, 1.6333535313606262e-05, 1.747533679008484e-05, 1.8617138266563416e-05, 1.9758939743041992e-05, 2.090074121952057e-05, 2.2042542695999146e-05, 2.3184344172477722e-05, 2.43261456489563e-05, 2.5467947125434875e-05, 2.6609748601913452e-05, 2.775155007839203e-05, 2.8893351554870605e-05, 3.0035153031349182e-05, 3.117695450782776e-05, 3.2318755984306335e-05, 3.346055746078491e-05, 3.460235893726349e-05, 3.5744160413742065e-05, 3.688596189022064e-05, 3.802776336669922e-05]}, "gradients/encoder.encoder.layers.10.final_layer_norm.weight": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 4.0, 1.0, 8.0, 8.0, 8.0, 9.0, 23.0, 36.0, 47.0, 54.0, 143.0, 246.0, 126.0, 88.0, 51.0, 37.0, 25.0, 21.0, 19.0, 14.0, 12.0, 7.0, 5.0, 5.0, 3.0, 2.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 3.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-6.846711039543152e-05, -6.552954437211156e-05, -6.25919783487916e-05, -5.965441232547164e-05, -5.671684630215168e-05, -5.377928027883172e-05, -5.084171425551176e-05, -4.79041482321918e-05, -4.496658220887184e-05, -4.202901618555188e-05, -3.909145016223192e-05, -3.615388413891196e-05, -3.3216318115592e-05, -3.0278752092272043e-05, -2.7341186068952084e-05, -2.4403620045632124e-05, -2.1466054022312164e-05, -1.8528487998992205e-05, -1.5590921975672245e-05, -1.2653355952352285e-05, -9.715789929032326e-06, -6.778223905712366e-06, -3.8406578823924065e-06, -9.030918590724468e-07, 2.034474164247513e-06, 4.9720401875674725e-06, 7.909606210887432e-06, 1.0847172234207392e-05, 1.3784738257527351e-05, 1.672230428084731e-05, 1.965987030416727e-05, 2.259743632748723e-05, 2.553500235080719e-05, 2.847256837412715e-05, 3.141013439744711e-05, 3.434770042076707e-05, 3.728526644408703e-05, 4.022283246740699e-05, 4.316039849072695e-05, 4.609796451404691e-05, 4.903553053736687e-05, 5.197309656068683e-05, 5.4910662584006786e-05, 5.7848228607326746e-05, 6.0785794630646706e-05, 6.372336065396667e-05, 6.666092667728662e-05, 6.959849270060658e-05, 7.253605872392654e-05, 7.54736247472465e-05, 7.841119077056646e-05, 8.134875679388642e-05, 8.428632281720638e-05, 8.722388884052634e-05, 9.01614548638463e-05, 9.309902088716626e-05, 9.603658691048622e-05, 9.897415293380618e-05, 0.00010191171895712614, 0.0001048492849804461, 0.00010778685100376606, 0.00011072441702708602, 0.00011366198305040598, 0.00011659954907372594, 0.0001195371150970459]}, "gradients/encoder.encoder.layers.10.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 4.0, 1.0, 3.0, 3.0, 2.0, 4.0, 8.0, 9.0, 11.0, 15.0, 13.0, 11.0, 26.0, 15.0, 31.0, 34.0, 41.0, 23.0, 45.0, 40.0, 37.0, 39.0, 49.0, 47.0, 48.0, 40.0, 42.0, 39.0, 50.0, 30.0, 45.0, 25.0, 23.0, 31.0, 23.0, 29.0, 16.0, 7.0, 12.0, 10.0, 7.0, 9.0, 4.0, 2.0, 2.0, 2.0, 3.0, 6.0, 0.0, 1.0, 2.0, 1.0, 1.0], "bins": [-5.46574592590332e-05, -5.3097493946552277e-05, -5.153752863407135e-05, -4.9977563321590424e-05, -4.84175980091095e-05, -4.685763269662857e-05, -4.5297667384147644e-05, -4.373770207166672e-05, -4.217773675918579e-05, -4.0617771446704865e-05, -3.905780613422394e-05, -3.749784082174301e-05, -3.5937875509262085e-05, -3.437791019678116e-05, -3.281794488430023e-05, -3.1257979571819305e-05, -2.969801425933838e-05, -2.8138048946857452e-05, -2.6578083634376526e-05, -2.50181183218956e-05, -2.3458153009414673e-05, -2.1898187696933746e-05, -2.033822238445282e-05, -1.8778257071971893e-05, -1.7218291759490967e-05, -1.565832644701004e-05, -1.4098361134529114e-05, -1.2538395822048187e-05, -1.097843050956726e-05, -9.418465197086334e-06, -7.858499884605408e-06, -6.298534572124481e-06, -4.738569259643555e-06, -3.178603947162628e-06, -1.6186386346817017e-06, -5.8673322200775146e-08, 1.5012919902801514e-06, 3.061257302761078e-06, 4.621222615242004e-06, 6.181187927722931e-06, 7.741153240203857e-06, 9.301118552684784e-06, 1.086108386516571e-05, 1.2421049177646637e-05, 1.3981014490127563e-05, 1.554097980260849e-05, 1.7100945115089417e-05, 1.8660910427570343e-05, 2.022087574005127e-05, 2.1780841052532196e-05, 2.3340806365013123e-05, 2.490077167749405e-05, 2.6460736989974976e-05, 2.8020702302455902e-05, 2.958066761493683e-05, 3.1140632927417755e-05, 3.270059823989868e-05, 3.426056355237961e-05, 3.5820528864860535e-05, 3.738049417734146e-05, 3.894045948982239e-05, 4.0500424802303314e-05, 4.206039011478424e-05, 4.362035542726517e-05, 4.5180320739746094e-05]}, "gradients/encoder.encoder.layers.10.attention.out_proj.weight": {"_type": "histogram", "values": [3.0, 1.0, 1.0, 1.0, 1.0, 8.0, 1.0, 4.0, 6.0, 4.0, 6.0, 9.0, 8.0, 5.0, 10.0, 11.0, 22.0, 9.0, 18.0, 35.0, 24.0, 29.0, 27.0, 34.0, 34.0, 24.0, 33.0, 59.0, 157.0, 3510.0, 1006017.0, 37558.0, 406.0, 78.0, 41.0, 29.0, 38.0, 31.0, 47.0, 28.0, 25.0, 21.0, 12.0, 20.0, 24.0, 13.0, 17.0, 15.0, 12.0, 9.0, 8.0, 7.0, 5.0, 6.0, 3.0, 2.0, 2.0, 1.0, 5.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0003254413604736328, -0.00031484290957450867, -0.0003042444586753845, -0.0002936460077762604, -0.00028304755687713623, -0.0002724491059780121, -0.00026185065507888794, -0.0002512522041797638, -0.00024065375328063965, -0.0002300553023815155, -0.00021945685148239136, -0.0002088584005832672, -0.00019825994968414307, -0.00018766149878501892, -0.00017706304788589478, -0.00016646459698677063, -0.00015586614608764648, -0.00014526769518852234, -0.0001346692442893982, -0.00012407079339027405, -0.0001134723424911499, -0.00010287389159202576, -9.227544069290161e-05, -8.167698979377747e-05, -7.107853889465332e-05, -6.0480087995529175e-05, -4.988163709640503e-05, -3.9283186197280884e-05, -2.8684735298156738e-05, -1.8086284399032593e-05, -7.487833499908447e-06, 3.1106173992156982e-06, 1.3709068298339844e-05, 2.430751919746399e-05, 3.4905970096588135e-05, 4.550442099571228e-05, 5.6102871894836426e-05, 6.670132279396057e-05, 7.729977369308472e-05, 8.789822459220886e-05, 9.849667549133301e-05, 0.00010909512639045715, 0.0001196935772895813, 0.00013029202818870544, 0.0001408904790878296, 0.00015148892998695374, 0.00016208738088607788, 0.00017268583178520203, 0.00018328428268432617, 0.00019388273358345032, 0.00020448118448257446, 0.0002150796353816986, 0.00022567808628082275, 0.0002362765371799469, 0.00024687498807907104, 0.0002574734389781952, 0.00026807188987731934, 0.0002786703407764435, 0.0002892687916755676, 0.00029986724257469177, 0.0003104656934738159, 0.00032106414437294006, 0.0003316625952720642, 0.00034226104617118835, 0.0003528594970703125]}, "gradients/encoder.encoder.layers.10.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 16.0, 105.0, 406.0, 383.0, 87.0, 19.0, 3.0], "bins": [-0.00013959407806396484, -0.00013726390898227692, -0.000134933739900589, -0.00013260357081890106, -0.00013027340173721313, -0.0001279432326555252, -0.00012561306357383728, -0.00012328289449214935, -0.00012095272541046143, -0.0001186225563287735, -0.00011629238724708557, -0.00011396221816539764, -0.00011163204908370972, -0.00010930188000202179, -0.00010697171092033386, -0.00010464154183864594, -0.00010231137275695801, -9.998120367527008e-05, -9.765103459358215e-05, -9.532086551189423e-05, -9.29906964302063e-05, -9.066052734851837e-05, -8.833035826683044e-05, -8.600018918514252e-05, -8.367002010345459e-05, -8.133985102176666e-05, -7.900968194007874e-05, -7.667951285839081e-05, -7.434934377670288e-05, -7.201917469501495e-05, -6.968900561332703e-05, -6.73588365316391e-05, -6.502866744995117e-05, -6.269849836826324e-05, -6.036832928657532e-05, -5.803816020488739e-05, -5.570799112319946e-05, -5.3377822041511536e-05, -5.104765295982361e-05, -4.871748387813568e-05, -4.6387314796447754e-05, -4.405714571475983e-05, -4.17269766330719e-05, -3.939680755138397e-05, -3.7066638469696045e-05, -3.473646938800812e-05, -3.240630030632019e-05, -3.0076131224632263e-05, -2.7745962142944336e-05, -2.541579306125641e-05, -2.308562397956848e-05, -2.0755454897880554e-05, -1.8425285816192627e-05, -1.60951167345047e-05, -1.3764947652816772e-05, -1.1434778571128845e-05, -9.104609489440918e-06, -6.774440407752991e-06, -4.4442713260650635e-06, -2.1141022443771362e-06, 2.1606683731079102e-07, 2.5462359189987183e-06, 4.8764050006866455e-06, 7.206574082374573e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.10.attention.v_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 1.0, 4.0, 1.0, 2.0, 3.0, 10.0, 6.0, 8.0, 26.0, 21.0, 39.0, 71.0, 80.0, 168.0, 222.0, 381.0, 521.0, 883.0, 1336.0, 2028.0, 3193.0, 4817.0, 7646.0, 11659.0, 18378.0, 30699.0, 895268.0, 25473.0, 15828.0, 10792.0, 6744.0, 4404.0, 2727.0, 1821.0, 1187.0, 730.0, 467.0, 311.0, 235.0, 116.0, 89.0, 48.0, 41.0, 26.0, 17.0, 13.0, 7.0, 5.0, 5.0, 6.0, 3.0, 1.0, 1.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-8.589029312133789e-05, -8.306186646223068e-05, -8.023343980312347e-05, -7.740501314401627e-05, -7.457658648490906e-05, -7.174815982580185e-05, -6.891973316669464e-05, -6.609130650758743e-05, -6.326287984848022e-05, -6.0434453189373016e-05, -5.760602653026581e-05, -5.47775998711586e-05, -5.194917321205139e-05, -4.912074655294418e-05, -4.6292319893836975e-05, -4.346389323472977e-05, -4.063546657562256e-05, -3.780703991651535e-05, -3.497861325740814e-05, -3.2150186598300934e-05, -2.9321759939193726e-05, -2.6493333280086517e-05, -2.366490662097931e-05, -2.08364799618721e-05, -1.8008053302764893e-05, -1.5179626643657684e-05, -1.2351199984550476e-05, -9.522773325443268e-06, -6.6943466663360596e-06, -3.865920007228851e-06, -1.037493348121643e-06, 1.7909333109855652e-06, 4.6193599700927734e-06, 7.447786629199982e-06, 1.027621328830719e-05, 1.3104639947414398e-05, 1.5933066606521606e-05, 1.8761493265628815e-05, 2.1589919924736023e-05, 2.441834658384323e-05, 2.724677324295044e-05, 3.0075199902057648e-05, 3.2903626561164856e-05, 3.5732053220272064e-05, 3.856047987937927e-05, 4.138890653848648e-05, 4.421733319759369e-05, 4.70457598567009e-05, 4.9874186515808105e-05, 5.2702613174915314e-05, 5.553103983402252e-05, 5.835946649312973e-05, 6.118789315223694e-05, 6.401631981134415e-05, 6.684474647045135e-05, 6.967317312955856e-05, 7.250159978866577e-05, 7.533002644777298e-05, 7.815845310688019e-05, 8.09868797659874e-05, 8.38153064250946e-05, 8.664373308420181e-05, 8.947215974330902e-05, 9.230058640241623e-05, 9.512901306152344e-05]}, "gradients/encoder.encoder.layers.10.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 0.0, 4.0, 1.0, 2.0, 1.0, 2.0, 4.0, 4.0, 5.0, 3.0, 4.0, 2.0, 9.0, 6.0, 1.0, 8.0, 6.0, 3.0, 4.0, 3.0, 0.0, 4.0, 5.0, 4.0, 3.0, 13.0, 809.0, 8.0, 6.0, 4.0, 4.0, 2.0, 4.0, 3.0, 8.0, 4.0, 3.0, 5.0, 4.0, 2.0, 2.0, 5.0, 6.0, 10.0, 4.0, 4.0, 2.0, 4.0, 3.0, 5.0, 2.0, 2.0, 0.0, 1.0, 3.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00011026859283447266, -0.00010663829743862152, -0.00010300800204277039, -9.937770664691925e-05, -9.574741125106812e-05, -9.211711585521698e-05, -8.848682045936584e-05, -8.485652506351471e-05, -8.122622966766357e-05, -7.759593427181244e-05, -7.39656388759613e-05, -7.033534348011017e-05, -6.670504808425903e-05, -6.30747526884079e-05, -5.944445729255676e-05, -5.581416189670563e-05, -5.218386650085449e-05, -4.855357110500336e-05, -4.492327570915222e-05, -4.1292980313301086e-05, -3.766268491744995e-05, -3.4032389521598816e-05, -3.040209412574768e-05, -2.6771798729896545e-05, -2.314150333404541e-05, -1.9511207938194275e-05, -1.588091254234314e-05, -1.2250617146492004e-05, -8.620321750640869e-06, -4.990026354789734e-06, -1.3597309589385986e-06, 2.2705644369125366e-06, 5.900859832763672e-06, 9.531155228614807e-06, 1.3161450624465942e-05, 1.6791746020317078e-05, 2.0422041416168213e-05, 2.4052336812019348e-05, 2.7682632207870483e-05, 3.131292760372162e-05, 3.4943222999572754e-05, 3.857351839542389e-05, 4.2203813791275024e-05, 4.583410918712616e-05, 4.9464404582977295e-05, 5.309469997882843e-05, 5.6724995374679565e-05, 6.03552907705307e-05, 6.398558616638184e-05, 6.761588156223297e-05, 7.12461769580841e-05, 7.487647235393524e-05, 7.850676774978638e-05, 8.213706314563751e-05, 8.576735854148865e-05, 8.939765393733978e-05, 9.302794933319092e-05, 9.665824472904205e-05, 0.00010028854012489319, 0.00010391883552074432, 0.00010754913091659546, 0.0001111794263124466, 0.00011480972170829773, 0.00011844001710414886, 0.0001220703125]}, "gradients/encoder.encoder.layers.10.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 2.0, 3.0, 4.0, 10.0, 14.0, 12.0, 33.0, 30.0, 40.0, 73.0, 115.0, 233.0, 196.0, 76.0, 62.0, 44.0, 24.0, 17.0, 6.0, 8.0, 3.0, 5.0, 2.0, 1.0, 1.0, 0.0, 0.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0011340394848957658, -0.0011063439305871725, -0.0010786482598632574, -0.0010509527055546641, -0.0010232571512460709, -0.0009955615969374776, -0.0009678659844212234, -0.0009401703719049692, -0.0009124748175963759, -0.0008847792632877827, -0.0008570836507715285, -0.0008293880382552743, -0.000801692483946681, -0.0007739969296380877, -0.0007463013171218336, -0.0007186057046055794, -0.0006909101502969861, -0.0006632145959883928, -0.0006355189834721386, -0.0006078233709558845, -0.0005801278166472912, -0.0005524322623386979, -0.0005247366498224437, -0.0004970410373061895, -0.00046934548299759626, -0.00044164989958517253, -0.0004139543161727488, -0.0003862587327603251, -0.00035856314934790134, -0.0003308675659354776, -0.0003031719825230539, -0.00027547639911063015, -0.00024778087390586734, -0.0002200852904934436, -0.00019238970708101988, -0.00016469412366859615, -0.00013699854025617242, -0.00010930295684374869, -8.160737343132496e-05, -5.391179001890123e-05, -2.62162066064775e-05, 1.4793768059462309e-06, 2.917496021836996e-05, 5.687054363079369e-05, 8.456612704321742e-05, 0.00011226171045564115, 0.00013995729386806488, 0.0001676528772804886, 0.00019534846069291234, 0.00022304404410533607, 0.0002507396275177598, 0.00027843521093018353, 0.00030613079434260726, 0.000333826377755031, 0.0003615219611674547, 0.00038921754457987845, 0.0004169131279923022, 0.0004446087114047259, 0.00047230429481714964, 0.0004999998491257429, 0.0005276954616419971, 0.0005553910741582513, 0.0005830866284668446, 0.0006107821827754378, 0.000638477795291692]}, "gradients/encoder.encoder.layers.10.layer_norm.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 5.0, 3.0, 6.0, 9.0, 12.0, 23.0, 31.0, 30.0, 43.0, 49.0, 59.0, 68.0, 67.0, 77.0, 71.0, 65.0, 61.0, 63.0, 55.0, 53.0, 38.0, 32.0, 22.0, 19.0, 9.0, 15.0, 10.0, 7.0, 5.0, 5.0, 2.0, 2.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0003636479377746582, -0.0003440463915467262, -0.00032444484531879425, -0.0003048432990908623, -0.0002852417528629303, -0.0002656402066349983, -0.00024603866040706635, -0.00022643711417913437, -0.0002068355679512024, -0.00018723402172327042, -0.00016763247549533844, -0.00014803092926740646, -0.0001284293830394745, -0.00010882783681154251, -8.922629058361053e-05, -6.962474435567856e-05, -5.002319812774658e-05, -3.0421651899814606e-05, -1.082010567188263e-05, 8.781440556049347e-06, 2.8382986783981323e-05, 4.79845330119133e-05, 6.758607923984528e-05, 8.718762546777725e-05, 0.00010678917169570923, 0.0001263907179236412, 0.00014599226415157318, 0.00016559381037950516, 0.00018519535660743713, 0.0002047969028353691, 0.00022439844906330109, 0.00024399999529123306, 0.00026360154151916504, 0.000283203087747097, 0.000302804633975029, 0.00032240618020296097, 0.00034200772643089294, 0.0003616092726588249, 0.0003812108188867569, 0.0004008123651146889, 0.00042041391134262085, 0.0004400154575705528, 0.0004596170037984848, 0.0004792185500264168, 0.0004988200962543488, 0.0005184216424822807, 0.0005380231887102127, 0.0005576247349381447, 0.0005772262811660767, 0.0005968278273940086, 0.0006164293736219406, 0.0006360309198498726, 0.0006556324660778046, 0.0006752340123057365, 0.0006948355585336685, 0.0007144371047616005, 0.0007340386509895325, 0.0007536401972174644, 0.0007732417434453964, 0.0007928432896733284, 0.0008124448359012604, 0.0008320463821291924, 0.0008516479283571243, 0.0008712494745850563, 0.0008908510208129883]}, "gradients/encoder.encoder.layers.9.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 2.0, 2.0, 3.0, 19.0, 137.0, 4192006.0, 2022.0, 87.0, 16.0, 3.0], "bins": [-0.0019550323486328125, -0.0019223876297473907, -0.001889742910861969, -0.0018570981919765472, -0.0018244534730911255, -0.0017918087542057037, -0.001759164035320282, -0.0017265193164348602, -0.0016938745975494385, -0.0016612298786640167, -0.001628585159778595, -0.0015959404408931732, -0.0015632957220077515, -0.0015306510031223297, -0.001498006284236908, -0.0014653615653514862, -0.0014327168464660645, -0.0014000721275806427, -0.001367427408695221, -0.0013347826898097992, -0.0013021379709243774, -0.0012694932520389557, -0.001236848533153534, -0.0012042038142681122, -0.0011715590953826904, -0.0011389143764972687, -0.001106269657611847, -0.0010736249387264252, -0.0010409802198410034, -0.0010083355009555817, -0.0009756907820701599, -0.0009430460631847382, -0.0009104013442993164, -0.0008777566254138947, -0.0008451119065284729, -0.0008124671876430511, -0.0007798224687576294, -0.0007471777498722076, -0.0007145330309867859, -0.0006818883121013641, -0.0006492435932159424, -0.0006165988743305206, -0.0005839541554450989, -0.0005513094365596771, -0.0005186647176742554, -0.0004860199987888336, -0.00045337527990341187, -0.0004207305610179901, -0.00038808584213256836, -0.0003554411232471466, -0.00032279640436172485, -0.0002901516854763031, -0.00025750696659088135, -0.0002248622477054596, -0.00019221752882003784, -0.0001595728099346161, -0.00012692809104919434, -9.428337216377258e-05, -6.163865327835083e-05, -2.8993934392929077e-05, 3.6507844924926758e-06, 3.629550337791443e-05, 6.894022226333618e-05, 0.00010158494114875793, 0.0001342296600341797]}, "gradients/encoder.encoder.layers.9.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 16.0, 105.0, 406.0, 383.0, 87.0, 19.0, 3.0], "bins": [-0.00013959407806396484, -0.00013726390898227692, -0.000134933739900589, -0.00013260357081890106, -0.00013027340173721313, -0.0001279432326555252, -0.00012561306357383728, -0.00012328289449214935, -0.00012095272541046143, -0.0001186225563287735, -0.00011629238724708557, -0.00011396221816539764, -0.00011163204908370972, -0.00010930188000202179, -0.00010697171092033386, -0.00010464154183864594, -0.00010231137275695801, -9.998120367527008e-05, -9.765103459358215e-05, -9.532086551189423e-05, -9.29906964302063e-05, -9.066052734851837e-05, -8.833035826683044e-05, -8.600018918514252e-05, -8.367002010345459e-05, -8.133985102176666e-05, -7.900968194007874e-05, -7.667951285839081e-05, -7.434934377670288e-05, -7.201917469501495e-05, -6.968900561332703e-05, -6.73588365316391e-05, -6.502866744995117e-05, -6.269849836826324e-05, -6.036832928657532e-05, -5.803816020488739e-05, -5.570799112319946e-05, -5.3377822041511536e-05, -5.104765295982361e-05, -4.871748387813568e-05, -4.6387314796447754e-05, -4.405714571475983e-05, -4.17269766330719e-05, -3.939680755138397e-05, -3.7066638469696045e-05, -3.473646938800812e-05, -3.240630030632019e-05, -3.0076131224632263e-05, -2.7745962142944336e-05, -2.541579306125641e-05, -2.308562397956848e-05, -2.0755454897880554e-05, -1.8425285816192627e-05, -1.60951167345047e-05, -1.3764947652816772e-05, -1.1434778571128845e-05, -9.104609489440918e-06, -6.774440407752991e-06, -4.4442713260650635e-06, -2.1141022443771362e-06, 2.1606683731079102e-07, 2.5462359189987183e-06, 4.8764050006866455e-06, 7.206574082374573e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.9.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 1.0, 6.0, 3.0, 5.0, 9.0, 5.0, 10.0, 12.0, 18.0, 40.0, 30.0, 42.0, 61.0, 109.0, 102.0, 157.0, 170.0, 260.0, 338.0, 451.0, 694.0, 1563.0, 5579.0, 4178915.0, 2644.0, 985.0, 532.0, 363.0, 304.0, 204.0, 172.0, 132.0, 86.0, 62.0, 55.0, 49.0, 35.0, 22.0, 14.0, 18.0, 16.0, 7.0, 4.0, 4.0, 1.0, 3.0, 2.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00013649463653564453, -0.00013148225843906403, -0.00012646988034248352, -0.00012145750224590302, -0.00011644512414932251, -0.000111432746052742, -0.0001064203679561615, -0.000101407989859581, -9.639561176300049e-05, -9.138323366641998e-05, -8.637085556983948e-05, -8.135847747325897e-05, -7.634609937667847e-05, -7.133372128009796e-05, -6.632134318351746e-05, -6.130896508693695e-05, -5.6296586990356445e-05, -5.128420889377594e-05, -4.6271830797195435e-05, -4.125945270061493e-05, -3.6247074604034424e-05, -3.123469650745392e-05, -2.6222318410873413e-05, -2.1209940314292908e-05, -1.6197562217712402e-05, -1.1185184121131897e-05, -6.172806024551392e-06, -1.1604279279708862e-06, 3.851950168609619e-06, 8.864328265190125e-06, 1.387670636177063e-05, 1.8889084458351135e-05, 2.390146255493164e-05, 2.8913840651512146e-05, 3.392621874809265e-05, 3.893859684467316e-05, 4.395097494125366e-05, 4.896335303783417e-05, 5.397573113441467e-05, 5.898810923099518e-05, 6.400048732757568e-05, 6.901286542415619e-05, 7.40252435207367e-05, 7.90376216173172e-05, 8.40499997138977e-05, 8.906237781047821e-05, 9.407475590705872e-05, 9.908713400363922e-05, 0.00010409951210021973, 0.00010911189019680023, 0.00011412426829338074, 0.00011913664638996124, 0.00012414902448654175, 0.00012916140258312225, 0.00013417378067970276, 0.00013918615877628326, 0.00014419853687286377, 0.00014921091496944427, 0.00015422329306602478, 0.00015923567116260529, 0.0001642480492591858, 0.0001692604273557663, 0.0001742728054523468, 0.0001792851835489273, 0.0001842975616455078]}, "gradients/encoder.encoder.layers.9.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 3.0, 1.0, 1.0, 4069.0, 6.0, 0.0, 1.0, 3.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.6047229766845703e-05, -2.496037632226944e-05, -2.3873522877693176e-05, -2.2786669433116913e-05, -2.169981598854065e-05, -2.0612962543964386e-05, -1.9526109099388123e-05, -1.843925565481186e-05, -1.7352402210235596e-05, -1.6265548765659332e-05, -1.5178695321083069e-05, -1.4091841876506805e-05, -1.3004988431930542e-05, -1.1918134987354279e-05, -1.0831281542778015e-05, -9.744428098201752e-06, -8.657574653625488e-06, -7.570721209049225e-06, -6.4838677644729614e-06, -5.397014319896698e-06, -4.3101608753204346e-06, -3.223307430744171e-06, -2.1364539861679077e-06, -1.0496005415916443e-06, 3.725290298461914e-08, 1.1241063475608826e-06, 2.210959792137146e-06, 3.2978132367134094e-06, 4.384666681289673e-06, 5.471520125865936e-06, 6.5583735704422e-06, 7.645227015018463e-06, 8.732080459594727e-06, 9.81893390417099e-06, 1.0905787348747253e-05, 1.1992640793323517e-05, 1.307949423789978e-05, 1.4166347682476044e-05, 1.5253201127052307e-05, 1.634005457162857e-05, 1.7426908016204834e-05, 1.8513761460781097e-05, 1.960061490535736e-05, 2.0687468349933624e-05, 2.1774321794509888e-05, 2.286117523908615e-05, 2.3948028683662415e-05, 2.5034882128238678e-05, 2.612173557281494e-05, 2.7208589017391205e-05, 2.8295442461967468e-05, 2.938229590654373e-05, 3.0469149351119995e-05, 3.155600279569626e-05, 3.264285624027252e-05, 3.3729709684848785e-05, 3.481656312942505e-05, 3.590341657400131e-05, 3.6990270018577576e-05, 3.807712346315384e-05, 3.91639769077301e-05, 4.0250830352306366e-05, 4.133768379688263e-05, 4.242453724145889e-05, 4.3511390686035156e-05]}, "gradients/encoder.encoder.layers.9.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 4.0, 4.0, 3.0, 7.0, 8.0, 7.0, 9.0, 15.0, 30.0, 26.0, 33.0, 57.0, 96.0, 223.0, 169.0, 87.0, 73.0, 41.0, 23.0, 25.0, 19.0, 10.0, 7.0, 13.0, 7.0, 2.0, 1.0, 3.0, 4.0, 2.0, 2.0, 0.0, 1.0, 1.0, 1.0, 2.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.2395615309942514e-05, -4.053958400618285e-05, -3.8683552702423185e-05, -3.682752139866352e-05, -3.4971493732882664e-05, -3.3115462429123e-05, -3.1259431125363335e-05, -2.940339982160367e-05, -2.7547368517844006e-05, -2.5691337214084342e-05, -2.383530772931408e-05, -2.1979276425554417e-05, -2.0123245121794753e-05, -1.8267215637024492e-05, -1.6411184333264828e-05, -1.4555153029505163e-05, -1.2699123544734903e-05, -1.084309315046994e-05, -8.987061846710276e-06, -7.131031452445313e-06, -5.275000603433e-06, -3.4189697544206865e-06, -1.562939360155724e-06, 2.930919436039403e-07, 2.149122337868903e-06, 4.005153186881216e-06, 5.86118403589353e-06, 7.717214430158492e-06, 9.573244824423455e-06, 1.1429276128183119e-05, 1.3285306522448082e-05, 1.5141337826207746e-05, 1.699736822047271e-05, 1.8853399524232373e-05, 2.0709429009002633e-05, 2.2565460312762298e-05, 2.4421491616521962e-05, 2.6277521101292223e-05, 2.8133552405051887e-05, 2.998958370881155e-05, 3.1845615012571216e-05, 3.370164631633088e-05, 3.5557677620090544e-05, 3.741370892385021e-05, 3.9269736589631066e-05, 4.112576789339073e-05, 4.2981799197150394e-05, 4.483783050091006e-05, 4.6693858166690916e-05, 4.854988947045058e-05, 5.0405920774210244e-05, 5.226195207796991e-05, 5.4117979743750766e-05, 5.597401104751043e-05, 5.7830042351270095e-05, 5.968607365502976e-05, 6.154210859676823e-05, 6.33981399005279e-05, 6.525417120428756e-05, 6.711020250804722e-05, 6.896623381180689e-05, 7.082226511556655e-05, 7.26782891433686e-05, 7.453432772308588e-05, 7.639035175088793e-05]}, "gradients/encoder.encoder.layers.9.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 6.0, 4.0, 5.0, 8.0, 7.0, 6.0, 8.0, 17.0, 17.0, 16.0, 19.0, 18.0, 21.0, 25.0, 30.0, 42.0, 40.0, 43.0, 44.0, 48.0, 43.0, 36.0, 45.0, 45.0, 38.0, 42.0, 37.0, 36.0, 29.0, 35.0, 30.0, 24.0, 23.0, 21.0, 26.0, 17.0, 17.0, 13.0, 9.0, 6.0, 5.0, 2.0, 4.0, 2.0, 0.0, 3.0, 3.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 2.0], "bins": [-3.11732292175293e-05, -3.016740083694458e-05, -2.9161572456359863e-05, -2.8155744075775146e-05, -2.714991569519043e-05, -2.6144087314605713e-05, -2.5138258934020996e-05, -2.413243055343628e-05, -2.3126602172851562e-05, -2.2120773792266846e-05, -2.111494541168213e-05, -2.0109117031097412e-05, -1.9103288650512695e-05, -1.809746026992798e-05, -1.7091631889343262e-05, -1.6085803508758545e-05, -1.5079975128173828e-05, -1.4074146747589111e-05, -1.3068318367004395e-05, -1.2062489986419678e-05, -1.1056661605834961e-05, -1.0050833225250244e-05, -9.045004844665527e-06, -8.03917646408081e-06, -7.033348083496094e-06, -6.027519702911377e-06, -5.02169132232666e-06, -4.015862941741943e-06, -3.0100345611572266e-06, -2.0042061805725098e-06, -9.98377799987793e-07, 7.450580596923828e-09, 1.0132789611816406e-06, 2.0191073417663574e-06, 3.0249357223510742e-06, 4.030764102935791e-06, 5.036592483520508e-06, 6.042420864105225e-06, 7.048249244689941e-06, 8.054077625274658e-06, 9.059906005859375e-06, 1.0065734386444092e-05, 1.1071562767028809e-05, 1.2077391147613525e-05, 1.3083219528198242e-05, 1.4089047908782959e-05, 1.5094876289367676e-05, 1.6100704669952393e-05, 1.710653305053711e-05, 1.8112361431121826e-05, 1.9118189811706543e-05, 2.012401819229126e-05, 2.1129846572875977e-05, 2.2135674953460693e-05, 2.314150333404541e-05, 2.4147331714630127e-05, 2.5153160095214844e-05, 2.615898847579956e-05, 2.7164816856384277e-05, 2.8170645236968994e-05, 2.917647361755371e-05, 3.0182301998138428e-05, 3.1188130378723145e-05, 3.219395875930786e-05, 3.319978713989258e-05]}, "gradients/encoder.encoder.layers.9.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 0.0, 2.0, 2.0, 6.0, 3.0, 3.0, 5.0, 5.0, 10.0, 6.0, 5.0, 16.0, 8.0, 15.0, 14.0, 16.0, 23.0, 24.0, 16.0, 24.0, 29.0, 32.0, 38.0, 38.0, 53.0, 110.0, 694.0, 341644.0, 704381.0, 831.0, 100.0, 62.0, 49.0, 49.0, 37.0, 23.0, 23.0, 21.0, 21.0, 22.0, 11.0, 24.0, 15.0, 11.0, 11.0, 4.0, 6.0, 8.0, 7.0, 4.0, 1.0, 4.0, 1.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.0003199577331542969, -0.000309966504573822, -0.00029997527599334717, -0.0002899840474128723, -0.00027999281883239746, -0.0002700015902519226, -0.00026001036167144775, -0.0002500191330909729, -0.00024002790451049805, -0.0002300366759300232, -0.00022004544734954834, -0.00021005421876907349, -0.00020006299018859863, -0.00019007176160812378, -0.00018008053302764893, -0.00017008930444717407, -0.00016009807586669922, -0.00015010684728622437, -0.0001401156187057495, -0.00013012439012527466, -0.0001201331615447998, -0.00011014193296432495, -0.0001001507043838501, -9.015947580337524e-05, -8.016824722290039e-05, -7.017701864242554e-05, -6.0185790061950684e-05, -5.019456148147583e-05, -4.0203332901000977e-05, -3.0212104320526123e-05, -2.022087574005127e-05, -1.0229647159576416e-05, -2.384185791015625e-07, 9.752810001373291e-06, 1.9744038581848145e-05, 2.9735267162322998e-05, 3.972649574279785e-05, 4.9717724323272705e-05, 5.970895290374756e-05, 6.970018148422241e-05, 7.969141006469727e-05, 8.968263864517212e-05, 9.967386722564697e-05, 0.00010966509580612183, 0.00011965632438659668, 0.00012964755296707153, 0.0001396387815475464, 0.00014963001012802124, 0.0001596212387084961, 0.00016961246728897095, 0.0001796036958694458, 0.00018959492444992065, 0.0001995861530303955, 0.00020957738161087036, 0.00021956861019134521, 0.00022955983877182007, 0.00023955106735229492, 0.0002495422959327698, 0.00025953352451324463, 0.0002695247530937195, 0.00027951598167419434, 0.0002895072102546692, 0.00029949843883514404, 0.0003094896674156189, 0.00031948089599609375]}, "gradients/encoder.encoder.layers.9.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 17.0, 106.0, 414.0, 380.0, 82.0, 17.0, 3.0], "bins": [-0.00013911724090576172, -0.00013679452240467072, -0.0001344718039035797, -0.0001321490854024887, -0.0001298263669013977, -0.0001275036484003067, -0.0001251809298992157, -0.0001228582113981247, -0.00012053549289703369, -0.00011821277439594269, -0.00011589005589485168, -0.00011356733739376068, -0.00011124461889266968, -0.00010892190039157867, -0.00010659918189048767, -0.00010427646338939667, -0.00010195374488830566, -9.963102638721466e-05, -9.730830788612366e-05, -9.498558938503265e-05, -9.266287088394165e-05, -9.034015238285065e-05, -8.801743388175964e-05, -8.569471538066864e-05, -8.337199687957764e-05, -8.104927837848663e-05, -7.872655987739563e-05, -7.640384137630463e-05, -7.408112287521362e-05, -7.175840437412262e-05, -6.943568587303162e-05, -6.711296737194061e-05, -6.479024887084961e-05, -6.24675303697586e-05, -6.01448118686676e-05, -5.78220933675766e-05, -5.5499374866485596e-05, -5.317665636539459e-05, -5.085393786430359e-05, -4.8531219363212585e-05, -4.620850086212158e-05, -4.388578236103058e-05, -4.1563063859939575e-05, -3.924034535884857e-05, -3.691762685775757e-05, -3.4594908356666565e-05, -3.227218985557556e-05, -2.9949471354484558e-05, -2.7626752853393555e-05, -2.530403435230255e-05, -2.2981315851211548e-05, -2.0658597350120544e-05, -1.833587884902954e-05, -1.6013160347938538e-05, -1.3690441846847534e-05, -1.136772334575653e-05, -9.045004844665527e-06, -6.722286343574524e-06, -4.3995678424835205e-06, -2.076849341392517e-06, 2.4586915969848633e-07, 2.5685876607894897e-06, 4.891306161880493e-06, 7.214024662971497e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.9.attention.v_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 2.0, 1.0, 1.0, 4.0, 4.0, 9.0, 11.0, 15.0, 25.0, 28.0, 61.0, 95.0, 117.0, 154.0, 232.0, 338.0, 477.0, 672.0, 886.0, 1335.0, 1911.0, 2550.0, 3733.0, 5201.0, 7590.0, 10527.0, 16195.0, 25953.0, 887437.0, 28137.0, 16724.0, 11561.0, 7907.0, 5469.0, 3771.0, 2741.0, 1977.0, 1401.0, 962.0, 692.0, 507.0, 353.0, 254.0, 178.0, 120.0, 85.0, 58.0, 41.0, 29.0, 14.0, 8.0, 8.0, 5.0, 2.0, 3.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-7.331371307373047e-05, -7.106270641088486e-05, -6.881169974803925e-05, -6.656069308519363e-05, -6.430968642234802e-05, -6.205867975950241e-05, -5.98076730966568e-05, -5.755666643381119e-05, -5.5305659770965576e-05, -5.3054653108119965e-05, -5.080364644527435e-05, -4.855263978242874e-05, -4.630163311958313e-05, -4.405062645673752e-05, -4.179961979389191e-05, -3.9548613131046295e-05, -3.7297606468200684e-05, -3.504659980535507e-05, -3.279559314250946e-05, -3.054458647966385e-05, -2.8293579816818237e-05, -2.6042573153972626e-05, -2.3791566491127014e-05, -2.1540559828281403e-05, -1.928955316543579e-05, -1.703854650259018e-05, -1.4787539839744568e-05, -1.2536533176898956e-05, -1.0285526514053345e-05, -8.034519851207733e-06, -5.783513188362122e-06, -3.53250652551651e-06, -1.2814998626708984e-06, 9.695068001747131e-07, 3.2205134630203247e-06, 5.471520125865936e-06, 7.722526788711548e-06, 9.97353345155716e-06, 1.2224540114402771e-05, 1.4475546777248383e-05, 1.6726553440093994e-05, 1.8977560102939606e-05, 2.1228566765785217e-05, 2.347957342863083e-05, 2.573058009147644e-05, 2.7981586754322052e-05, 3.0232593417167664e-05, 3.2483600080013275e-05, 3.473460674285889e-05, 3.69856134057045e-05, 3.923662006855011e-05, 4.148762673139572e-05, 4.373863339424133e-05, 4.5989640057086945e-05, 4.8240646719932556e-05, 5.049165338277817e-05, 5.274266004562378e-05, 5.499366670846939e-05, 5.7244673371315e-05, 5.9495680034160614e-05, 6.174668669700623e-05, 6.399769335985184e-05, 6.624870002269745e-05, 6.849970668554306e-05, 7.075071334838867e-05]}, "gradients/encoder.encoder.layers.9.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 3.0, 2.0, 1.0, 3.0, 3.0, 3.0, 2.0, 10.0, 4.0, 5.0, 1.0, 2.0, 9.0, 4.0, 4.0, 2.0, 2.0, 8.0, 1.0, 0.0, 6.0, 6.0, 2.0, 1.0, 7.0, 15.0, 801.0, 9.0, 6.0, 4.0, 11.0, 5.0, 3.0, 4.0, 4.0, 4.0, 4.0, 7.0, 4.0, 4.0, 6.0, 3.0, 6.0, 3.0, 4.0, 5.0, 5.0, 2.0, 3.0, 1.0, 2.0, 2.0, 1.0, 1.0], "bins": [-0.0001373291015625, -0.00013355538249015808, -0.00012978166341781616, -0.00012600794434547424, -0.00012223422527313232, -0.0001184605062007904, -0.00011468678712844849, -0.00011091306805610657, -0.00010713934898376465, -0.00010336562991142273, -9.959191083908081e-05, -9.581819176673889e-05, -9.204447269439697e-05, -8.827075362205505e-05, -8.449703454971313e-05, -8.072331547737122e-05, -7.69495964050293e-05, -7.317587733268738e-05, -6.940215826034546e-05, -6.562843918800354e-05, -6.185472011566162e-05, -5.80810010433197e-05, -5.430728197097778e-05, -5.0533562898635864e-05, -4.6759843826293945e-05, -4.2986124753952026e-05, -3.921240568161011e-05, -3.543868660926819e-05, -3.166496753692627e-05, -2.789124846458435e-05, -2.411752939224243e-05, -2.0343810319900513e-05, -1.6570091247558594e-05, -1.2796372175216675e-05, -9.022653102874756e-06, -5.248934030532837e-06, -1.475214958190918e-06, 2.298504114151001e-06, 6.07222318649292e-06, 9.845942258834839e-06, 1.3619661331176758e-05, 1.7393380403518677e-05, 2.1167099475860596e-05, 2.4940818548202515e-05, 2.8714537620544434e-05, 3.248825669288635e-05, 3.626197576522827e-05, 4.003569483757019e-05, 4.380941390991211e-05, 4.758313298225403e-05, 5.135685205459595e-05, 5.5130571126937866e-05, 5.8904290199279785e-05, 6.26780092716217e-05, 6.645172834396362e-05, 7.022544741630554e-05, 7.399916648864746e-05, 7.777288556098938e-05, 8.15466046333313e-05, 8.532032370567322e-05, 8.909404277801514e-05, 9.286776185035706e-05, 9.664148092269897e-05, 0.0001004151999950409, 0.00010418891906738281]}, "gradients/encoder.encoder.layers.9.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 0.0, 1.0, 2.0, 0.0, 0.0, 1.0, 4.0, 5.0, 3.0, 5.0, 8.0, 3.0, 14.0, 12.0, 23.0, 22.0, 31.0, 38.0, 48.0, 79.0, 114.0, 239.0, 92.0, 79.0, 55.0, 33.0, 21.0, 17.0, 12.0, 8.0, 8.0, 7.0, 3.0, 8.0, 2.0, 4.0, 5.0, 4.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0004114470793865621, -0.0003945648204535246, -0.0003776825324166566, -0.0003608002734836191, -0.0003439179854467511, -0.0003270357265137136, -0.0003101534675806761, -0.00029327120864763856, -0.0002763889206107706, -0.00025950666167773306, -0.0002426243736408651, -0.00022574211470782757, -0.00020885984122287482, -0.00019197756773792207, -0.00017509530880488455, -0.0001582130353199318, -0.00014133076183497906, -0.0001244484883500263, -0.00010756622214103118, -9.068395593203604e-05, -7.38016824470833e-05, -5.6919408962130547e-05, -4.003714275313541e-05, -2.315487654414028e-05, -6.2726030591875315e-06, 1.060966678778641e-05, 2.749193663476035e-05, 4.437420648173429e-05, 6.125647632870823e-05, 7.813874981366098e-05, 9.502101602265611e-05, 0.00011190328223165125, 0.0001287856139242649, 0.00014566788740921766, 0.0001625501608941704, 0.00017943241982720792, 0.00019631469331216067, 0.00021319696679711342, 0.00023007922573015094, 0.00024696148466318846, 0.00026384377270005643, 0.00028072603163309395, 0.00029760831966996193, 0.00031449057860299945, 0.00033137283753603697, 0.00034825512557290494, 0.00036513738450594246, 0.00038201967254281044, 0.00039890193147584796, 0.0004157841904088855, 0.00043266647844575346, 0.000449548737378791, 0.00046643102541565895, 0.00048331328434869647, 0.000500195543281734, 0.0005170778022147715, 0.000533960061147809, 0.0005508423200808465, 0.0005677245790138841, 0.0005846068961545825, 0.00060148915508762, 0.0006183714140206575, 0.0006352536729536951, 0.0006521359318867326, 0.000669018249027431]}, "gradients/encoder.encoder.layers.9.layer_norm.bias": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 4.0, 3.0, 6.0, 10.0, 3.0, 24.0, 25.0, 27.0, 51.0, 47.0, 70.0, 91.0, 86.0, 122.0, 98.0, 82.0, 70.0, 61.0, 39.0, 35.0, 20.0, 16.0, 13.0, 7.0, 4.0, 3.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0003839731216430664, -0.0003607003018260002, -0.000337427482008934, -0.00031415466219186783, -0.00029088184237480164, -0.00026760902255773544, -0.00024433620274066925, -0.00022106338292360306, -0.00019779056310653687, -0.00017451774328947067, -0.00015124492347240448, -0.0001279721036553383, -0.0001046992838382721, -8.14264640212059e-05, -5.815364420413971e-05, -3.488082438707352e-05, -1.1608004570007324e-05, 1.1664815247058868e-05, 3.493763506412506e-05, 5.8210454881191254e-05, 8.148327469825745e-05, 0.00010475609451532364, 0.00012802891433238983, 0.00015130173414945602, 0.00017457455396652222, 0.0001978473737835884, 0.0002211201936006546, 0.0002443930134177208, 0.000267665833234787, 0.0002909386530518532, 0.00031421147286891937, 0.00033748429268598557, 0.00036075711250305176, 0.00038402993232011795, 0.00040730275213718414, 0.00043057557195425034, 0.00045384839177131653, 0.0004771212115883827, 0.0005003940314054489, 0.0005236668512225151, 0.0005469396710395813, 0.0005702124908566475, 0.0005934853106737137, 0.0006167581304907799, 0.0006400309503078461, 0.0006633037701249123, 0.0006865765899419785, 0.0007098494097590446, 0.0007331222295761108, 0.000756395049393177, 0.0007796678692102432, 0.0008029406890273094, 0.0008262135088443756, 0.0008494863286614418, 0.000872759148478508, 0.0008960319682955742, 0.0009193047881126404, 0.0009425776079297066, 0.0009658504277467728, 0.000989123247563839, 0.0010123960673809052, 0.0010356688871979713, 0.0010589417070150375, 0.0010822145268321037, 0.00110548734664917]}, "gradients/encoder.encoder.layers.8.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 1.0, 3.0, 1.0, 4.0, 5.0, 41.0, 313.0, 4189499.0, 4107.0, 288.0, 27.0, 5.0], "bins": [-0.0006780624389648438, -0.0006667440757155418, -0.0006554257124662399, -0.000644107349216938, -0.0006327889859676361, -0.0006214706227183342, -0.0006101522594690323, -0.0005988338962197304, -0.0005875155329704285, -0.0005761971697211266, -0.0005648788064718246, -0.0005535604432225227, -0.0005422420799732208, -0.0005309237167239189, -0.000519605353474617, -0.0005082869902253151, -0.0004969686269760132, -0.0004856502637267113, -0.00047433190047740936, -0.00046301353722810745, -0.00045169517397880554, -0.00044037681072950363, -0.0004290584474802017, -0.0004177400842308998, -0.0004064217209815979, -0.000395103357732296, -0.0003837849944829941, -0.00037246663123369217, -0.00036114826798439026, -0.00034982990473508835, -0.00033851154148578644, -0.00032719317823648453, -0.0003158748149871826, -0.0003045564517378807, -0.0002932380884885788, -0.0002819197252392769, -0.000270601361989975, -0.00025928299874067307, -0.00024796463549137115, -0.00023664627224206924, -0.00022532790899276733, -0.00021400954574346542, -0.0002026911824941635, -0.0001913728192448616, -0.0001800544559955597, -0.00016873609274625778, -0.00015741772949695587, -0.00014609936624765396, -0.00013478100299835205, -0.00012346263974905014, -0.00011214427649974823, -0.00010082591325044632, -8.950755000114441e-05, -7.81891867518425e-05, -6.687082350254059e-05, -5.555246025323868e-05, -4.423409700393677e-05, -3.291573375463486e-05, -2.1597370505332947e-05, -1.0279007256031036e-05, 1.039355993270874e-06, 1.2357719242572784e-05, 2.3676082491874695e-05, 3.4994445741176605e-05, 4.6312808990478516e-05]}, "gradients/encoder.encoder.layers.8.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 17.0, 106.0, 414.0, 380.0, 82.0, 17.0, 3.0], "bins": [-0.00013911724090576172, -0.00013679452240467072, -0.0001344718039035797, -0.0001321490854024887, -0.0001298263669013977, -0.0001275036484003067, -0.0001251809298992157, -0.0001228582113981247, -0.00012053549289703369, -0.00011821277439594269, -0.00011589005589485168, -0.00011356733739376068, -0.00011124461889266968, -0.00010892190039157867, -0.00010659918189048767, -0.00010427646338939667, -0.00010195374488830566, -9.963102638721466e-05, -9.730830788612366e-05, -9.498558938503265e-05, -9.266287088394165e-05, -9.034015238285065e-05, -8.801743388175964e-05, -8.569471538066864e-05, -8.337199687957764e-05, -8.104927837848663e-05, -7.872655987739563e-05, -7.640384137630463e-05, -7.408112287521362e-05, -7.175840437412262e-05, -6.943568587303162e-05, -6.711296737194061e-05, -6.479024887084961e-05, -6.24675303697586e-05, -6.01448118686676e-05, -5.78220933675766e-05, -5.5499374866485596e-05, -5.317665636539459e-05, -5.085393786430359e-05, -4.8531219363212585e-05, -4.620850086212158e-05, -4.388578236103058e-05, -4.1563063859939575e-05, -3.924034535884857e-05, -3.691762685775757e-05, -3.4594908356666565e-05, -3.227218985557556e-05, -2.9949471354484558e-05, -2.7626752853393555e-05, -2.530403435230255e-05, -2.2981315851211548e-05, -2.0658597350120544e-05, -1.833587884902954e-05, -1.6013160347938538e-05, -1.3690441846847534e-05, -1.136772334575653e-05, -9.045004844665527e-06, -6.722286343574524e-06, -4.3995678424835205e-06, -2.076849341392517e-06, 2.4586915969848633e-07, 2.5685876607894897e-06, 4.891306161880493e-06, 7.214024662971497e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.8.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 4.0, 5.0, 7.0, 12.0, 5.0, 13.0, 29.0, 43.0, 59.0, 54.0, 77.0, 130.0, 151.0, 211.0, 309.0, 471.0, 682.0, 1217.0, 3533.0, 4168304.0, 14026.0, 2086.0, 920.0, 607.0, 403.0, 266.0, 174.0, 137.0, 101.0, 69.0, 72.0, 43.0, 14.0, 19.0, 14.0, 20.0, 5.0, 0.0, 1.0, 6.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-8.958578109741211e-05, -8.701067417860031e-05, -8.443556725978851e-05, -8.186046034097672e-05, -7.928535342216492e-05, -7.671024650335312e-05, -7.413513958454132e-05, -7.156003266572952e-05, -6.898492574691772e-05, -6.640981882810593e-05, -6.383471190929413e-05, -6.125960499048233e-05, -5.868449807167053e-05, -5.6109391152858734e-05, -5.3534284234046936e-05, -5.095917731523514e-05, -4.838407039642334e-05, -4.580896347761154e-05, -4.3233856558799744e-05, -4.0658749639987946e-05, -3.808364272117615e-05, -3.550853580236435e-05, -3.293342888355255e-05, -3.0358321964740753e-05, -2.7783215045928955e-05, -2.5208108127117157e-05, -2.263300120830536e-05, -2.005789428949356e-05, -1.7482787370681763e-05, -1.4907680451869965e-05, -1.2332573533058167e-05, -9.757466614246368e-06, -7.18235969543457e-06, -4.607252776622772e-06, -2.032145857810974e-06, 5.42961061000824e-07, 3.118067979812622e-06, 5.69317489862442e-06, 8.268281817436218e-06, 1.0843388736248016e-05, 1.3418495655059814e-05, 1.5993602573871613e-05, 1.856870949268341e-05, 2.114381641149521e-05, 2.3718923330307007e-05, 2.6294030249118805e-05, 2.8869137167930603e-05, 3.14442440867424e-05, 3.40193510055542e-05, 3.6594457924366e-05, 3.9169564843177795e-05, 4.1744671761989594e-05, 4.431977868080139e-05, 4.689488559961319e-05, 4.946999251842499e-05, 5.2045099437236786e-05, 5.4620206356048584e-05, 5.719531327486038e-05, 5.977042019367218e-05, 6.234552711248398e-05, 6.492063403129578e-05, 6.749574095010757e-05, 7.007084786891937e-05, 7.264595478773117e-05, 7.522106170654297e-05]}, "gradients/encoder.encoder.layers.8.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 1.0, 6.0, 6.0, 35.0, 4014.0, 8.0, 6.0, 1.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.230571746826172e-05, -3.138277679681778e-05, -3.045983612537384e-05, -2.95368954539299e-05, -2.8613954782485962e-05, -2.7691014111042023e-05, -2.6768073439598083e-05, -2.5845132768154144e-05, -2.4922192096710205e-05, -2.3999251425266266e-05, -2.3076310753822327e-05, -2.2153370082378387e-05, -2.1230429410934448e-05, -2.030748873949051e-05, -1.938454806804657e-05, -1.846160739660263e-05, -1.753866672515869e-05, -1.6615726053714752e-05, -1.5692785382270813e-05, -1.4769844710826874e-05, -1.3846904039382935e-05, -1.2923963367938995e-05, -1.2001022696495056e-05, -1.1078082025051117e-05, -1.0155141353607178e-05, -9.232200682163239e-06, -8.3092600107193e-06, -7.38631933927536e-06, -6.463378667831421e-06, -5.540437996387482e-06, -4.6174973249435425e-06, -3.6945566534996033e-06, -2.771615982055664e-06, -1.8486753106117249e-06, -9.257346391677856e-07, -2.7939677238464355e-09, 9.201467037200928e-07, 1.843087375164032e-06, 2.766028046607971e-06, 3.6889687180519104e-06, 4.61190938949585e-06, 5.534850060939789e-06, 6.457790732383728e-06, 7.380731403827667e-06, 8.303672075271606e-06, 9.226612746715546e-06, 1.0149553418159485e-05, 1.1072494089603424e-05, 1.1995434761047363e-05, 1.2918375432491302e-05, 1.3841316103935242e-05, 1.4764256775379181e-05, 1.568719744682312e-05, 1.661013811826706e-05, 1.7533078789711e-05, 1.8456019461154938e-05, 1.9378960132598877e-05, 2.0301900804042816e-05, 2.1224841475486755e-05, 2.2147782146930695e-05, 2.3070722818374634e-05, 2.3993663489818573e-05, 2.4916604161262512e-05, 2.583954483270645e-05, 2.676248550415039e-05]}, "gradients/encoder.encoder.layers.8.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 2.0, 1.0, 1.0, 2.0, 4.0, 1.0, 3.0, 8.0, 14.0, 11.0, 27.0, 24.0, 45.0, 76.0, 119.0, 270.0, 202.0, 82.0, 39.0, 30.0, 23.0, 9.0, 6.0, 7.0, 5.0, 2.0, 1.0, 0.0, 3.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00011514888319652528, -0.00011258056474616751, -0.00011001224629580975, -0.00010744392784545198, -0.00010487560939509422, -0.00010230728366877884, -9.973897249437869e-05, -9.717064676806331e-05, -9.460232831770554e-05, -9.203400986734778e-05, -8.946569141699001e-05, -8.689737296663225e-05, -8.432905451627448e-05, -8.176073606591672e-05, -7.919241033960134e-05, -7.662409188924357e-05, -7.405577343888581e-05, -7.148745498852804e-05, -6.891913653817028e-05, -6.635081808781251e-05, -6.378249963745475e-05, -6.121417391113937e-05, -5.864585909876041e-05, -5.607753701042384e-05, -5.350922583602369e-05, -5.094090738566592e-05, -4.837258893530816e-05, -4.5804270484950393e-05, -4.323594839661382e-05, -4.0667629946256056e-05, -3.809931149589829e-05, -3.553098940756172e-05, -3.2962670957203954e-05, -3.039435250684619e-05, -2.782603223749902e-05, -2.5257713787141256e-05, -2.2689393517794088e-05, -2.0121075067436323e-05, -1.7552756617078558e-05, -1.4984436347731389e-05, -1.2416117897373624e-05, -9.847798537521157e-06, -7.2794796324160416e-06, -4.711160727310926e-06, -2.142841367458459e-06, 4.2547799239400774e-07, 2.9937964427517727e-06, 5.562116712098941e-06, 8.130435162456706e-06, 1.0698754522309173e-05, 1.326707388216164e-05, 1.5835392332519405e-05, 1.8403712601866573e-05, 2.0972031052224338e-05, 2.3540349502582103e-05, 2.610866977192927e-05, 2.8676988222287036e-05, 3.1245308491634205e-05, 3.381362694199197e-05, 3.6381945392349735e-05, 3.89502638427075e-05, 4.151858593104407e-05, 4.408690438140184e-05, 4.66552228317596e-05, 4.922354128211737e-05]}, "gradients/encoder.encoder.layers.8.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 3.0, 4.0, 0.0, 1.0, 1.0, 3.0, 4.0, 2.0, 6.0, 7.0, 6.0, 7.0, 11.0, 10.0, 11.0, 17.0, 22.0, 21.0, 17.0, 25.0, 28.0, 43.0, 35.0, 32.0, 44.0, 55.0, 45.0, 49.0, 46.0, 35.0, 41.0, 50.0, 42.0, 31.0, 26.0, 28.0, 27.0, 24.0, 21.0, 20.0, 16.0, 19.0, 9.0, 15.0, 19.0, 8.0, 1.0, 4.0, 7.0, 5.0, 2.0, 5.0, 4.0, 1.0, 1.0, 1.0, 4.0, 0.0, 0.0, 0.0, 2.0], "bins": [-2.9742717742919922e-05, -2.8781592845916748e-05, -2.7820467948913574e-05, -2.68593430519104e-05, -2.5898218154907227e-05, -2.4937093257904053e-05, -2.397596836090088e-05, -2.3014843463897705e-05, -2.205371856689453e-05, -2.1092593669891357e-05, -2.0131468772888184e-05, -1.917034387588501e-05, -1.8209218978881836e-05, -1.7248094081878662e-05, -1.6286969184875488e-05, -1.5325844287872314e-05, -1.436471939086914e-05, -1.3403594493865967e-05, -1.2442469596862793e-05, -1.1481344699859619e-05, -1.0520219802856445e-05, -9.559094905853271e-06, -8.597970008850098e-06, -7.636845111846924e-06, -6.67572021484375e-06, -5.714595317840576e-06, -4.753470420837402e-06, -3.7923455238342285e-06, -2.8312206268310547e-06, -1.8700957298278809e-06, -9.08970832824707e-07, 5.21540641784668e-08, 1.0132789611816406e-06, 1.9744038581848145e-06, 2.9355287551879883e-06, 3.896653652191162e-06, 4.857778549194336e-06, 5.81890344619751e-06, 6.780028343200684e-06, 7.741153240203857e-06, 8.702278137207031e-06, 9.663403034210205e-06, 1.0624527931213379e-05, 1.1585652828216553e-05, 1.2546777725219727e-05, 1.35079026222229e-05, 1.4469027519226074e-05, 1.5430152416229248e-05, 1.6391277313232422e-05, 1.7352402210235596e-05, 1.831352710723877e-05, 1.9274652004241943e-05, 2.0235776901245117e-05, 2.119690179824829e-05, 2.2158026695251465e-05, 2.311915159225464e-05, 2.4080276489257812e-05, 2.5041401386260986e-05, 2.600252628326416e-05, 2.6963651180267334e-05, 2.7924776077270508e-05, 2.888590097427368e-05, 2.9847025871276855e-05, 3.080815076828003e-05, 3.17692756652832e-05]}, "gradients/encoder.encoder.layers.8.attention.out_proj.weight": {"_type": "histogram", "values": [2.0, 2.0, 0.0, 2.0, 3.0, 3.0, 5.0, 4.0, 8.0, 5.0, 6.0, 11.0, 6.0, 13.0, 12.0, 16.0, 17.0, 19.0, 20.0, 24.0, 24.0, 26.0, 27.0, 33.0, 30.0, 33.0, 47.0, 82.0, 450.0, 56000.0, 988593.0, 2482.0, 135.0, 57.0, 42.0, 20.0, 31.0, 37.0, 42.0, 38.0, 20.0, 24.0, 14.0, 22.0, 13.0, 10.0, 15.0, 7.0, 5.0, 9.0, 8.0, 4.0, 5.0, 1.0, 5.0, 0.0, 1.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0003018379211425781, -0.0002918541431427002, -0.00028187036514282227, -0.00027188658714294434, -0.0002619028091430664, -0.0002519190311431885, -0.00024193525314331055, -0.00023195147514343262, -0.0002219676971435547, -0.00021198391914367676, -0.00020200014114379883, -0.0001920163631439209, -0.00018203258514404297, -0.00017204880714416504, -0.0001620650291442871, -0.00015208125114440918, -0.00014209747314453125, -0.00013211369514465332, -0.0001221299171447754, -0.00011214613914489746, -0.00010216236114501953, -9.21785831451416e-05, -8.219480514526367e-05, -7.221102714538574e-05, -6.222724914550781e-05, -5.224347114562988e-05, -4.225969314575195e-05, -3.2275915145874023e-05, -2.2292137145996094e-05, -1.2308359146118164e-05, -2.3245811462402344e-06, 7.659196853637695e-06, 1.7642974853515625e-05, 2.7626752853393555e-05, 3.7610530853271484e-05, 4.7594308853149414e-05, 5.7578086853027344e-05, 6.756186485290527e-05, 7.75456428527832e-05, 8.752942085266113e-05, 9.751319885253906e-05, 0.00010749697685241699, 0.00011748075485229492, 0.00012746453285217285, 0.00013744831085205078, 0.0001474320888519287, 0.00015741586685180664, 0.00016739964485168457, 0.0001773834228515625, 0.00018736720085144043, 0.00019735097885131836, 0.0002073347568511963, 0.00021731853485107422, 0.00022730231285095215, 0.00023728609085083008, 0.000247269868850708, 0.00025725364685058594, 0.00026723742485046387, 0.0002772212028503418, 0.0002872049808502197, 0.00029718875885009766, 0.0003071725368499756, 0.0003171563148498535, 0.00032714009284973145, 0.0003371238708496094]}, "gradients/encoder.encoder.layers.8.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 17.0, 106.0, 413.0, 377.0, 87.0, 16.0, 3.0], "bins": [-0.00013875961303710938, -0.00013644248247146606, -0.00013412535190582275, -0.00013180822134017944, -0.00012949109077453613, -0.00012717396020889282, -0.0001248568296432495, -0.0001225396990776062, -0.00012022256851196289, -0.00011790543794631958, -0.00011558830738067627, -0.00011327117681503296, -0.00011095404624938965, -0.00010863691568374634, -0.00010631978511810303, -0.00010400265455245972, -0.0001016855239868164, -9.93683934211731e-05, -9.705126285552979e-05, -9.473413228988647e-05, -9.241700172424316e-05, -9.009987115859985e-05, -8.778274059295654e-05, -8.546561002731323e-05, -8.314847946166992e-05, -8.083134889602661e-05, -7.85142183303833e-05, -7.619708776473999e-05, -7.387995719909668e-05, -7.156282663345337e-05, -6.924569606781006e-05, -6.692856550216675e-05, -6.461143493652344e-05, -6.229430437088013e-05, -5.9977173805236816e-05, -5.7660043239593506e-05, -5.5342912673950195e-05, -5.3025782108306885e-05, -5.0708651542663574e-05, -4.8391520977020264e-05, -4.607439041137695e-05, -4.375725984573364e-05, -4.144012928009033e-05, -3.912299871444702e-05, -3.680586814880371e-05, -3.44887375831604e-05, -3.217160701751709e-05, -2.985447645187378e-05, -2.753734588623047e-05, -2.5220215320587158e-05, -2.2903084754943848e-05, -2.0585954189300537e-05, -1.8268823623657227e-05, -1.5951693058013916e-05, -1.3634562492370605e-05, -1.1317431926727295e-05, -9.000301361083984e-06, -6.683170795440674e-06, -4.366040229797363e-06, -2.0489096641540527e-06, 2.682209014892578e-07, 2.5853514671325684e-06, 4.902482032775879e-06, 7.2196125984191895e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.8.attention.v_proj.weight": {"_type": "histogram", "values": [2.0, 1.0, 2.0, 0.0, 2.0, 0.0, 2.0, 3.0, 2.0, 6.0, 4.0, 3.0, 7.0, 2.0, 7.0, 10.0, 13.0, 19.0, 29.0, 74.0, 106.0, 191.0, 327.0, 575.0, 928.0, 1550.0, 2544.0, 4280.0, 7050.0, 12230.0, 20767.0, 59393.0, 886496.0, 21350.0, 12435.0, 7121.0, 4420.0, 2625.0, 1609.0, 962.0, 590.0, 348.0, 198.0, 120.0, 73.0, 24.0, 18.0, 9.0, 14.0, 6.0, 2.0, 2.0, 4.0, 1.0, 5.0, 7.0, 0.0, 2.0, 1.0, 2.0, 2.0, 0.0, 0.0, 1.0], "bins": [-9.632110595703125e-05, -9.331293404102325e-05, -9.030476212501526e-05, -8.729659020900726e-05, -8.428841829299927e-05, -8.128024637699127e-05, -7.827207446098328e-05, -7.526390254497528e-05, -7.225573062896729e-05, -6.924755871295929e-05, -6.62393867969513e-05, -6.32312148809433e-05, -6.02230429649353e-05, -5.721487104892731e-05, -5.420669913291931e-05, -5.1198527216911316e-05, -4.819035530090332e-05, -4.5182183384895325e-05, -4.217401146888733e-05, -3.9165839552879333e-05, -3.615766763687134e-05, -3.314949572086334e-05, -3.0141323804855347e-05, -2.713315188884735e-05, -2.4124979972839355e-05, -2.111680805683136e-05, -1.8108636140823364e-05, -1.5100464224815369e-05, -1.2092292308807373e-05, -9.084120392799377e-06, -6.075948476791382e-06, -3.0677765607833862e-06, -5.960464477539063e-08, 2.948567271232605e-06, 5.956739187240601e-06, 8.964911103248596e-06, 1.1973083019256592e-05, 1.4981254935264587e-05, 1.7989426851272583e-05, 2.099759876728058e-05, 2.4005770683288574e-05, 2.701394259929657e-05, 3.0022114515304565e-05, 3.303028643131256e-05, 3.603845834732056e-05, 3.904663026332855e-05, 4.205480217933655e-05, 4.5062974095344543e-05, 4.807114601135254e-05, 5.1079317927360535e-05, 5.408748984336853e-05, 5.7095661759376526e-05, 6.010383367538452e-05, 6.311200559139252e-05, 6.612017750740051e-05, 6.912834942340851e-05, 7.21365213394165e-05, 7.51446932554245e-05, 7.81528651714325e-05, 8.116103708744049e-05, 8.416920900344849e-05, 8.717738091945648e-05, 9.018555283546448e-05, 9.319372475147247e-05, 9.620189666748047e-05]}, "gradients/encoder.encoder.layers.8.attention.v_proj.bias": {"_type": "histogram", "values": [2.0, 1.0, 2.0, 0.0, 2.0, 1.0, 1.0, 3.0, 2.0, 6.0, 6.0, 1.0, 7.0, 2.0, 5.0, 6.0, 3.0, 3.0, 5.0, 7.0, 5.0, 7.0, 2.0, 4.0, 3.0, 3.0, 2.0, 5.0, 6.0, 3.0, 7.0, 799.0, 20.0, 13.0, 10.0, 5.0, 3.0, 2.0, 3.0, 4.0, 1.0, 0.0, 3.0, 3.0, 5.0, 1.0, 1.0, 3.0, 4.0, 3.0, 3.0, 1.0, 5.0, 2.0, 5.0, 5.0, 0.0, 2.0, 1.0, 3.0, 1.0, 0.0, 0.0, 1.0], "bins": [-9.959936141967773e-05, -9.64803621172905e-05, -9.336136281490326e-05, -9.024236351251602e-05, -8.712336421012878e-05, -8.400436490774155e-05, -8.088536560535431e-05, -7.776636630296707e-05, -7.464736700057983e-05, -7.15283676981926e-05, -6.840936839580536e-05, -6.529036909341812e-05, -6.217136979103088e-05, -5.9052370488643646e-05, -5.593337118625641e-05, -5.281437188386917e-05, -4.9695372581481934e-05, -4.6576373279094696e-05, -4.345737397670746e-05, -4.033837467432022e-05, -3.7219375371932983e-05, -3.4100376069545746e-05, -3.098137676715851e-05, -2.786237746477127e-05, -2.4743378162384033e-05, -2.1624378859996796e-05, -1.8505379557609558e-05, -1.538638025522232e-05, -1.2267380952835083e-05, -9.148381650447845e-06, -6.029382348060608e-06, -2.9103830456733704e-06, 2.086162567138672e-07, 3.3276155591011047e-06, 6.446614861488342e-06, 9.56561416387558e-06, 1.2684613466262817e-05, 1.5803612768650055e-05, 1.8922612071037292e-05, 2.204161137342453e-05, 2.5160610675811768e-05, 2.8279609978199005e-05, 3.139860928058624e-05, 3.451760858297348e-05, 3.763660788536072e-05, 4.0755607187747955e-05, 4.387460649013519e-05, 4.699360579252243e-05, 5.011260509490967e-05, 5.3231604397296906e-05, 5.635060369968414e-05, 5.946960300207138e-05, 6.258860230445862e-05, 6.570760160684586e-05, 6.88266009092331e-05, 7.194560021162033e-05, 7.506459951400757e-05, 7.81835988163948e-05, 8.130259811878204e-05, 8.442159742116928e-05, 8.754059672355652e-05, 9.065959602594376e-05, 9.3778595328331e-05, 9.689759463071823e-05, 0.00010001659393310547]}, "gradients/encoder.encoder.layers.8.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 2.0, 2.0, 4.0, 0.0, 2.0, 4.0, 6.0, 7.0, 10.0, 7.0, 4.0, 12.0, 15.0, 30.0, 24.0, 33.0, 38.0, 55.0, 57.0, 146.0, 200.0, 109.0, 63.0, 38.0, 27.0, 27.0, 26.0, 15.0, 12.0, 10.0, 4.0, 6.0, 2.0, 0.0, 2.0, 5.0, 4.0, 0.0, 0.0, 4.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0], "bins": [-0.0005134514067322016, -0.0004996698116883636, -0.00048588827485218644, -0.0004721067089121789, -0.0004583251429721713, -0.00044454357703216374, -0.00043076201109215617, -0.0004169804451521486, -0.00040319887921214104, -0.00038941731327213347, -0.0003756357473321259, -0.00036185418139211833, -0.00034807261545211077, -0.0003342910495121032, -0.00032050948357209563, -0.00030672791763208807, -0.0002929463516920805, -0.00027916478575207293, -0.00026538321981206536, -0.0002516016538720578, -0.00023782008793205023, -0.00022403852199204266, -0.0002102569560520351, -0.00019647539011202753, -0.00018269382417201996, -0.0001689122582320124, -0.00015513069229200482, -0.00014134912635199726, -0.0001275675604119897, -0.00011378599447198212, -0.00010000442853197455, -8.622286259196699e-05, -7.244132575578988e-05, -5.865975981578231e-05, -4.487819387577474e-05, -3.1096627935767174e-05, -1.7315061995759606e-05, -3.533496055752039e-06, 1.0248069884255528e-05, 2.4029635824263096e-05, 3.781120176427066e-05, 5.159276770427823e-05, 6.53743336442858e-05, 7.915589958429337e-05, 9.293746552430093e-05, 0.0001067190314643085, 0.00012050059740431607, 0.00013428216334432364, 0.0001480637292843312, 0.00016184529522433877, 0.00017562686116434634, 0.0001894084271043539, 0.00020318999304436147, 0.00021697155898436904, 0.0002307531249243766, 0.0002445346908643842, 0.00025831625680439174, 0.0002720978227443993, 0.0002858793886844069, 0.00029966095462441444, 0.000313442520564422, 0.0003272240865044296, 0.00034100565244443715, 0.0003547872183844447, 0.0003685687843244523]}, "gradients/encoder.encoder.layers.8.layer_norm.bias": {"_type": "histogram", "values": [3.0, 0.0, 9.0, 2.0, 8.0, 10.0, 14.0, 30.0, 42.0, 38.0, 69.0, 74.0, 92.0, 109.0, 106.0, 93.0, 79.0, 69.0, 53.0, 40.0, 25.0, 26.0, 11.0, 10.0, 6.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0002974271774291992, -0.0002765767276287079, -0.00025572627782821655, -0.00023487582802772522, -0.0002140253782272339, -0.00019317492842674255, -0.00017232447862625122, -0.0001514740288257599, -0.00013062357902526855, -0.00010977312922477722, -8.892267942428589e-05, -6.807222962379456e-05, -4.722177982330322e-05, -2.637133002281189e-05, -5.520880222320557e-06, 1.5329569578170776e-05, 3.618001937866211e-05, 5.703046917915344e-05, 7.788091897964478e-05, 9.873136878013611e-05, 0.00011958181858062744, 0.00014043226838111877, 0.0001612827181816101, 0.00018213316798210144, 0.00020298361778259277, 0.0002238340675830841, 0.00024468451738357544, 0.00026553496718406677, 0.0002863854169845581, 0.00030723586678504944, 0.00032808631658554077, 0.0003489367663860321, 0.00036978721618652344, 0.00039063766598701477, 0.0004114881157875061, 0.00043233856558799744, 0.00045318901538848877, 0.0004740394651889801, 0.0004948899149894714, 0.0005157403647899628, 0.0005365908145904541, 0.0005574412643909454, 0.0005782917141914368, 0.0005991421639919281, 0.0006199926137924194, 0.0006408430635929108, 0.0006616935133934021, 0.0006825439631938934, 0.0007033944129943848, 0.0007242448627948761, 0.0007450953125953674, 0.0007659457623958588, 0.0007867962121963501, 0.0008076466619968414, 0.0008284971117973328, 0.0008493475615978241, 0.0008701980113983154, 0.0008910484611988068, 0.0009118989109992981, 0.0009327493607997894, 0.0009535998106002808, 0.0009744502604007721, 0.0009953007102012634, 0.0010161511600017548, 0.001037001609802246]}, "gradients/encoder.encoder.layers.7.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 5.0, 2.0, 1.0, 2.0, 3.0, 4.0, 3.0, 4.0, 1.0, 13.0, 7.0, 11.0, 16.0, 20.0, 28.0, 69.0, 415.0, 4171059.0, 21395.0, 1214.0, 18.0, 4.0], "bins": [-0.000942230224609375, -0.0009264955297112465, -0.000910760834813118, -0.0008950261399149895, -0.000879291445016861, -0.0008635567501187325, -0.0008478220552206039, -0.0008320873603224754, -0.0008163526654243469, -0.0008006179705262184, -0.0007848832756280899, -0.0007691485807299614, -0.0007534138858318329, -0.0007376791909337044, -0.0007219444960355759, -0.0007062098011374474, -0.0006904751062393188, -0.0006747404113411903, -0.0006590057164430618, -0.0006432710215449333, -0.0006275363266468048, -0.0006118016317486763, -0.0005960669368505478, -0.0005803322419524193, -0.0005645975470542908, -0.0005488628521561623, -0.0005331281572580338, -0.0005173934623599052, -0.0005016587674617767, -0.0004859240725636482, -0.0004701893776655197, -0.0004544546827673912, -0.0004387199878692627, -0.0004229852929711342, -0.0004072505980730057, -0.00039151590317487717, -0.00037578120827674866, -0.00036004651337862015, -0.00034431181848049164, -0.00032857712358236313, -0.0003128424286842346, -0.0002971077337861061, -0.0002813730388879776, -0.0002656383439898491, -0.0002499036490917206, -0.00023416895419359207, -0.00021843425929546356, -0.00020269956439733505, -0.00018696486949920654, -0.00017123017460107803, -0.00015549547970294952, -0.00013976078480482101, -0.0001240260899066925, -0.000108291395008564, -9.255670011043549e-05, -7.682200521230698e-05, -6.108731031417847e-05, -4.535261541604996e-05, -2.9617920517921448e-05, -1.3883225619792938e-05, 1.8514692783355713e-06, 1.758616417646408e-05, 3.332085907459259e-05, 4.90555539727211e-05, 6.479024887084961e-05]}, "gradients/encoder.encoder.layers.7.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 17.0, 106.0, 413.0, 377.0, 87.0, 16.0, 3.0], "bins": [-0.00013875961303710938, -0.00013644248247146606, -0.00013412535190582275, -0.00013180822134017944, -0.00012949109077453613, -0.00012717396020889282, -0.0001248568296432495, -0.0001225396990776062, -0.00012022256851196289, -0.00011790543794631958, -0.00011558830738067627, -0.00011327117681503296, -0.00011095404624938965, -0.00010863691568374634, -0.00010631978511810303, -0.00010400265455245972, -0.0001016855239868164, -9.93683934211731e-05, -9.705126285552979e-05, -9.473413228988647e-05, -9.241700172424316e-05, -9.009987115859985e-05, -8.778274059295654e-05, -8.546561002731323e-05, -8.314847946166992e-05, -8.083134889602661e-05, -7.85142183303833e-05, -7.619708776473999e-05, -7.387995719909668e-05, -7.156282663345337e-05, -6.924569606781006e-05, -6.692856550216675e-05, -6.461143493652344e-05, -6.229430437088013e-05, -5.9977173805236816e-05, -5.7660043239593506e-05, -5.5342912673950195e-05, -5.3025782108306885e-05, -5.0708651542663574e-05, -4.8391520977020264e-05, -4.607439041137695e-05, -4.375725984573364e-05, -4.144012928009033e-05, -3.912299871444702e-05, -3.680586814880371e-05, -3.44887375831604e-05, -3.217160701751709e-05, -2.985447645187378e-05, -2.753734588623047e-05, -2.5220215320587158e-05, -2.2903084754943848e-05, -2.0585954189300537e-05, -1.8268823623657227e-05, -1.5951693058013916e-05, -1.3634562492370605e-05, -1.1317431926727295e-05, -9.000301361083984e-06, -6.683170795440674e-06, -4.366040229797363e-06, -2.0489096641540527e-06, 2.682209014892578e-07, 2.5853514671325684e-06, 4.902482032775879e-06, 7.2196125984191895e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.7.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 1.0, 0.0, 3.0, 3.0, 7.0, 5.0, 3.0, 9.0, 12.0, 19.0, 22.0, 51.0, 75.0, 156.0, 294.0, 754.0, 1646.0, 4099.0, 12109.0, 54259.0, 3979675.0, 115046.0, 16853.0, 5430.0, 2107.0, 897.0, 357.0, 157.0, 88.0, 57.0, 27.0, 18.0, 10.0, 16.0, 5.0, 6.0, 5.0, 1.0, 8.0, 2.0, 2.0, 1.0, 2.0, 1.0], "bins": [-0.00011283159255981445, -0.0001100543886423111, -0.00010727718472480774, -0.00010449998080730438, -0.00010172277688980103, -9.894557297229767e-05, -9.616836905479431e-05, -9.339116513729095e-05, -9.06139612197876e-05, -8.783675730228424e-05, -8.505955338478088e-05, -8.228234946727753e-05, -7.950514554977417e-05, -7.672794163227081e-05, -7.395073771476746e-05, -7.11735337972641e-05, -6.839632987976074e-05, -6.561912596225739e-05, -6.284192204475403e-05, -6.006471812725067e-05, -5.7287514209747314e-05, -5.451031029224396e-05, -5.17331063747406e-05, -4.8955902457237244e-05, -4.617869853973389e-05, -4.340149462223053e-05, -4.062429070472717e-05, -3.7847086787223816e-05, -3.506988286972046e-05, -3.22926789522171e-05, -2.9515475034713745e-05, -2.6738271117210388e-05, -2.396106719970703e-05, -2.1183863282203674e-05, -1.8406659364700317e-05, -1.562945544719696e-05, -1.2852251529693604e-05, -1.0075047612190247e-05, -7.29784369468689e-06, -4.520639777183533e-06, -1.7434358596801758e-06, 1.0337680578231812e-06, 3.810971975326538e-06, 6.588175892829895e-06, 9.365379810333252e-06, 1.2142583727836609e-05, 1.4919787645339966e-05, 1.7696991562843323e-05, 2.047419548034668e-05, 2.3251399397850037e-05, 2.6028603315353394e-05, 2.880580723285675e-05, 3.158301115036011e-05, 3.4360215067863464e-05, 3.713741898536682e-05, 3.991462290287018e-05, 4.2691826820373535e-05, 4.546903073787689e-05, 4.824623465538025e-05, 5.1023438572883606e-05, 5.380064249038696e-05, 5.657784640789032e-05, 5.935505032539368e-05, 6.213225424289703e-05, 6.490945816040039e-05]}, "gradients/encoder.encoder.layers.7.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 1.0, 0.0, 3.0, 2.0, 2.0, 3.0, 0.0, 2.0, 5.0, 6.0, 5.0, 8.0, 8.0, 20.0, 12.0, 22.0, 21.0, 47.0, 137.0, 489.0, 2046.0, 769.0, 274.0, 79.0, 36.0, 14.0, 14.0, 10.0, 8.0, 7.0, 5.0, 6.0, 4.0, 6.0, 1.0, 4.0, 0.0, 0.0, 7.0, 2.0, 2.0, 0.0, 3.0, 1.0], "bins": [-7.605552673339844e-05, -7.418449968099594e-05, -7.231347262859344e-05, -7.044244557619095e-05, -6.857141852378845e-05, -6.670039147138596e-05, -6.482936441898346e-05, -6.295833736658096e-05, -6.108731031417847e-05, -5.921628326177597e-05, -5.7345256209373474e-05, -5.547422915697098e-05, -5.360320210456848e-05, -5.1732175052165985e-05, -4.986114799976349e-05, -4.799012094736099e-05, -4.6119093894958496e-05, -4.4248066842556e-05, -4.2377039790153503e-05, -4.050601273775101e-05, -3.863498568534851e-05, -3.6763958632946014e-05, -3.489293158054352e-05, -3.302190452814102e-05, -3.1150877475738525e-05, -2.927985042333603e-05, -2.7408823370933533e-05, -2.5537796318531036e-05, -2.366676926612854e-05, -2.1795742213726044e-05, -1.9924715161323547e-05, -1.805368810892105e-05, -1.6182661056518555e-05, -1.4311634004116058e-05, -1.2440606951713562e-05, -1.0569579899311066e-05, -8.69855284690857e-06, -6.827525794506073e-06, -4.956498742103577e-06, -3.0854716897010803e-06, -1.214444637298584e-06, 6.565824151039124e-07, 2.5276094675064087e-06, 4.398636519908905e-06, 6.269663572311401e-06, 8.140690624713898e-06, 1.0011717677116394e-05, 1.188274472951889e-05, 1.3753771781921387e-05, 1.5624798834323883e-05, 1.749582588672638e-05, 1.9366852939128876e-05, 2.1237879991531372e-05, 2.310890704393387e-05, 2.4979934096336365e-05, 2.685096114873886e-05, 2.8721988201141357e-05, 3.0593015253543854e-05, 3.246404230594635e-05, 3.4335069358348846e-05, 3.620609641075134e-05, 3.807712346315384e-05, 3.9948150515556335e-05, 4.181917756795883e-05, 4.369020462036133e-05]}, "gradients/encoder.encoder.layers.7.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 4.0, 1.0, 1.0, 4.0, 6.0, 9.0, 8.0, 15.0, 24.0, 36.0, 48.0, 127.0, 307.0, 188.0, 84.0, 62.0, 26.0, 22.0, 13.0, 13.0, 4.0, 4.0, 5.0, 0.0, 2.0, 2.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00047509444993920624, -0.00046063034096732736, -0.0004461662610992789, -0.00043170215212740004, -0.0004172380722593516, -0.0004027739632874727, -0.0003883098834194243, -0.0003738457744475454, -0.0003593816654756665, -0.00034491755650378764, -0.0003304534766357392, -0.0003159893676638603, -0.0003015252877958119, -0.000287061178823933, -0.0002725970698520541, -0.0002581329899840057, -0.00024366891011595726, -0.0002292048156959936, -0.00021474072127602994, -0.00020027661230415106, -0.00018581253243610263, -0.00017134842346422374, -0.00015688432904426008, -0.00014242023462429643, -0.00012795614020433277, -0.00011349204578436911, -9.902795136440545e-05, -8.456384966848418e-05, -7.009975524852052e-05, -5.5635660828556865e-05, -4.1171559132635593e-05, -2.6707464712671936e-05, -1.2243370292708278e-05, 2.2207259462447837e-06, 1.6684822185197845e-05, 3.114892024314031e-05, 4.561301466310397e-05, 6.0077109083067626e-05, 7.45412107789889e-05, 8.900530519895256e-05, 0.00010346939961891621, 0.00011793349403887987, 0.00013239758845884353, 0.0001468616828788072, 0.00016132579185068607, 0.0001757898717187345, 0.0001902539806906134, 0.00020471807511057705, 0.0002191821695305407, 0.00023364626395050436, 0.000248110358370468, 0.0002625744673423469, 0.00027703854721039534, 0.0002915026561822742, 0.0003059667651541531, 0.00032043084502220154, 0.00033489492489024997, 0.00034935903386212885, 0.0003638231137301773, 0.00037828722270205617, 0.0003927513025701046, 0.0004072154115419835, 0.00042167952051386237, 0.0004361436003819108, 0.0004506077093537897]}, "gradients/encoder.encoder.layers.7.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 2.0, 5.0, 3.0, 4.0, 11.0, 8.0, 12.0, 17.0, 17.0, 24.0, 29.0, 34.0, 40.0, 41.0, 56.0, 49.0, 62.0, 43.0, 46.0, 57.0, 59.0, 55.0, 56.0, 58.0, 38.0, 37.0, 35.0, 26.0, 24.0, 20.0, 11.0, 7.0, 11.0, 5.0, 5.0, 1.0, 4.0, 0.0, 2.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.00023698806762695312, -0.00023020431399345398, -0.00022342056035995483, -0.0002166368067264557, -0.00020985305309295654, -0.0002030692994594574, -0.00019628554582595825, -0.0001895017921924591, -0.00018271803855895996, -0.00017593428492546082, -0.00016915053129196167, -0.00016236677765846252, -0.00015558302402496338, -0.00014879927039146423, -0.0001420155167579651, -0.00013523176312446594, -0.0001284480094909668, -0.00012166425585746765, -0.0001148805022239685, -0.00010809674859046936, -0.00010131299495697021, -9.452924132347107e-05, -8.774548768997192e-05, -8.096173405647278e-05, -7.417798042297363e-05, -6.739422678947449e-05, -6.061047315597534e-05, -5.3826719522476196e-05, -4.704296588897705e-05, -4.0259212255477905e-05, -3.347545862197876e-05, -2.6691704988479614e-05, -1.990795135498047e-05, -1.3124197721481323e-05, -6.340444087982178e-06, 4.4330954551696777e-07, 7.227063179016113e-06, 1.4010816812515259e-05, 2.0794570446014404e-05, 2.757832407951355e-05, 3.4362077713012695e-05, 4.114583134651184e-05, 4.7929584980010986e-05, 5.471333861351013e-05, 6.149709224700928e-05, 6.828084588050842e-05, 7.506459951400757e-05, 8.184835314750671e-05, 8.863210678100586e-05, 9.5415860414505e-05, 0.00010219961404800415, 0.0001089833676815033, 0.00011576712131500244, 0.0001225508749485016, 0.00012933462858200073, 0.00013611838221549988, 0.00014290213584899902, 0.00014968588948249817, 0.00015646964311599731, 0.00016325339674949646, 0.0001700371503829956, 0.00017682090401649475, 0.0001836046576499939, 0.00019038841128349304, 0.0001971721649169922]}, "gradients/encoder.encoder.layers.7.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 0.0, 0.0, 2.0, 2.0, 0.0, 2.0, 2.0, 2.0, 5.0, 6.0, 12.0, 11.0, 14.0, 24.0, 17.0, 20.0, 26.0, 25.0, 26.0, 32.0, 29.0, 28.0, 57.0, 71.0, 551.0, 696932.0, 349755.0, 461.0, 78.0, 46.0, 53.0, 51.0, 37.0, 45.0, 19.0, 34.0, 16.0, 14.0, 12.0, 16.0, 13.0, 5.0, 5.0, 5.0, 2.0, 4.0, 0.0, 0.0, 1.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0003972053527832031, -0.00038350000977516174, -0.00036979466676712036, -0.000356089323759079, -0.0003423839807510376, -0.0003286786377429962, -0.00031497329473495483, -0.00030126795172691345, -0.00028756260871887207, -0.0002738572657108307, -0.0002601519227027893, -0.0002464465796947479, -0.00023274123668670654, -0.00021903589367866516, -0.00020533055067062378, -0.0001916252076625824, -0.00017791986465454102, -0.00016421452164649963, -0.00015050917863845825, -0.00013680383563041687, -0.0001230984926223755, -0.0001093931496143341, -9.568780660629272e-05, -8.198246359825134e-05, -6.827712059020996e-05, -5.457177758216858e-05, -4.08664345741272e-05, -2.7161091566085815e-05, -1.3455748558044434e-05, 2.4959444999694824e-07, 1.395493745803833e-05, 2.7660280466079712e-05, 4.1365623474121094e-05, 5.5070966482162476e-05, 6.877630949020386e-05, 8.248165249824524e-05, 9.618699550628662e-05, 0.000109892338514328, 0.00012359768152236938, 0.00013730302453041077, 0.00015100836753845215, 0.00016471371054649353, 0.0001784190535545349, 0.0001921243965625763, 0.00020582973957061768, 0.00021953508257865906, 0.00023324042558670044, 0.0002469457685947418, 0.0002606511116027832, 0.0002743564546108246, 0.00028806179761886597, 0.00030176714062690735, 0.00031547248363494873, 0.0003291778266429901, 0.0003428831696510315, 0.0003565885126590729, 0.00037029385566711426, 0.00038399919867515564, 0.000397704541683197, 0.0004114098846912384, 0.0004251152276992798, 0.00043882057070732117, 0.00045252591371536255, 0.00046623125672340393, 0.0004799365997314453]}, "gradients/encoder.encoder.layers.7.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 19.0, 121.0, 408.0, 372.0, 82.0, 14.0, 3.0], "bins": [-0.0001373291015625, -0.00013503432273864746, -0.00013273954391479492, -0.00013044476509094238, -0.00012814998626708984, -0.0001258552074432373, -0.00012356042861938477, -0.00012126564979553223, -0.00011897087097167969, -0.00011667609214782715, -0.00011438131332397461, -0.00011208653450012207, -0.00010979175567626953, -0.00010749697685241699, -0.00010520219802856445, -0.00010290741920471191, -0.00010061264038085938, -9.831786155700684e-05, -9.60230827331543e-05, -9.372830390930176e-05, -9.143352508544922e-05, -8.913874626159668e-05, -8.684396743774414e-05, -8.45491886138916e-05, -8.225440979003906e-05, -7.995963096618652e-05, -7.766485214233398e-05, -7.537007331848145e-05, -7.30752944946289e-05, -7.078051567077637e-05, -6.848573684692383e-05, -6.619095802307129e-05, -6.389617919921875e-05, -6.160140037536621e-05, -5.930662155151367e-05, -5.701184272766113e-05, -5.4717063903808594e-05, -5.2422285079956055e-05, -5.0127506256103516e-05, -4.7832727432250977e-05, -4.553794860839844e-05, -4.32431697845459e-05, -4.094839096069336e-05, -3.865361213684082e-05, -3.635883331298828e-05, -3.406405448913574e-05, -3.17692756652832e-05, -2.9474496841430664e-05, -2.7179718017578125e-05, -2.4884939193725586e-05, -2.2590160369873047e-05, -2.0295381546020508e-05, -1.800060272216797e-05, -1.570582389831543e-05, -1.341104507446289e-05, -1.1116266250610352e-05, -8.821487426757812e-06, -6.5267086029052734e-06, -4.231929779052734e-06, -1.9371509552001953e-06, 3.5762786865234375e-07, 2.652406692504883e-06, 4.947185516357422e-06, 7.241964340209961e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.7.attention.v_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 5.0, 1.0, 1.0, 2.0, 4.0, 3.0, 2.0, 6.0, 2.0, 2.0, 3.0, 8.0, 6.0, 16.0, 12.0, 24.0, 46.0, 84.0, 139.0, 307.0, 473.0, 875.0, 1477.0, 2442.0, 4336.0, 7977.0, 14098.0, 30485.0, 918019.0, 33353.0, 15338.0, 8289.0, 4547.0, 2481.0, 1597.0, 930.0, 510.0, 268.0, 148.0, 75.0, 54.0, 33.0, 25.0, 13.0, 17.0, 6.0, 5.0, 8.0, 5.0, 4.0, 2.0, 2.0, 1.0, 1.0, 3.0, 0.0, 2.0, 0.0, 2.0], "bins": [-0.00012493133544921875, -0.00012120697647333145, -0.00011748261749744415, -0.00011375825852155685, -0.00011003389954566956, -0.00010630954056978226, -0.00010258518159389496, -9.886082261800766e-05, -9.513646364212036e-05, -9.141210466623306e-05, -8.768774569034576e-05, -8.396338671445847e-05, -8.023902773857117e-05, -7.651466876268387e-05, -7.279030978679657e-05, -6.906595081090927e-05, -6.534159183502197e-05, -6.161723285913467e-05, -5.7892873883247375e-05, -5.416851490736008e-05, -5.044415593147278e-05, -4.671979695558548e-05, -4.299543797969818e-05, -3.927107900381088e-05, -3.5546720027923584e-05, -3.1822361052036285e-05, -2.8098002076148987e-05, -2.4373643100261688e-05, -2.064928412437439e-05, -1.692492514848709e-05, -1.3200566172599792e-05, -9.476207196712494e-06, -5.751848220825195e-06, -2.0274892449378967e-06, 1.6968697309494019e-06, 5.4212287068367004e-06, 9.145587682723999e-06, 1.2869946658611298e-05, 1.6594305634498596e-05, 2.0318664610385895e-05, 2.4043023586273193e-05, 2.7767382562160492e-05, 3.149174153804779e-05, 3.521610051393509e-05, 3.894045948982239e-05, 4.2664818465709686e-05, 4.6389177441596985e-05, 5.0113536417484283e-05, 5.383789539337158e-05, 5.756225436925888e-05, 6.128661334514618e-05, 6.501097232103348e-05, 6.873533129692078e-05, 7.245969027280807e-05, 7.618404924869537e-05, 7.990840822458267e-05, 8.363276720046997e-05, 8.735712617635727e-05, 9.108148515224457e-05, 9.480584412813187e-05, 9.853020310401917e-05, 0.00010225456207990646, 0.00010597892105579376, 0.00010970328003168106, 0.00011342763900756836]}, "gradients/encoder.encoder.layers.7.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 6.0, 0.0, 1.0, 2.0, 4.0, 3.0, 2.0, 5.0, 3.0, 2.0, 1.0, 5.0, 1.0, 5.0, 1.0, 4.0, 2.0, 6.0, 5.0, 6.0, 2.0, 2.0, 3.0, 5.0, 8.0, 5.0, 12.0, 18.0, 782.0, 16.0, 8.0, 5.0, 6.0, 6.0, 4.0, 1.0, 5.0, 4.0, 6.0, 4.0, 7.0, 3.0, 4.0, 5.0, 3.0, 3.0, 3.0, 7.0, 4.0, 4.0, 3.0, 1.0, 1.0, 1.0, 3.0, 0.0, 2.0, 0.0, 2.0], "bins": [-0.00011420249938964844, -0.00011079292744398117, -0.0001073833554983139, -0.00010397378355264664, -0.00010056421160697937, -9.71546396613121e-05, -9.374506771564484e-05, -9.033549576997757e-05, -8.69259238243103e-05, -8.351635187864304e-05, -8.010677993297577e-05, -7.66972079873085e-05, -7.328763604164124e-05, -6.987806409597397e-05, -6.64684921503067e-05, -6.305892020463943e-05, -5.964934825897217e-05, -5.62397763133049e-05, -5.2830204367637634e-05, -4.942063242197037e-05, -4.60110604763031e-05, -4.2601488530635834e-05, -3.919191658496857e-05, -3.57823446393013e-05, -3.237277269363403e-05, -2.8963200747966766e-05, -2.55536288022995e-05, -2.2144056856632233e-05, -1.8734484910964966e-05, -1.53249129652977e-05, -1.1915341019630432e-05, -8.505769073963165e-06, -5.0961971282958984e-06, -1.6866251826286316e-06, 1.7229467630386353e-06, 5.132518708705902e-06, 8.542090654373169e-06, 1.1951662600040436e-05, 1.5361234545707703e-05, 1.877080649137497e-05, 2.2180378437042236e-05, 2.5589950382709503e-05, 2.899952232837677e-05, 3.240909427404404e-05, 3.5818666219711304e-05, 3.922823816537857e-05, 4.263781011104584e-05, 4.6047382056713104e-05, 4.945695400238037e-05, 5.286652594804764e-05, 5.6276097893714905e-05, 5.968566983938217e-05, 6.309524178504944e-05, 6.65048137307167e-05, 6.991438567638397e-05, 7.332395762205124e-05, 7.67335295677185e-05, 8.014310151338577e-05, 8.355267345905304e-05, 8.69622454047203e-05, 9.037181735038757e-05, 9.378138929605484e-05, 9.719096124172211e-05, 0.00010060053318738937, 0.00010401010513305664]}, "gradients/encoder.encoder.layers.7.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 2.0, 3.0, 2.0, 1.0, 1.0, 3.0, 3.0, 3.0, 3.0, 5.0, 8.0, 11.0, 13.0, 8.0, 16.0, 34.0, 20.0, 37.0, 53.0, 82.0, 139.0, 228.0, 105.0, 61.0, 46.0, 27.0, 28.0, 20.0, 8.0, 12.0, 9.0, 8.0, 4.0, 3.0, 2.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 1.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.0004374687559902668, -0.0004242838185746223, -0.00041109888115897775, -0.0003979139437433332, -0.0003847290063276887, -0.0003715440980158746, -0.0003583591606002301, -0.00034517422318458557, -0.00033198928576894104, -0.0003188043483532965, -0.000305619410937652, -0.00029243447352200747, -0.0002792495652101934, -0.0002660645986907184, -0.00025287969037890434, -0.00023969475296325982, -0.0002265098155476153, -0.00021332487813197076, -0.00020013994071632624, -0.00018695501785259694, -0.0001737700804369524, -0.00016058514302130789, -0.0001474002201575786, -0.00013421528274193406, -0.00012103034532628953, -0.00010784540791064501, -9.46604777709581e-05, -8.147554763127118e-05, -6.829061021562666e-05, -5.510567279998213e-05, -4.192074266029522e-05, -2.8735812520608306e-05, -1.555087510496378e-05, -2.36594132729806e-06, 1.081899245036766e-05, 2.400392622803338e-05, 3.71888600056991e-05, 5.0373797421343625e-05, 6.355872756103054e-05, 7.674365770071745e-05, 8.992859511636198e-05, 0.0001031135325320065, 0.00011629846267169341, 0.00012948339281138033, 0.00014266833022702485, 0.00015585326764266938, 0.00016903819050639868, 0.0001822231279220432, 0.00019540806533768773, 0.00020859300275333226, 0.00022177794016897678, 0.00023496286303270608, 0.00024814781500026584, 0.0002613327233120799, 0.00027451766072772443, 0.00028770259814336896, 0.0003008875355590135, 0.000314072472974658, 0.00032725741039030254, 0.00034044234780594707, 0.00035362725611776114, 0.0003668122226372361, 0.0003799971309490502, 0.0003931820683646947, 0.00040636700578033924]}, "gradients/encoder.encoder.layers.7.layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 4.0, 11.0, 16.0, 12.0, 18.0, 37.0, 53.0, 60.0, 70.0, 91.0, 148.0, 116.0, 88.0, 100.0, 52.0, 42.0, 30.0, 25.0, 28.0, 8.0, 6.0, 1.0, 3.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0003072023391723633, -0.0002866508439183235, -0.00026609934866428375, -0.000245547853410244, -0.00022499635815620422, -0.00020444486290216446, -0.0001838933676481247, -0.00016334187239408493, -0.00014279037714004517, -0.0001222388818860054, -0.00010168738663196564, -8.113589137792587e-05, -6.058439612388611e-05, -4.0032900869846344e-05, -1.948140561580658e-05, 1.0700896382331848e-06, 2.162158489227295e-05, 4.2173080146312714e-05, 6.272457540035248e-05, 8.327607065439224e-05, 0.00010382756590843201, 0.00012437906116247177, 0.00014493055641651154, 0.0001654820516705513, 0.00018603354692459106, 0.00020658504217863083, 0.0002271365374326706, 0.00024768803268671036, 0.0002682395279407501, 0.0002887910231947899, 0.00030934251844882965, 0.0003298940137028694, 0.0003504455089569092, 0.00037099700421094894, 0.0003915484994649887, 0.0004120999947190285, 0.00043265148997306824, 0.000453202985227108, 0.00047375448048114777, 0.0004943059757351875, 0.0005148574709892273, 0.0005354089662432671, 0.0005559604614973068, 0.0005765119567513466, 0.0005970634520053864, 0.0006176149472594261, 0.0006381664425134659, 0.0006587179377675056, 0.0006792694330215454, 0.0006998209282755852, 0.0007203724235296249, 0.0007409239187836647, 0.0007614754140377045, 0.0007820269092917442, 0.000802578404545784, 0.0008231298997998238, 0.0008436813950538635, 0.0008642328903079033, 0.000884784385561943, 0.0009053358808159828, 0.0009258873760700226, 0.0009464388713240623, 0.0009669903665781021, 0.0009875418618321419, 0.0010080933570861816]}, "gradients/encoder.encoder.layers.6.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 5.0, 0.0, 1.0, 0.0, 4.0, 6.0, 2.0, 8.0, 3.0, 12.0, 9.0, 11.0, 12.0, 23.0, 18.0, 29.0, 91.0, 443.0, 4176635.0, 16823.0, 143.0, 16.0, 3.0], "bins": [-0.0016145706176757812, -0.0015875902026891708, -0.0015606097877025604, -0.00153362937271595, -0.0015066489577293396, -0.0014796685427427292, -0.0014526881277561188, -0.0014257077127695084, -0.001398727297782898, -0.0013717468827962875, -0.0013447664678096771, -0.0013177860528230667, -0.0012908056378364563, -0.0012638252228498459, -0.0012368448078632355, -0.001209864392876625, -0.0011828839778900146, -0.0011559035629034042, -0.0011289231479167938, -0.0011019427329301834, -0.001074962317943573, -0.0010479819029569626, -0.0010210014879703522, -0.0009940210729837418, -0.0009670406579971313, -0.0009400602430105209, -0.0009130798280239105, -0.0008860994130373001, -0.0008591189980506897, -0.0008321385830640793, -0.0008051581680774689, -0.0007781777530908585, -0.000751197338104248, -0.0007242169231176376, -0.0006972365081310272, -0.0006702560931444168, -0.0006432756781578064, -0.000616295263171196, -0.0005893148481845856, -0.0005623344331979752, -0.0005353540182113647, -0.0005083736032247543, -0.0004813931882381439, -0.0004544127732515335, -0.0004274323582649231, -0.0004004519432783127, -0.00037347152829170227, -0.00034649111330509186, -0.00031951069831848145, -0.00029253028333187103, -0.0002655498683452606, -0.0002385694533586502, -0.0002115890383720398, -0.00018460862338542938, -0.00015762820839881897, -0.00013064779341220856, -0.00010366737842559814, -7.668696343898773e-05, -4.970654845237732e-05, -2.2726133465766907e-05, 4.254281520843506e-06, 3.123469650745392e-05, 5.821511149406433e-05, 8.519552648067474e-05, 0.00011217594146728516]}, "gradients/encoder.encoder.layers.6.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 19.0, 121.0, 408.0, 372.0, 82.0, 14.0, 3.0], "bins": [-0.0001373291015625, -0.00013503432273864746, -0.00013273954391479492, -0.00013044476509094238, -0.00012814998626708984, -0.0001258552074432373, -0.00012356042861938477, -0.00012126564979553223, -0.00011897087097167969, -0.00011667609214782715, -0.00011438131332397461, -0.00011208653450012207, -0.00010979175567626953, -0.00010749697685241699, -0.00010520219802856445, -0.00010290741920471191, -0.00010061264038085938, -9.831786155700684e-05, -9.60230827331543e-05, -9.372830390930176e-05, -9.143352508544922e-05, -8.913874626159668e-05, -8.684396743774414e-05, -8.45491886138916e-05, -8.225440979003906e-05, -7.995963096618652e-05, -7.766485214233398e-05, -7.537007331848145e-05, -7.30752944946289e-05, -7.078051567077637e-05, -6.848573684692383e-05, -6.619095802307129e-05, -6.389617919921875e-05, -6.160140037536621e-05, -5.930662155151367e-05, -5.701184272766113e-05, -5.4717063903808594e-05, -5.2422285079956055e-05, -5.0127506256103516e-05, -4.7832727432250977e-05, -4.553794860839844e-05, -4.32431697845459e-05, -4.094839096069336e-05, -3.865361213684082e-05, -3.635883331298828e-05, -3.406405448913574e-05, -3.17692756652832e-05, -2.9474496841430664e-05, -2.7179718017578125e-05, -2.4884939193725586e-05, -2.2590160369873047e-05, -2.0295381546020508e-05, -1.800060272216797e-05, -1.570582389831543e-05, -1.341104507446289e-05, -1.1116266250610352e-05, -8.821487426757812e-06, -6.5267086029052734e-06, -4.231929779052734e-06, -1.9371509552001953e-06, 3.5762786865234375e-07, 2.652406692504883e-06, 4.947185516357422e-06, 7.241964340209961e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.6.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 2.0, 2.0, 4.0, 7.0, 12.0, 9.0, 17.0, 28.0, 44.0, 86.0, 162.0, 262.0, 527.0, 1176.0, 2766.0, 7734.0, 28295.0, 531811.0, 3565307.0, 40014.0, 9878.0, 3389.0, 1406.0, 628.0, 337.0, 165.0, 94.0, 51.0, 27.0, 21.0, 15.0, 9.0, 3.0, 3.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00011748075485229492, -0.00011403579264879227, -0.00011059083044528961, -0.00010714586824178696, -0.0001037009060382843, -0.00010025594383478165, -9.681098163127899e-05, -9.336601942777634e-05, -8.992105722427368e-05, -8.647609502077103e-05, -8.303113281726837e-05, -7.958617061376572e-05, -7.614120841026306e-05, -7.26962462067604e-05, -6.925128400325775e-05, -6.58063217997551e-05, -6.236135959625244e-05, -5.8916397392749786e-05, -5.547143518924713e-05, -5.2026472985744476e-05, -4.858151078224182e-05, -4.5136548578739166e-05, -4.169158637523651e-05, -3.8246624171733856e-05, -3.48016619682312e-05, -3.1356699764728546e-05, -2.791173756122589e-05, -2.4466775357723236e-05, -2.102181315422058e-05, -1.7576850950717926e-05, -1.4131888747215271e-05, -1.0686926543712616e-05, -7.241964340209961e-06, -3.797002136707306e-06, -3.520399332046509e-07, 3.092922270298004e-06, 6.537884473800659e-06, 9.982846677303314e-06, 1.342780888080597e-05, 1.6872771084308624e-05, 2.031773328781128e-05, 2.3762695491313934e-05, 2.720765769481659e-05, 3.0652619898319244e-05, 3.40975821018219e-05, 3.7542544305324554e-05, 4.098750650882721e-05, 4.4432468712329865e-05, 4.787743091583252e-05, 5.1322393119335175e-05, 5.476735532283783e-05, 5.8212317526340485e-05, 6.165727972984314e-05, 6.51022419333458e-05, 6.854720413684845e-05, 7.19921663403511e-05, 7.543712854385376e-05, 7.888209074735641e-05, 8.232705295085907e-05, 8.577201515436172e-05, 8.921697735786438e-05, 9.266193956136703e-05, 9.610690176486969e-05, 9.955186396837234e-05, 0.000102996826171875]}, "gradients/encoder.encoder.layers.6.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 2.0, 2.0, 3.0, 2.0, 4.0, 3.0, 4.0, 6.0, 3.0, 12.0, 12.0, 19.0, 15.0, 30.0, 32.0, 65.0, 268.0, 968.0, 2016.0, 358.0, 83.0, 40.0, 35.0, 22.0, 19.0, 22.0, 6.0, 8.0, 3.0, 8.0, 6.0, 3.0, 2.0, 2.0, 0.0, 0.0, 1.0, 1.0, 2.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-7.534027099609375e-05, -7.313303649425507e-05, -7.092580199241638e-05, -6.87185674905777e-05, -6.651133298873901e-05, -6.430409848690033e-05, -6.209686398506165e-05, -5.988962948322296e-05, -5.768239498138428e-05, -5.547516047954559e-05, -5.326792597770691e-05, -5.1060691475868225e-05, -4.885345697402954e-05, -4.664622247219086e-05, -4.443898797035217e-05, -4.223175346851349e-05, -4.0024518966674805e-05, -3.781728446483612e-05, -3.5610049962997437e-05, -3.340281546115875e-05, -3.119558095932007e-05, -2.8988346457481384e-05, -2.67811119556427e-05, -2.4573877453804016e-05, -2.2366642951965332e-05, -2.0159408450126648e-05, -1.7952173948287964e-05, -1.574493944644928e-05, -1.3537704944610596e-05, -1.1330470442771912e-05, -9.123235940933228e-06, -6.9160014390945435e-06, -4.708766937255859e-06, -2.5015324354171753e-06, -2.942979335784912e-07, 1.912936568260193e-06, 4.120171070098877e-06, 6.327405571937561e-06, 8.534640073776245e-06, 1.074187457561493e-05, 1.2949109077453613e-05, 1.5156343579292297e-05, 1.736357808113098e-05, 1.9570812582969666e-05, 2.177804708480835e-05, 2.3985281586647034e-05, 2.6192516088485718e-05, 2.8399750590324402e-05, 3.0606985092163086e-05, 3.281421959400177e-05, 3.5021454095840454e-05, 3.722868859767914e-05, 3.943592309951782e-05, 4.1643157601356506e-05, 4.385039210319519e-05, 4.6057626605033875e-05, 4.826486110687256e-05, 5.047209560871124e-05, 5.267933011054993e-05, 5.488656461238861e-05, 5.7093799114227295e-05, 5.930103361606598e-05, 6.150826811790466e-05, 6.371550261974335e-05, 6.592273712158203e-05]}, "gradients/encoder.encoder.layers.6.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 1.0, 4.0, 3.0, 4.0, 4.0, 12.0, 4.0, 11.0, 17.0, 23.0, 26.0, 43.0, 67.0, 101.0, 233.0, 153.0, 91.0, 63.0, 35.0, 36.0, 20.0, 14.0, 11.0, 5.0, 5.0, 3.0, 7.0, 3.0, 3.0, 3.0, 1.0, 3.0, 1.0, 2.0, 2.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00025474518770352006, -0.0002448667073622346, -0.00023498822702094913, -0.0002251097612315789, -0.00021523128089029342, -0.00020535280054900795, -0.0001954743347596377, -0.00018559585441835225, -0.00017571737407706678, -0.0001658388937357813, -0.00015596041339449584, -0.0001460819476051256, -0.00013620346726384014, -0.00012632498692255467, -0.00011644651385722682, -0.00010656804079189897, -9.66895604506135e-05, -8.681108010932803e-05, -7.693260704400018e-05, -6.705413397867233e-05, -5.717565363738686e-05, -4.72971769340802e-05, -3.741870023077354e-05, -2.7540227165445685e-05, -1.7661746824160218e-05, -7.783270120853558e-06, 2.095206582453102e-06, 1.1973683285759762e-05, 2.1852159989066422e-05, 3.173063669237308e-05, 4.160911339567974e-05, 5.1487586461007595e-05, 6.136609590612352e-05, 7.124457624740899e-05, 8.112304931273684e-05, 9.100152237806469e-05, 0.00010088000271935016, 0.00011075848306063563, 0.00012063695612596348, 0.00013051542919129133, 0.0001403939095325768, 0.00015027238987386227, 0.00016015087021514773, 0.00017002933600451797, 0.00017990781634580344, 0.0001897862966870889, 0.00019966476247645915, 0.0002095432428177446, 0.00021942172315903008, 0.00022930020350031555, 0.00023917868384160101, 0.0002490571641828865, 0.0002589356154203415, 0.00026881409576162696, 0.0002786925761029124, 0.0002885710564441979, 0.00029844953678548336, 0.00030832801712676883, 0.0003182064974680543, 0.00032808497780933976, 0.00033796345815062523, 0.00034784190938808024, 0.0003577203897293657, 0.0003675988700706512, 0.00037747735041193664]}, "gradients/encoder.encoder.layers.6.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 2.0, 1.0, 0.0, 1.0, 0.0, 7.0, 7.0, 10.0, 9.0, 0.0, 9.0, 12.0, 10.0, 10.0, 30.0, 19.0, 21.0, 22.0, 23.0, 34.0, 44.0, 48.0, 34.0, 49.0, 26.0, 47.0, 41.0, 41.0, 48.0, 40.0, 36.0, 31.0, 39.0, 36.0, 32.0, 36.0, 26.0, 22.0, 24.0, 11.0, 12.0, 15.0, 11.0, 11.0, 6.0, 4.0, 4.0, 3.0, 3.0, 3.0, 2.0, 2.0, 2.0, 2.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0], "bins": [-0.00016361474990844727, -0.00015839934349060059, -0.0001531839370727539, -0.00014796853065490723, -0.00014275312423706055, -0.00013753771781921387, -0.0001323223114013672, -0.0001271069049835205, -0.00012189149856567383, -0.00011667609214782715, -0.00011146068572998047, -0.00010624527931213379, -0.00010102987289428711, -9.581446647644043e-05, -9.059906005859375e-05, -8.538365364074707e-05, -8.016824722290039e-05, -7.495284080505371e-05, -6.973743438720703e-05, -6.452202796936035e-05, -5.930662155151367e-05, -5.409121513366699e-05, -4.887580871582031e-05, -4.366040229797363e-05, -3.844499588012695e-05, -3.3229589462280273e-05, -2.8014183044433594e-05, -2.2798776626586914e-05, -1.7583370208740234e-05, -1.2367963790893555e-05, -7.152557373046875e-06, -1.9371509552001953e-06, 3.2782554626464844e-06, 8.493661880493164e-06, 1.3709068298339844e-05, 1.8924474716186523e-05, 2.4139881134033203e-05, 2.9355287551879883e-05, 3.457069396972656e-05, 3.978610038757324e-05, 4.500150680541992e-05, 5.02169132232666e-05, 5.543231964111328e-05, 6.064772605895996e-05, 6.586313247680664e-05, 7.107853889465332e-05, 7.62939453125e-05, 8.150935173034668e-05, 8.672475814819336e-05, 9.194016456604004e-05, 9.715557098388672e-05, 0.0001023709774017334, 0.00010758638381958008, 0.00011280179023742676, 0.00011801719665527344, 0.00012323260307312012, 0.0001284480094909668, 0.00013366341590881348, 0.00013887882232666016, 0.00014409422874450684, 0.00014930963516235352, 0.0001545250415802002, 0.00015974044799804688, 0.00016495585441589355, 0.00017017126083374023]}, "gradients/encoder.encoder.layers.6.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 2.0, 3.0, 1.0, 4.0, 3.0, 4.0, 3.0, 7.0, 4.0, 6.0, 13.0, 22.0, 11.0, 15.0, 16.0, 24.0, 32.0, 28.0, 33.0, 28.0, 46.0, 36.0, 55.0, 141.0, 2876.0, 1017029.0, 27334.0, 312.0, 74.0, 44.0, 42.0, 41.0, 36.0, 34.0, 29.0, 29.0, 22.0, 20.0, 27.0, 17.0, 11.0, 9.0, 14.0, 4.0, 5.0, 8.0, 5.0, 5.0, 5.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.0004379749298095703, -0.0004253461956977844, -0.00041271746158599854, -0.00040008872747421265, -0.00038745999336242676, -0.00037483125925064087, -0.000362202525138855, -0.0003495737910270691, -0.0003369450569152832, -0.0003243163228034973, -0.0003116875886917114, -0.00029905885457992554, -0.00028643012046813965, -0.00027380138635635376, -0.00026117265224456787, -0.000248543918132782, -0.0002359151840209961, -0.0002232864499092102, -0.00021065771579742432, -0.00019802898168563843, -0.00018540024757385254, -0.00017277151346206665, -0.00016014277935028076, -0.00014751404523849487, -0.00013488531112670898, -0.0001222565770149231, -0.00010962784290313721, -9.699910879135132e-05, -8.437037467956543e-05, -7.174164056777954e-05, -5.911290645599365e-05, -4.6484172344207764e-05, -3.3855438232421875e-05, -2.1226704120635986e-05, -8.597970008850098e-06, 4.030764102935791e-06, 1.665949821472168e-05, 2.928823232650757e-05, 4.191696643829346e-05, 5.4545700550079346e-05, 6.717443466186523e-05, 7.980316877365112e-05, 9.243190288543701e-05, 0.0001050606369972229, 0.00011768937110900879, 0.00013031810522079468, 0.00014294683933258057, 0.00015557557344436646, 0.00016820430755615234, 0.00018083304166793823, 0.00019346177577972412, 0.00020609050989151, 0.0002187192440032959, 0.0002313479781150818, 0.00024397671222686768, 0.00025660544633865356, 0.00026923418045043945, 0.00028186291456222534, 0.00029449164867401123, 0.0003071203827857971, 0.000319749116897583, 0.0003323778510093689, 0.0003450065851211548, 0.0003576353192329407, 0.00037026405334472656]}, "gradients/encoder.encoder.layers.6.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 2.0, 20.0, 134.0, 407.0, 348.0, 89.0, 17.0, 3.0], "bins": [-0.00013685226440429688, -0.00013456493616104126, -0.00013227760791778564, -0.00012999027967453003, -0.00012770295143127441, -0.0001254156231880188, -0.00012312829494476318, -0.00012084096670150757, -0.00011855363845825195, -0.00011626631021499634, -0.00011397898197174072, -0.00011169165372848511, -0.00010940432548522949, -0.00010711699724197388, -0.00010482966899871826, -0.00010254234075546265, -0.00010025501251220703, -9.796768426895142e-05, -9.56803560256958e-05, -9.339302778244019e-05, -9.110569953918457e-05, -8.881837129592896e-05, -8.653104305267334e-05, -8.424371480941772e-05, -8.195638656616211e-05, -7.96690583229065e-05, -7.738173007965088e-05, -7.509440183639526e-05, -7.280707359313965e-05, -7.051974534988403e-05, -6.823241710662842e-05, -6.59450888633728e-05, -6.365776062011719e-05, -6.137043237686157e-05, -5.908310413360596e-05, -5.679577589035034e-05, -5.4508447647094727e-05, -5.222111940383911e-05, -4.9933791160583496e-05, -4.764646291732788e-05, -4.5359134674072266e-05, -4.307180643081665e-05, -4.0784478187561035e-05, -3.849714994430542e-05, -3.6209821701049805e-05, -3.392249345779419e-05, -3.1635165214538574e-05, -2.934783697128296e-05, -2.7060508728027344e-05, -2.477318048477173e-05, -2.2485852241516113e-05, -2.0198523998260498e-05, -1.7911195755004883e-05, -1.5623867511749268e-05, -1.3336539268493652e-05, -1.1049211025238037e-05, -8.761882781982422e-06, -6.474554538726807e-06, -4.187226295471191e-06, -1.8998980522155762e-06, 3.8743019104003906e-07, 2.6747584342956543e-06, 4.9620866775512695e-06, 7.249414920806885e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.6.attention.v_proj.weight": {"_type": "histogram", "values": [2.0, 3.0, 0.0, 2.0, 3.0, 1.0, 1.0, 4.0, 1.0, 1.0, 0.0, 1.0, 6.0, 4.0, 5.0, 8.0, 8.0, 7.0, 11.0, 20.0, 43.0, 76.0, 146.0, 372.0, 738.0, 1296.0, 2524.0, 4562.0, 8712.0, 22113.0, 966858.0, 22232.0, 8907.0, 4585.0, 2566.0, 1305.0, 707.0, 361.0, 171.0, 74.0, 42.0, 19.0, 11.0, 13.0, 6.0, 8.0, 5.0, 6.0, 6.0, 1.0, 5.0, 1.0, 3.0, 1.0, 2.0, 1.0, 1.0, 3.0, 1.0, 1.0, 2.0, 0.0, 0.0, 2.0], "bins": [-0.00013887882232666016, -0.0001343265175819397, -0.00012977421283721924, -0.00012522190809249878, -0.00012066960334777832, -0.00011611729860305786, -0.0001115649938583374, -0.00010701268911361694, -0.00010246038436889648, -9.790807962417603e-05, -9.335577487945557e-05, -8.880347013473511e-05, -8.425116539001465e-05, -7.969886064529419e-05, -7.514655590057373e-05, -7.059425115585327e-05, -6.604194641113281e-05, -6.148964166641235e-05, -5.6937336921691895e-05, -5.2385032176971436e-05, -4.7832727432250977e-05, -4.328042268753052e-05, -3.872811794281006e-05, -3.41758131980896e-05, -2.962350845336914e-05, -2.507120370864868e-05, -2.0518898963928223e-05, -1.5966594219207764e-05, -1.1414289474487305e-05, -6.861984729766846e-06, -2.3096799850463867e-06, 2.2426247596740723e-06, 6.794929504394531e-06, 1.134723424911499e-05, 1.589953899383545e-05, 2.0451843738555908e-05, 2.5004148483276367e-05, 2.9556453227996826e-05, 3.4108757972717285e-05, 3.8661062717437744e-05, 4.32133674621582e-05, 4.776567220687866e-05, 5.231797695159912e-05, 5.687028169631958e-05, 6.142258644104004e-05, 6.59748911857605e-05, 7.052719593048096e-05, 7.507950067520142e-05, 7.963180541992188e-05, 8.418411016464233e-05, 8.873641490936279e-05, 9.328871965408325e-05, 9.784102439880371e-05, 0.00010239332914352417, 0.00010694563388824463, 0.00011149793863296509, 0.00011605024337768555, 0.000120602548122406, 0.00012515485286712646, 0.00012970715761184692, 0.00013425946235656738, 0.00013881176710128784, 0.0001433640718460083, 0.00014791637659072876, 0.00015246868133544922]}, "gradients/encoder.encoder.layers.6.attention.v_proj.bias": {"_type": "histogram", "values": [2.0, 3.0, 0.0, 2.0, 3.0, 0.0, 2.0, 4.0, 1.0, 1.0, 0.0, 1.0, 2.0, 1.0, 2.0, 2.0, 0.0, 2.0, 2.0, 3.0, 3.0, 2.0, 2.0, 6.0, 6.0, 3.0, 5.0, 3.0, 11.0, 26.0, 830.0, 14.0, 7.0, 7.0, 9.0, 3.0, 6.0, 0.0, 2.0, 4.0, 2.0, 2.0, 0.0, 4.0, 1.0, 1.0, 3.0, 4.0, 2.0, 1.0, 4.0, 1.0, 3.0, 1.0, 2.0, 1.0, 1.0, 3.0, 1.0, 0.0, 3.0, 0.0, 0.0, 2.0], "bins": [-9.167194366455078e-05, -8.866749703884125e-05, -8.566305041313171e-05, -8.265860378742218e-05, -7.965415716171265e-05, -7.664971053600311e-05, -7.364526391029358e-05, -7.064081728458405e-05, -6.763637065887451e-05, -6.463192403316498e-05, -6.162747740745544e-05, -5.862303078174591e-05, -5.561858415603638e-05, -5.261413753032684e-05, -4.960969090461731e-05, -4.6605244278907776e-05, -4.360079765319824e-05, -4.059635102748871e-05, -3.7591904401779175e-05, -3.458745777606964e-05, -3.158301115036011e-05, -2.8578564524650574e-05, -2.557411789894104e-05, -2.2569671273231506e-05, -1.9565224647521973e-05, -1.656077802181244e-05, -1.3556331396102905e-05, -1.0551884770393372e-05, -7.547438144683838e-06, -4.542991518974304e-06, -1.5385448932647705e-06, 1.4659017324447632e-06, 4.470348358154297e-06, 7.4747949838638306e-06, 1.0479241609573364e-05, 1.3483688235282898e-05, 1.648813486099243e-05, 1.9492581486701965e-05, 2.24970281124115e-05, 2.5501474738121033e-05, 2.8505921363830566e-05, 3.15103679895401e-05, 3.4514814615249634e-05, 3.751926124095917e-05, 4.05237078666687e-05, 4.3528154492378235e-05, 4.653260111808777e-05, 4.95370477437973e-05, 5.2541494369506836e-05, 5.554594099521637e-05, 5.85503876209259e-05, 6.155483424663544e-05, 6.455928087234497e-05, 6.75637274980545e-05, 7.056817412376404e-05, 7.357262074947357e-05, 7.65770673751831e-05, 7.958151400089264e-05, 8.258596062660217e-05, 8.55904072523117e-05, 8.859485387802124e-05, 9.159930050373077e-05, 9.460374712944031e-05, 9.760819375514984e-05, 0.00010061264038085938]}, "gradients/encoder.encoder.layers.6.attention.k_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 33.0, 0.0, 0.0, 0.0, 13.0, 0.0, 0.0, 0.0, 0.0, 1173.0, 0.0, 0.0, 0.0, 0.0, 1046120.0, 0.0, 0.0, 0.0, 1185.0, 0.0, 0.0, 0.0, 0.0, 16.0, 0.0, 0.0, 0.0, 21.0, 0.0, 0.0, 0.0, 0.0, 5.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 4.0], "bins": [-4.172325134277344e-07, -4.041939973831177e-07, -3.91155481338501e-07, -3.781169652938843e-07, -3.650784492492676e-07, -3.520399332046509e-07, -3.390014171600342e-07, -3.259629011154175e-07, -3.129243850708008e-07, -2.998858690261841e-07, -2.868473529815674e-07, -2.738088369369507e-07, -2.60770320892334e-07, -2.477318048477173e-07, -2.3469328880310059e-07, -2.2165477275848389e-07, -2.086162567138672e-07, -1.955777406692505e-07, -1.825392246246338e-07, -1.695007085800171e-07, -1.564621925354004e-07, -1.434236764907837e-07, -1.30385160446167e-07, -1.1734664440155029e-07, -1.043081283569336e-07, -9.12696123123169e-08, -7.82310962677002e-08, -6.51925802230835e-08, -5.21540641784668e-08, -3.91155481338501e-08, -2.60770320892334e-08, -1.30385160446167e-08, 0.0, 1.30385160446167e-08, 2.60770320892334e-08, 3.91155481338501e-08, 5.21540641784668e-08, 6.51925802230835e-08, 7.82310962677002e-08, 9.12696123123169e-08, 1.043081283569336e-07, 1.1734664440155029e-07, 1.30385160446167e-07, 1.434236764907837e-07, 1.564621925354004e-07, 1.695007085800171e-07, 1.825392246246338e-07, 1.955777406692505e-07, 2.086162567138672e-07, 2.2165477275848389e-07, 2.3469328880310059e-07, 2.477318048477173e-07, 2.60770320892334e-07, 2.738088369369507e-07, 2.868473529815674e-07, 2.998858690261841e-07, 3.129243850708008e-07, 3.259629011154175e-07, 3.390014171600342e-07, 3.520399332046509e-07, 3.650784492492676e-07, 3.781169652938843e-07, 3.91155481338501e-07, 4.041939973831177e-07, 4.172325134277344e-07]}, "gradients/encoder.encoder.layers.6.attention.k_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 8.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 999.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 9.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 5.0], "bins": [-2.384185791015625e-07, -2.3096799850463867e-07, -2.2351741790771484e-07, -2.1606683731079102e-07, -2.086162567138672e-07, -2.0116567611694336e-07, -1.9371509552001953e-07, -1.862645149230957e-07, -1.7881393432617188e-07, -1.7136335372924805e-07, -1.6391277313232422e-07, -1.564621925354004e-07, -1.4901161193847656e-07, -1.4156103134155273e-07, -1.341104507446289e-07, -1.2665987014770508e-07, -1.1920928955078125e-07, -1.1175870895385742e-07, -1.043081283569336e-07, -9.685754776000977e-08, -8.940696716308594e-08, -8.195638656616211e-08, -7.450580596923828e-08, -6.705522537231445e-08, -5.960464477539063e-08, -5.21540641784668e-08, -4.470348358154297e-08, -3.725290298461914e-08, -2.9802322387695312e-08, -2.2351741790771484e-08, -1.4901161193847656e-08, -7.450580596923828e-09, 0.0, 7.450580596923828e-09, 1.4901161193847656e-08, 2.2351741790771484e-08, 2.9802322387695312e-08, 3.725290298461914e-08, 4.470348358154297e-08, 5.21540641784668e-08, 5.960464477539063e-08, 6.705522537231445e-08, 7.450580596923828e-08, 8.195638656616211e-08, 8.940696716308594e-08, 9.685754776000977e-08, 1.043081283569336e-07, 1.1175870895385742e-07, 1.1920928955078125e-07, 1.2665987014770508e-07, 1.341104507446289e-07, 1.4156103134155273e-07, 1.4901161193847656e-07, 1.564621925354004e-07, 1.6391277313232422e-07, 1.7136335372924805e-07, 1.7881393432617188e-07, 1.862645149230957e-07, 1.9371509552001953e-07, 2.0116567611694336e-07, 2.086162567138672e-07, 2.1606683731079102e-07, 2.2351741790771484e-07, 2.3096799850463867e-07, 2.384185791015625e-07]}, "gradients/encoder.encoder.layers.6.attention.q_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 13.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 503.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1047533.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 511.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 12.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0], "bins": [-1.7881393432617188e-07, -1.73225998878479e-07, -1.6763806343078613e-07, -1.6205012798309326e-07, -1.564621925354004e-07, -1.5087425708770752e-07, -1.4528632164001465e-07, -1.3969838619232178e-07, -1.341104507446289e-07, -1.2852251529693604e-07, -1.2293457984924316e-07, -1.1734664440155029e-07, -1.1175870895385742e-07, -1.0617077350616455e-07, -1.0058283805847168e-07, -9.499490261077881e-08, -8.940696716308594e-08, -8.381903171539307e-08, -7.82310962677002e-08, -7.264316082000732e-08, -6.705522537231445e-08, -6.146728992462158e-08, -5.587935447692871e-08, -5.029141902923584e-08, -4.470348358154297e-08, -3.91155481338501e-08, -3.3527612686157227e-08, -2.7939677238464355e-08, -2.2351741790771484e-08, -1.6763806343078613e-08, -1.1175870895385742e-08, -5.587935447692871e-09, 0.0, 5.587935447692871e-09, 1.1175870895385742e-08, 1.6763806343078613e-08, 2.2351741790771484e-08, 2.7939677238464355e-08, 3.3527612686157227e-08, 3.91155481338501e-08, 4.470348358154297e-08, 5.029141902923584e-08, 5.587935447692871e-08, 6.146728992462158e-08, 6.705522537231445e-08, 7.264316082000732e-08, 7.82310962677002e-08, 8.381903171539307e-08, 8.940696716308594e-08, 9.499490261077881e-08, 1.0058283805847168e-07, 1.0617077350616455e-07, 1.1175870895385742e-07, 1.1734664440155029e-07, 1.2293457984924316e-07, 1.2852251529693604e-07, 1.341104507446289e-07, 1.3969838619232178e-07, 1.4528632164001465e-07, 1.5087425708770752e-07, 1.564621925354004e-07, 1.6205012798309326e-07, 1.6763806343078613e-07, 1.73225998878479e-07, 1.7881393432617188e-07]}, "gradients/encoder.encoder.layers.6.attention.q_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 9.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1003.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 8.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0], "bins": [-1.1920928955078125e-07, -1.1548399925231934e-07, -1.1175870895385742e-07, -1.0803341865539551e-07, -1.043081283569336e-07, -1.0058283805847168e-07, -9.685754776000977e-08, -9.313225746154785e-08, -8.940696716308594e-08, -8.568167686462402e-08, -8.195638656616211e-08, -7.82310962677002e-08, -7.450580596923828e-08, -7.078051567077637e-08, -6.705522537231445e-08, -6.332993507385254e-08, -5.960464477539063e-08, -5.587935447692871e-08, -5.21540641784668e-08, -4.842877388000488e-08, -4.470348358154297e-08, -4.0978193283081055e-08, -3.725290298461914e-08, -3.3527612686157227e-08, -2.9802322387695312e-08, -2.60770320892334e-08, -2.2351741790771484e-08, -1.862645149230957e-08, -1.4901161193847656e-08, -1.1175870895385742e-08, -7.450580596923828e-09, -3.725290298461914e-09, 0.0, 3.725290298461914e-09, 7.450580596923828e-09, 1.1175870895385742e-08, 1.4901161193847656e-08, 1.862645149230957e-08, 2.2351741790771484e-08, 2.60770320892334e-08, 2.9802322387695312e-08, 3.3527612686157227e-08, 3.725290298461914e-08, 4.0978193283081055e-08, 4.470348358154297e-08, 4.842877388000488e-08, 5.21540641784668e-08, 5.587935447692871e-08, 5.960464477539063e-08, 6.332993507385254e-08, 6.705522537231445e-08, 7.078051567077637e-08, 7.450580596923828e-08, 7.82310962677002e-08, 8.195638656616211e-08, 8.568167686462402e-08, 8.940696716308594e-08, 9.313225746154785e-08, 9.685754776000977e-08, 1.0058283805847168e-07, 1.043081283569336e-07, 1.0803341865539551e-07, 1.1175870895385742e-07, 1.1548399925231934e-07, 1.1920928955078125e-07]}, "gradients/encoder.encoder.layers.6.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 3.0, 2.0, 4.0, 5.0, 4.0, 9.0, 6.0, 14.0, 25.0, 33.0, 37.0, 68.0, 111.0, 298.0, 151.0, 86.0, 54.0, 38.0, 17.0, 9.0, 11.0, 7.0, 4.0, 8.0, 1.0, 1.0, 1.0, 3.0, 1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.0005362022202461958, -0.0005215946002863348, -0.0005069869803264737, -0.0004923794185742736, -0.00047777179861441255, -0.0004631641786545515, -0.00044855655869469047, -0.0004339489678386599, -0.0004193413769826293, -0.00040473375702276826, -0.0003901261661667377, -0.00037551854620687664, -0.00036091095535084605, -0.000346303335390985, -0.00033169571543112397, -0.0003170881245750934, -0.00030248050461523235, -0.0002878728846553713, -0.0002732652937993407, -0.0002586576738394797, -0.0002440500829834491, -0.00022944246302358806, -0.00021483485761564225, -0.00020022725220769644, -0.00018561964679975063, -0.00017101204139180481, -0.000156404435983859, -0.0001417968305759132, -0.00012718921061605215, -0.00011258161248406395, -9.797399980016053e-05, -8.336639439221472e-05, -6.87587889842689e-05, -5.415118357632309e-05, -3.954357453039847e-05, -2.4935965484473854e-05, -1.0328360076528043e-05, 4.279245331417769e-06, 1.8886858015321195e-05, 3.349446342326701e-05, 4.810206883121282e-05, 6.270967423915863e-05, 7.731727964710444e-05, 9.192489233100787e-05, 0.00010653249773895368, 0.00012114010314689949, 0.00013574771583080292, 0.00015035532123874873, 0.00016496292664669454, 0.00017957053205464035, 0.00019417813746258616, 0.0002087857574224472, 0.0002233933482784778, 0.00023800096823833883, 0.0002526085590943694, 0.00026721617905423045, 0.0002818237990140915, 0.00029643141897395253, 0.0003110390098299831, 0.00032564662978984416, 0.00034025422064587474, 0.0003548618406057358, 0.0003694694605655968, 0.0003840770514216274, 0.000398684642277658]}, "gradients/encoder.encoder.layers.6.layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 2.0, 4.0, 5.0, 11.0, 13.0, 21.0, 21.0, 42.0, 51.0, 55.0, 71.0, 76.0, 99.0, 146.0, 101.0, 71.0, 61.0, 51.0, 50.0, 15.0, 20.0, 11.0, 6.0, 7.0, 6.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0002784132957458496, -0.0002629738301038742, -0.0002475343644618988, -0.0002320948988199234, -0.000216655433177948, -0.0002012159675359726, -0.0001857765018939972, -0.0001703370362520218, -0.0001548975706100464, -0.00013945810496807098, -0.00012401863932609558, -0.00010857917368412018, -9.313970804214478e-05, -7.770024240016937e-05, -6.226077675819397e-05, -4.682131111621857e-05, -3.1381845474243164e-05, -1.594237983226776e-05, -5.029141902923584e-07, 1.4936551451683044e-05, 3.0376017093658447e-05, 4.581548273563385e-05, 6.125494837760925e-05, 7.669441401958466e-05, 9.213387966156006e-05, 0.00010757334530353546, 0.00012301281094551086, 0.00013845227658748627, 0.00015389174222946167, 0.00016933120787143707, 0.00018477067351341248, 0.00020021013915538788, 0.00021564960479736328, 0.00023108907043933868, 0.0002465285360813141, 0.0002619680017232895, 0.0002774074673652649, 0.0002928469330072403, 0.0003082863986492157, 0.0003237258642911911, 0.0003391653299331665, 0.0003546047955751419, 0.0003700442612171173, 0.0003854837268590927, 0.0004009231925010681, 0.0004163626581430435, 0.0004318021237850189, 0.0004472415894269943, 0.0004626810550689697, 0.00047812052071094513, 0.0004935599863529205, 0.0005089994519948959, 0.0005244389176368713, 0.0005398783832788467, 0.0005553178489208221, 0.0005707573145627975, 0.000586196780204773, 0.0006016362458467484, 0.0006170757114887238, 0.0006325151771306992, 0.0006479546427726746, 0.00066339410841465, 0.0006788335740566254, 0.0006942730396986008, 0.0007097125053405762]}, "gradients/encoder.encoder.layers.5.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4.0, 0.0, 3.0, 3.0, 2.0, 1.0, 1.0, 1.0, 1.0, 2.0, 2.0, 6.0, 2.0, 1.0, 5.0, 4.0, 2.0, 4.0, 2.0, 3.0, 3.0, 11.0, 11.0, 10.0, 12.0, 9.0, 4.0, 13.0, 26.0, 17.0, 21.0, 48.0, 56.0, 182.0, 1960.0, 4149292.0, 39859.0, 1814.0, 891.0, 9.0], "bins": [-0.0005602836608886719, -0.0005509192124009132, -0.0005415547639131546, -0.000532190315425396, -0.0005228258669376373, -0.0005134614184498787, -0.0005040969699621201, -0.0004947325214743614, -0.0004853680729866028, -0.00047600362449884415, -0.0004666391760110855, -0.0004572747275233269, -0.00044791027903556824, -0.0004385458305478096, -0.00042918138206005096, -0.00041981693357229233, -0.0004104524850845337, -0.00040108803659677505, -0.0003917235881090164, -0.0003823591396212578, -0.00037299469113349915, -0.0003636302426457405, -0.00035426579415798187, -0.00034490134567022324, -0.0003355368971824646, -0.00032617244869470596, -0.0003168080002069473, -0.0003074435517191887, -0.00029807910323143005, -0.0002887146547436714, -0.0002793502062559128, -0.00026998575776815414, -0.0002606213092803955, -0.00025125686079263687, -0.00024189241230487823, -0.0002325279638171196, -0.00022316351532936096, -0.00021379906684160233, -0.0002044346183538437, -0.00019507016986608505, -0.00018570572137832642, -0.00017634127289056778, -0.00016697682440280914, -0.0001576123759150505, -0.00014824792742729187, -0.00013888347893953323, -0.0001295190304517746, -0.00012015458196401596, -0.00011079013347625732, -0.00010142568498849869, -9.206123650074005e-05, -8.269678801298141e-05, -7.333233952522278e-05, -6.396789103746414e-05, -5.4603442549705505e-05, -4.523899406194687e-05, -3.587454557418823e-05, -2.6510097086429596e-05, -1.714564859867096e-05, -7.781200110912323e-06, 1.5832483768463135e-06, 1.094769686460495e-05, 2.0312145352363586e-05, 2.9676593840122223e-05, 3.904104232788086e-05]}, "gradients/encoder.encoder.layers.5.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 2.0, 20.0, 134.0, 407.0, 348.0, 89.0, 17.0, 3.0], "bins": [-0.00013685226440429688, -0.00013456493616104126, -0.00013227760791778564, -0.00012999027967453003, -0.00012770295143127441, -0.0001254156231880188, -0.00012312829494476318, -0.00012084096670150757, -0.00011855363845825195, -0.00011626631021499634, -0.00011397898197174072, -0.00011169165372848511, -0.00010940432548522949, -0.00010711699724197388, -0.00010482966899871826, -0.00010254234075546265, -0.00010025501251220703, -9.796768426895142e-05, -9.56803560256958e-05, -9.339302778244019e-05, -9.110569953918457e-05, -8.881837129592896e-05, -8.653104305267334e-05, -8.424371480941772e-05, -8.195638656616211e-05, -7.96690583229065e-05, -7.738173007965088e-05, -7.509440183639526e-05, -7.280707359313965e-05, -7.051974534988403e-05, -6.823241710662842e-05, -6.59450888633728e-05, -6.365776062011719e-05, -6.137043237686157e-05, -5.908310413360596e-05, -5.679577589035034e-05, -5.4508447647094727e-05, -5.222111940383911e-05, -4.9933791160583496e-05, -4.764646291732788e-05, -4.5359134674072266e-05, -4.307180643081665e-05, -4.0784478187561035e-05, -3.849714994430542e-05, -3.6209821701049805e-05, -3.392249345779419e-05, -3.1635165214538574e-05, -2.934783697128296e-05, -2.7060508728027344e-05, -2.477318048477173e-05, -2.2485852241516113e-05, -2.0198523998260498e-05, -1.7911195755004883e-05, -1.5623867511749268e-05, -1.3336539268493652e-05, -1.1049211025238037e-05, -8.761882781982422e-06, -6.474554538726807e-06, -4.187226295471191e-06, -1.8998980522155762e-06, 3.8743019104003906e-07, 2.6747584342956543e-06, 4.9620866775512695e-06, 7.249414920806885e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.5.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 8.0, 7.0, 16.0, 8.0, 21.0, 45.0, 87.0, 176.0, 423.0, 1225.0, 4038.0, 16620.0, 230283.0, 3900951.0, 30721.0, 6357.0, 1947.0, 720.0, 326.0, 129.0, 65.0, 41.0, 30.0, 15.0, 8.0, 7.0, 1.0, 5.0, 1.0, 2.0, 3.0, 0.0, 3.0, 1.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.08970832824707e-05, -8.742418140172958e-05, -8.395127952098846e-05, -8.047837764024734e-05, -7.700547575950623e-05, -7.35325738787651e-05, -7.005967199802399e-05, -6.658677011728287e-05, -6.311386823654175e-05, -5.964096635580063e-05, -5.616806447505951e-05, -5.269516259431839e-05, -4.922226071357727e-05, -4.574935883283615e-05, -4.227645695209503e-05, -3.880355507135391e-05, -3.533065319061279e-05, -3.1857751309871674e-05, -2.8384849429130554e-05, -2.4911947548389435e-05, -2.1439045667648315e-05, -1.7966143786907196e-05, -1.4493241906166077e-05, -1.1020340025424957e-05, -7.547438144683838e-06, -4.0745362639427185e-06, -6.016343832015991e-07, 2.8712674975395203e-06, 6.34416937828064e-06, 9.817071259021759e-06, 1.3289973139762878e-05, 1.6762875020503998e-05, 2.0235776901245117e-05, 2.3708678781986237e-05, 2.7181580662727356e-05, 3.0654482543468475e-05, 3.4127384424209595e-05, 3.7600286304950714e-05, 4.1073188185691833e-05, 4.454609006643295e-05, 4.801899194717407e-05, 5.149189382791519e-05, 5.496479570865631e-05, 5.843769758939743e-05, 6.191059947013855e-05, 6.538350135087967e-05, 6.885640323162079e-05, 7.232930511236191e-05, 7.580220699310303e-05, 7.927510887384415e-05, 8.274801075458527e-05, 8.622091263532639e-05, 8.96938145160675e-05, 9.316671639680862e-05, 9.663961827754974e-05, 0.00010011252015829086, 0.00010358542203903198, 0.0001070583239197731, 0.00011053122580051422, 0.00011400412768125534, 0.00011747702956199646, 0.00012094993144273758, 0.0001244228333234787, 0.00012789573520421982, 0.00013136863708496094]}, "gradients/encoder.encoder.layers.5.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 1.0, 2.0, 7.0, 6.0, 10.0, 5.0, 9.0, 10.0, 14.0, 19.0, 26.0, 33.0, 74.0, 209.0, 917.0, 2050.0, 404.0, 109.0, 49.0, 35.0, 20.0, 18.0, 11.0, 10.0, 9.0, 6.0, 3.0, 6.0, 2.0, 3.0, 1.0, 1.0, 2.0, 1.0, 2.0, 1.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.965066909790039e-05, -4.775635898113251e-05, -4.5862048864364624e-05, -4.396773874759674e-05, -4.207342863082886e-05, -4.0179118514060974e-05, -3.828480839729309e-05, -3.639049828052521e-05, -3.4496188163757324e-05, -3.260187804698944e-05, -3.070756793022156e-05, -2.8813257813453674e-05, -2.691894769668579e-05, -2.5024637579917908e-05, -2.3130327463150024e-05, -2.123601734638214e-05, -1.9341707229614258e-05, -1.7447397112846375e-05, -1.555308699607849e-05, -1.3658776879310608e-05, -1.1764466762542725e-05, -9.870156645774841e-06, -7.975846529006958e-06, -6.081536412239075e-06, -4.187226295471191e-06, -2.292916178703308e-06, -3.986060619354248e-07, 1.4957040548324585e-06, 3.390014171600342e-06, 5.284324288368225e-06, 7.178634405136108e-06, 9.072944521903992e-06, 1.0967254638671875e-05, 1.2861564755439758e-05, 1.4755874872207642e-05, 1.6650184988975525e-05, 1.8544495105743408e-05, 2.043880522251129e-05, 2.2333115339279175e-05, 2.4227425456047058e-05, 2.612173557281494e-05, 2.8016045689582825e-05, 2.9910355806350708e-05, 3.180466592311859e-05, 3.3698976039886475e-05, 3.559328615665436e-05, 3.748759627342224e-05, 3.9381906390190125e-05, 4.127621650695801e-05, 4.317052662372589e-05, 4.5064836740493774e-05, 4.695914685726166e-05, 4.885345697402954e-05, 5.0747767090797424e-05, 5.264207720756531e-05, 5.453638732433319e-05, 5.6430697441101074e-05, 5.832500755786896e-05, 6.021931767463684e-05, 6.211362779140472e-05, 6.400793790817261e-05, 6.590224802494049e-05, 6.779655814170837e-05, 6.969086825847626e-05, 7.158517837524414e-05]}, "gradients/encoder.encoder.layers.5.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 2.0, 1.0, 11.0, 22.0, 58.0, 245.0, 506.0, 107.0, 42.0, 15.0, 4.0, 2.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0004815867869183421, -0.00044766865903511643, -0.00041375053115189075, -0.0003798324032686651, -0.0003459142753854394, -0.0003119961475022137, -0.00027807801961898804, -0.00024415989173576236, -0.00021024176385253668, -0.000176323635969311, -0.00014240550808608532, -0.00010848738020285964, -7.456925231963396e-05, -4.065112443640828e-05, -6.732996553182602e-06, 2.7185131330043077e-05, 6.110325921326876e-05, 9.502138709649444e-05, 0.00012893951497972012, 0.0001628576428629458, 0.00019677577074617147, 0.00023069389862939715, 0.00026461202651262283, 0.0002985301543958485, 0.0003324482822790742, 0.00036636641016229987, 0.00040028453804552555, 0.00043420266592875123, 0.0004681207938119769, 0.0005020389216952026, 0.0005359570495784283, 0.000569875177461654, 0.0006037931889295578, 0.0006377113168127835, 0.0006716294446960092, 0.0007055475725792348, 0.0007394657004624605, 0.0007733838283456862, 0.0008073019562289119, 0.0008412200841121376, 0.0008751382119953632, 0.0009090563398785889, 0.0009429744677618146, 0.0009768926538527012, 0.001010810723528266, 0.0010447287932038307, 0.0010786469792947173, 0.001112565165385604, 0.0011464832350611687, 0.0011804013047367334, 0.00121431949082762, 0.0012482376769185066, 0.0012821557465940714, 0.0013160738162696362, 0.0013499920023605227, 0.0013839101884514093, 0.001417828258126974, 0.0014517463278025389, 0.0014856645138934255, 0.001519582699984312, 0.0015535007696598768, 0.0015874188393354416, 0.0016213370254263282, 0.0016552552115172148, 0.0016891732811927795]}, "gradients/encoder.encoder.layers.5.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 3.0, 5.0, 2.0, 4.0, 3.0, 8.0, 7.0, 7.0, 8.0, 8.0, 18.0, 17.0, 25.0, 31.0, 25.0, 27.0, 38.0, 39.0, 42.0, 49.0, 46.0, 58.0, 43.0, 46.0, 44.0, 48.0, 51.0, 51.0, 33.0, 40.0, 46.0, 27.0, 17.0, 23.0, 16.0, 17.0, 8.0, 15.0, 7.0, 2.0, 2.0, 5.0, 2.0, 3.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.00017958879470825195, -0.00017385277897119522, -0.0001681167632341385, -0.00016238074749708176, -0.00015664473176002502, -0.0001509087160229683, -0.00014517270028591156, -0.00013943668454885483, -0.0001337006688117981, -0.00012796465307474136, -0.00012222863733768463, -0.0001164926216006279, -0.00011075660586357117, -0.00010502059012651443, -9.92845743894577e-05, -9.354855865240097e-05, -8.781254291534424e-05, -8.20765271782875e-05, -7.634051144123077e-05, -7.060449570417404e-05, -6.486847996711731e-05, -5.913246423006058e-05, -5.3396448493003845e-05, -4.766043275594711e-05, -4.192441701889038e-05, -3.618840128183365e-05, -3.0452385544776917e-05, -2.4716369807720184e-05, -1.8980354070663452e-05, -1.324433833360672e-05, -7.508322596549988e-06, -1.7723068594932556e-06, 3.9637088775634766e-06, 9.699724614620209e-06, 1.543574035167694e-05, 2.1171756088733673e-05, 2.6907771825790405e-05, 3.264378756284714e-05, 3.837980329990387e-05, 4.41158190369606e-05, 4.9851834774017334e-05, 5.5587850511074066e-05, 6.13238662481308e-05, 6.705988198518753e-05, 7.279589772224426e-05, 7.8531913459301e-05, 8.426792919635773e-05, 9.000394493341446e-05, 9.573996067047119e-05, 0.00010147597640752792, 0.00010721199214458466, 0.00011294800788164139, 0.00011868402361869812, 0.00012442003935575485, 0.00013015605509281158, 0.00013589207082986832, 0.00014162808656692505, 0.00014736410230398178, 0.0001531001180410385, 0.00015883613377809525, 0.00016457214951515198, 0.0001703081652522087, 0.00017604418098926544, 0.00018178019672632217, 0.0001875162124633789]}, "gradients/encoder.encoder.layers.5.attention.out_proj.weight": {"_type": "histogram", "values": [2.0, 1.0, 2.0, 3.0, 4.0, 6.0, 5.0, 9.0, 9.0, 10.0, 13.0, 14.0, 18.0, 25.0, 19.0, 15.0, 26.0, 29.0, 33.0, 43.0, 32.0, 56.0, 60.0, 191.0, 6450.0, 1032566.0, 8337.0, 185.0, 57.0, 51.0, 41.0, 28.0, 36.0, 38.0, 33.0, 16.0, 19.0, 21.0, 14.0, 16.0, 5.0, 6.0, 4.0, 4.0, 8.0, 2.0, 4.0, 2.0, 0.0, 1.0, 1.0, 2.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0003807544708251953, -0.00036583468317985535, -0.0003509148955345154, -0.0003359951078891754, -0.00032107532024383545, -0.0003061555325984955, -0.0002912357449531555, -0.00027631595730781555, -0.0002613961696624756, -0.0002464763820171356, -0.00023155659437179565, -0.0002166368067264557, -0.00020171701908111572, -0.00018679723143577576, -0.0001718774437904358, -0.00015695765614509583, -0.00014203786849975586, -0.0001271180808544159, -0.00011219829320907593, -9.727850556373596e-05, -8.2358717918396e-05, -6.743893027305603e-05, -5.2519142627716064e-05, -3.75993549823761e-05, -2.2679567337036133e-05, -7.759779691696167e-06, 7.160007953643799e-06, 2.2079795598983765e-05, 3.699958324432373e-05, 5.1919370889663696e-05, 6.683915853500366e-05, 8.175894618034363e-05, 9.66787338256836e-05, 0.00011159852147102356, 0.00012651830911636353, 0.0001414380967617035, 0.00015635788440704346, 0.00017127767205238342, 0.0001861974596977234, 0.00020111724734306335, 0.00021603703498840332, 0.00023095682263374329, 0.00024587661027908325, 0.0002607963979244232, 0.0002757161855697632, 0.00029063597321510315, 0.0003055557608604431, 0.0003204755485057831, 0.00033539533615112305, 0.000350315123796463, 0.000365234911441803, 0.00038015469908714294, 0.0003950744867324829, 0.0004099942743778229, 0.00042491406202316284, 0.0004398338496685028, 0.0004547536373138428, 0.00046967342495918274, 0.0004845932126045227, 0.0004995130002498627, 0.0005144327878952026, 0.0005293525755405426, 0.0005442723631858826, 0.0005591921508312225, 0.0005741119384765625]}, "gradients/encoder.encoder.layers.5.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 3.0, 18.0, 149.0, 398.0, 347.0, 86.0, 15.0, 4.0], "bins": [-0.0001361370086669922, -0.00013386085629463196, -0.00013158470392227173, -0.0001293085515499115, -0.00012703239917755127, -0.00012475624680519104, -0.0001224800944328308, -0.00012020394206047058, -0.00011792778968811035, -0.00011565163731575012, -0.00011337548494338989, -0.00011109933257102966, -0.00010882318019866943, -0.0001065470278263092, -0.00010427087545394897, -0.00010199472308158875, -9.971857070922852e-05, -9.744241833686829e-05, -9.516626596450806e-05, -9.289011359214783e-05, -9.06139612197876e-05, -8.833780884742737e-05, -8.606165647506714e-05, -8.378550410270691e-05, -8.150935173034668e-05, -7.923319935798645e-05, -7.695704698562622e-05, -7.468089461326599e-05, -7.240474224090576e-05, -7.012858986854553e-05, -6.78524374961853e-05, -6.557628512382507e-05, -6.330013275146484e-05, -6.1023980379104614e-05, -5.8747828006744385e-05, -5.6471675634384155e-05, -5.4195523262023926e-05, -5.1919370889663696e-05, -4.964321851730347e-05, -4.736706614494324e-05, -4.509091377258301e-05, -4.281476140022278e-05, -4.053860902786255e-05, -3.826245665550232e-05, -3.598630428314209e-05, -3.371015191078186e-05, -3.143399953842163e-05, -2.91578471660614e-05, -2.6881694793701172e-05, -2.4605542421340942e-05, -2.2329390048980713e-05, -2.0053237676620483e-05, -1.7777085304260254e-05, -1.5500932931900024e-05, -1.3224780559539795e-05, -1.0948628187179565e-05, -8.672475814819336e-06, -6.3963234424591064e-06, -4.120171070098877e-06, -1.8440186977386475e-06, 4.3213367462158203e-07, 2.7082860469818115e-06, 4.984438419342041e-06, 7.2605907917022705e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.5.attention.v_proj.weight": {"_type": "histogram", "values": [2.0, 2.0, 2.0, 2.0, 1.0, 3.0, 1.0, 6.0, 2.0, 4.0, 3.0, 16.0, 4.0, 11.0, 29.0, 32.0, 57.0, 87.0, 141.0, 246.0, 372.0, 673.0, 1226.0, 2018.0, 3576.0, 6069.0, 11576.0, 28581.0, 919105.0, 43216.0, 14438.0, 7190.0, 4074.0, 2391.0, 1413.0, 834.0, 492.0, 260.0, 165.0, 88.0, 52.0, 33.0, 21.0, 18.0, 14.0, 2.0, 3.0, 5.0, 2.0, 0.0, 2.0, 3.0, 1.0, 2.0, 3.0, 0.0, 0.0, 1.0, 4.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-7.855892181396484e-05, -7.581524550914764e-05, -7.307156920433044e-05, -7.032789289951324e-05, -6.758421659469604e-05, -6.484054028987885e-05, -6.209686398506165e-05, -5.9353187680244446e-05, -5.6609511375427246e-05, -5.3865835070610046e-05, -5.112215876579285e-05, -4.837848246097565e-05, -4.563480615615845e-05, -4.289112985134125e-05, -4.014745354652405e-05, -3.740377724170685e-05, -3.466010093688965e-05, -3.191642463207245e-05, -2.917274832725525e-05, -2.642907202243805e-05, -2.368539571762085e-05, -2.094171941280365e-05, -1.819804310798645e-05, -1.545436680316925e-05, -1.271069049835205e-05, -9.967014193534851e-06, -7.223337888717651e-06, -4.479661583900452e-06, -1.735985279083252e-06, 1.0076910257339478e-06, 3.7513673305511475e-06, 6.495043635368347e-06, 9.238719940185547e-06, 1.1982396245002747e-05, 1.4726072549819946e-05, 1.7469748854637146e-05, 2.0213425159454346e-05, 2.2957101464271545e-05, 2.5700777769088745e-05, 2.8444454073905945e-05, 3.1188130378723145e-05, 3.3931806683540344e-05, 3.6675482988357544e-05, 3.9419159293174744e-05, 4.216283559799194e-05, 4.490651190280914e-05, 4.765018820762634e-05, 5.039386451244354e-05, 5.313754081726074e-05, 5.588121712207794e-05, 5.862489342689514e-05, 6.136856973171234e-05, 6.411224603652954e-05, 6.685592234134674e-05, 6.959959864616394e-05, 7.234327495098114e-05, 7.508695125579834e-05, 7.783062756061554e-05, 8.057430386543274e-05, 8.331798017024994e-05, 8.606165647506714e-05, 8.880533277988434e-05, 9.154900908470154e-05, 9.429268538951874e-05, 9.703636169433594e-05]}, "gradients/encoder.encoder.layers.5.attention.v_proj.bias": {"_type": "histogram", "values": [2.0, 2.0, 2.0, 2.0, 4.0, 0.0, 1.0, 5.0, 1.0, 4.0, 2.0, 4.0, 3.0, 3.0, 4.0, 2.0, 5.0, 4.0, 2.0, 7.0, 5.0, 7.0, 8.0, 9.0, 7.0, 14.0, 20.0, 35.0, 708.0, 25.0, 24.0, 16.0, 8.0, 8.0, 8.0, 1.0, 5.0, 5.0, 7.0, 5.0, 6.0, 0.0, 4.0, 3.0, 1.0, 0.0, 5.0, 2.0, 0.0, 1.0, 2.0, 3.0, 2.0, 3.0, 1.0, 0.0, 0.0, 3.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-6.723403930664062e-05, -6.487127393484116e-05, -6.250850856304169e-05, -6.014574319124222e-05, -5.778297781944275e-05, -5.542021244764328e-05, -5.305744707584381e-05, -5.069468170404434e-05, -4.833191633224487e-05, -4.5969150960445404e-05, -4.3606385588645935e-05, -4.1243620216846466e-05, -3.8880854845047e-05, -3.651808947324753e-05, -3.415532410144806e-05, -3.179255872964859e-05, -2.942979335784912e-05, -2.7067027986049652e-05, -2.4704262614250183e-05, -2.2341497242450714e-05, -1.9978731870651245e-05, -1.7615966498851776e-05, -1.5253201127052307e-05, -1.2890435755252838e-05, -1.0527670383453369e-05, -8.1649050116539e-06, -5.802139639854431e-06, -3.439374268054962e-06, -1.0766088962554932e-06, 1.2861564755439758e-06, 3.648921847343445e-06, 6.011687219142914e-06, 8.374452590942383e-06, 1.0737217962741852e-05, 1.309998333454132e-05, 1.546274870634079e-05, 1.782551407814026e-05, 2.0188279449939728e-05, 2.2551044821739197e-05, 2.4913810193538666e-05, 2.7276575565338135e-05, 2.9639340937137604e-05, 3.200210630893707e-05, 3.436487168073654e-05, 3.672763705253601e-05, 3.909040242433548e-05, 4.145316779613495e-05, 4.381593316793442e-05, 4.617869853973389e-05, 4.8541463911533356e-05, 5.0904229283332825e-05, 5.3266994655132294e-05, 5.562976002693176e-05, 5.799252539873123e-05, 6.03552907705307e-05, 6.271805614233017e-05, 6.508082151412964e-05, 6.744358688592911e-05, 6.980635225772858e-05, 7.216911762952805e-05, 7.453188300132751e-05, 7.689464837312698e-05, 7.925741374492645e-05, 8.162017911672592e-05, 8.398294448852539e-05]}, "gradients/encoder.encoder.layers.5.attention.k_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 4.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 11.0, 0.0, 0.0, 90.0, 0.0, 0.0, 54.0, 0.0, 0.0, 167.0, 0.0, 1093.0, 0.0, 0.0, 1045680.0, 0.0, 0.0, 1146.0, 0.0, 0.0, 161.0, 0.0, 0.0, 59.0, 0.0, 81.0, 0.0, 0.0, 22.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 3.0], "bins": [-8.940696716308594e-07, -8.726492524147034e-07, -8.512288331985474e-07, -8.298084139823914e-07, -8.083879947662354e-07, -7.869675755500793e-07, -7.655471563339233e-07, -7.441267371177673e-07, -7.227063179016113e-07, -7.012858986854553e-07, -6.798654794692993e-07, -6.584450602531433e-07, -6.370246410369873e-07, -6.156042218208313e-07, -5.941838026046753e-07, -5.727633833885193e-07, -5.513429641723633e-07, -5.299225449562073e-07, -5.085021257400513e-07, -4.870817065238953e-07, -4.6566128730773926e-07, -4.4424086809158325e-07, -4.2282044887542725e-07, -4.0140002965927124e-07, -3.7997961044311523e-07, -3.5855919122695923e-07, -3.371387720108032e-07, -3.157183527946472e-07, -2.942979335784912e-07, -2.728775143623352e-07, -2.514570951461792e-07, -2.300366759300232e-07, -2.086162567138672e-07, -1.8719583749771118e-07, -1.6577541828155518e-07, -1.4435499906539917e-07, -1.2293457984924316e-07, -1.0151416063308716e-07, -8.009374141693115e-08, -5.8673322200775146e-08, -3.725290298461914e-08, -1.5832483768463135e-08, 5.587935447692871e-09, 2.7008354663848877e-08, 4.842877388000488e-08, 6.984919309616089e-08, 9.12696123123169e-08, 1.126900315284729e-07, 1.341104507446289e-07, 1.555308699607849e-07, 1.7695128917694092e-07, 1.9837170839309692e-07, 2.1979212760925293e-07, 2.4121254682540894e-07, 2.6263296604156494e-07, 2.8405338525772095e-07, 3.0547380447387695e-07, 3.2689422369003296e-07, 3.4831464290618896e-07, 3.6973506212234497e-07, 3.91155481338501e-07, 4.12575900554657e-07, 4.33996319770813e-07, 4.55416738986969e-07, 4.76837158203125e-07]}, "gradients/encoder.encoder.layers.5.attention.k_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 5.0, 0.0, 0.0, 0.0, 5.0, 0.0, 0.0, 10.0, 0.0, 0.0, 0.0, 989.0, 0.0, 0.0, 10.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-7.748603820800781e-07, -7.580965757369995e-07, -7.413327693939209e-07, -7.245689630508423e-07, -7.078051567077637e-07, -6.910413503646851e-07, -6.742775440216064e-07, -6.575137376785278e-07, -6.407499313354492e-07, -6.239861249923706e-07, -6.07222318649292e-07, -5.904585123062134e-07, -5.736947059631348e-07, -5.569308996200562e-07, -5.401670932769775e-07, -5.234032869338989e-07, -5.066394805908203e-07, -4.898756742477417e-07, -4.731118679046631e-07, -4.5634806156158447e-07, -4.3958425521850586e-07, -4.2282044887542725e-07, -4.0605664253234863e-07, -3.8929283618927e-07, -3.725290298461914e-07, -3.557652235031128e-07, -3.390014171600342e-07, -3.2223761081695557e-07, -3.0547380447387695e-07, -2.8870999813079834e-07, -2.7194619178771973e-07, -2.551823854446411e-07, -2.384185791015625e-07, -2.2165477275848389e-07, -2.0489096641540527e-07, -1.8812716007232666e-07, -1.7136335372924805e-07, -1.5459954738616943e-07, -1.3783574104309082e-07, -1.210719347000122e-07, -1.043081283569336e-07, -8.754432201385498e-08, -7.078051567077637e-08, -5.4016709327697754e-08, -3.725290298461914e-08, -2.0489096641540527e-08, -3.725290298461914e-09, 1.30385160446167e-08, 2.9802322387695312e-08, 4.6566128730773926e-08, 6.332993507385254e-08, 8.009374141693115e-08, 9.685754776000977e-08, 1.1362135410308838e-07, 1.30385160446167e-07, 1.471489667892456e-07, 1.6391277313232422e-07, 1.8067657947540283e-07, 1.9744038581848145e-07, 2.1420419216156006e-07, 2.3096799850463867e-07, 2.477318048477173e-07, 2.644956111907959e-07, 2.812594175338745e-07, 2.980232238769531e-07]}, "gradients/encoder.encoder.layers.5.attention.q_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 3.0, 0.0, 2.0, 0.0, 1.0, 0.0, 10.0, 0.0, 39.0, 0.0, 30.0, 0.0, 45.0, 0.0, 0.0, 580.0, 0.0, 875.0, 0.0, 1326.0, 0.0, 1042764.0, 0.0, 1320.0, 0.0, 914.0, 0.0, 541.0, 0.0, 0.0, 50.0, 0.0, 30.0, 0.0, 33.0, 0.0, 6.0, 0.0, 0.0, 0.0, 3.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-6.556510925292969e-07, -6.277114152908325e-07, -5.997717380523682e-07, -5.718320608139038e-07, -5.438923835754395e-07, -5.159527063369751e-07, -4.880130290985107e-07, -4.600733518600464e-07, -4.3213367462158203e-07, -4.041939973831177e-07, -3.762543201446533e-07, -3.4831464290618896e-07, -3.203749656677246e-07, -2.9243528842926025e-07, -2.644956111907959e-07, -2.3655593395233154e-07, -2.086162567138672e-07, -1.8067657947540283e-07, -1.5273690223693848e-07, -1.2479722499847412e-07, -9.685754776000977e-08, -6.891787052154541e-08, -4.0978193283081055e-08, -1.30385160446167e-08, 1.4901161193847656e-08, 4.284083843231201e-08, 7.078051567077637e-08, 9.872019290924072e-08, 1.2665987014770508e-07, 1.5459954738616943e-07, 1.825392246246338e-07, 2.1047890186309814e-07, 2.384185791015625e-07, 2.6635825634002686e-07, 2.942979335784912e-07, 3.2223761081695557e-07, 3.501772880554199e-07, 3.781169652938843e-07, 4.0605664253234863e-07, 4.33996319770813e-07, 4.6193599700927734e-07, 4.898756742477417e-07, 5.178153514862061e-07, 5.457550287246704e-07, 5.736947059631348e-07, 6.016343832015991e-07, 6.295740604400635e-07, 6.575137376785278e-07, 6.854534149169922e-07, 7.133930921554565e-07, 7.413327693939209e-07, 7.692724466323853e-07, 7.972121238708496e-07, 8.25151801109314e-07, 8.530914783477783e-07, 8.810311555862427e-07, 9.08970832824707e-07, 9.369105100631714e-07, 9.648501873016357e-07, 9.927898645401e-07, 1.0207295417785645e-06, 1.0486692190170288e-06, 1.0766088962554932e-06, 1.1045485734939575e-06, 1.1324882507324219e-06]}, "gradients/encoder.encoder.layers.5.attention.q_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 0.0, 0.0, 2.0, 0.0, 0.0, 5.0, 0.0, 5.0, 0.0, 0.0, 982.0, 0.0, 0.0, 9.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 4.0, 0.0, 0.0, 0.0, 0.0, 4.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.76837158203125e-07, -4.544854164123535e-07, -4.3213367462158203e-07, -4.0978193283081055e-07, -3.8743019104003906e-07, -3.650784492492676e-07, -3.427267074584961e-07, -3.203749656677246e-07, -2.980232238769531e-07, -2.7567148208618164e-07, -2.5331974029541016e-07, -2.3096799850463867e-07, -2.086162567138672e-07, -1.862645149230957e-07, -1.6391277313232422e-07, -1.4156103134155273e-07, -1.1920928955078125e-07, -9.685754776000977e-08, -7.450580596923828e-08, -5.21540641784668e-08, -2.9802322387695312e-08, -7.450580596923828e-09, 1.4901161193847656e-08, 3.725290298461914e-08, 5.960464477539063e-08, 8.195638656616211e-08, 1.043081283569336e-07, 1.2665987014770508e-07, 1.4901161193847656e-07, 1.7136335372924805e-07, 1.9371509552001953e-07, 2.1606683731079102e-07, 2.384185791015625e-07, 2.60770320892334e-07, 2.8312206268310547e-07, 3.0547380447387695e-07, 3.2782554626464844e-07, 3.501772880554199e-07, 3.725290298461914e-07, 3.948807716369629e-07, 4.172325134277344e-07, 4.3958425521850586e-07, 4.6193599700927734e-07, 4.842877388000488e-07, 5.066394805908203e-07, 5.289912223815918e-07, 5.513429641723633e-07, 5.736947059631348e-07, 5.960464477539062e-07, 6.183981895446777e-07, 6.407499313354492e-07, 6.631016731262207e-07, 6.854534149169922e-07, 7.078051567077637e-07, 7.301568984985352e-07, 7.525086402893066e-07, 7.748603820800781e-07, 7.972121238708496e-07, 8.195638656616211e-07, 8.419156074523926e-07, 8.642673492431641e-07, 8.866190910339355e-07, 9.08970832824707e-07, 9.313225746154785e-07, 9.5367431640625e-07]}, "gradients/encoder.encoder.layers.5.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0, 4.0, 3.0, 1.0, 2.0, 6.0, 2.0, 7.0, 7.0, 6.0, 19.0, 16.0, 29.0, 38.0, 52.0, 80.0, 133.0, 306.0, 106.0, 55.0, 41.0, 30.0, 13.0, 16.0, 14.0, 9.0, 8.0, 1.0, 2.0, 2.0, 1.0, 0.0, 5.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00029129706672392786, -0.00027976676938124, -0.0002682365011423826, -0.0002567062037996948, -0.00024517590645700693, -0.00023364562366623431, -0.0002221153408754617, -0.00021058504353277385, -0.00019905476074200124, -0.00018752447795122862, -0.00017599418060854077, -0.00016446389781776816, -0.00015293361502699554, -0.0001414033176843077, -0.00012987303489353508, -0.00011834274482680485, -0.00010681245476007462, -9.528216469334438e-05, -8.375187462661415e-05, -7.222159183584154e-05, -6.0691301769111305e-05, -4.9161011702381074e-05, -3.763072891160846e-05, -2.6100438844878227e-05, -1.4570148778147995e-05, -3.039860530407168e-06, 8.49042771733366e-06, 2.0020714146085083e-05, 3.1551004212815315e-05, 4.3081294279545546e-05, 5.461157707031816e-05, 6.61418671370484e-05, 7.767218630760908e-05, 8.920247637433931e-05, 0.00010073276644106954, 0.00011226304923184216, 0.00012379334657453, 0.00013532362936530262, 0.00014685391215607524, 0.00015838420949876308, 0.0001699144922895357, 0.00018144477508030832, 0.00019297507242299616, 0.00020450535521376878, 0.0002160356380045414, 0.00022756593534722924, 0.00023909621813800186, 0.0002506265009287745, 0.0002621567982714623, 0.00027368709561415017, 0.00028521736385300756, 0.0002967476611956954, 0.00030827795853838325, 0.0003198082558810711, 0.0003313385241199285, 0.0003428688214626163, 0.0003543990897014737, 0.00036592938704416156, 0.00037745965528301895, 0.0003889899526257068, 0.00040052024996839464, 0.000412050518207252, 0.00042358081554993987, 0.0004351111128926277, 0.00044664141023531556]}, "gradients/encoder.encoder.layers.5.layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 1.0, 2.0, 3.0, 3.0, 7.0, 6.0, 10.0, 13.0, 21.0, 22.0, 31.0, 47.0, 43.0, 77.0, 76.0, 74.0, 175.0, 76.0, 61.0, 67.0, 55.0, 39.0, 32.0, 29.0, 16.0, 11.0, 8.0, 6.0, 3.0, 4.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00024437904357910156, -0.0002324385568499565, -0.00022049807012081146, -0.0002085575833916664, -0.00019661709666252136, -0.0001846766099333763, -0.00017273612320423126, -0.0001607956364750862, -0.00014885514974594116, -0.0001369146630167961, -0.00012497417628765106, -0.00011303368955850601, -0.00010109320282936096, -8.915271610021591e-05, -7.721222937107086e-05, -6.527174264192581e-05, -5.333125591278076e-05, -4.139076918363571e-05, -2.945028245449066e-05, -1.750979572534561e-05, -5.5693089962005615e-06, 6.3711777329444885e-06, 1.831166446208954e-05, 3.025215119123459e-05, 4.219263792037964e-05, 5.413312464952469e-05, 6.607361137866974e-05, 7.801409810781479e-05, 8.995458483695984e-05, 0.00010189507156610489, 0.00011383555829524994, 0.000125776045024395, 0.00013771653175354004, 0.0001496570184826851, 0.00016159750521183014, 0.0001735379919409752, 0.00018547847867012024, 0.0001974189653992653, 0.00020935945212841034, 0.0002212999388575554, 0.00023324042558670044, 0.0002451809123158455, 0.00025712139904499054, 0.0002690618857741356, 0.00028100237250328064, 0.0002929428592324257, 0.00030488334596157074, 0.0003168238326907158, 0.00032876431941986084, 0.0003407048061490059, 0.00035264529287815094, 0.000364585779607296, 0.00037652626633644104, 0.0003884667530655861, 0.00040040723979473114, 0.0004123477265238762, 0.00042428821325302124, 0.0004362286999821663, 0.00044816918671131134, 0.0004601096734404564, 0.00047205016016960144, 0.0004839906468987465, 0.0004959311336278915, 0.0005078716203570366, 0.0005198121070861816]}, "gradients/encoder.encoder.layers.4.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 5.0, 7.0, 3.0, 10.0, 9.0, 10.0, 20.0, 17.0, 34.0, 50.0, 88.0, 542.0, 4182581.0, 10725.0, 168.0, 21.0, 4.0], "bins": [-0.0015239715576171875, -0.0014984887093305588, -0.00147300586104393, -0.0014475230127573013, -0.0014220401644706726, -0.0013965573161840439, -0.0013710744678974152, -0.0013455916196107864, -0.0013201087713241577, -0.001294625923037529, -0.0012691430747509003, -0.0012436602264642715, -0.0012181773781776428, -0.001192694529891014, -0.0011672116816043854, -0.0011417288333177567, -0.001116245985031128, -0.0010907631367444992, -0.0010652802884578705, -0.0010397974401712418, -0.001014314591884613, -0.0009888317435979843, -0.0009633488953113556, -0.0009378660470247269, -0.0009123831987380981, -0.0008869003504514694, -0.0008614175021648407, -0.000835934653878212, -0.0008104518055915833, -0.0007849689573049545, -0.0007594861090183258, -0.0007340032607316971, -0.0007085204124450684, -0.0006830375641584396, -0.0006575547158718109, -0.0006320718675851822, -0.0006065890192985535, -0.0005811061710119247, -0.000555623322725296, -0.0005301404744386673, -0.0005046576261520386, -0.00047917477786540985, -0.00045369192957878113, -0.0004282090812921524, -0.0004027262330055237, -0.00037724338471889496, -0.00035176053643226624, -0.0003262776881456375, -0.0003007948398590088, -0.00027531199157238007, -0.00024982914328575134, -0.00022434629499912262, -0.0001988634467124939, -0.00017338059842586517, -0.00014789775013923645, -0.00012241490185260773, -9.6932053565979e-05, -7.144920527935028e-05, -4.596635699272156e-05, -2.0483508706092834e-05, 4.999339580535889e-06, 3.0482187867164612e-05, 5.5965036153793335e-05, 8.144788444042206e-05, 0.00010693073272705078]}, "gradients/encoder.encoder.layers.4.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 3.0, 18.0, 149.0, 398.0, 347.0, 86.0, 15.0, 4.0], "bins": [-0.0001361370086669922, -0.00013386085629463196, -0.00013158470392227173, -0.0001293085515499115, -0.00012703239917755127, -0.00012475624680519104, -0.0001224800944328308, -0.00012020394206047058, -0.00011792778968811035, -0.00011565163731575012, -0.00011337548494338989, -0.00011109933257102966, -0.00010882318019866943, -0.0001065470278263092, -0.00010427087545394897, -0.00010199472308158875, -9.971857070922852e-05, -9.744241833686829e-05, -9.516626596450806e-05, -9.289011359214783e-05, -9.06139612197876e-05, -8.833780884742737e-05, -8.606165647506714e-05, -8.378550410270691e-05, -8.150935173034668e-05, -7.923319935798645e-05, -7.695704698562622e-05, -7.468089461326599e-05, -7.240474224090576e-05, -7.012858986854553e-05, -6.78524374961853e-05, -6.557628512382507e-05, -6.330013275146484e-05, -6.1023980379104614e-05, -5.8747828006744385e-05, -5.6471675634384155e-05, -5.4195523262023926e-05, -5.1919370889663696e-05, -4.964321851730347e-05, -4.736706614494324e-05, -4.509091377258301e-05, -4.281476140022278e-05, -4.053860902786255e-05, -3.826245665550232e-05, -3.598630428314209e-05, -3.371015191078186e-05, -3.143399953842163e-05, -2.91578471660614e-05, -2.6881694793701172e-05, -2.4605542421340942e-05, -2.2329390048980713e-05, -2.0053237676620483e-05, -1.7777085304260254e-05, -1.5500932931900024e-05, -1.3224780559539795e-05, -1.0948628187179565e-05, -8.672475814819336e-06, -6.3963234424591064e-06, -4.120171070098877e-06, -1.8440186977386475e-06, 4.3213367462158203e-07, 2.7082860469818115e-06, 4.984438419342041e-06, 7.2605907917022705e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.4.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 3.0, 4.0, 2.0, 3.0, 2.0, 8.0, 13.0, 25.0, 26.0, 45.0, 111.0, 129.0, 294.0, 608.0, 1410.0, 3558.0, 11690.0, 65617.0, 4006230.0, 83882.0, 14043.0, 3909.0, 1497.0, 594.0, 283.0, 142.0, 78.0, 41.0, 13.0, 14.0, 8.0, 6.0, 2.0, 0.0, 2.0, 3.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0001125335693359375, -0.00010945461690425873, -0.00010637566447257996, -0.00010329671204090118, -0.00010021775960922241, -9.713880717754364e-05, -9.405985474586487e-05, -9.09809023141861e-05, -8.790194988250732e-05, -8.482299745082855e-05, -8.174404501914978e-05, -7.866509258747101e-05, -7.558614015579224e-05, -7.250718772411346e-05, -6.942823529243469e-05, -6.634928286075592e-05, -6.327033042907715e-05, -6.0191377997398376e-05, -5.7112425565719604e-05, -5.403347313404083e-05, -5.095452070236206e-05, -4.787556827068329e-05, -4.4796615839004517e-05, -4.1717663407325745e-05, -3.863871097564697e-05, -3.55597585439682e-05, -3.248080611228943e-05, -2.9401853680610657e-05, -2.6322901248931885e-05, -2.3243948817253113e-05, -2.016499638557434e-05, -1.708604395389557e-05, -1.4007091522216797e-05, -1.0928139090538025e-05, -7.849186658859253e-06, -4.770234227180481e-06, -1.691281795501709e-06, 1.387670636177063e-06, 4.466623067855835e-06, 7.545575499534607e-06, 1.0624527931213379e-05, 1.3703480362892151e-05, 1.6782432794570923e-05, 1.9861385226249695e-05, 2.2940337657928467e-05, 2.601929008960724e-05, 2.909824252128601e-05, 3.217719495296478e-05, 3.5256147384643555e-05, 3.833509981632233e-05, 4.14140522480011e-05, 4.449300467967987e-05, 4.757195711135864e-05, 5.0650909543037415e-05, 5.3729861974716187e-05, 5.680881440639496e-05, 5.988776683807373e-05, 6.29667192697525e-05, 6.604567170143127e-05, 6.912462413311005e-05, 7.220357656478882e-05, 7.528252899646759e-05, 7.836148142814636e-05, 8.144043385982513e-05, 8.45193862915039e-05]}, "gradients/encoder.encoder.layers.4.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 3.0, 1.0, 0.0, 1.0, 2.0, 4.0, 6.0, 4.0, 4.0, 16.0, 11.0, 19.0, 20.0, 24.0, 52.0, 128.0, 619.0, 2310.0, 571.0, 119.0, 42.0, 35.0, 26.0, 16.0, 13.0, 12.0, 9.0, 2.0, 7.0, 2.0, 2.0, 1.0, 0.0, 2.0, 3.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-7.49826431274414e-05, -7.292907685041428e-05, -7.087551057338715e-05, -6.882194429636002e-05, -6.676837801933289e-05, -6.471481174230576e-05, -6.266124546527863e-05, -6.0607679188251495e-05, -5.8554112911224365e-05, -5.6500546634197235e-05, -5.4446980357170105e-05, -5.2393414080142975e-05, -5.0339847803115845e-05, -4.8286281526088715e-05, -4.6232715249061584e-05, -4.4179148972034454e-05, -4.2125582695007324e-05, -4.0072016417980194e-05, -3.8018450140953064e-05, -3.5964883863925934e-05, -3.3911317586898804e-05, -3.1857751309871674e-05, -2.9804185032844543e-05, -2.7750618755817413e-05, -2.5697052478790283e-05, -2.3643486201763153e-05, -2.1589919924736023e-05, -1.9536353647708893e-05, -1.7482787370681763e-05, -1.5429221093654633e-05, -1.3375654816627502e-05, -1.1322088539600372e-05, -9.268522262573242e-06, -7.214955985546112e-06, -5.161389708518982e-06, -3.107823431491852e-06, -1.0542571544647217e-06, 9.993091225624084e-07, 3.0528753995895386e-06, 5.106441676616669e-06, 7.160007953643799e-06, 9.213574230670929e-06, 1.1267140507698059e-05, 1.332070678472519e-05, 1.537427306175232e-05, 1.742783933877945e-05, 1.948140561580658e-05, 2.153497189283371e-05, 2.358853816986084e-05, 2.564210444688797e-05, 2.76956707239151e-05, 2.974923700094223e-05, 3.180280327796936e-05, 3.385636955499649e-05, 3.590993583202362e-05, 3.796350210905075e-05, 4.001706838607788e-05, 4.207063466310501e-05, 4.412420094013214e-05, 4.617776721715927e-05, 4.82313334941864e-05, 5.028489977121353e-05, 5.233846604824066e-05, 5.439203232526779e-05, 5.644559860229492e-05]}, "gradients/encoder.encoder.layers.4.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 6.0, 4.0, 7.0, 4.0, 14.0, 24.0, 34.0, 84.0, 142.0, 328.0, 155.0, 79.0, 50.0, 21.0, 21.0, 11.0, 13.0, 10.0, 3.0, 5.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0003142859204672277, -0.00029977576923556626, -0.0002852656180039048, -0.00027075549587607384, -0.0002562453446444124, -0.00024173519341275096, -0.00022722504218108952, -0.0002127149055013433, -0.0001982047688215971, -0.00018369461758993566, -0.00016918448091018945, -0.000154674329678528, -0.0001401641929987818, -0.00012565404176712036, -0.00011114389781141654, -9.663375385571271e-05, -8.212360262405127e-05, -6.761345866834745e-05, -5.310331471264362e-05, -3.859316711896099e-05, -2.4083023163257167e-05, -9.572875569574535e-06, 4.93726838612929e-06, 1.9447412341833115e-05, 3.395755629753694e-05, 4.8467700253240764e-05, 6.297784420894459e-05, 7.748798816464841e-05, 9.199813939630985e-05, 0.00010650828335201368, 0.0001210184273077175, 0.0001355285639874637, 0.00015003871521912515, 0.0001645488664507866, 0.0001790590031305328, 0.00019356915436219424, 0.00020807929104194045, 0.0002225894422736019, 0.00023709959350526333, 0.0002516097156330943, 0.00026611986686475575, 0.0002806300180964172, 0.00029514016932807863, 0.0003096502914559096, 0.00032416044268757105, 0.0003386705939192325, 0.0003531807451508939, 0.0003676908672787249, 0.0003822010476142168, 0.00039671119884587824, 0.0004112213500775397, 0.00042573147220537066, 0.0004402416234370321, 0.00045475177466869354, 0.000469261925900355, 0.0004837720771320164, 0.0004982821992598474, 0.0005127923213876784, 0.0005273025017231703, 0.0005418126238510013, 0.0005563228041864932, 0.0005708329263143241, 0.0005853430484421551, 0.000599853228777647, 0.000614363350905478]}, "gradients/encoder.encoder.layers.4.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 3.0, 4.0, 2.0, 4.0, 8.0, 14.0, 12.0, 20.0, 24.0, 33.0, 36.0, 56.0, 56.0, 56.0, 60.0, 67.0, 78.0, 89.0, 76.0, 60.0, 47.0, 56.0, 37.0, 37.0, 26.0, 14.0, 11.0, 8.0, 7.0, 7.0, 6.0, 1.0, 1.0, 3.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00022739171981811523, -0.00021962635219097137, -0.00021186098456382751, -0.00020409561693668365, -0.0001963302493095398, -0.00018856488168239594, -0.00018079951405525208, -0.00017303414642810822, -0.00016526877880096436, -0.0001575034111738205, -0.00014973804354667664, -0.00014197267591953278, -0.00013420730829238892, -0.00012644194066524506, -0.0001186765730381012, -0.00011091120541095734, -0.00010314583778381348, -9.538047015666962e-05, -8.761510252952576e-05, -7.98497349023819e-05, -7.208436727523804e-05, -6.431899964809418e-05, -5.655363202095032e-05, -4.878826439380646e-05, -4.10228967666626e-05, -3.325752913951874e-05, -2.5492161512374878e-05, -1.7726793885231018e-05, -9.961426258087158e-06, -2.1960586309432983e-06, 5.5693089962005615e-06, 1.3334676623344421e-05, 2.110004425048828e-05, 2.886541187763214e-05, 3.6630779504776e-05, 4.439614713191986e-05, 5.216151475906372e-05, 5.992688238620758e-05, 6.769225001335144e-05, 7.54576176404953e-05, 8.322298526763916e-05, 9.098835289478302e-05, 9.875372052192688e-05, 0.00010651908814907074, 0.0001142844557762146, 0.00012204982340335846, 0.00012981519103050232, 0.00013758055865764618, 0.00014534592628479004, 0.0001531112939119339, 0.00016087666153907776, 0.00016864202916622162, 0.00017640739679336548, 0.00018417276442050934, 0.0001919381320476532, 0.00019970349967479706, 0.00020746886730194092, 0.00021523423492908478, 0.00022299960255622864, 0.0002307649701833725, 0.00023853033781051636, 0.0002462957054376602, 0.0002540610730648041, 0.00026182644069194794, 0.0002695918083190918]}, "gradients/encoder.encoder.layers.4.attention.out_proj.weight": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 1.0, 0.0, 5.0, 5.0, 2.0, 1.0, 5.0, 7.0, 4.0, 6.0, 9.0, 13.0, 14.0, 24.0, 24.0, 24.0, 25.0, 40.0, 29.0, 38.0, 57.0, 57.0, 209.0, 11519.0, 1031597.0, 4300.0, 174.0, 59.0, 33.0, 49.0, 34.0, 27.0, 26.0, 21.0, 25.0, 12.0, 21.0, 13.0, 14.0, 6.0, 12.0, 11.0, 3.0, 7.0, 1.0, 3.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0005784034729003906, -0.0005610957741737366, -0.0005437880754470825, -0.0005264803767204285, -0.0005091726779937744, -0.0004918649792671204, -0.0004745572805404663, -0.00045724958181381226, -0.0004399418830871582, -0.00042263418436050415, -0.0004053264856338501, -0.00038801878690719604, -0.000370711088180542, -0.00035340338945388794, -0.0003360956907272339, -0.00031878799200057983, -0.0003014802932739258, -0.00028417259454727173, -0.0002668648958206177, -0.0002495571970939636, -0.00023224949836730957, -0.00021494179964065552, -0.00019763410091400146, -0.0001803264021873474, -0.00016301870346069336, -0.0001457110047340393, -0.00012840330600738525, -0.0001110956072807312, -9.378790855407715e-05, -7.64802098274231e-05, -5.917251110076904e-05, -4.186481237411499e-05, -2.4557113647460938e-05, -7.249414920806885e-06, 1.0058283805847168e-05, 2.736598253250122e-05, 4.4673681259155273e-05, 6.198137998580933e-05, 7.928907871246338e-05, 9.659677743911743e-05, 0.00011390447616577148, 0.00013121217489242554, 0.0001485198736190796, 0.00016582757234573364, 0.0001831352710723877, 0.00020044296979904175, 0.0002177506685256958, 0.00023505836725234985, 0.0002523660659790039, 0.00026967376470565796, 0.000286981463432312, 0.00030428916215896606, 0.0003215968608856201, 0.00033890455961227417, 0.0003562122583389282, 0.0003735199570655823, 0.00039082765579223633, 0.0004081353545188904, 0.00042544305324554443, 0.0004427507519721985, 0.00046005845069885254, 0.0004773661494255066, 0.0004946738481521606, 0.0005119815468788147, 0.0005292892456054688]}, "gradients/encoder.encoder.layers.4.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 4.0, 30.0, 148.0, 399.0, 324.0, 100.0, 11.0, 4.0], "bins": [-0.0001347064971923828, -0.00013245269656181335, -0.0001301988959312439, -0.00012794509530067444, -0.00012569129467010498, -0.00012343749403953552, -0.00012118369340896606, -0.0001189298927783966, -0.00011667609214782715, -0.00011442229151725769, -0.00011216849088668823, -0.00010991469025611877, -0.00010766088962554932, -0.00010540708899497986, -0.0001031532883644104, -0.00010089948773384094, -9.864568710327148e-05, -9.639188647270203e-05, -9.413808584213257e-05, -9.188428521156311e-05, -8.963048458099365e-05, -8.73766839504242e-05, -8.512288331985474e-05, -8.286908268928528e-05, -8.061528205871582e-05, -7.836148142814636e-05, -7.61076807975769e-05, -7.385388016700745e-05, -7.160007953643799e-05, -6.934627890586853e-05, -6.709247827529907e-05, -6.483867764472961e-05, -6.258487701416016e-05, -6.03310763835907e-05, -5.807727575302124e-05, -5.582347512245178e-05, -5.3569674491882324e-05, -5.1315873861312866e-05, -4.906207323074341e-05, -4.680827260017395e-05, -4.455447196960449e-05, -4.2300671339035034e-05, -4.0046870708465576e-05, -3.779307007789612e-05, -3.553926944732666e-05, -3.32854688167572e-05, -3.1031668186187744e-05, -2.8777867555618286e-05, -2.6524066925048828e-05, -2.427026629447937e-05, -2.2016465663909912e-05, -1.9762665033340454e-05, -1.7508864402770996e-05, -1.5255063772201538e-05, -1.300126314163208e-05, -1.0747462511062622e-05, -8.493661880493164e-06, -6.239861249923706e-06, -3.986060619354248e-06, -1.73225998878479e-06, 5.21540641784668e-07, 2.775341272354126e-06, 5.029141902923584e-06, 7.282942533493042e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.4.attention.v_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 3.0, 3.0, 3.0, 2.0, 1.0, 3.0, 5.0, 11.0, 6.0, 15.0, 20.0, 37.0, 59.0, 85.0, 157.0, 282.0, 475.0, 897.0, 1571.0, 3138.0, 7070.0, 18148.0, 68934.0, 891252.0, 34664.0, 11669.0, 4958.0, 2273.0, 1206.0, 708.0, 404.0, 209.0, 132.0, 63.0, 35.0, 21.0, 14.0, 11.0, 12.0, 1.0, 4.0, 4.0, 3.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-8.302927017211914e-05, -7.974449545145035e-05, -7.645972073078156e-05, -7.317494601011276e-05, -6.989017128944397e-05, -6.660539656877518e-05, -6.332062184810638e-05, -6.003584712743759e-05, -5.67510724067688e-05, -5.3466297686100006e-05, -5.018152296543121e-05, -4.689674824476242e-05, -4.361197352409363e-05, -4.0327198803424835e-05, -3.704242408275604e-05, -3.375764936208725e-05, -3.0472874641418457e-05, -2.7188099920749664e-05, -2.390332520008087e-05, -2.061855047941208e-05, -1.7333775758743286e-05, -1.4049001038074493e-05, -1.07642263174057e-05, -7.479451596736908e-06, -4.194676876068115e-06, -9.099021553993225e-07, 2.3748725652694702e-06, 5.659647285938263e-06, 8.944422006607056e-06, 1.2229196727275848e-05, 1.551397144794464e-05, 1.8798746168613434e-05, 2.2083520889282227e-05, 2.536829560995102e-05, 2.8653070330619812e-05, 3.1937845051288605e-05, 3.52226197719574e-05, 3.850739449262619e-05, 4.179216921329498e-05, 4.5076943933963776e-05, 4.836171865463257e-05, 5.164649337530136e-05, 5.4931268095970154e-05, 5.8216042816638947e-05, 6.150081753730774e-05, 6.478559225797653e-05, 6.807036697864532e-05, 7.135514169931412e-05, 7.463991641998291e-05, 7.79246911406517e-05, 8.12094658613205e-05, 8.449424058198929e-05, 8.777901530265808e-05, 9.106379002332687e-05, 9.434856474399567e-05, 9.763333946466446e-05, 0.00010091811418533325, 0.00010420288890600204, 0.00010748766362667084, 0.00011077243834733963, 0.00011405721306800842, 0.00011734198778867722, 0.00012062676250934601, 0.0001239115372300148, 0.0001271963119506836]}, "gradients/encoder.encoder.layers.4.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 2.0, 2.0, 2.0, 2.0, 2.0, 1.0, 3.0, 2.0, 4.0, 2.0, 1.0, 2.0, 1.0, 9.0, 4.0, 7.0, 13.0, 6.0, 17.0, 16.0, 26.0, 23.0, 35.0, 98.0, 578.0, 37.0, 25.0, 13.0, 13.0, 12.0, 13.0, 11.0, 8.0, 8.0, 5.0, 0.0, 5.0, 4.0, 3.0, 1.0, 0.0, 0.0, 4.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-7.534027099609375e-05, -7.232930511236191e-05, -6.931833922863007e-05, -6.630737334489822e-05, -6.329640746116638e-05, -6.028544157743454e-05, -5.72744756937027e-05, -5.4263509809970856e-05, -5.1252543926239014e-05, -4.824157804250717e-05, -4.523061215877533e-05, -4.221964627504349e-05, -3.9208680391311646e-05, -3.6197714507579803e-05, -3.318674862384796e-05, -3.017578274011612e-05, -2.7164816856384277e-05, -2.4153850972652435e-05, -2.1142885088920593e-05, -1.813191920518875e-05, -1.512095332145691e-05, -1.2109987437725067e-05, -9.099021553993225e-06, -6.088055670261383e-06, -3.077089786529541e-06, -6.612390279769897e-08, 2.944841980934143e-06, 5.955807864665985e-06, 8.966773748397827e-06, 1.197773963212967e-05, 1.4988705515861511e-05, 1.7999671399593353e-05, 2.1010637283325195e-05, 2.4021603167057037e-05, 2.703256905078888e-05, 3.004353493452072e-05, 3.3054500818252563e-05, 3.6065466701984406e-05, 3.907643258571625e-05, 4.208739846944809e-05, 4.509836435317993e-05, 4.8109330236911774e-05, 5.1120296120643616e-05, 5.413126200437546e-05, 5.71422278881073e-05, 6.015319377183914e-05, 6.316415965557098e-05, 6.617512553930283e-05, 6.918609142303467e-05, 7.219705730676651e-05, 7.520802319049835e-05, 7.82189890742302e-05, 8.122995495796204e-05, 8.424092084169388e-05, 8.725188672542572e-05, 9.026285260915756e-05, 9.32738184928894e-05, 9.628478437662125e-05, 9.929575026035309e-05, 0.00010230671614408493, 0.00010531768202781677, 0.00010832864791154861, 0.00011133961379528046, 0.0001143505796790123, 0.00011736154556274414]}, "gradients/encoder.encoder.layers.4.attention.k_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 2.0, 2.0, 7.0, 10.0, 9.0, 16.0, 47.0, 50.0, 84.0, 68.0, 97.0, 214.0, 270.0, 751.0, 992.0, 3825.0, 7453.0, 36096.0, 984605.0, 7498.0, 3860.0, 1037.0, 716.0, 257.0, 148.0, 159.0, 74.0, 73.0, 32.0, 38.0, 41.0, 10.0, 18.0, 3.0, 4.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0], "bins": [-4.76837158203125e-06, -4.624016582965851e-06, -4.479661583900452e-06, -4.3353065848350525e-06, -4.190951585769653e-06, -4.046596586704254e-06, -3.902241587638855e-06, -3.757886588573456e-06, -3.6135315895080566e-06, -3.4691765904426575e-06, -3.3248215913772583e-06, -3.180466592311859e-06, -3.03611159324646e-06, -2.891756594181061e-06, -2.7474015951156616e-06, -2.6030465960502625e-06, -2.4586915969848633e-06, -2.314336597919464e-06, -2.169981598854065e-06, -2.0256265997886658e-06, -1.8812716007232666e-06, -1.7369166016578674e-06, -1.5925616025924683e-06, -1.448206603527069e-06, -1.30385160446167e-06, -1.1594966053962708e-06, -1.0151416063308716e-06, -8.707866072654724e-07, -7.264316082000732e-07, -5.820766091346741e-07, -4.377216100692749e-07, -2.9336661100387573e-07, -1.4901161193847656e-07, -4.6566128730773926e-09, 1.3969838619232178e-07, 2.8405338525772095e-07, 4.284083843231201e-07, 5.727633833885193e-07, 7.171183824539185e-07, 8.614733815193176e-07, 1.0058283805847168e-06, 1.150183379650116e-06, 1.2945383787155151e-06, 1.4388933777809143e-06, 1.5832483768463135e-06, 1.7276033759117126e-06, 1.8719583749771118e-06, 2.016313374042511e-06, 2.16066837310791e-06, 2.3050233721733093e-06, 2.4493783712387085e-06, 2.5937333703041077e-06, 2.738088369369507e-06, 2.882443368434906e-06, 3.026798367500305e-06, 3.1711533665657043e-06, 3.3155083656311035e-06, 3.4598633646965027e-06, 3.604218363761902e-06, 3.748573362827301e-06, 3.8929283618927e-06, 4.037283360958099e-06, 4.1816383600234985e-06, 4.325993359088898e-06, 4.470348358154297e-06]}, "gradients/encoder.encoder.layers.4.attention.k_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 5.0, 0.0, 2.0, 5.0, 4.0, 1.0, 4.0, 2.0, 8.0, 8.0, 9.0, 23.0, 71.0, 776.0, 35.0, 29.0, 5.0, 5.0, 8.0, 2.0, 2.0, 4.0, 1.0, 1.0, 2.0, 2.0, 2.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0], "bins": [-4.231929779052734e-06, -4.104338586330414e-06, -3.976747393608093e-06, -3.849156200885773e-06, -3.721565008163452e-06, -3.5939738154411316e-06, -3.466382622718811e-06, -3.3387914299964905e-06, -3.21120023727417e-06, -3.0836090445518494e-06, -2.956017851829529e-06, -2.8284266591072083e-06, -2.7008354663848877e-06, -2.573244273662567e-06, -2.4456530809402466e-06, -2.318061888217926e-06, -2.1904706954956055e-06, -2.062879502773285e-06, -1.9352883100509644e-06, -1.8076971173286438e-06, -1.6801059246063232e-06, -1.5525147318840027e-06, -1.4249235391616821e-06, -1.2973323464393616e-06, -1.169741153717041e-06, -1.0421499609947205e-06, -9.145587682723999e-07, -7.869675755500793e-07, -6.593763828277588e-07, -5.317851901054382e-07, -4.041939973831177e-07, -2.766028046607971e-07, -1.4901161193847656e-07, -2.1420419216156006e-08, 1.0617077350616455e-07, 2.337619662284851e-07, 3.6135315895080566e-07, 4.889443516731262e-07, 6.165355443954468e-07, 7.441267371177673e-07, 8.717179298400879e-07, 9.993091225624084e-07, 1.126900315284729e-06, 1.2544915080070496e-06, 1.3820827007293701e-06, 1.5096738934516907e-06, 1.6372650861740112e-06, 1.7648562788963318e-06, 1.8924474716186523e-06, 2.020038664340973e-06, 2.1476298570632935e-06, 2.275221049785614e-06, 2.4028122425079346e-06, 2.530403435230255e-06, 2.6579946279525757e-06, 2.7855858206748962e-06, 2.913177013397217e-06, 3.0407682061195374e-06, 3.168359398841858e-06, 3.2959505915641785e-06, 3.423541784286499e-06, 3.5511329770088196e-06, 3.67872416973114e-06, 3.8063153624534607e-06, 3.933906555175781e-06]}, "gradients/encoder.encoder.layers.4.attention.q_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 1.0, 1.0, 1.0, 0.0, 5.0, 0.0, 1.0, 6.0, 7.0, 7.0, 6.0, 15.0, 37.0, 41.0, 57.0, 146.0, 169.0, 240.0, 329.0, 864.0, 885.0, 1479.0, 2213.0, 6833.0, 13517.0, 62158.0, 916898.0, 29203.0, 5269.0, 2872.0, 2505.0, 888.0, 614.0, 434.0, 387.0, 154.0, 107.0, 67.0, 64.0, 25.0, 18.0, 13.0, 10.0, 5.0, 7.0, 5.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-3.933906555175781e-06, -3.798864781856537e-06, -3.6638230085372925e-06, -3.528781235218048e-06, -3.3937394618988037e-06, -3.2586976885795593e-06, -3.123655915260315e-06, -2.9886141419410706e-06, -2.853572368621826e-06, -2.7185305953025818e-06, -2.5834888219833374e-06, -2.448447048664093e-06, -2.3134052753448486e-06, -2.1783635020256042e-06, -2.04332172870636e-06, -1.9082799553871155e-06, -1.773238182067871e-06, -1.6381964087486267e-06, -1.5031546354293823e-06, -1.368112862110138e-06, -1.2330710887908936e-06, -1.0980293154716492e-06, -9.629875421524048e-07, -8.279457688331604e-07, -6.92903995513916e-07, -5.578622221946716e-07, -4.2282044887542725e-07, -2.8777867555618286e-07, -1.5273690223693848e-07, -1.7695128917694092e-08, 1.1734664440155029e-07, 2.523884177207947e-07, 3.8743019104003906e-07, 5.224719643592834e-07, 6.575137376785278e-07, 7.925555109977722e-07, 9.275972843170166e-07, 1.062639057636261e-06, 1.1976808309555054e-06, 1.3327226042747498e-06, 1.4677643775939941e-06, 1.6028061509132385e-06, 1.737847924232483e-06, 1.8728896975517273e-06, 2.0079314708709717e-06, 2.142973244190216e-06, 2.2780150175094604e-06, 2.413056790828705e-06, 2.5480985641479492e-06, 2.6831403374671936e-06, 2.818182110786438e-06, 2.9532238841056824e-06, 3.0882656574249268e-06, 3.223307430744171e-06, 3.3583492040634155e-06, 3.49339097738266e-06, 3.6284327507019043e-06, 3.7634745240211487e-06, 3.898516297340393e-06, 4.0335580706596375e-06, 4.168599843978882e-06, 4.303641617298126e-06, 4.438683390617371e-06, 4.573725163936615e-06, 4.708766937255859e-06]}, "gradients/encoder.encoder.layers.4.attention.q_proj.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0, 0.0, 3.0, 2.0, 2.0, 1.0, 1.0, 1.0, 2.0, 4.0, 1.0, 2.0, 3.0, 3.0, 3.0, 6.0, 8.0, 6.0, 14.0, 16.0, 91.0, 614.0, 96.0, 45.0, 21.0, 14.0, 12.0, 8.0, 8.0, 5.0, 3.0, 2.0, 1.0, 3.0, 1.0, 2.0, 1.0, 1.0, 1.0, 1.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.635883331298828e-06, -3.5101547837257385e-06, -3.384426236152649e-06, -3.2586976885795593e-06, -3.1329691410064697e-06, -3.00724059343338e-06, -2.8815120458602905e-06, -2.755783498287201e-06, -2.6300549507141113e-06, -2.5043264031410217e-06, -2.378597855567932e-06, -2.2528693079948425e-06, -2.127140760421753e-06, -2.0014122128486633e-06, -1.8756836652755737e-06, -1.7499551177024841e-06, -1.6242265701293945e-06, -1.498498022556305e-06, -1.3727694749832153e-06, -1.2470409274101257e-06, -1.1213123798370361e-06, -9.955838322639465e-07, -8.698552846908569e-07, -7.441267371177673e-07, -6.183981895446777e-07, -4.926696419715881e-07, -3.6694109439849854e-07, -2.4121254682540894e-07, -1.1548399925231934e-07, 1.0244548320770264e-08, 1.3597309589385986e-07, 2.6170164346694946e-07, 3.8743019104003906e-07, 5.131587386131287e-07, 6.388872861862183e-07, 7.646158337593079e-07, 8.903443813323975e-07, 1.016072928905487e-06, 1.1418014764785767e-06, 1.2675300240516663e-06, 1.3932585716247559e-06, 1.5189871191978455e-06, 1.644715666770935e-06, 1.7704442143440247e-06, 1.8961727619171143e-06, 2.021901309490204e-06, 2.1476298570632935e-06, 2.273358404636383e-06, 2.3990869522094727e-06, 2.5248154997825623e-06, 2.650544047355652e-06, 2.7762725949287415e-06, 2.902001142501831e-06, 3.0277296900749207e-06, 3.1534582376480103e-06, 3.2791867852211e-06, 3.4049153327941895e-06, 3.530643880367279e-06, 3.6563724279403687e-06, 3.7821009755134583e-06, 3.907829523086548e-06, 4.0335580706596375e-06, 4.159286618232727e-06, 4.285015165805817e-06, 4.410743713378906e-06]}, "gradients/encoder.encoder.layers.4.layer_norm.weight": {"_type": "histogram", "values": [3.0, 2.0, 0.0, 2.0, 2.0, 5.0, 4.0, 2.0, 2.0, 5.0, 5.0, 14.0, 11.0, 19.0, 20.0, 27.0, 44.0, 54.0, 95.0, 239.0, 199.0, 84.0, 55.0, 33.0, 23.0, 13.0, 19.0, 9.0, 6.0, 6.0, 7.0, 1.0, 5.0, 2.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00020547576423268765, -0.00019518677436280996, -0.00018489778449293226, -0.00017460879462305456, -0.00016431980475317687, -0.00015403081488329917, -0.00014374181046150625, -0.00013345282059162855, -0.00012316383072175086, -0.00011287484085187316, -0.00010258585098199546, -9.229686111211777e-05, -8.200787124224007e-05, -7.171888137236238e-05, -6.142988422652707e-05, -5.114089435664937e-05, -4.085191176272929e-05, -3.056292189285159e-05, -2.027393020398449e-05, -9.984938515117392e-06, 3.040513547603041e-07, 1.0593041224638e-05, 2.0882034732494503e-05, 3.11710246023722e-05, 4.1460014472249895e-05, 5.174900434212759e-05, 6.203799421200529e-05, 7.23269913578406e-05, 8.26159812277183e-05, 9.290497109759599e-05, 0.00010319396096747369, 0.00011348295083735138, 0.00012377192615531385, 0.00013406091602519155, 0.00014434990589506924, 0.00015463889576494694, 0.00016492788563482463, 0.00017521687550470233, 0.00018550586537458003, 0.00019579485524445772, 0.00020608384511433542, 0.00021637283498421311, 0.0002266618248540908, 0.0002369508147239685, 0.0002472398045938462, 0.0002575287944637239, 0.0002678177843336016, 0.0002781067742034793, 0.00028839579317718744, 0.00029868478304706514, 0.00030897377291694283, 0.00031926276278682053, 0.0003295517526566982, 0.0003398407425265759, 0.0003501297323964536, 0.0003604187222663313, 0.000370707712136209, 0.0003809967020060867, 0.0003912856918759644, 0.0004015746817458421, 0.0004118636716157198, 0.0004221526614855975, 0.0004324416513554752, 0.0004427306412253529, 0.0004530196310952306]}, "gradients/encoder.encoder.layers.4.layer_norm.bias": {"_type": "histogram", "values": [3.0, 3.0, 12.0, 12.0, 19.0, 20.0, 33.0, 47.0, 61.0, 91.0, 75.0, 205.0, 109.0, 88.0, 65.0, 60.0, 51.0, 27.0, 14.0, 16.0, 6.0, 2.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00016361474990844727, -0.00014958065003156662, -0.00013554655015468597, -0.00012151245027780533, -0.00010747835040092468, -9.344425052404404e-05, -7.941015064716339e-05, -6.537605077028275e-05, -5.13419508934021e-05, -3.7307851016521454e-05, -2.3273751139640808e-05, -9.239651262760162e-06, 4.794448614120483e-06, 1.882854849100113e-05, 3.2862648367881775e-05, 4.689674824476242e-05, 6.0930848121643066e-05, 7.496494799852371e-05, 8.899904787540436e-05, 0.000103033147752285, 0.00011706724762916565, 0.0001311013475060463, 0.00014513544738292694, 0.0001591695472598076, 0.00017320364713668823, 0.00018723774701356888, 0.00020127184689044952, 0.00021530594676733017, 0.00022934004664421082, 0.00024337414652109146, 0.0002574082463979721, 0.00027144234627485275, 0.0002854764461517334, 0.00029951054602861404, 0.0003135446459054947, 0.00032757874578237534, 0.000341612845659256, 0.00035564694553613663, 0.0003696810454130173, 0.0003837151452898979, 0.00039774924516677856, 0.0004117833450436592, 0.00042581744492053986, 0.0004398515447974205, 0.00045388564467430115, 0.0004679197445511818, 0.00048195384442806244, 0.0004959879443049431, 0.0005100220441818237, 0.0005240561440587044, 0.000538090243935585, 0.0005521243438124657, 0.0005661584436893463, 0.000580192543566227, 0.0005942266434431076, 0.0006082607433199883, 0.0006222948431968689, 0.0006363289430737495, 0.0006503630429506302, 0.0006643971428275108, 0.0006784312427043915, 0.0006924653425812721, 0.0007064994424581528, 0.0007205335423350334, 0.0007345676422119141]}, "gradients/encoder.encoder.layers.3.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 2.0, 2.0, 4.0, 2.0, 2.0, 0.0, 3.0, 6.0, 9.0, 6.0, 16.0, 28.0, 66.0, 365.0, 4189160.0, 4504.0, 107.0, 12.0, 4.0], "bins": [-0.00164794921875, -0.001620362512767315, -0.0015927758067846298, -0.0015651891008019447, -0.0015376023948192596, -0.0015100156888365746, -0.0014824289828538895, -0.0014548422768712044, -0.0014272555708885193, -0.0013996688649058342, -0.0013720821589231491, -0.001344495452940464, -0.001316908746957779, -0.0012893220409750938, -0.0012617353349924088, -0.0012341486290097237, -0.0012065619230270386, -0.0011789752170443535, -0.0011513885110616684, -0.0011238018050789833, -0.0010962150990962982, -0.0010686283931136131, -0.001041041687130928, -0.001013454981148243, -0.0009858682751655579, -0.0009582815691828728, -0.0009306948632001877, -0.0009031081572175026, -0.0008755214512348175, -0.0008479347452521324, -0.0008203480392694473, -0.0007927613332867622, -0.0007651746273040771, -0.0007375879213213921, -0.000710001215338707, -0.0006824145093560219, -0.0006548278033733368, -0.0006272410973906517, -0.0005996543914079666, -0.0005720676854252815, -0.0005444809794425964, -0.0005168942734599113, -0.0004893075674772263, -0.00046172086149454117, -0.0004341341555118561, -0.000406547449529171, -0.0003789607435464859, -0.0003513740375638008, -0.0003237873315811157, -0.00029620062559843063, -0.00026861391961574554, -0.00024102721363306046, -0.00021344050765037537, -0.00018585380166769028, -0.0001582670956850052, -0.0001306803897023201, -0.00010309368371963501, -7.550697773694992e-05, -4.792027175426483e-05, -2.0333565771579742e-05, 7.253140211105347e-06, 3.4839846193790436e-05, 6.242655217647552e-05, 9.001325815916061e-05, 0.0001175999641418457]}, "gradients/encoder.encoder.layers.3.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 4.0, 30.0, 154.0, 395.0, 322.0, 100.0, 11.0, 4.0], "bins": [-0.00013446807861328125, -0.00013221800327301025, -0.00012996792793273926, -0.00012771785259246826, -0.00012546777725219727, -0.00012321770191192627, -0.00012096762657165527, -0.00011871755123138428, -0.00011646747589111328, -0.00011421740055084229, -0.00011196732521057129, -0.00010971724987030029, -0.0001074671745300293, -0.0001052170991897583, -0.0001029670238494873, -0.00010071694850921631, -9.846687316894531e-05, -9.621679782867432e-05, -9.396672248840332e-05, -9.171664714813232e-05, -8.946657180786133e-05, -8.721649646759033e-05, -8.496642112731934e-05, -8.271634578704834e-05, -8.046627044677734e-05, -7.821619510650635e-05, -7.596611976623535e-05, -7.371604442596436e-05, -7.146596908569336e-05, -6.921589374542236e-05, -6.696581840515137e-05, -6.471574306488037e-05, -6.246566772460938e-05, -6.021559238433838e-05, -5.796551704406738e-05, -5.571544170379639e-05, -5.346536636352539e-05, -5.1215291023254395e-05, -4.89652156829834e-05, -4.67151403427124e-05, -4.4465065002441406e-05, -4.221498966217041e-05, -3.9964914321899414e-05, -3.771483898162842e-05, -3.546476364135742e-05, -3.3214688301086426e-05, -3.096461296081543e-05, -2.8714537620544434e-05, -2.6464462280273438e-05, -2.421438694000244e-05, -2.1964311599731445e-05, -1.971423625946045e-05, -1.7464160919189453e-05, -1.5214085578918457e-05, -1.2964010238647461e-05, -1.0713934898376465e-05, -8.463859558105469e-06, -6.213784217834473e-06, -3.9637088775634766e-06, -1.7136335372924805e-06, 5.364418029785156e-07, 2.7865171432495117e-06, 5.036592483520508e-06, 7.286667823791504e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.3.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 0.0, 1.0, 2.0, 0.0, 3.0, 2.0, 7.0, 6.0, 9.0, 15.0, 24.0, 24.0, 32.0, 60.0, 82.0, 114.0, 215.0, 452.0, 900.0, 2023.0, 5258.0, 17112.0, 349416.0, 3784517.0, 23691.0, 6279.0, 2145.0, 909.0, 408.0, 217.0, 135.0, 74.0, 56.0, 43.0, 23.0, 17.0, 9.0, 5.0, 1.0, 5.0, 4.0, 3.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00010532140731811523, -0.00010248366743326187, -9.964592754840851e-05, -9.680818766355515e-05, -9.397044777870178e-05, -9.113270789384842e-05, -8.829496800899506e-05, -8.545722812414169e-05, -8.261948823928833e-05, -7.978174835443497e-05, -7.69440084695816e-05, -7.410626858472824e-05, -7.126852869987488e-05, -6.843078881502151e-05, -6.559304893016815e-05, -6.275530904531479e-05, -5.9917569160461426e-05, -5.707982927560806e-05, -5.42420893907547e-05, -5.140434950590134e-05, -4.8566609621047974e-05, -4.572886973619461e-05, -4.289112985134125e-05, -4.0053389966487885e-05, -3.721565008163452e-05, -3.437791019678116e-05, -3.1540170311927795e-05, -2.8702430427074432e-05, -2.586469054222107e-05, -2.3026950657367706e-05, -2.0189210772514343e-05, -1.735147088766098e-05, -1.4513731002807617e-05, -1.1675991117954254e-05, -8.838251233100891e-06, -6.000511348247528e-06, -3.162771463394165e-06, -3.25031578540802e-07, 2.512708306312561e-06, 5.350448191165924e-06, 8.188188076019287e-06, 1.102592796087265e-05, 1.3863667845726013e-05, 1.6701407730579376e-05, 1.953914761543274e-05, 2.2376887500286102e-05, 2.5214627385139465e-05, 2.805236726999283e-05, 3.089010715484619e-05, 3.3727847039699554e-05, 3.656558692455292e-05, 3.940332680940628e-05, 4.2241066694259644e-05, 4.5078806579113007e-05, 4.791654646396637e-05, 5.075428634881973e-05, 5.3592026233673096e-05, 5.642976611852646e-05, 5.926750600337982e-05, 6.210524588823318e-05, 6.494298577308655e-05, 6.778072565793991e-05, 7.061846554279327e-05, 7.345620542764664e-05, 7.62939453125e-05]}, "gradients/encoder.encoder.layers.3.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 3.0, 3.0, 2.0, 0.0, 7.0, 8.0, 8.0, 3.0, 14.0, 15.0, 23.0, 36.0, 159.0, 2318.0, 1241.0, 147.0, 39.0, 23.0, 9.0, 11.0, 8.0, 3.0, 2.0, 1.0, 2.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.357929229736328e-05, -9.104888886213303e-05, -8.851848542690277e-05, -8.598808199167252e-05, -8.345767855644226e-05, -8.0927275121212e-05, -7.839687168598175e-05, -7.58664682507515e-05, -7.333606481552124e-05, -7.080566138029099e-05, -6.827525794506073e-05, -6.574485450983047e-05, -6.321445107460022e-05, -6.0684047639369965e-05, -5.815364420413971e-05, -5.5623240768909454e-05, -5.30928373336792e-05, -5.0562433898448944e-05, -4.803203046321869e-05, -4.5501627027988434e-05, -4.297122359275818e-05, -4.0440820157527924e-05, -3.791041672229767e-05, -3.538001328706741e-05, -3.284960985183716e-05, -3.0319206416606903e-05, -2.7788802981376648e-05, -2.5258399546146393e-05, -2.2727996110916138e-05, -2.0197592675685883e-05, -1.7667189240455627e-05, -1.5136785805225372e-05, -1.2606382369995117e-05, -1.0075978934764862e-05, -7.545575499534607e-06, -5.015172064304352e-06, -2.4847686290740967e-06, 4.563480615615845e-08, 2.5760382413864136e-06, 5.106441676616669e-06, 7.636845111846924e-06, 1.0167248547077179e-05, 1.2697651982307434e-05, 1.522805541753769e-05, 1.7758458852767944e-05, 2.02888622879982e-05, 2.2819265723228455e-05, 2.534966915845871e-05, 2.7880072593688965e-05, 3.041047602891922e-05, 3.2940879464149475e-05, 3.547128289937973e-05, 3.8001686334609985e-05, 4.053208976984024e-05, 4.3062493205070496e-05, 4.559289664030075e-05, 4.8123300075531006e-05, 5.065370351076126e-05, 5.3184106945991516e-05, 5.571451038122177e-05, 5.8244913816452026e-05, 6.077531725168228e-05, 6.330572068691254e-05, 6.583612412214279e-05, 6.836652755737305e-05]}, "gradients/encoder.encoder.layers.3.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 5.0, 5.0, 7.0, 17.0, 44.0, 148.0, 439.0, 202.0, 81.0, 28.0, 19.0, 6.0, 5.0, 3.0, 3.0, 0.0, 1.0, 1.0, 1.0, 1.0], "bins": [-0.0010156158823519945, -0.0009955749846994877, -0.0009755341452546418, -0.0009554932476021349, -0.000935452408157289, -0.0009154115105047822, -0.0008953706710599363, -0.0008753297734074295, -0.0008552889339625835, -0.0008352480363100767, -0.0008152071968652308, -0.000795166299212724, -0.0007751254597678781, -0.0007550845621153712, -0.0007350437226705253, -0.0007150028250180185, -0.0006949619273655117, -0.0006749210297130048, -0.0006548801902681589, -0.0006348392926156521, -0.0006147984531708062, -0.0005947575555182993, -0.0005747167160734534, -0.0005546758184209466, -0.0005346349207684398, -0.0005145940231159329, -0.000494553183671087, -0.00047451231512241066, -0.0004544714465737343, -0.00043443054892122746, -0.0004143896803725511, -0.0003943488118238747, -0.00037430800148285925, -0.0003542671329341829, -0.0003342262643855065, -0.00031418539583683014, -0.0002941444981843233, -0.0002741036587394774, -0.00025406276108697057, -0.0002340218925382942, -0.00021398102398961782, -0.00019394015544094145, -0.00017389928689226508, -0.00015385840379167348, -0.0001338175352429971, -0.00011377666669432074, -9.373579086968675e-05, -7.369491504505277e-05, -5.3654046496376395e-05, -3.3613174309721217e-05, -1.3572302123066038e-05, 6.468570063589141e-06, 2.650944225024432e-05, 4.655031079892069e-05, 6.659118662355468e-05, 8.663206244818866e-05, 0.00010667293099686503, 0.0001267137995455414, 0.00014675466809421778, 0.00016679555119480938, 0.00018683641974348575, 0.00020687728829216212, 0.00022691817139275372, 0.0002469590399414301, 0.00026699990849010646]}, "gradients/encoder.encoder.layers.3.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 3.0, 2.0, 7.0, 12.0, 14.0, 26.0, 44.0, 73.0, 87.0, 90.0, 110.0, 98.0, 98.0, 112.0, 79.0, 61.0, 29.0, 24.0, 19.0, 10.0, 3.0, 3.0, 3.0, 2.0, 2.0, 0.0, 2.0, 1.0, 1.0, 1.0, 0.0, 2.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00016885995864868164, -0.00015962868928909302, -0.0001503974199295044, -0.00014116615056991577, -0.00013193488121032715, -0.00012270361185073853, -0.0001134723424911499, -0.00010424107313156128, -9.500980377197266e-05, -8.577853441238403e-05, -7.654726505279541e-05, -6.731599569320679e-05, -5.8084726333618164e-05, -4.885345697402954e-05, -3.962218761444092e-05, -3.0390918254852295e-05, -2.1159648895263672e-05, -1.1928379535675049e-05, -2.6971101760864258e-06, 6.534159183502197e-06, 1.576542854309082e-05, 2.4996697902679443e-05, 3.4227967262268066e-05, 4.345923662185669e-05, 5.269050598144531e-05, 6.192177534103394e-05, 7.115304470062256e-05, 8.038431406021118e-05, 8.96155834197998e-05, 9.884685277938843e-05, 0.00010807812213897705, 0.00011730939149856567, 0.0001265406608581543, 0.00013577193021774292, 0.00014500319957733154, 0.00015423446893692017, 0.0001634657382965088, 0.0001726970076560974, 0.00018192827701568604, 0.00019115954637527466, 0.00020039081573486328, 0.0002096220850944519, 0.00021885335445404053, 0.00022808462381362915, 0.00023731589317321777, 0.0002465471625328064, 0.000255778431892395, 0.00026500970125198364, 0.00027424097061157227, 0.0002834722399711609, 0.0002927035093307495, 0.00030193477869033813, 0.00031116604804992676, 0.0003203973174095154, 0.000329628586769104, 0.0003388598561286926, 0.00034809112548828125, 0.0003573223948478699, 0.0003665536642074585, 0.0003757849335670471, 0.00038501620292663574, 0.00039424747228622437, 0.000403478741645813, 0.0004127100110054016, 0.00042194128036499023]}, "gradients/encoder.encoder.layers.3.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 5.0, 0.0, 1.0, 3.0, 1.0, 5.0, 3.0, 3.0, 6.0, 6.0, 13.0, 11.0, 10.0, 25.0, 24.0, 37.0, 40.0, 40.0, 48.0, 44.0, 100.0, 784.0, 888486.0, 157939.0, 512.0, 72.0, 52.0, 46.0, 46.0, 41.0, 29.0, 24.0, 19.0, 20.0, 20.0, 12.0, 8.0, 10.0, 10.0, 4.0, 2.0, 3.0, 2.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.00070953369140625, -0.0006886124610900879, -0.0006676912307739258, -0.0006467700004577637, -0.0006258487701416016, -0.0006049275398254395, -0.0005840063095092773, -0.0005630850791931152, -0.0005421638488769531, -0.000521242618560791, -0.0005003213882446289, -0.0004794001579284668, -0.0004584789276123047, -0.0004375576972961426, -0.00041663646697998047, -0.00039571523666381836, -0.00037479400634765625, -0.00035387277603149414, -0.00033295154571533203, -0.0003120303153991699, -0.0002911090850830078, -0.0002701878547668457, -0.0002492666244506836, -0.00022834539413452148, -0.00020742416381835938, -0.00018650293350219727, -0.00016558170318603516, -0.00014466047286987305, -0.00012373924255371094, -0.00010281801223754883, -8.189678192138672e-05, -6.097555160522461e-05, -4.00543212890625e-05, -1.913309097290039e-05, 1.7881393432617188e-06, 2.2709369659423828e-05, 4.363059997558594e-05, 6.455183029174805e-05, 8.547306060791016e-05, 0.00010639429092407227, 0.00012731552124023438, 0.00014823675155639648, 0.0001691579818725586, 0.0001900792121887207, 0.0002110004425048828, 0.00023192167282104492, 0.00025284290313720703, 0.00027376413345336914, 0.00029468536376953125, 0.00031560659408569336, 0.00033652782440185547, 0.0003574490547180176, 0.0003783702850341797, 0.0003992915153503418, 0.0004202127456665039, 0.000441133975982666, 0.0004620552062988281, 0.00048297643661499023, 0.0005038976669311523, 0.0005248188972473145, 0.0005457401275634766, 0.0005666613578796387, 0.0005875825881958008, 0.0006085038185119629, 0.000629425048828125]}, "gradients/encoder.encoder.layers.3.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 2.0, 4.0, 40.0, 175.0, 395.0, 289.0, 96.0, 17.0, 3.0], "bins": [-0.00013184547424316406, -0.00012963637709617615, -0.00012742727994918823, -0.00012521818280220032, -0.0001230090856552124, -0.00012079998850822449, -0.00011859089136123657, -0.00011638179421424866, -0.00011417269706726074, -0.00011196359992027283, -0.00010975450277328491, -0.000107545405626297, -0.00010533630847930908, -0.00010312721133232117, -0.00010091811418533325, -9.870901703834534e-05, -9.649991989135742e-05, -9.429082274436951e-05, -9.208172559738159e-05, -8.987262845039368e-05, -8.766353130340576e-05, -8.545443415641785e-05, -8.324533700942993e-05, -8.103623986244202e-05, -7.88271427154541e-05, -7.661804556846619e-05, -7.440894842147827e-05, -7.219985127449036e-05, -6.999075412750244e-05, -6.778165698051453e-05, -6.557255983352661e-05, -6.33634626865387e-05, -6.115436553955078e-05, -5.8945268392562866e-05, -5.673617124557495e-05, -5.4527074098587036e-05, -5.231797695159912e-05, -5.0108879804611206e-05, -4.789978265762329e-05, -4.5690685510635376e-05, -4.348158836364746e-05, -4.1272491216659546e-05, -3.906339406967163e-05, -3.6854296922683716e-05, -3.46451997756958e-05, -3.2436102628707886e-05, -3.022700548171997e-05, -2.8017908334732056e-05, -2.580881118774414e-05, -2.3599714040756226e-05, -2.139061689376831e-05, -1.9181519746780396e-05, -1.697242259979248e-05, -1.4763325452804565e-05, -1.255422830581665e-05, -1.0345131158828735e-05, -8.13603401184082e-06, -5.926936864852905e-06, -3.7178397178649902e-06, -1.5087425708770752e-06, 7.003545761108398e-07, 2.909451723098755e-06, 5.11854887008667e-06, 7.327646017074585e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.3.attention.v_proj.weight": {"_type": "histogram", "values": [1.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 3.0, 2.0, 3.0, 4.0, 5.0, 10.0, 11.0, 23.0, 21.0, 39.0, 47.0, 66.0, 122.0, 153.0, 270.0, 416.0, 654.0, 1014.0, 1675.0, 2735.0, 5142.0, 9743.0, 19680.0, 41689.0, 110105.0, 720762.0, 71616.0, 30487.0, 14512.0, 7537.0, 3888.0, 2411.0, 1379.0, 848.0, 474.0, 317.0, 203.0, 141.0, 109.0, 74.0, 59.0, 37.0, 20.0, 15.0, 11.0, 9.0, 8.0, 5.0, 3.0, 2.0, 3.0, 2.0, 2.0, 1.0], "bins": [-6.276369094848633e-05, -6.098579615354538e-05, -5.920790135860443e-05, -5.743000656366348e-05, -5.5652111768722534e-05, -5.3874216973781586e-05, -5.209632217884064e-05, -5.031842738389969e-05, -4.854053258895874e-05, -4.676263779401779e-05, -4.498474299907684e-05, -4.3206848204135895e-05, -4.1428953409194946e-05, -3.9651058614254e-05, -3.787316381931305e-05, -3.60952690243721e-05, -3.431737422943115e-05, -3.2539479434490204e-05, -3.0761584639549255e-05, -2.8983689844608307e-05, -2.720579504966736e-05, -2.542790025472641e-05, -2.365000545978546e-05, -2.1872110664844513e-05, -2.0094215869903564e-05, -1.8316321074962616e-05, -1.6538426280021667e-05, -1.4760531485080719e-05, -1.298263669013977e-05, -1.1204741895198822e-05, -9.426847100257874e-06, -7.648952305316925e-06, -5.8710575103759766e-06, -4.093162715435028e-06, -2.3152679204940796e-06, -5.373731255531311e-07, 1.2405216693878174e-06, 3.018416464328766e-06, 4.796311259269714e-06, 6.574206054210663e-06, 8.352100849151611e-06, 1.012999564409256e-05, 1.1907890439033508e-05, 1.3685785233974457e-05, 1.5463680028915405e-05, 1.7241574823856354e-05, 1.9019469618797302e-05, 2.079736441373825e-05, 2.25752592086792e-05, 2.4353154003620148e-05, 2.6131048798561096e-05, 2.7908943593502045e-05, 2.9686838388442993e-05, 3.146473318338394e-05, 3.324262797832489e-05, 3.502052277326584e-05, 3.679841756820679e-05, 3.8576312363147736e-05, 4.0354207158088684e-05, 4.213210195302963e-05, 4.390999674797058e-05, 4.568789154291153e-05, 4.746578633785248e-05, 4.9243681132793427e-05, 5.1021575927734375e-05]}, "gradients/encoder.encoder.layers.3.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 1.0, 4.0, 1.0, 5.0, 5.0, 6.0, 5.0, 12.0, 15.0, 18.0, 18.0, 24.0, 15.0, 20.0, 35.0, 27.0, 30.0, 39.0, 96.0, 311.0, 58.0, 39.0, 33.0, 20.0, 23.0, 33.0, 22.0, 20.0, 11.0, 16.0, 10.0, 8.0, 9.0, 6.0, 6.0, 1.0, 3.0, 1.0, 2.0, 1.0, 3.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 1.0], "bins": [-6.580352783203125e-05, -6.392970681190491e-05, -6.205588579177856e-05, -6.018206477165222e-05, -5.830824375152588e-05, -5.6434422731399536e-05, -5.456060171127319e-05, -5.268678069114685e-05, -5.081295967102051e-05, -4.8939138650894165e-05, -4.706531763076782e-05, -4.519149661064148e-05, -4.331767559051514e-05, -4.1443854570388794e-05, -3.957003355026245e-05, -3.769621253013611e-05, -3.5822391510009766e-05, -3.394857048988342e-05, -3.207474946975708e-05, -3.0200928449630737e-05, -2.8327107429504395e-05, -2.6453286409378052e-05, -2.457946538925171e-05, -2.2705644369125366e-05, -2.0831823348999023e-05, -1.895800232887268e-05, -1.7084181308746338e-05, -1.5210360288619995e-05, -1.3336539268493652e-05, -1.146271824836731e-05, -9.588897228240967e-06, -7.715076208114624e-06, -5.841255187988281e-06, -3.9674341678619385e-06, -2.0936131477355957e-06, -2.1979212760925293e-07, 1.6540288925170898e-06, 3.5278499126434326e-06, 5.401670932769775e-06, 7.275491952896118e-06, 9.149312973022461e-06, 1.1023133993148804e-05, 1.2896955013275146e-05, 1.477077603340149e-05, 1.6644597053527832e-05, 1.8518418073654175e-05, 2.0392239093780518e-05, 2.226606011390686e-05, 2.4139881134033203e-05, 2.6013702154159546e-05, 2.788752317428589e-05, 2.976134419441223e-05, 3.1635165214538574e-05, 3.350898623466492e-05, 3.538280725479126e-05, 3.72566282749176e-05, 3.9130449295043945e-05, 4.100427031517029e-05, 4.287809133529663e-05, 4.4751912355422974e-05, 4.6625733375549316e-05, 4.849955439567566e-05, 5.0373375415802e-05, 5.2247196435928345e-05, 5.412101745605469e-05]}, "gradients/encoder.encoder.layers.3.attention.k_proj.weight": {"_type": "histogram", "values": [2.0, 1.0, 4.0, 2.0, 0.0, 0.0, 2.0, 4.0, 5.0, 4.0, 9.0, 17.0, 6.0, 26.0, 24.0, 46.0, 37.0, 95.0, 83.0, 195.0, 146.0, 244.0, 558.0, 541.0, 1366.0, 1442.0, 3870.0, 4780.0, 16061.0, 28717.0, 824382.0, 107584.0, 28637.0, 16137.0, 4755.0, 3978.0, 1475.0, 1306.0, 534.0, 545.0, 218.0, 235.0, 104.0, 96.0, 99.0, 47.0, 43.0, 26.0, 26.0, 11.0, 19.0, 8.0, 6.0, 3.0, 1.0, 4.0, 4.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 2.0], "bins": [-4.5299530029296875e-06, -4.383735358715057e-06, -4.237517714500427e-06, -4.091300070285797e-06, -3.945082426071167e-06, -3.798864781856537e-06, -3.6526471376419067e-06, -3.5064294934272766e-06, -3.3602118492126465e-06, -3.2139942049980164e-06, -3.0677765607833862e-06, -2.921558916568756e-06, -2.775341272354126e-06, -2.629123628139496e-06, -2.4829059839248657e-06, -2.3366883397102356e-06, -2.1904706954956055e-06, -2.0442530512809753e-06, -1.8980354070663452e-06, -1.751817762851715e-06, -1.605600118637085e-06, -1.4593824744224548e-06, -1.3131648302078247e-06, -1.1669471859931946e-06, -1.0207295417785645e-06, -8.745118975639343e-07, -7.282942533493042e-07, -5.820766091346741e-07, -4.3585896492004395e-07, -2.896413207054138e-07, -1.434236764907837e-07, 2.7939677238464355e-09, 1.4901161193847656e-07, 2.952292561531067e-07, 4.414469003677368e-07, 5.876645445823669e-07, 7.338821887969971e-07, 8.800998330116272e-07, 1.0263174772262573e-06, 1.1725351214408875e-06, 1.3187527656555176e-06, 1.4649704098701477e-06, 1.6111880540847778e-06, 1.757405698299408e-06, 1.903623342514038e-06, 2.0498409867286682e-06, 2.1960586309432983e-06, 2.3422762751579285e-06, 2.4884939193725586e-06, 2.6347115635871887e-06, 2.780929207801819e-06, 2.927146852016449e-06, 3.073364496231079e-06, 3.2195821404457092e-06, 3.3657997846603394e-06, 3.5120174288749695e-06, 3.6582350730895996e-06, 3.8044527173042297e-06, 3.95067036151886e-06, 4.09688800573349e-06, 4.24310564994812e-06, 4.38932329416275e-06, 4.53554093837738e-06, 4.6817585825920105e-06, 4.827976226806641e-06]}, "gradients/encoder.encoder.layers.3.attention.k_proj.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 2.0, 0.0, 0.0, 4.0, 1.0, 2.0, 9.0, 9.0, 4.0, 11.0, 13.0, 16.0, 17.0, 16.0, 34.0, 45.0, 152.0, 389.0, 109.0, 49.0, 25.0, 20.0, 13.0, 18.0, 10.0, 7.0, 8.0, 3.0, 5.0, 3.0, 4.0, 1.0, 1.0, 0.0, 0.0, 2.0, 2.0, 3.0, 2.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-4.827976226806641e-06, -4.673376679420471e-06, -4.518777132034302e-06, -4.364177584648132e-06, -4.209578037261963e-06, -4.0549784898757935e-06, -3.900378942489624e-06, -3.7457793951034546e-06, -3.591179847717285e-06, -3.4365803003311157e-06, -3.2819807529449463e-06, -3.127381205558777e-06, -2.9727816581726074e-06, -2.818182110786438e-06, -2.6635825634002686e-06, -2.508983016014099e-06, -2.3543834686279297e-06, -2.1997839212417603e-06, -2.045184373855591e-06, -1.8905848264694214e-06, -1.735985279083252e-06, -1.5813857316970825e-06, -1.426786184310913e-06, -1.2721866369247437e-06, -1.1175870895385742e-06, -9.629875421524048e-07, -8.083879947662354e-07, -6.537884473800659e-07, -4.991888999938965e-07, -3.4458935260772705e-07, -1.8998980522155762e-07, -3.5390257835388184e-08, 1.1920928955078125e-07, 2.738088369369507e-07, 4.284083843231201e-07, 5.830079317092896e-07, 7.37607479095459e-07, 8.922070264816284e-07, 1.0468065738677979e-06, 1.2014061212539673e-06, 1.3560056686401367e-06, 1.5106052160263062e-06, 1.6652047634124756e-06, 1.819804310798645e-06, 1.9744038581848145e-06, 2.129003405570984e-06, 2.2836029529571533e-06, 2.4382025003433228e-06, 2.592802047729492e-06, 2.7474015951156616e-06, 2.902001142501831e-06, 3.0566006898880005e-06, 3.21120023727417e-06, 3.3657997846603394e-06, 3.520399332046509e-06, 3.6749988794326782e-06, 3.829598426818848e-06, 3.984197974205017e-06, 4.1387975215911865e-06, 4.293397068977356e-06, 4.447996616363525e-06, 4.602596163749695e-06, 4.757195711135864e-06, 4.911795258522034e-06, 5.066394805908203e-06]}, "gradients/encoder.encoder.layers.3.attention.q_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 3.0, 1.0, 2.0, 6.0, 5.0, 7.0, 7.0, 16.0, 23.0, 21.0, 44.0, 57.0, 62.0, 150.0, 269.0, 278.0, 641.0, 1149.0, 1311.0, 3601.0, 8639.0, 13272.0, 69999.0, 849181.0, 57781.0, 25929.0, 8385.0, 2724.0, 2282.0, 1149.0, 436.0, 407.0, 279.0, 119.0, 115.0, 83.0, 31.0, 31.0, 32.0, 8.0, 13.0, 5.0, 3.0, 6.0, 2.0, 3.0, 1.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.708766937255859e-06, -4.5495107769966125e-06, -4.390254616737366e-06, -4.230998456478119e-06, -4.071742296218872e-06, -3.912486135959625e-06, -3.7532299757003784e-06, -3.5939738154411316e-06, -3.4347176551818848e-06, -3.275461494922638e-06, -3.116205334663391e-06, -2.9569491744041443e-06, -2.7976930141448975e-06, -2.6384368538856506e-06, -2.479180693626404e-06, -2.319924533367157e-06, -2.16066837310791e-06, -2.0014122128486633e-06, -1.8421560525894165e-06, -1.6828998923301697e-06, -1.5236437320709229e-06, -1.364387571811676e-06, -1.2051314115524292e-06, -1.0458752512931824e-06, -8.866190910339355e-07, -7.273629307746887e-07, -5.681067705154419e-07, -4.0885061025619507e-07, -2.4959444999694824e-07, -9.033828973770142e-08, 6.891787052154541e-08, 2.2817403078079224e-07, 3.8743019104003906e-07, 5.466863512992859e-07, 7.059425115585327e-07, 8.651986718177795e-07, 1.0244548320770264e-06, 1.1837109923362732e-06, 1.34296715259552e-06, 1.5022233128547668e-06, 1.6614794731140137e-06, 1.8207356333732605e-06, 1.9799917936325073e-06, 2.139247953891754e-06, 2.298504114151001e-06, 2.457760274410248e-06, 2.6170164346694946e-06, 2.7762725949287415e-06, 2.9355287551879883e-06, 3.094784915447235e-06, 3.254041075706482e-06, 3.4132972359657288e-06, 3.5725533962249756e-06, 3.7318095564842224e-06, 3.891065716743469e-06, 4.050321877002716e-06, 4.209578037261963e-06, 4.36883419752121e-06, 4.5280903577804565e-06, 4.687346518039703e-06, 4.84660267829895e-06, 5.005858838558197e-06, 5.165114998817444e-06, 5.324371159076691e-06, 5.4836273193359375e-06]}, "gradients/encoder.encoder.layers.3.attention.q_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 3.0, 5.0, 2.0, 6.0, 2.0, 5.0, 9.0, 9.0, 10.0, 13.0, 18.0, 23.0, 54.0, 50.0, 86.0, 399.0, 72.0, 56.0, 38.0, 23.0, 42.0, 20.0, 10.0, 11.0, 13.0, 2.0, 7.0, 3.0, 4.0, 3.0, 3.0, 3.0, 3.0, 2.0, 0.0, 4.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.112720489501953e-06, -3.973022103309631e-06, -3.8333237171173096e-06, -3.693625330924988e-06, -3.553926944732666e-06, -3.4142285585403442e-06, -3.2745301723480225e-06, -3.1348317861557007e-06, -2.995133399963379e-06, -2.855435013771057e-06, -2.7157366275787354e-06, -2.5760382413864136e-06, -2.436339855194092e-06, -2.29664146900177e-06, -2.1569430828094482e-06, -2.0172446966171265e-06, -1.8775463104248047e-06, -1.737847924232483e-06, -1.5981495380401611e-06, -1.4584511518478394e-06, -1.3187527656555176e-06, -1.1790543794631958e-06, -1.039355993270874e-06, -8.996576070785522e-07, -7.599592208862305e-07, -6.202608346939087e-07, -4.805624485015869e-07, -3.4086406230926514e-07, -2.0116567611694336e-07, -6.146728992462158e-08, 7.82310962677002e-08, 2.1792948246002197e-07, 3.5762786865234375e-07, 4.973262548446655e-07, 6.370246410369873e-07, 7.767230272293091e-07, 9.164214134216309e-07, 1.0561197996139526e-06, 1.1958181858062744e-06, 1.3355165719985962e-06, 1.475214958190918e-06, 1.6149133443832397e-06, 1.7546117305755615e-06, 1.8943101167678833e-06, 2.034008502960205e-06, 2.173706889152527e-06, 2.3134052753448486e-06, 2.4531036615371704e-06, 2.592802047729492e-06, 2.732500433921814e-06, 2.8721988201141357e-06, 3.0118972063064575e-06, 3.1515955924987793e-06, 3.291293978691101e-06, 3.430992364883423e-06, 3.5706907510757446e-06, 3.7103891372680664e-06, 3.850087523460388e-06, 3.98978590965271e-06, 4.129484295845032e-06, 4.2691826820373535e-06, 4.408881068229675e-06, 4.548579454421997e-06, 4.688277840614319e-06, 4.827976226806641e-06]}, "gradients/encoder.encoder.layers.3.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 2.0, 2.0, 2.0, 3.0, 2.0, 7.0, 6.0, 9.0, 7.0, 9.0, 17.0, 15.0, 16.0, 40.0, 39.0, 47.0, 73.0, 121.0, 244.0, 109.0, 64.0, 43.0, 31.0, 25.0, 21.0, 16.0, 12.0, 4.0, 4.0, 4.0, 4.0, 2.0, 3.0, 3.0, 1.0, 1.0, 1.0, 2.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 2.0], "bins": [-0.00022549787536263466, -0.00021832733182236552, -0.00021115678828209639, -0.00020398625929374248, -0.00019681571575347334, -0.0001896451722132042, -0.0001824746432248503, -0.00017530409968458116, -0.00016813355614431202, -0.0001609630126040429, -0.00015379246906377375, -0.00014662194007541984, -0.0001394513965351507, -0.00013228085299488157, -0.00012511032400652766, -0.00011793978046625853, -0.00011076923692598939, -0.00010359869338572025, -9.642815712140873e-05, -8.925762085709721e-05, -8.208707731682807e-05, -7.491653377655894e-05, -6.774599751224741e-05, -6.0575457609957084e-05, -5.3404917707666755e-05, -4.6234377805376425e-05, -3.9063837903086096e-05, -3.189329800079577e-05, -2.4722758098505437e-05, -1.7552218196215108e-05, -1.0381678293924779e-05, -3.2111383916344494e-06, 3.95940151065588e-06, 1.112994141294621e-05, 1.830048131523654e-05, 2.5471021217526868e-05, 3.26415611198172e-05, 3.981210102210753e-05, 4.6982640924397856e-05, 5.4153180826688185e-05, 6.132372072897851e-05, 6.849426426924765e-05, 7.566480053355917e-05, 8.28353367978707e-05, 9.000588033813983e-05, 9.717642387840897e-05, 0.00010434696014272049, 0.00011151749640703201, 0.00011868803994730115, 0.00012585858348757029, 0.00013302912702783942, 0.00014019965601619333, 0.00014737019955646247, 0.0001545407430967316, 0.0001617112720850855, 0.00016888181562535465, 0.00017605235916562378, 0.00018322290270589292, 0.00019039344624616206, 0.00019756397523451596, 0.0002047345187747851, 0.00021190506231505424, 0.00021907559130340815, 0.00022624613484367728, 0.00023341667838394642]}, "gradients/encoder.encoder.layers.3.layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 1.0, 3.0, 6.0, 23.0, 20.0, 33.0, 56.0, 70.0, 92.0, 140.0, 223.0, 108.0, 77.0, 57.0, 43.0, 26.0, 17.0, 9.0, 10.0, 5.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00018358230590820312, -0.00016972236335277557, -0.00015586242079734802, -0.00014200247824192047, -0.00012814253568649292, -0.00011428259313106537, -0.00010042265057563782, -8.656270802021027e-05, -7.270276546478271e-05, -5.8842822909355164e-05, -4.498288035392761e-05, -3.112293779850006e-05, -1.726299524307251e-05, -3.4030526876449585e-06, 1.0456889867782593e-05, 2.4316832423210144e-05, 3.8176774978637695e-05, 5.2036717534065247e-05, 6.58966600894928e-05, 7.975660264492035e-05, 9.36165452003479e-05, 0.00010747648775577545, 0.000121336430311203, 0.00013519637286663055, 0.0001490563154220581, 0.00016291625797748566, 0.0001767762005329132, 0.00019063614308834076, 0.0002044960856437683, 0.00021835602819919586, 0.0002322159707546234, 0.00024607591331005096, 0.0002599358558654785, 0.00027379579842090607, 0.0002876557409763336, 0.00030151568353176117, 0.0003153756260871887, 0.00032923556864261627, 0.0003430955111980438, 0.0003569554537534714, 0.0003708153963088989, 0.0003846753388643265, 0.00039853528141975403, 0.0004123952239751816, 0.00042625516653060913, 0.0004401151090860367, 0.00045397505164146423, 0.0004678349941968918, 0.00048169493675231934, 0.0004955548793077469, 0.0005094148218631744, 0.000523274764418602, 0.0005371347069740295, 0.0005509946495294571, 0.0005648545920848846, 0.0005787145346403122, 0.0005925744771957397, 0.0006064344197511673, 0.0006202943623065948, 0.0006341543048620224, 0.00064801424741745, 0.0006618741899728775, 0.000675734132528305, 0.0006895940750837326, 0.0007034540176391602]}, "gradients/encoder.encoder.layers.2.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0, 0.0, 2.0, 0.0, 2.0, 1.0, 0.0, 4.0, 1.0, 3.0, 5.0, 2.0, 5.0, 1.0, 8.0, 4.0, 9.0, 16.0, 9.0, 12.0, 10.0, 25.0, 43.0, 79.0, 316.0, 10066.0, 4181205.0, 2358.0, 94.0, 12.0, 3.0], "bins": [-0.0009822845458984375, -0.0009657079353928566, -0.0009491313248872757, -0.0009325547143816948, -0.0009159781038761139, -0.000899401493370533, -0.0008828248828649521, -0.0008662482723593712, -0.0008496716618537903, -0.0008330950513482094, -0.0008165184408426285, -0.0007999418303370476, -0.0007833652198314667, -0.0007667886093258858, -0.0007502119988203049, -0.000733635388314724, -0.0007170587778091431, -0.0007004821673035622, -0.0006839055567979813, -0.0006673289462924004, -0.0006507523357868195, -0.0006341757252812386, -0.0006175991147756577, -0.0006010225042700768, -0.0005844458937644958, -0.000567869283258915, -0.000551292672753334, -0.0005347160622477531, -0.0005181394517421722, -0.0005015628412365913, -0.00048498623073101044, -0.00046840962022542953, -0.00045183300971984863, -0.00043525639921426773, -0.00041867978870868683, -0.0004021031782031059, -0.000385526567697525, -0.0003689499571919441, -0.0003523733466863632, -0.0003357967361807823, -0.0003192201256752014, -0.0003026435151696205, -0.0002860669046640396, -0.0002694902941584587, -0.0002529136836528778, -0.0002363370731472969, -0.000219760462641716, -0.0002031838521361351, -0.0001866072416305542, -0.0001700306311249733, -0.0001534540206193924, -0.0001368774101138115, -0.00012030079960823059, -0.00010372418910264969, -8.714757859706879e-05, -7.057096809148788e-05, -5.399435758590698e-05, -3.741774708032608e-05, -2.0841136574745178e-05, -4.264526069164276e-06, 1.2312084436416626e-05, 2.8888694941997528e-05, 4.546530544757843e-05, 6.204191595315933e-05, 7.861852645874023e-05]}, "gradients/encoder.encoder.layers.2.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 2.0, 1.0, 19.0, 85.0, 239.0, 383.0, 218.0, 61.0, 10.0, 3.0], "bins": [-0.00012153387069702148, -0.00011948589235544205, -0.00011743791401386261, -0.00011538993567228317, -0.00011334195733070374, -0.0001112939789891243, -0.00010924600064754486, -0.00010719802230596542, -0.00010515004396438599, -0.00010310206562280655, -0.00010105408728122711, -9.900610893964767e-05, -9.695813059806824e-05, -9.49101522564888e-05, -9.286217391490936e-05, -9.081419557332993e-05, -8.876621723175049e-05, -8.671823889017105e-05, -8.467026054859161e-05, -8.262228220701218e-05, -8.057430386543274e-05, -7.85263255238533e-05, -7.647834718227386e-05, -7.443036884069443e-05, -7.238239049911499e-05, -7.033441215753555e-05, -6.828643381595612e-05, -6.623845547437668e-05, -6.419047713279724e-05, -6.21424987912178e-05, -6.009452044963837e-05, -5.804654210805893e-05, -5.599856376647949e-05, -5.3950585424900055e-05, -5.190260708332062e-05, -4.985462874174118e-05, -4.780665040016174e-05, -4.5758672058582306e-05, -4.371069371700287e-05, -4.166271537542343e-05, -3.9614737033843994e-05, -3.756675869226456e-05, -3.551878035068512e-05, -3.347080200910568e-05, -3.1422823667526245e-05, -2.9374845325946808e-05, -2.732686698436737e-05, -2.5278888642787933e-05, -2.3230910301208496e-05, -2.118293195962906e-05, -1.913495361804962e-05, -1.7086975276470184e-05, -1.5038996934890747e-05, -1.299101859331131e-05, -1.0943040251731873e-05, -8.895061910152435e-06, -6.847083568572998e-06, -4.799105226993561e-06, -2.7511268854141235e-06, -7.031485438346863e-07, 1.344829797744751e-06, 3.3928081393241882e-06, 5.4407864809036255e-06, 7.488764822483063e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.2.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 4.0, 0.0, 3.0, 4.0, 3.0, 7.0, 4.0, 11.0, 14.0, 23.0, 34.0, 51.0, 73.0, 146.0, 228.0, 405.0, 796.0, 1445.0, 3150.0, 7307.0, 20940.0, 187853.0, 3900474.0, 48824.0, 12727.0, 4998.0, 2244.0, 1081.0, 587.0, 316.0, 214.0, 116.0, 76.0, 44.0, 32.0, 20.0, 14.0, 7.0, 11.0, 7.0, 0.0, 2.0, 2.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-7.31348991394043e-05, -7.100123912096024e-05, -6.886757910251617e-05, -6.673391908407211e-05, -6.460025906562805e-05, -6.246659904718399e-05, -6.033293902873993e-05, -5.819927901029587e-05, -5.606561899185181e-05, -5.3931958973407745e-05, -5.1798298954963684e-05, -4.966463893651962e-05, -4.753097891807556e-05, -4.53973188996315e-05, -4.326365888118744e-05, -4.112999886274338e-05, -3.8996338844299316e-05, -3.6862678825855255e-05, -3.4729018807411194e-05, -3.259535878896713e-05, -3.046169877052307e-05, -2.832803875207901e-05, -2.619437873363495e-05, -2.4060718715190887e-05, -2.1927058696746826e-05, -1.9793398678302765e-05, -1.7659738659858704e-05, -1.5526078641414642e-05, -1.3392418622970581e-05, -1.125875860452652e-05, -9.125098586082458e-06, -6.991438567638397e-06, -4.857778549194336e-06, -2.7241185307502747e-06, -5.904585123062134e-07, 1.543201506137848e-06, 3.676861524581909e-06, 5.8105215430259705e-06, 7.944181561470032e-06, 1.0077841579914093e-05, 1.2211501598358154e-05, 1.4345161616802216e-05, 1.6478821635246277e-05, 1.8612481653690338e-05, 2.07461416721344e-05, 2.287980169057846e-05, 2.5013461709022522e-05, 2.7147121727466583e-05, 2.9280781745910645e-05, 3.1414441764354706e-05, 3.354810178279877e-05, 3.568176180124283e-05, 3.781542181968689e-05, 3.994908183813095e-05, 4.208274185657501e-05, 4.4216401875019073e-05, 4.6350061893463135e-05, 4.8483721911907196e-05, 5.061738193035126e-05, 5.275104194879532e-05, 5.488470196723938e-05, 5.701836198568344e-05, 5.91520220041275e-05, 6.128568202257156e-05, 6.341934204101562e-05]}, "gradients/encoder.encoder.layers.2.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 1.0, 1.0, 2.0, 4.0, 5.0, 8.0, 6.0, 3.0, 6.0, 11.0, 12.0, 13.0, 37.0, 62.0, 204.0, 1075.0, 2166.0, 279.0, 70.0, 27.0, 18.0, 15.0, 9.0, 8.0, 13.0, 6.0, 5.0, 2.0, 3.0, 3.0, 1.0, 3.0, 3.0, 2.0, 2.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0], "bins": [-6.592273712158203e-05, -6.40973448753357e-05, -6.227195262908936e-05, -6.044656038284302e-05, -5.862116813659668e-05, -5.679577589035034e-05, -5.4970383644104004e-05, -5.3144991397857666e-05, -5.131959915161133e-05, -4.949420690536499e-05, -4.766881465911865e-05, -4.5843422412872314e-05, -4.4018030166625977e-05, -4.219263792037964e-05, -4.03672456741333e-05, -3.854185342788696e-05, -3.6716461181640625e-05, -3.489106893539429e-05, -3.306567668914795e-05, -3.124028444290161e-05, -2.9414892196655273e-05, -2.7589499950408936e-05, -2.5764107704162598e-05, -2.393871545791626e-05, -2.2113323211669922e-05, -2.0287930965423584e-05, -1.8462538719177246e-05, -1.6637146472930908e-05, -1.481175422668457e-05, -1.2986361980438232e-05, -1.1160969734191895e-05, -9.335577487945557e-06, -7.510185241699219e-06, -5.684792995452881e-06, -3.859400749206543e-06, -2.034008502960205e-06, -2.086162567138672e-07, 1.6167759895324707e-06, 3.4421682357788086e-06, 5.2675604820251465e-06, 7.092952728271484e-06, 8.918344974517822e-06, 1.074373722076416e-05, 1.2569129467010498e-05, 1.4394521713256836e-05, 1.6219913959503174e-05, 1.8045306205749512e-05, 1.987069845199585e-05, 2.1696090698242188e-05, 2.3521482944488525e-05, 2.5346875190734863e-05, 2.71722674369812e-05, 2.899765968322754e-05, 3.082305192947388e-05, 3.2648444175720215e-05, 3.447383642196655e-05, 3.629922866821289e-05, 3.812462091445923e-05, 3.9950013160705566e-05, 4.1775405406951904e-05, 4.360079765319824e-05, 4.542618989944458e-05, 4.725158214569092e-05, 4.9076974391937256e-05, 5.0902366638183594e-05]}, "gradients/encoder.encoder.layers.2.final_layer_norm.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 4.0, 9.0, 9.0, 6.0, 8.0, 30.0, 37.0, 53.0, 96.0, 166.0, 261.0, 116.0, 72.0, 46.0, 24.0, 18.0, 23.0, 19.0, 2.0, 7.0, 4.0, 1.0, 2.0, 2.0, 4.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00018931913655251265, -0.00017949122411664575, -0.00016966329712886363, -0.00015983538469299674, -0.00015000745770521462, -0.00014017954526934773, -0.00013035163283348083, -0.00012052370584569871, -0.00011069578613387421, -0.0001008678664220497, -9.10399467102252e-05, -8.121202699840069e-05, -7.13841145625338e-05, -6.155618757475168e-05, -5.172827513888478e-05, -4.1900355427060276e-05, -3.207243571523577e-05, -2.2244516003411263e-05, -1.241659811057616e-05, -2.5886802177410573e-06, 7.239239494083449e-06, 1.7067159205907956e-05, 2.6895075279753655e-05, 3.672299499157816e-05, 4.655091470340267e-05, 5.6378834415227175e-05, 6.620675412705168e-05, 7.603467383887619e-05, 8.586258627474308e-05, 9.56905132625252e-05, 0.00010551842569839209, 0.0001153463454102166, 0.0001251742651220411, 0.000135002177557908, 0.00014483010454569012, 0.000154658016981557, 0.00016448594396933913, 0.00017431385640520602, 0.00018414176884107292, 0.00019396969582885504, 0.00020379762281663716, 0.00021362553525250405, 0.00022345346224028617, 0.00023328137467615306, 0.00024310930166393518, 0.0002529372286517173, 0.00026276512653566897, 0.0002725930535234511, 0.00028242095140740275, 0.0002922488783951849, 0.00030207677627913654, 0.00031190470326691866, 0.0003217326302547008, 0.0003315605572424829, 0.00034138845512643456, 0.0003512163821142167, 0.0003610443091019988, 0.0003708722360897809, 0.0003807001339737326, 0.0003905280609615147, 0.00040035598794929683, 0.00041018391493707895, 0.0004200118128210306, 0.00042983973980881274, 0.00043966766679659486]}, "gradients/encoder.encoder.layers.2.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 1.0, 2.0, 1.0, 1.0, 4.0, 7.0, 10.0, 8.0, 9.0, 13.0, 18.0, 22.0, 32.0, 31.0, 27.0, 33.0, 41.0, 50.0, 46.0, 58.0, 43.0, 63.0, 42.0, 62.0, 46.0, 53.0, 37.0, 44.0, 29.0, 28.0, 34.0, 23.0, 20.0, 14.0, 16.0, 12.0, 6.0, 7.0, 6.0, 4.0, 3.0, 3.0, 2.0, 5.0, 1.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.00017440319061279297, -0.00016975123435258865, -0.00016509927809238434, -0.00016044732183218002, -0.0001557953655719757, -0.0001511434093117714, -0.00014649145305156708, -0.00014183949679136276, -0.00013718754053115845, -0.00013253558427095413, -0.00012788362801074982, -0.0001232316717505455, -0.00011857971549034119, -0.00011392775923013687, -0.00010927580296993256, -0.00010462384670972824, -9.997189044952393e-05, -9.531993418931961e-05, -9.06679779291153e-05, -8.601602166891098e-05, -8.136406540870667e-05, -7.671210914850235e-05, -7.206015288829803e-05, -6.740819662809372e-05, -6.27562403678894e-05, -5.810428410768509e-05, -5.3452327847480774e-05, -4.880037158727646e-05, -4.4148415327072144e-05, -3.949645906686783e-05, -3.484450280666351e-05, -3.0192546546459198e-05, -2.5540590286254883e-05, -2.0888634026050568e-05, -1.6236677765846252e-05, -1.1584721505641937e-05, -6.932765245437622e-06, -2.280808985233307e-06, 2.3711472749710083e-06, 7.0231035351753235e-06, 1.1675059795379639e-05, 1.6327016055583954e-05, 2.097897231578827e-05, 2.5630928575992584e-05, 3.02828848361969e-05, 3.4934841096401215e-05, 3.958679735660553e-05, 4.4238753616809845e-05, 4.889070987701416e-05, 5.3542666137218475e-05, 5.819462239742279e-05, 6.28465786576271e-05, 6.749853491783142e-05, 7.215049117803574e-05, 7.680244743824005e-05, 8.145440369844437e-05, 8.610635995864868e-05, 9.0758316218853e-05, 9.541027247905731e-05, 0.00010006222873926163, 0.00010471418499946594, 0.00010936614125967026, 0.00011401809751987457, 0.00011867005378007889, 0.0001233220100402832]}, "gradients/encoder.encoder.layers.2.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 3.0, 1.0, 0.0, 3.0, 2.0, 3.0, 1.0, 3.0, 5.0, 5.0, 5.0, 8.0, 9.0, 17.0, 15.0, 20.0, 26.0, 32.0, 32.0, 43.0, 68.0, 141.0, 1241.0, 717936.0, 327445.0, 1037.0, 123.0, 72.0, 45.0, 39.0, 38.0, 39.0, 19.0, 15.0, 14.0, 9.0, 14.0, 10.0, 6.0, 5.0, 4.0, 2.0, 5.0, 5.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.00045609474182128906, -0.0004422627389431, -0.0004284307360649109, -0.0004145987331867218, -0.0004007667303085327, -0.00038693472743034363, -0.00037310272455215454, -0.00035927072167396545, -0.00034543871879577637, -0.0003316067159175873, -0.0003177747130393982, -0.0003039427101612091, -0.00029011070728302, -0.00027627870440483093, -0.00026244670152664185, -0.00024861469864845276, -0.00023478269577026367, -0.00022095069289207458, -0.0002071186900138855, -0.0001932866871356964, -0.00017945468425750732, -0.00016562268137931824, -0.00015179067850112915, -0.00013795867562294006, -0.00012412667274475098, -0.00011029466986656189, -9.64626669883728e-05, -8.263066411018372e-05, -6.879866123199463e-05, -5.496665835380554e-05, -4.1134655475616455e-05, -2.7302652597427368e-05, -1.3470649719238281e-05, 3.6135315895080566e-07, 1.4193356037139893e-05, 2.802535891532898e-05, 4.1857361793518066e-05, 5.568936467170715e-05, 6.952136754989624e-05, 8.335337042808533e-05, 9.718537330627441e-05, 0.0001110173761844635, 0.0001248493790626526, 0.00013868138194084167, 0.00015251338481903076, 0.00016634538769721985, 0.00018017739057540894, 0.00019400939345359802, 0.0002078413963317871, 0.0002216733992099762, 0.00023550540208816528, 0.00024933740496635437, 0.00026316940784454346, 0.00027700141072273254, 0.00029083341360092163, 0.0003046654164791107, 0.0003184974193572998, 0.0003323294222354889, 0.000346161425113678, 0.00035999342799186707, 0.00037382543087005615, 0.00038765743374824524, 0.0004014894366264343, 0.0004153214395046234, 0.0004291534423828125]}, "gradients/encoder.encoder.layers.2.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0, 3.0, 25.0, 96.0, 249.0, 332.0, 218.0, 72.0, 19.0, 5.0], "bins": [-0.00012052059173583984, -0.00011848937720060349, -0.00011645816266536713, -0.00011442694813013077, -0.00011239573359489441, -0.00011036451905965805, -0.00010833330452442169, -0.00010630208998918533, -0.00010427087545394897, -0.00010223966091871262, -0.00010020844638347626, -9.81772318482399e-05, -9.614601731300354e-05, -9.411480277776718e-05, -9.208358824253082e-05, -9.005237370729446e-05, -8.80211591720581e-05, -8.598994463682175e-05, -8.395873010158539e-05, -8.192751556634903e-05, -7.989630103111267e-05, -7.786508649587631e-05, -7.583387196063995e-05, -7.38026574254036e-05, -7.177144289016724e-05, -6.974022835493088e-05, -6.770901381969452e-05, -6.567779928445816e-05, -6.36465847492218e-05, -6.161537021398544e-05, -5.9584155678749084e-05, -5.7552941143512726e-05, -5.552172660827637e-05, -5.349051207304001e-05, -5.145929753780365e-05, -4.942808300256729e-05, -4.739686846733093e-05, -4.5365653932094574e-05, -4.3334439396858215e-05, -4.130322486162186e-05, -3.92720103263855e-05, -3.724079579114914e-05, -3.520958125591278e-05, -3.317836672067642e-05, -3.1147152185440063e-05, -2.9115937650203705e-05, -2.7084723114967346e-05, -2.5053508579730988e-05, -2.302229404449463e-05, -2.099107950925827e-05, -1.895986497402191e-05, -1.6928650438785553e-05, -1.4897435903549194e-05, -1.2866221368312836e-05, -1.0835006833076477e-05, -8.803792297840118e-06, -6.77257776260376e-06, -4.741363227367401e-06, -2.7101486921310425e-06, -6.789341568946838e-07, 1.3522803783416748e-06, 3.3834949135780334e-06, 5.414709448814392e-06, 7.445923984050751e-06, 9.47713851928711e-06]}, "gradients/encoder.encoder.layers.2.attention.v_proj.weight": {"_type": "histogram", "values": [2.0, 2.0, 0.0, 2.0, 2.0, 0.0, 0.0, 2.0, 2.0, 5.0, 5.0, 7.0, 10.0, 18.0, 29.0, 40.0, 57.0, 113.0, 165.0, 251.0, 411.0, 735.0, 1419.0, 3091.0, 6696.0, 15933.0, 45948.0, 698864.0, 211462.0, 38009.0, 13708.0, 5757.0, 2819.0, 1280.0, 670.0, 413.0, 246.0, 126.0, 97.0, 62.0, 28.0, 23.0, 21.0, 5.0, 13.0, 7.0, 3.0, 2.0, 5.0, 4.0, 2.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.310773849487305e-05, -5.120597779750824e-05, -4.930421710014343e-05, -4.7402456402778625e-05, -4.550069570541382e-05, -4.359893500804901e-05, -4.1697174310684204e-05, -3.97954136133194e-05, -3.789365291595459e-05, -3.599189221858978e-05, -3.4090131521224976e-05, -3.218837082386017e-05, -3.028661012649536e-05, -2.8384849429130554e-05, -2.6483088731765747e-05, -2.458132803440094e-05, -2.2679567337036133e-05, -2.0777806639671326e-05, -1.887604594230652e-05, -1.697428524494171e-05, -1.5072524547576904e-05, -1.3170763850212097e-05, -1.126900315284729e-05, -9.367242455482483e-06, -7.465481758117676e-06, -5.563721060752869e-06, -3.6619603633880615e-06, -1.7601996660232544e-06, 1.4156103134155273e-07, 2.04332172870636e-06, 3.945082426071167e-06, 5.846843123435974e-06, 7.748603820800781e-06, 9.650364518165588e-06, 1.1552125215530396e-05, 1.3453885912895203e-05, 1.535564661026001e-05, 1.7257407307624817e-05, 1.9159168004989624e-05, 2.106092870235443e-05, 2.2962689399719238e-05, 2.4864450097084045e-05, 2.6766210794448853e-05, 2.866797149181366e-05, 3.056973218917847e-05, 3.2471492886543274e-05, 3.437325358390808e-05, 3.627501428127289e-05, 3.8176774978637695e-05, 4.00785356760025e-05, 4.198029637336731e-05, 4.388205707073212e-05, 4.5783817768096924e-05, 4.768557846546173e-05, 4.958733916282654e-05, 5.1489099860191345e-05, 5.339086055755615e-05, 5.529262125492096e-05, 5.7194381952285767e-05, 5.9096142649650574e-05, 6.099790334701538e-05, 6.289966404438019e-05, 6.4801424741745e-05, 6.67031854391098e-05, 6.860494613647461e-05]}, "gradients/encoder.encoder.layers.2.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0, 2.0, 4.0, 6.0, 7.0, 6.0, 8.0, 13.0, 12.0, 15.0, 7.0, 21.0, 27.0, 35.0, 42.0, 52.0, 125.0, 286.0, 66.0, 55.0, 35.0, 42.0, 35.0, 31.0, 24.0, 11.0, 11.0, 10.0, 9.0, 3.0, 7.0, 1.0, 5.0, 0.0, 1.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.500980377197266e-05, -9.245332330465317e-05, -8.989684283733368e-05, -8.734036237001419e-05, -8.47838819026947e-05, -8.222740143537521e-05, -7.967092096805573e-05, -7.711444050073624e-05, -7.455796003341675e-05, -7.200147956609726e-05, -6.944499909877777e-05, -6.688851863145828e-05, -6.43320381641388e-05, -6.17755576968193e-05, -5.921907722949982e-05, -5.666259676218033e-05, -5.410611629486084e-05, -5.154963582754135e-05, -4.899315536022186e-05, -4.6436674892902374e-05, -4.3880194425582886e-05, -4.13237139582634e-05, -3.876723349094391e-05, -3.621075302362442e-05, -3.365427255630493e-05, -3.109779208898544e-05, -2.8541311621665955e-05, -2.5984831154346466e-05, -2.3428350687026978e-05, -2.087187021970749e-05, -1.8315389752388e-05, -1.5758909285068512e-05, -1.3202428817749023e-05, -1.0645948350429535e-05, -8.089467883110046e-06, -5.532987415790558e-06, -2.9765069484710693e-06, -4.200264811515808e-07, 2.1364539861679077e-06, 4.692934453487396e-06, 7.249414920806885e-06, 9.805895388126373e-06, 1.2362375855445862e-05, 1.491885632276535e-05, 1.747533679008484e-05, 2.0031817257404327e-05, 2.2588297724723816e-05, 2.5144778192043304e-05, 2.7701258659362793e-05, 3.025773912668228e-05, 3.281421959400177e-05, 3.537070006132126e-05, 3.792718052864075e-05, 4.0483660995960236e-05, 4.3040141463279724e-05, 4.559662193059921e-05, 4.81531023979187e-05, 5.070958286523819e-05, 5.326606333255768e-05, 5.582254379987717e-05, 5.8379024267196655e-05, 6.0935504734516144e-05, 6.349198520183563e-05, 6.604846566915512e-05, 6.860494613647461e-05]}, "gradients/encoder.encoder.layers.2.attention.k_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 2.0, 0.0, 1.0, 1.0, 2.0, 3.0, 3.0, 1.0, 2.0, 7.0, 13.0, 16.0, 27.0, 42.0, 52.0, 102.0, 92.0, 203.0, 334.0, 765.0, 1128.0, 2937.0, 5497.0, 20794.0, 69450.0, 845919.0, 69105.0, 20689.0, 5553.0, 3080.0, 1315.0, 514.0, 377.0, 178.0, 128.0, 71.0, 52.0, 31.0, 20.0, 18.0, 22.0, 9.0, 6.0, 2.0, 4.0, 3.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-7.68899917602539e-06, -7.418915629386902e-06, -7.148832082748413e-06, -6.878748536109924e-06, -6.6086649894714355e-06, -6.338581442832947e-06, -6.068497896194458e-06, -5.798414349555969e-06, -5.5283308029174805e-06, -5.258247256278992e-06, -4.988163709640503e-06, -4.718080163002014e-06, -4.447996616363525e-06, -4.177913069725037e-06, -3.907829523086548e-06, -3.637745976448059e-06, -3.3676624298095703e-06, -3.0975788831710815e-06, -2.8274953365325928e-06, -2.557411789894104e-06, -2.2873282432556152e-06, -2.0172446966171265e-06, -1.7471611499786377e-06, -1.477077603340149e-06, -1.2069940567016602e-06, -9.369105100631714e-07, -6.668269634246826e-07, -3.9674341678619385e-07, -1.2665987014770508e-07, 1.434236764907837e-07, 4.1350722312927246e-07, 6.835907697677612e-07, 9.5367431640625e-07, 1.2237578630447388e-06, 1.4938414096832275e-06, 1.7639249563217163e-06, 2.034008502960205e-06, 2.304092049598694e-06, 2.5741755962371826e-06, 2.8442591428756714e-06, 3.11434268951416e-06, 3.384426236152649e-06, 3.6545097827911377e-06, 3.9245933294296265e-06, 4.194676876068115e-06, 4.464760422706604e-06, 4.734843969345093e-06, 5.0049275159835815e-06, 5.27501106262207e-06, 5.545094609260559e-06, 5.815178155899048e-06, 6.085261702537537e-06, 6.355345249176025e-06, 6.625428795814514e-06, 6.895512342453003e-06, 7.165595889091492e-06, 7.4356794357299805e-06, 7.70576298236847e-06, 7.975846529006958e-06, 8.245930075645447e-06, 8.516013622283936e-06, 8.786097168922424e-06, 9.056180715560913e-06, 9.326264262199402e-06, 9.59634780883789e-06]}, "gradients/encoder.encoder.layers.2.attention.k_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0, 1.0, 1.0, 2.0, 1.0, 2.0, 5.0, 1.0, 5.0, 5.0, 3.0, 11.0, 5.0, 3.0, 8.0, 6.0, 20.0, 19.0, 36.0, 42.0, 51.0, 76.0, 308.0, 128.0, 73.0, 62.0, 28.0, 35.0, 16.0, 15.0, 5.0, 9.0, 4.0, 5.0, 2.0, 4.0, 4.0, 1.0, 3.0, 1.0, 2.0, 2.0, 0.0, 2.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-5.424022674560547e-06, -5.2480027079582214e-06, -5.071982741355896e-06, -4.8959627747535706e-06, -4.719942808151245e-06, -4.54392284154892e-06, -4.367902874946594e-06, -4.191882908344269e-06, -4.015862941741943e-06, -3.839842975139618e-06, -3.6638230085372925e-06, -3.487803041934967e-06, -3.3117830753326416e-06, -3.135763108730316e-06, -2.9597431421279907e-06, -2.7837231755256653e-06, -2.60770320892334e-06, -2.4316832423210144e-06, -2.255663275718689e-06, -2.0796433091163635e-06, -1.903623342514038e-06, -1.7276033759117126e-06, -1.5515834093093872e-06, -1.3755634427070618e-06, -1.1995434761047363e-06, -1.0235235095024109e-06, -8.475035429000854e-07, -6.7148357629776e-07, -4.954636096954346e-07, -3.1944364309310913e-07, -1.434236764907837e-07, 3.259629011154175e-08, 2.086162567138672e-07, 3.8463622331619263e-07, 5.606561899185181e-07, 7.366761565208435e-07, 9.126961231231689e-07, 1.0887160897254944e-06, 1.2647360563278198e-06, 1.4407560229301453e-06, 1.6167759895324707e-06, 1.7927959561347961e-06, 1.9688159227371216e-06, 2.144835889339447e-06, 2.3208558559417725e-06, 2.496875822544098e-06, 2.6728957891464233e-06, 2.8489157557487488e-06, 3.0249357223510742e-06, 3.2009556889533997e-06, 3.376975655555725e-06, 3.5529956221580505e-06, 3.729015588760376e-06, 3.905035555362701e-06, 4.081055521965027e-06, 4.257075488567352e-06, 4.433095455169678e-06, 4.609115421772003e-06, 4.785135388374329e-06, 4.961155354976654e-06, 5.1371753215789795e-06, 5.313195288181305e-06, 5.48921525478363e-06, 5.665235221385956e-06, 5.841255187988281e-06]}, "gradients/encoder.encoder.layers.2.attention.q_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 2.0, 5.0, 2.0, 9.0, 4.0, 14.0, 23.0, 24.0, 32.0, 61.0, 55.0, 128.0, 212.0, 333.0, 589.0, 1127.0, 2114.0, 4348.0, 10687.0, 33298.0, 114723.0, 791944.0, 60477.0, 16345.0, 6104.0, 2685.0, 1355.0, 709.0, 445.0, 253.0, 146.0, 88.0, 70.0, 44.0, 33.0, 25.0, 16.0, 10.0, 7.0, 5.0, 7.0, 3.0, 3.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.417533874511719e-06, -9.125098586082458e-06, -8.832663297653198e-06, -8.540228009223938e-06, -8.247792720794678e-06, -7.955357432365417e-06, -7.662922143936157e-06, -7.370486855506897e-06, -7.078051567077637e-06, -6.7856162786483765e-06, -6.493180990219116e-06, -6.200745701789856e-06, -5.908310413360596e-06, -5.6158751249313354e-06, -5.323439836502075e-06, -5.031004548072815e-06, -4.738569259643555e-06, -4.4461339712142944e-06, -4.153698682785034e-06, -3.861263394355774e-06, -3.5688281059265137e-06, -3.2763928174972534e-06, -2.983957529067993e-06, -2.691522240638733e-06, -2.3990869522094727e-06, -2.1066516637802124e-06, -1.8142163753509521e-06, -1.521781086921692e-06, -1.2293457984924316e-06, -9.369105100631714e-07, -6.444752216339111e-07, -3.520399332046509e-07, -5.960464477539063e-08, 2.3283064365386963e-07, 5.252659320831299e-07, 8.177012205123901e-07, 1.1101365089416504e-06, 1.4025717973709106e-06, 1.695007085800171e-06, 1.987442374229431e-06, 2.2798776626586914e-06, 2.5723129510879517e-06, 2.864748239517212e-06, 3.157183527946472e-06, 3.4496188163757324e-06, 3.7420541048049927e-06, 4.034489393234253e-06, 4.326924681663513e-06, 4.6193599700927734e-06, 4.911795258522034e-06, 5.204230546951294e-06, 5.496665835380554e-06, 5.7891011238098145e-06, 6.081536412239075e-06, 6.373971700668335e-06, 6.666406989097595e-06, 6.9588422775268555e-06, 7.251277565956116e-06, 7.543712854385376e-06, 7.836148142814636e-06, 8.128583431243896e-06, 8.421018719673157e-06, 8.713454008102417e-06, 9.005889296531677e-06, 9.298324584960938e-06]}, "gradients/encoder.encoder.layers.2.attention.q_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 1.0, 2.0, 1.0, 3.0, 1.0, 2.0, 5.0, 2.0, 1.0, 2.0, 2.0, 9.0, 8.0, 5.0, 11.0, 10.0, 13.0, 22.0, 27.0, 16.0, 40.0, 40.0, 63.0, 173.0, 210.0, 91.0, 42.0, 38.0, 30.0, 28.0, 26.0, 19.0, 13.0, 17.0, 8.0, 7.0, 2.0, 4.0, 6.0, 3.0, 5.0, 5.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-9.238719940185547e-06, -8.976086974143982e-06, -8.713454008102417e-06, -8.450821042060852e-06, -8.188188076019287e-06, -7.925555109977722e-06, -7.662922143936157e-06, -7.400289177894592e-06, -7.137656211853027e-06, -6.875023245811462e-06, -6.6123902797698975e-06, -6.3497573137283325e-06, -6.087124347686768e-06, -5.824491381645203e-06, -5.561858415603638e-06, -5.299225449562073e-06, -5.036592483520508e-06, -4.773959517478943e-06, -4.511326551437378e-06, -4.248693585395813e-06, -3.986060619354248e-06, -3.723427653312683e-06, -3.460794687271118e-06, -3.1981617212295532e-06, -2.9355287551879883e-06, -2.6728957891464233e-06, -2.4102628231048584e-06, -2.1476298570632935e-06, -1.8849968910217285e-06, -1.6223639249801636e-06, -1.3597309589385986e-06, -1.0970979928970337e-06, -8.344650268554688e-07, -5.718320608139038e-07, -3.0919909477233887e-07, -4.6566128730773926e-08, 2.1606683731079102e-07, 4.78699803352356e-07, 7.413327693939209e-07, 1.0039657354354858e-06, 1.2665987014770508e-06, 1.5292316675186157e-06, 1.7918646335601807e-06, 2.0544975996017456e-06, 2.3171305656433105e-06, 2.5797635316848755e-06, 2.8423964977264404e-06, 3.1050294637680054e-06, 3.3676624298095703e-06, 3.6302953958511353e-06, 3.8929283618927e-06, 4.155561327934265e-06, 4.41819429397583e-06, 4.680827260017395e-06, 4.94346022605896e-06, 5.206093192100525e-06, 5.46872615814209e-06, 5.731359124183655e-06, 5.99399209022522e-06, 6.256625056266785e-06, 6.51925802230835e-06, 6.7818909883499146e-06, 7.0445239543914795e-06, 7.3071569204330444e-06, 7.569789886474609e-06]}, "gradients/encoder.encoder.layers.2.layer_norm.weight": {"_type": "histogram", "values": [3.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 3.0, 4.0, 1.0, 1.0, 5.0, 7.0, 9.0, 14.0, 9.0, 18.0, 17.0, 57.0, 81.0, 137.0, 312.0, 113.0, 76.0, 50.0, 27.0, 28.0, 8.0, 9.0, 7.0, 8.0, 3.0, 2.0, 0.0, 2.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00024026446044445038, -0.0002307893882971257, -0.00022131431614980102, -0.00021183924400247633, -0.00020236417185515165, -0.00019288909970782697, -0.0001834140275605023, -0.0001739389554131776, -0.00016446388326585293, -0.00015498881111852825, -0.00014551373897120357, -0.00013603866682387888, -0.0001265635946765542, -0.00011708852252922952, -0.00010761345038190484, -9.813837823458016e-05, -8.866330608725548e-05, -7.91882339399308e-05, -6.971316179260612e-05, -6.0238089645281434e-05, -5.076301749795675e-05, -4.128794535063207e-05, -3.181287320330739e-05, -2.233780105598271e-05, -1.2862728908658028e-05, -3.3876567613333464e-06, 6.087415385991335e-06, 1.5562487533316016e-05, 2.5037559680640697e-05, 3.451263182796538e-05, 4.398770397529006e-05, 5.346277612261474e-05, 6.293787737376988e-05, 7.241294952109456e-05, 8.188802166841924e-05, 9.136309381574392e-05, 0.0001008381659630686, 0.00011031323811039329, 0.00011978831025771797, 0.00012926338240504265, 0.00013873845455236733, 0.000148213526699692, 0.0001576885988470167, 0.00016716367099434137, 0.00017663874314166605, 0.00018611381528899074, 0.00019558888743631542, 0.0002050639595836401, 0.00021453903173096478, 0.00022401410387828946, 0.00023348917602561414, 0.00024296424817293882, 0.0002524393203202635, 0.0002619143924675882, 0.00027138946461491287, 0.00028086453676223755, 0.00029033960890956223, 0.0002998146810568869, 0.0003092897532042116, 0.0003187648253515363, 0.00032823989749886096, 0.00033771496964618564, 0.0003471900417935103, 0.000356665113940835, 0.0003661401860881597]}, "gradients/encoder.encoder.layers.2.layer_norm.bias": {"_type": "histogram", "values": [2.0, 2.0, 2.0, 1.0, 3.0, 11.0, 10.0, 21.0, 26.0, 30.0, 33.0, 52.0, 67.0, 83.0, 145.0, 184.0, 73.0, 80.0, 51.0, 33.0, 34.0, 24.0, 24.0, 10.0, 8.0, 7.0, 4.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00018531084060668945, -0.00017300061881542206, -0.00016069039702415466, -0.00014838017523288727, -0.00013606995344161987, -0.00012375973165035248, -0.00011144950985908508, -9.913928806781769e-05, -8.682906627655029e-05, -7.45188444852829e-05, -6.22086226940155e-05, -4.989840090274811e-05, -3.758817911148071e-05, -2.5277957320213318e-05, -1.2967735528945923e-05, -6.575137376785278e-07, 1.1652708053588867e-05, 2.3962929844856262e-05, 3.627315163612366e-05, 4.858337342739105e-05, 6.089359521865845e-05, 7.320381700992584e-05, 8.551403880119324e-05, 9.782426059246063e-05, 0.00011013448238372803, 0.00012244470417499542, 0.00013475492596626282, 0.0001470651477575302, 0.0001593753695487976, 0.000171685591340065, 0.0001839958131313324, 0.0001963060349225998, 0.0002086162567138672, 0.00022092647850513458, 0.00023323670029640198, 0.00024554692208766937, 0.00025785714387893677, 0.00027016736567020416, 0.00028247758746147156, 0.00029478780925273895, 0.00030709803104400635, 0.00031940825283527374, 0.00033171847462654114, 0.00034402869641780853, 0.00035633891820907593, 0.0003686491400003433, 0.0003809593617916107, 0.0003932695835828781, 0.0004055798053741455, 0.0004178900271654129, 0.0004302002489566803, 0.0004425104707479477, 0.0004548206925392151, 0.0004671309143304825, 0.0004794411361217499, 0.0004917513579130173, 0.0005040615797042847, 0.0005163718014955521, 0.0005286820232868195, 0.0005409922450780869, 0.0005533024668693542, 0.0005656126886606216, 0.000577922910451889, 0.0005902331322431564, 0.0006025433540344238]}, "gradients/encoder.encoder.layers.1.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 3.0, 1.0, 2.0, 1.0, 0.0, 2.0, 0.0, 1.0, 4.0, 4.0, 2.0, 11.0, 4.0, 7.0, 6.0, 8.0, 19.0, 24.0, 56.0, 130.0, 1513.0, 4176105.0, 14535.0, 1307.0, 424.0, 83.0, 23.0, 12.0, 2.0, 1.0, 1.0, 1.0, 2.0, 0.0, 0.0, 1.0], "bins": [-0.0003325939178466797, -0.00032590795308351517, -0.00031922198832035065, -0.0003125360235571861, -0.0003058500587940216, -0.0002991640940308571, -0.00029247812926769257, -0.00028579216450452805, -0.0002791061997413635, -0.000272420234978199, -0.0002657342702150345, -0.00025904830545186996, -0.00025236234068870544, -0.0002456763759255409, -0.0002389904111623764, -0.00023230444639921188, -0.00022561848163604736, -0.00021893251687288284, -0.00021224655210971832, -0.0002055605873465538, -0.00019887462258338928, -0.00019218865782022476, -0.00018550269305706024, -0.00017881672829389572, -0.0001721307635307312, -0.00016544479876756668, -0.00015875883400440216, -0.00015207286924123764, -0.00014538690447807312, -0.0001387009397149086, -0.00013201497495174408, -0.00012532901018857956, -0.00011864304542541504, -0.00011195708066225052, -0.000105271115899086, -9.858515113592148e-05, -9.189918637275696e-05, -8.521322160959244e-05, -7.852725684642792e-05, -7.18412920832634e-05, -6.515532732009888e-05, -5.846936255693436e-05, -5.1783397793769836e-05, -4.5097433030605316e-05, -3.8411468267440796e-05, -3.1725503504276276e-05, -2.5039538741111755e-05, -1.8353573977947235e-05, -1.1667609214782715e-05, -4.981644451618195e-06, 1.7043203115463257e-06, 8.390285074710846e-06, 1.5076249837875366e-05, 2.1762214601039886e-05, 2.8448179364204407e-05, 3.513414412736893e-05, 4.182010889053345e-05, 4.850607365369797e-05, 5.519203841686249e-05, 6.187800318002701e-05, 6.856396794319153e-05, 7.524993270635605e-05, 8.193589746952057e-05, 8.862186223268509e-05, 9.530782699584961e-05]}, "gradients/encoder.encoder.layers.1.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 5.0, 15.0, 46.0, 138.0, 267.0, 253.0, 187.0, 70.0, 28.0, 6.0, 5.0], "bins": [-0.00010329484939575195, -0.000101516954600811, -9.973905980587006e-05, -9.796116501092911e-05, -9.618327021598816e-05, -9.440537542104721e-05, -9.262748062610626e-05, -9.084958583116531e-05, -8.907169103622437e-05, -8.729379624128342e-05, -8.551590144634247e-05, -8.373800665140152e-05, -8.196011185646057e-05, -8.018221706151962e-05, -7.840432226657867e-05, -7.662642747163773e-05, -7.484853267669678e-05, -7.307063788175583e-05, -7.129274308681488e-05, -6.951484829187393e-05, -6.773695349693298e-05, -6.595905870199203e-05, -6.418116390705109e-05, -6.240326911211014e-05, -6.062537431716919e-05, -5.884747952222824e-05, -5.706958472728729e-05, -5.5291689932346344e-05, -5.3513795137405396e-05, -5.173590034246445e-05, -4.99580055475235e-05, -4.818011075258255e-05, -4.64022159576416e-05, -4.462432116270065e-05, -4.2846426367759705e-05, -4.1068531572818756e-05, -3.929063677787781e-05, -3.751274198293686e-05, -3.573484718799591e-05, -3.395695239305496e-05, -3.2179057598114014e-05, -3.0401162803173065e-05, -2.8623268008232117e-05, -2.6845373213291168e-05, -2.506747841835022e-05, -2.328958362340927e-05, -2.1511688828468323e-05, -1.9733794033527374e-05, -1.7955899238586426e-05, -1.6178004443645477e-05, -1.4400109648704529e-05, -1.262221485376358e-05, -1.0844320058822632e-05, -9.066425263881683e-06, -7.288530468940735e-06, -5.510635673999786e-06, -3.732740879058838e-06, -1.9548460841178894e-06, -1.7695128917694092e-07, 1.6009435057640076e-06, 3.378838300704956e-06, 5.1567330956459045e-06, 6.934627890586853e-06, 8.712522685527802e-06, 1.049041748046875e-05]}, "gradients/encoder.encoder.layers.1.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 3.0, 2.0, 1.0, 8.0, 8.0, 16.0, 23.0, 35.0, 52.0, 78.0, 104.0, 189.0, 431.0, 978.0, 2852.0, 9552.0, 65717.0, 4011482.0, 86208.0, 11175.0, 3122.0, 1152.0, 493.0, 240.0, 137.0, 72.0, 50.0, 47.0, 22.0, 14.0, 12.0, 8.0, 5.0, 0.0, 4.0, 1.0, 0.0, 1.0, 0.0, 3.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.316734313964844e-05, -5.167163908481598e-05, -5.017593502998352e-05, -4.868023097515106e-05, -4.7184526920318604e-05, -4.5688822865486145e-05, -4.4193118810653687e-05, -4.269741475582123e-05, -4.120171070098877e-05, -3.970600664615631e-05, -3.821030259132385e-05, -3.6714598536491394e-05, -3.5218894481658936e-05, -3.372319042682648e-05, -3.222748637199402e-05, -3.073178231716156e-05, -2.92360782623291e-05, -2.7740374207496643e-05, -2.6244670152664185e-05, -2.4748966097831726e-05, -2.3253262042999268e-05, -2.175755798816681e-05, -2.026185393333435e-05, -1.8766149878501892e-05, -1.7270445823669434e-05, -1.5774741768836975e-05, -1.4279037714004517e-05, -1.2783333659172058e-05, -1.12876296043396e-05, -9.791925549507141e-06, -8.296221494674683e-06, -6.800517439842224e-06, -5.304813385009766e-06, -3.809109330177307e-06, -2.3134052753448486e-06, -8.177012205123901e-07, 6.780028343200684e-07, 2.173706889152527e-06, 3.6694109439849854e-06, 5.165114998817444e-06, 6.660819053649902e-06, 8.15652310848236e-06, 9.65222716331482e-06, 1.1147931218147278e-05, 1.2643635272979736e-05, 1.4139339327812195e-05, 1.5635043382644653e-05, 1.7130747437477112e-05, 1.862645149230957e-05, 2.012215554714203e-05, 2.1617859601974487e-05, 2.3113563656806946e-05, 2.4609267711639404e-05, 2.6104971766471863e-05, 2.760067582130432e-05, 2.909637987613678e-05, 3.059208393096924e-05, 3.20877879858017e-05, 3.3583492040634155e-05, 3.5079196095466614e-05, 3.657490015029907e-05, 3.807060420513153e-05, 3.956630825996399e-05, 4.106201231479645e-05, 4.2557716369628906e-05]}, "gradients/encoder.encoder.layers.1.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 4.0, 3.0, 2.0, 0.0, 5.0, 4.0, 8.0, 12.0, 13.0, 16.0, 47.0, 147.0, 615.0, 2180.0, 689.0, 194.0, 49.0, 27.0, 23.0, 11.0, 4.0, 7.0, 9.0, 6.0, 2.0, 4.0, 3.0, 2.0, 0.0, 0.0, 2.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-5.1021575927734375e-05, -4.9627386033535004e-05, -4.823319613933563e-05, -4.683900624513626e-05, -4.544481635093689e-05, -4.405062645673752e-05, -4.265643656253815e-05, -4.1262246668338776e-05, -3.9868056774139404e-05, -3.847386687994003e-05, -3.707967698574066e-05, -3.568548709154129e-05, -3.429129719734192e-05, -3.289710730314255e-05, -3.1502917408943176e-05, -3.0108727514743805e-05, -2.8714537620544434e-05, -2.7320347726345062e-05, -2.592615783214569e-05, -2.453196793794632e-05, -2.3137778043746948e-05, -2.1743588149547577e-05, -2.0349398255348206e-05, -1.8955208361148834e-05, -1.7561018466949463e-05, -1.616682857275009e-05, -1.477263867855072e-05, -1.3378448784351349e-05, -1.1984258890151978e-05, -1.0590068995952606e-05, -9.195879101753235e-06, -7.801689207553864e-06, -6.407499313354492e-06, -5.013309419155121e-06, -3.6191195249557495e-06, -2.224929630756378e-06, -8.307397365570068e-07, 5.634501576423645e-07, 1.957640051841736e-06, 3.351829946041107e-06, 4.7460198402404785e-06, 6.14020973443985e-06, 7.534399628639221e-06, 8.928589522838593e-06, 1.0322779417037964e-05, 1.1716969311237335e-05, 1.3111159205436707e-05, 1.4505349099636078e-05, 1.589953899383545e-05, 1.729372888803482e-05, 1.8687918782234192e-05, 2.0082108676433563e-05, 2.1476298570632935e-05, 2.2870488464832306e-05, 2.4264678359031677e-05, 2.565886825323105e-05, 2.705305814743042e-05, 2.844724804162979e-05, 2.9841437935829163e-05, 3.1235627830028534e-05, 3.2629817724227905e-05, 3.4024007618427277e-05, 3.541819751262665e-05, 3.681238740682602e-05, 3.820657730102539e-05]}, "gradients/encoder.encoder.layers.1.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 0.0, 2.0, 2.0, 3.0, 17.0, 32.0, 94.0, 264.0, 372.0, 123.0, 58.0, 22.0, 12.0, 10.0, 1.0, 2.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0001865794329205528, -0.00017427325656171888, -0.00016196706565096974, -0.00014966088929213583, -0.0001373546983813867, -0.0001250485220225528, -0.00011274233838776127, -0.00010043615475296974, -8.812997111817822e-05, -7.58237874833867e-05, -6.351760384859517e-05, -5.1211423851782456e-05, -3.890524021699093e-05, -2.6599060220178217e-05, -1.4292876585386693e-05, -1.9866929505951703e-06, 1.0319490684196353e-05, 2.2625674318987876e-05, 3.49318579537794e-05, 4.7238037950592116e-05, 5.954422158538364e-05, 7.185040158219635e-05, 8.415658521698788e-05, 9.64627688517794e-05, 0.00010876895248657092, 0.00012107513612136245, 0.00013338131248019636, 0.0001456875033909455, 0.0001579936797497794, 0.00017029987066052854, 0.00018260604701936245, 0.00019491222337819636, 0.00020721842884086072, 0.00021952460519969463, 0.00023183079611044377, 0.00024413697246927768, 0.0002564431633800268, 0.0002687493397388607, 0.00028105551609769464, 0.000293361721560359, 0.0003056678979191929, 0.0003179740742780268, 0.00033028025063686073, 0.0003425864560995251, 0.000354892632458359, 0.0003671988088171929, 0.0003795049851760268, 0.0003918111906386912, 0.00040411733789369464, 0.00041642351425252855, 0.00042872969061136246, 0.0004410358960740268, 0.00045334207243286073, 0.00046564824879169464, 0.00047795442515052855, 0.0004902606015093625, 0.0005025668069720268, 0.0005148730124346912, 0.0005271791596896946, 0.000539485365152359, 0.0005517915124073625, 0.0005640977178700268, 0.0005764039233326912, 0.0005887100705876946, 0.000601016276050359]}, "gradients/encoder.encoder.layers.1.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 3.0, 5.0, 1.0, 0.0, 5.0, 4.0, 6.0, 6.0, 8.0, 6.0, 15.0, 12.0, 15.0, 8.0, 12.0, 14.0, 20.0, 27.0, 37.0, 44.0, 28.0, 48.0, 36.0, 49.0, 50.0, 54.0, 64.0, 50.0, 52.0, 47.0, 42.0, 27.0, 36.0, 31.0, 30.0, 19.0, 17.0, 21.0, 12.0, 12.0, 8.0, 11.0, 6.0, 7.0, 0.0, 1.0, 5.0, 0.0, 1.0, 2.0, 0.0, 1.0, 2.0, 3.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-8.279085159301758e-05, -7.971841841936111e-05, -7.664598524570465e-05, -7.357355207204819e-05, -7.050111889839172e-05, -6.742868572473526e-05, -6.43562525510788e-05, -6.128381937742233e-05, -5.821138620376587e-05, -5.5138953030109406e-05, -5.206651985645294e-05, -4.899408668279648e-05, -4.5921653509140015e-05, -4.284922033548355e-05, -3.977678716182709e-05, -3.6704353988170624e-05, -3.363192081451416e-05, -3.0559487640857697e-05, -2.7487054467201233e-05, -2.441462129354477e-05, -2.1342188119888306e-05, -1.8269754946231842e-05, -1.5197321772575378e-05, -1.2124888598918915e-05, -9.052455425262451e-06, -5.9800222516059875e-06, -2.907589077949524e-06, 1.648440957069397e-07, 3.2372772693634033e-06, 6.309710443019867e-06, 9.38214361667633e-06, 1.2454576790332794e-05, 1.5527009963989258e-05, 1.859944313764572e-05, 2.1671876311302185e-05, 2.474430948495865e-05, 2.7816742658615112e-05, 3.0889175832271576e-05, 3.396160900592804e-05, 3.70340421795845e-05, 4.010647535324097e-05, 4.317890852689743e-05, 4.6251341700553894e-05, 4.932377487421036e-05, 5.239620804786682e-05, 5.5468641221523285e-05, 5.854107439517975e-05, 6.161350756883621e-05, 6.468594074249268e-05, 6.775837391614914e-05, 7.08308070898056e-05, 7.390324026346207e-05, 7.697567343711853e-05, 8.0048106610775e-05, 8.312053978443146e-05, 8.619297295808792e-05, 8.926540613174438e-05, 9.233783930540085e-05, 9.541027247905731e-05, 9.848270565271378e-05, 0.00010155513882637024, 0.0001046275720000267, 0.00010770000517368317, 0.00011077243834733963, 0.0001138448715209961]}, "gradients/encoder.encoder.layers.1.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 5.0, 3.0, 1.0, 4.0, 2.0, 1.0, 3.0, 6.0, 10.0, 12.0, 11.0, 20.0, 26.0, 30.0, 48.0, 54.0, 79.0, 255.0, 6876.0, 1018548.0, 21713.0, 492.0, 101.0, 58.0, 44.0, 43.0, 28.0, 20.0, 13.0, 11.0, 13.0, 9.0, 8.0, 5.0, 3.0, 5.0, 3.0, 2.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.00024628639221191406, -0.00023895874619483948, -0.0002316311001777649, -0.0002243034541606903, -0.00021697580814361572, -0.00020964816212654114, -0.00020232051610946655, -0.00019499287009239197, -0.00018766522407531738, -0.0001803375780582428, -0.0001730099320411682, -0.00016568228602409363, -0.00015835464000701904, -0.00015102699398994446, -0.00014369934797286987, -0.0001363717019557953, -0.0001290440559387207, -0.00012171640992164612, -0.00011438876390457153, -0.00010706111788749695, -9.973347187042236e-05, -9.240582585334778e-05, -8.50781798362732e-05, -7.775053381919861e-05, -7.042288780212402e-05, -6.309524178504944e-05, -5.5767595767974854e-05, -4.843994975090027e-05, -4.1112303733825684e-05, -3.37846577167511e-05, -2.6457011699676514e-05, -1.912936568260193e-05, -1.1801719665527344e-05, -4.474073648452759e-06, 2.853572368621826e-06, 1.0181218385696411e-05, 1.7508864402770996e-05, 2.483651041984558e-05, 3.2164156436920166e-05, 3.949180245399475e-05, 4.6819448471069336e-05, 5.414709448814392e-05, 6.14747405052185e-05, 6.880238652229309e-05, 7.613003253936768e-05, 8.345767855644226e-05, 9.078532457351685e-05, 9.811297059059143e-05, 0.00010544061660766602, 0.0001127682626247406, 0.00012009590864181519, 0.00012742355465888977, 0.00013475120067596436, 0.00014207884669303894, 0.00014940649271011353, 0.0001567341387271881, 0.0001640617847442627, 0.00017138943076133728, 0.00017871707677841187, 0.00018604472279548645, 0.00019337236881256104, 0.00020070001482963562, 0.0002080276608467102, 0.0002153553068637848, 0.00022268295288085938]}, "gradients/encoder.encoder.layers.1.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 1.0, 9.0, 33.0, 88.0, 181.0, 241.0, 231.0, 146.0, 57.0, 17.0, 11.0, 3.0], "bins": [-0.00010192394256591797, -0.00010015815496444702, -9.839236736297607e-05, -9.662657976150513e-05, -9.486079216003418e-05, -9.309500455856323e-05, -9.132921695709229e-05, -8.956342935562134e-05, -8.779764175415039e-05, -8.603185415267944e-05, -8.42660665512085e-05, -8.250027894973755e-05, -8.07344913482666e-05, -7.896870374679565e-05, -7.720291614532471e-05, -7.543712854385376e-05, -7.367134094238281e-05, -7.190555334091187e-05, -7.013976573944092e-05, -6.837397813796997e-05, -6.660819053649902e-05, -6.484240293502808e-05, -6.307661533355713e-05, -6.131082773208618e-05, -5.9545040130615234e-05, -5.777925252914429e-05, -5.601346492767334e-05, -5.424767732620239e-05, -5.2481889724731445e-05, -5.07161021232605e-05, -4.895031452178955e-05, -4.7184526920318604e-05, -4.5418739318847656e-05, -4.365295171737671e-05, -4.188716411590576e-05, -4.0121376514434814e-05, -3.835558891296387e-05, -3.658980131149292e-05, -3.482401371002197e-05, -3.3058226108551025e-05, -3.129243850708008e-05, -2.952665090560913e-05, -2.7760863304138184e-05, -2.5995075702667236e-05, -2.422928810119629e-05, -2.2463500499725342e-05, -2.0697712898254395e-05, -1.8931925296783447e-05, -1.71661376953125e-05, -1.5400350093841553e-05, -1.3634562492370605e-05, -1.1868774890899658e-05, -1.0102987289428711e-05, -8.337199687957764e-06, -6.571412086486816e-06, -4.805624485015869e-06, -3.039836883544922e-06, -1.2740492820739746e-06, 4.917383193969727e-07, 2.25752592086792e-06, 4.023313522338867e-06, 5.7891011238098145e-06, 7.554888725280762e-06, 9.320676326751709e-06, 1.1086463928222656e-05]}, "gradients/encoder.encoder.layers.1.attention.v_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 3.0, 2.0, 2.0, 4.0, 5.0, 3.0, 2.0, 15.0, 22.0, 17.0, 21.0, 19.0, 44.0, 67.0, 101.0, 139.0, 215.0, 445.0, 1132.0, 5320.0, 46701.0, 959404.0, 29253.0, 3708.0, 943.0, 365.0, 204.0, 120.0, 78.0, 50.0, 42.0, 28.0, 20.0, 19.0, 12.0, 9.0, 7.0, 9.0, 1.0, 1.0, 3.0, 5.0, 2.0, 3.0, 2.0, 2.0, 1.0], "bins": [-0.00010204315185546875, -9.938608855009079e-05, -9.672902524471283e-05, -9.407196193933487e-05, -9.141489863395691e-05, -8.875783532857895e-05, -8.610077202320099e-05, -8.344370871782303e-05, -8.078664541244507e-05, -7.812958210706711e-05, -7.547251880168915e-05, -7.281545549631119e-05, -7.015839219093323e-05, -6.750132888555527e-05, -6.484426558017731e-05, -6.218720227479935e-05, -5.953013896942139e-05, -5.6873075664043427e-05, -5.4216012358665466e-05, -5.1558949053287506e-05, -4.8901885747909546e-05, -4.6244822442531586e-05, -4.3587759137153625e-05, -4.0930695831775665e-05, -3.8273632526397705e-05, -3.5616569221019745e-05, -3.2959505915641785e-05, -3.0302442610263824e-05, -2.7645379304885864e-05, -2.4988315999507904e-05, -2.2331252694129944e-05, -1.9674189388751984e-05, -1.7017126083374023e-05, -1.4360062777996063e-05, -1.1702999472618103e-05, -9.045936167240143e-06, -6.388872861862183e-06, -3.7318095564842224e-06, -1.0747462511062622e-06, 1.582317054271698e-06, 4.239380359649658e-06, 6.896443665027618e-06, 9.553506970405579e-06, 1.2210570275783539e-05, 1.4867633581161499e-05, 1.752469688653946e-05, 2.018176019191742e-05, 2.283882349729538e-05, 2.549588680267334e-05, 2.81529501080513e-05, 3.081001341342926e-05, 3.346707671880722e-05, 3.612414002418518e-05, 3.878120332956314e-05, 4.14382666349411e-05, 4.409532994031906e-05, 4.675239324569702e-05, 4.940945655107498e-05, 5.206651985645294e-05, 5.47235831618309e-05, 5.738064646720886e-05, 6.003770977258682e-05, 6.269477307796478e-05, 6.535183638334274e-05, 6.80088996887207e-05]}, "gradients/encoder.encoder.layers.1.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 3.0, 0.0, 2.0, 1.0, 2.0, 5.0, 6.0, 4.0, 4.0, 8.0, 8.0, 13.0, 16.0, 12.0, 16.0, 20.0, 21.0, 30.0, 46.0, 65.0, 131.0, 249.0, 92.0, 52.0, 43.0, 33.0, 25.0, 25.0, 14.0, 7.0, 11.0, 17.0, 5.0, 3.0, 5.0, 8.0, 4.0, 4.0, 2.0, 1.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.97834587097168e-05, -5.780719220638275e-05, -5.5830925703048706e-05, -5.385465919971466e-05, -5.1878392696380615e-05, -4.990212619304657e-05, -4.7925859689712524e-05, -4.594959318637848e-05, -4.3973326683044434e-05, -4.199706017971039e-05, -4.002079367637634e-05, -3.80445271730423e-05, -3.606826066970825e-05, -3.4091994166374207e-05, -3.211572766304016e-05, -3.0139461159706116e-05, -2.816319465637207e-05, -2.6186928153038025e-05, -2.421066164970398e-05, -2.2234395146369934e-05, -2.025812864303589e-05, -1.8281862139701843e-05, -1.6305595636367798e-05, -1.4329329133033752e-05, -1.2353062629699707e-05, -1.0376796126365662e-05, -8.400529623031616e-06, -6.424263119697571e-06, -4.447996616363525e-06, -2.47173011302948e-06, -4.954636096954346e-07, 1.4808028936386108e-06, 3.4570693969726562e-06, 5.433335900306702e-06, 7.409602403640747e-06, 9.385868906974792e-06, 1.1362135410308838e-05, 1.3338401913642883e-05, 1.531466841697693e-05, 1.7290934920310974e-05, 1.926720142364502e-05, 2.1243467926979065e-05, 2.321973443031311e-05, 2.5196000933647156e-05, 2.71722674369812e-05, 2.9148533940315247e-05, 3.112480044364929e-05, 3.310106694698334e-05, 3.507733345031738e-05, 3.705359995365143e-05, 3.9029866456985474e-05, 4.100613296031952e-05, 4.2982399463653564e-05, 4.495866596698761e-05, 4.6934932470321655e-05, 4.89111989736557e-05, 5.0887465476989746e-05, 5.286373198032379e-05, 5.483999848365784e-05, 5.681626498699188e-05, 5.879253149032593e-05, 6.076879799365997e-05, 6.274506449699402e-05, 6.472133100032806e-05, 6.669759750366211e-05]}, "gradients/encoder.encoder.layers.1.attention.k_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 7.0, 0.0, 3.0, 3.0, 4.0, 5.0, 7.0, 11.0, 8.0, 17.0, 23.0, 22.0, 23.0, 33.0, 41.0, 39.0, 79.0, 146.0, 270.0, 472.0, 1158.0, 3131.0, 9091.0, 174048.0, 840855.0, 13506.0, 3181.0, 1178.0, 518.0, 210.0, 127.0, 90.0, 64.0, 44.0, 24.0, 22.0, 24.0, 25.0, 13.0, 7.0, 8.0, 5.0, 6.0, 8.0, 4.0, 3.0, 4.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0], "bins": [-1.1742115020751953e-05, -1.138634979724884e-05, -1.1030584573745728e-05, -1.0674819350242615e-05, -1.0319054126739502e-05, -9.96328890323639e-06, -9.607523679733276e-06, -9.251758456230164e-06, -8.89599323272705e-06, -8.540228009223938e-06, -8.184462785720825e-06, -7.828697562217712e-06, -7.4729323387146e-06, -7.117167115211487e-06, -6.761401891708374e-06, -6.405636668205261e-06, -6.0498714447021484e-06, -5.694106221199036e-06, -5.338340997695923e-06, -4.98257577419281e-06, -4.626810550689697e-06, -4.2710453271865845e-06, -3.915280103683472e-06, -3.559514880180359e-06, -3.203749656677246e-06, -2.8479844331741333e-06, -2.4922192096710205e-06, -2.1364539861679077e-06, -1.780688762664795e-06, -1.4249235391616821e-06, -1.0691583156585693e-06, -7.133930921554565e-07, -3.5762786865234375e-07, -1.862645149230957e-09, 3.5390257835388184e-07, 7.096678018569946e-07, 1.0654330253601074e-06, 1.4211982488632202e-06, 1.776963472366333e-06, 2.132728695869446e-06, 2.4884939193725586e-06, 2.8442591428756714e-06, 3.200024366378784e-06, 3.555789589881897e-06, 3.91155481338501e-06, 4.2673200368881226e-06, 4.623085260391235e-06, 4.978850483894348e-06, 5.334615707397461e-06, 5.690380930900574e-06, 6.0461461544036865e-06, 6.401911377906799e-06, 6.757676601409912e-06, 7.113441824913025e-06, 7.469207048416138e-06, 7.82497227191925e-06, 8.180737495422363e-06, 8.536502718925476e-06, 8.892267942428589e-06, 9.248033165931702e-06, 9.603798389434814e-06, 9.959563612937927e-06, 1.031532883644104e-05, 1.0671094059944153e-05, 1.1026859283447266e-05]}, "gradients/encoder.encoder.layers.1.attention.k_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 4.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 3.0, 2.0, 6.0, 6.0, 9.0, 20.0, 18.0, 44.0, 53.0, 199.0, 393.0, 105.0, 52.0, 23.0, 23.0, 11.0, 9.0, 2.0, 7.0, 4.0, 2.0, 5.0, 1.0, 0.0, 2.0, 0.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-8.821487426757812e-06, -8.548609912395477e-06, -8.275732398033142e-06, -8.002854883670807e-06, -7.729977369308472e-06, -7.4570998549461365e-06, -7.184222340583801e-06, -6.911344826221466e-06, -6.638467311859131e-06, -6.365589797496796e-06, -6.0927122831344604e-06, -5.819834768772125e-06, -5.54695725440979e-06, -5.274079740047455e-06, -5.00120222568512e-06, -4.7283247113227844e-06, -4.455447196960449e-06, -4.182569682598114e-06, -3.909692168235779e-06, -3.6368146538734436e-06, -3.3639371395111084e-06, -3.091059625148773e-06, -2.818182110786438e-06, -2.5453045964241028e-06, -2.2724270820617676e-06, -1.9995495676994324e-06, -1.7266720533370972e-06, -1.453794538974762e-06, -1.1809170246124268e-06, -9.080395102500916e-07, -6.351619958877563e-07, -3.6228448152542114e-07, -8.940696716308594e-08, 1.8347054719924927e-07, 4.5634806156158447e-07, 7.292255759239197e-07, 1.0021030902862549e-06, 1.27498060464859e-06, 1.5478581190109253e-06, 1.8207356333732605e-06, 2.0936131477355957e-06, 2.366490662097931e-06, 2.639368176460266e-06, 2.9122456908226013e-06, 3.1851232051849365e-06, 3.4580007195472717e-06, 3.730878233909607e-06, 4.003755748271942e-06, 4.276633262634277e-06, 4.5495107769966125e-06, 4.822388291358948e-06, 5.095265805721283e-06, 5.368143320083618e-06, 5.641020834445953e-06, 5.9138983488082886e-06, 6.186775863170624e-06, 6.459653377532959e-06, 6.732530891895294e-06, 7.005408406257629e-06, 7.278285920619965e-06, 7.5511634349823e-06, 7.824040949344635e-06, 8.09691846370697e-06, 8.369795978069305e-06, 8.64267349243164e-06]}, "gradients/encoder.encoder.layers.1.attention.q_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 3.0, 0.0, 5.0, 3.0, 0.0, 7.0, 8.0, 10.0, 5.0, 13.0, 22.0, 30.0, 39.0, 74.0, 112.0, 214.0, 601.0, 1904.0, 10842.0, 809138.0, 211452.0, 11045.0, 1890.0, 586.0, 239.0, 123.0, 56.0, 40.0, 23.0, 20.0, 16.0, 10.0, 5.0, 7.0, 8.0, 1.0, 4.0, 1.0, 2.0, 3.0, 1.0, 0.0, 2.0, 2.0, 1.0, 3.0], "bins": [-1.5497207641601562e-05, -1.5089288353919983e-05, -1.4681369066238403e-05, -1.4273449778556824e-05, -1.3865530490875244e-05, -1.3457611203193665e-05, -1.3049691915512085e-05, -1.2641772627830505e-05, -1.2233853340148926e-05, -1.1825934052467346e-05, -1.1418014764785767e-05, -1.1010095477104187e-05, -1.0602176189422607e-05, -1.0194256901741028e-05, -9.786337614059448e-06, -9.378418326377869e-06, -8.970499038696289e-06, -8.56257975101471e-06, -8.15466046333313e-06, -7.74674117565155e-06, -7.338821887969971e-06, -6.930902600288391e-06, -6.5229833126068115e-06, -6.115064024925232e-06, -5.707144737243652e-06, -5.299225449562073e-06, -4.891306161880493e-06, -4.4833868741989136e-06, -4.075467586517334e-06, -3.6675482988357544e-06, -3.259629011154175e-06, -2.8517097234725952e-06, -2.4437904357910156e-06, -2.035871148109436e-06, -1.6279518604278564e-06, -1.2200325727462769e-06, -8.121132850646973e-07, -4.041939973831177e-07, 3.725290298461914e-09, 4.116445779800415e-07, 8.195638656616211e-07, 1.2274831533432007e-06, 1.6354024410247803e-06, 2.04332172870636e-06, 2.4512410163879395e-06, 2.859160304069519e-06, 3.2670795917510986e-06, 3.6749988794326782e-06, 4.082918167114258e-06, 4.490837454795837e-06, 4.898756742477417e-06, 5.306676030158997e-06, 5.714595317840576e-06, 6.122514605522156e-06, 6.530433893203735e-06, 6.938353180885315e-06, 7.3462724685668945e-06, 7.754191756248474e-06, 8.162111043930054e-06, 8.570030331611633e-06, 8.977949619293213e-06, 9.385868906974792e-06, 9.793788194656372e-06, 1.0201707482337952e-05, 1.0609626770019531e-05]}, "gradients/encoder.encoder.layers.1.attention.q_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 2.0, 0.0, 2.0, 4.0, 2.0, 10.0, 8.0, 7.0, 7.0, 17.0, 16.0, 22.0, 44.0, 52.0, 85.0, 192.0, 183.0, 110.0, 61.0, 68.0, 33.0, 24.0, 21.0, 15.0, 8.0, 2.0, 3.0, 2.0, 2.0, 2.0, 2.0, 3.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-6.973743438720703e-06, -6.7176297307014465e-06, -6.46151602268219e-06, -6.205402314662933e-06, -5.949288606643677e-06, -5.69317489862442e-06, -5.4370611906051636e-06, -5.180947482585907e-06, -4.92483377456665e-06, -4.668720066547394e-06, -4.412606358528137e-06, -4.156492650508881e-06, -3.900378942489624e-06, -3.6442652344703674e-06, -3.388151526451111e-06, -3.1320378184318542e-06, -2.8759241104125977e-06, -2.619810402393341e-06, -2.3636966943740845e-06, -2.107582986354828e-06, -1.8514692783355713e-06, -1.5953555703163147e-06, -1.339241862297058e-06, -1.0831281542778015e-06, -8.270144462585449e-07, -5.709007382392883e-07, -3.1478703022003174e-07, -5.8673322200775146e-08, 1.9744038581848145e-07, 4.5355409383773804e-07, 7.096678018569946e-07, 9.657815098762512e-07, 1.2218952178955078e-06, 1.4780089259147644e-06, 1.734122633934021e-06, 1.9902363419532776e-06, 2.246350049972534e-06, 2.5024637579917908e-06, 2.7585774660110474e-06, 3.014691174030304e-06, 3.2708048820495605e-06, 3.526918590068817e-06, 3.7830322980880737e-06, 4.03914600610733e-06, 4.295259714126587e-06, 4.5513734221458435e-06, 4.8074871301651e-06, 5.063600838184357e-06, 5.319714546203613e-06, 5.57582825422287e-06, 5.8319419622421265e-06, 6.088055670261383e-06, 6.34416937828064e-06, 6.600283086299896e-06, 6.856396794319153e-06, 7.1125105023384094e-06, 7.368624210357666e-06, 7.624737918376923e-06, 7.88085162639618e-06, 8.136965334415436e-06, 8.393079042434692e-06, 8.649192750453949e-06, 8.905306458473206e-06, 9.161420166492462e-06, 9.417533874511719e-06]}, "gradients/encoder.encoder.layers.1.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 2.0, 4.0, 3.0, 6.0, 28.0, 237.0, 659.0, 59.0, 11.0, 3.0, 3.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0011221261229366064, -0.0010955407051369548, -0.0010689552873373032, -0.0010423698695376515, -0.001015784451738, -0.0009891990339383483, -0.0009626136161386967, -0.0009360281401313841, -0.0009094427223317325, -0.0008828573045320809, -0.0008562718867324293, -0.0008296864689327776, -0.000803101051133126, -0.0007765155751258135, -0.0007499301573261619, -0.0007233447395265102, -0.0006967593217268586, -0.000670173903927207, -0.0006435884861275554, -0.0006170030683279037, -0.0005904176505282521, -0.0005638322327286005, -0.0005372468149289489, -0.0005106613389216363, -0.00048407597932964563, -0.000457490561529994, -0.0004309051437303424, -0.00040431972593069077, -0.0003777342790272087, -0.00035114886122755706, -0.00032456344342790544, -0.00029797799652442336, -0.00027139257872477174, -0.0002448071609251201, -0.00021822172857355326, -0.00019163631077390164, -0.0001650508784223348, -0.00013846546062268317, -0.00011188004282303154, -8.52946104714647e-05, -5.870919267181307e-05, -3.2123767596203834e-05, -5.538346158573404e-06, 2.1047075279057026e-05, 4.763250035466626e-05, 7.42179254302755e-05, 0.00010080334322992712, 0.00012738877558149397, 0.0001539741933811456, 0.00018055961118079722, 0.00020714504353236407, 0.0002337304613320157, 0.00026031589368358254, 0.00028690131148323417, 0.0003134867292828858, 0.0003400721470825374, 0.00036665756488218904, 0.00039324298268184066, 0.0004198284004814923, 0.0004464138182811439, 0.000472999265184626, 0.0004995847120881081, 0.0005261701298877597, 0.0005527555476874113, 0.0005793409654870629]}, "gradients/encoder.encoder.layers.1.layer_norm.bias": {"_type": "histogram", "values": [2.0, 0.0, 3.0, 2.0, 4.0, 3.0, 5.0, 11.0, 6.0, 10.0, 10.0, 19.0, 32.0, 18.0, 37.0, 49.0, 29.0, 60.0, 55.0, 238.0, 111.0, 43.0, 37.0, 43.0, 32.0, 24.0, 26.0, 26.0, 26.0, 16.0, 5.0, 9.0, 11.0, 5.0, 3.0, 0.0, 3.0, 3.0, 1.0, 1.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00014251470565795898, -0.00013531558215618134, -0.0001281164586544037, -0.00012091733515262604, -0.00011371821165084839, -0.00010651908814907074, -9.931996464729309e-05, -9.212084114551544e-05, -8.492171764373779e-05, -7.772259414196014e-05, -7.05234706401825e-05, -6.332434713840485e-05, -5.61252236366272e-05, -4.892610013484955e-05, -4.17269766330719e-05, -3.452785313129425e-05, -2.73287296295166e-05, -2.0129606127738953e-05, -1.2930482625961304e-05, -5.731359124183655e-06, 1.4677643775939941e-06, 8.666887879371643e-06, 1.5866011381149292e-05, 2.306513488292694e-05, 3.026425838470459e-05, 3.746338188648224e-05, 4.466250538825989e-05, 5.186162889003754e-05, 5.9060752391815186e-05, 6.625987589359283e-05, 7.345899939537048e-05, 8.065812289714813e-05, 8.785724639892578e-05, 9.505636990070343e-05, 0.00010225549340248108, 0.00010945461690425873, 0.00011665374040603638, 0.00012385286390781403, 0.00013105198740959167, 0.00013825111091136932, 0.00014545023441314697, 0.00015264935791492462, 0.00015984848141670227, 0.00016704760491847992, 0.00017424672842025757, 0.00018144585192203522, 0.00018864497542381287, 0.00019584409892559052, 0.00020304322242736816, 0.0002102423459291458, 0.00021744146943092346, 0.0002246405929327011, 0.00023183971643447876, 0.0002390388399362564, 0.00024623796343803406, 0.0002534370869398117, 0.00026063621044158936, 0.000267835333943367, 0.00027503445744514465, 0.0002822335809469223, 0.00028943270444869995, 0.0002966318279504776, 0.00030383095145225525, 0.0003110300749540329, 0.00031822919845581055]}, "gradients/encoder.encoder.layers.0.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0, 2.0, 0.0, 2.0, 1.0, 1.0, 1.0, 0.0, 2.0, 5.0, 4.0, 9.0, 10.0, 7.0, 5.0, 11.0, 13.0, 18.0, 13.0, 15.0, 28.0, 36.0, 56.0, 70.0, 264.0, 2983.0, 4089193.0, 97680.0, 1561.0, 747.0, 659.0, 430.0, 254.0, 92.0, 40.0, 24.0, 18.0, 9.0, 8.0, 6.0, 7.0, 2.0, 3.0, 1.0, 0.0, 3.0], "bins": [-0.00016629695892333984, -0.00016258377581834793, -0.00015887059271335602, -0.0001551574096083641, -0.0001514442265033722, -0.00014773104339838028, -0.00014401786029338837, -0.00014030467718839645, -0.00013659149408340454, -0.00013287831097841263, -0.00012916512787342072, -0.0001254519447684288, -0.00012173876166343689, -0.00011802557855844498, -0.00011431239545345306, -0.00011059921234846115, -0.00010688602924346924, -0.00010317284613847733, -9.945966303348541e-05, -9.57464799284935e-05, -9.203329682350159e-05, -8.832011371850967e-05, -8.460693061351776e-05, -8.089374750852585e-05, -7.718056440353394e-05, -7.346738129854202e-05, -6.975419819355011e-05, -6.60410150885582e-05, -6.232783198356628e-05, -5.861464887857437e-05, -5.490146577358246e-05, -5.1188282668590546e-05, -4.747509956359863e-05, -4.376191645860672e-05, -4.004873335361481e-05, -3.6335550248622894e-05, -3.262236714363098e-05, -2.890918403863907e-05, -2.5196000933647156e-05, -2.1482817828655243e-05, -1.776963472366333e-05, -1.4056451618671417e-05, -1.0343268513679504e-05, -6.6300854086875916e-06, -2.9169023036956787e-06, 7.962808012962341e-07, 4.509463906288147e-06, 8.22264701128006e-06, 1.1935830116271973e-05, 1.5649013221263885e-05, 1.93621963262558e-05, 2.307537943124771e-05, 2.6788562536239624e-05, 3.0501745641231537e-05, 3.421492874622345e-05, 3.792811185121536e-05, 4.1641294956207275e-05, 4.535447806119919e-05, 4.90676611661911e-05, 5.2780844271183014e-05, 5.649402737617493e-05, 6.020721048116684e-05, 6.392039358615875e-05, 6.763357669115067e-05, 7.134675979614258e-05]}, "gradients/encoder.encoder.layers.0.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 0.0, 3.0, 20.0, 56.0, 138.0, 209.0, 234.0, 196.0, 96.0, 44.0, 12.0, 6.0, 4.0], "bins": [-9.524822235107422e-05, -9.358394891023636e-05, -9.19196754693985e-05, -9.025540202856064e-05, -8.859112858772278e-05, -8.692685514688492e-05, -8.526258170604706e-05, -8.35983082652092e-05, -8.193403482437134e-05, -8.026976138353348e-05, -7.860548794269562e-05, -7.694121450185776e-05, -7.52769410610199e-05, -7.361266762018204e-05, -7.194839417934418e-05, -7.028412073850632e-05, -6.861984729766846e-05, -6.69555738568306e-05, -6.529130041599274e-05, -6.362702697515488e-05, -6.196275353431702e-05, -6.0298480093479156e-05, -5.8634206652641296e-05, -5.6969933211803436e-05, -5.5305659770965576e-05, -5.3641386330127716e-05, -5.1977112889289856e-05, -5.0312839448451996e-05, -4.8648566007614136e-05, -4.6984292566776276e-05, -4.5320019125938416e-05, -4.3655745685100555e-05, -4.1991472244262695e-05, -4.0327198803424835e-05, -3.8662925362586975e-05, -3.6998651921749115e-05, -3.5334378480911255e-05, -3.3670105040073395e-05, -3.2005831599235535e-05, -3.0341558158397675e-05, -2.8677284717559814e-05, -2.7013011276721954e-05, -2.5348737835884094e-05, -2.3684464395046234e-05, -2.2020190954208374e-05, -2.0355917513370514e-05, -1.8691644072532654e-05, -1.7027370631694794e-05, -1.5363097190856934e-05, -1.3698823750019073e-05, -1.2034550309181213e-05, -1.0370276868343353e-05, -8.706003427505493e-06, -7.041729986667633e-06, -5.377456545829773e-06, -3.713183104991913e-06, -2.0489096641540527e-06, -3.8463622331619263e-07, 1.2796372175216675e-06, 2.9439106583595276e-06, 4.608184099197388e-06, 6.272457540035248e-06, 7.936730980873108e-06, 9.601004421710968e-06, 1.1265277862548828e-05]}, "gradients/encoder.encoder.layers.0.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 3.0, 0.0, 5.0, 2.0, 3.0, 2.0, 8.0, 8.0, 18.0, 16.0, 14.0, 22.0, 35.0, 76.0, 78.0, 125.0, 227.0, 446.0, 1006.0, 3335.0, 21601.0, 3995241.0, 161932.0, 7152.0, 1594.0, 604.0, 286.0, 146.0, 95.0, 70.0, 35.0, 16.0, 31.0, 9.0, 11.0, 16.0, 6.0, 5.0, 7.0, 5.0, 1.0, 1.0, 1.0, 1.0, 0.0, 2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-7.992982864379883e-05, -7.748976349830627e-05, -7.504969835281372e-05, -7.260963320732117e-05, -7.016956806182861e-05, -6.772950291633606e-05, -6.52894377708435e-05, -6.284937262535095e-05, -6.04093074798584e-05, -5.7969242334365845e-05, -5.552917718887329e-05, -5.308911204338074e-05, -5.0649046897888184e-05, -4.820898175239563e-05, -4.5768916606903076e-05, -4.332885146141052e-05, -4.088878631591797e-05, -3.8448721170425415e-05, -3.600865602493286e-05, -3.356859087944031e-05, -3.1128525733947754e-05, -2.86884605884552e-05, -2.6248395442962646e-05, -2.3808330297470093e-05, -2.136826515197754e-05, -1.8928200006484985e-05, -1.648813486099243e-05, -1.4048069715499878e-05, -1.1608004570007324e-05, -9.16793942451477e-06, -6.727874279022217e-06, -4.287809133529663e-06, -1.8477439880371094e-06, 5.923211574554443e-07, 3.032386302947998e-06, 5.472451448440552e-06, 7.912516593933105e-06, 1.035258173942566e-05, 1.2792646884918213e-05, 1.5232712030410767e-05, 1.767277717590332e-05, 2.0112842321395874e-05, 2.2552907466888428e-05, 2.499297261238098e-05, 2.7433037757873535e-05, 2.987310290336609e-05, 3.231316804885864e-05, 3.4753233194351196e-05, 3.719329833984375e-05, 3.9633363485336304e-05, 4.207342863082886e-05, 4.451349377632141e-05, 4.6953558921813965e-05, 4.939362406730652e-05, 5.183368921279907e-05, 5.4273754358291626e-05, 5.671381950378418e-05, 5.9153884649276733e-05, 6.159394979476929e-05, 6.403401494026184e-05, 6.64740800857544e-05, 6.891414523124695e-05, 7.13542103767395e-05, 7.379427552223206e-05, 7.623434066772461e-05]}, "gradients/encoder.encoder.layers.0.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 3.0, 2.0, 3.0, 4.0, 3.0, 5.0, 5.0, 7.0, 10.0, 10.0, 9.0, 18.0, 22.0, 41.0, 45.0, 77.0, 170.0, 383.0, 859.0, 1294.0, 620.0, 221.0, 89.0, 69.0, 37.0, 23.0, 18.0, 9.0, 4.0, 7.0, 3.0, 4.0, 1.0, 3.0, 4.0, 1.0, 0.0, 1.0, 1.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.900859832763672e-05, -5.7336874306201935e-05, -5.566515028476715e-05, -5.399342626333237e-05, -5.232170224189758e-05, -5.06499782204628e-05, -4.8978254199028015e-05, -4.730653017759323e-05, -4.563480615615845e-05, -4.396308213472366e-05, -4.229135811328888e-05, -4.0619634091854095e-05, -3.894791007041931e-05, -3.727618604898453e-05, -3.5604462027549744e-05, -3.393273800611496e-05, -3.2261013984680176e-05, -3.058928996324539e-05, -2.8917565941810608e-05, -2.7245841920375824e-05, -2.557411789894104e-05, -2.3902393877506256e-05, -2.2230669856071472e-05, -2.0558945834636688e-05, -1.8887221813201904e-05, -1.721549779176712e-05, -1.5543773770332336e-05, -1.3872049748897552e-05, -1.2200325727462769e-05, -1.0528601706027985e-05, -8.8568776845932e-06, -7.185153663158417e-06, -5.513429641723633e-06, -3.841705620288849e-06, -2.169981598854065e-06, -4.98257577419281e-07, 1.173466444015503e-06, 2.845190465450287e-06, 4.516914486885071e-06, 6.188638508319855e-06, 7.860362529754639e-06, 9.532086551189423e-06, 1.1203810572624207e-05, 1.287553459405899e-05, 1.4547258615493774e-05, 1.621898263692856e-05, 1.7890706658363342e-05, 1.9562430679798126e-05, 2.123415470123291e-05, 2.2905878722667694e-05, 2.4577602744102478e-05, 2.6249326765537262e-05, 2.7921050786972046e-05, 2.959277480840683e-05, 3.1264498829841614e-05, 3.29362228512764e-05, 3.460794687271118e-05, 3.6279670894145966e-05, 3.795139491558075e-05, 3.9623118937015533e-05, 4.129484295845032e-05, 4.29665669798851e-05, 4.4638291001319885e-05, 4.631001502275467e-05, 4.798173904418945e-05]}, "gradients/encoder.encoder.layers.0.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 3.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 3.0, 10.0, 13.0, 10.0, 32.0, 80.0, 239.0, 383.0, 173.0, 29.0, 21.0, 0.0, 6.0, 3.0, 3.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0008997381664812565, -0.0008795215981081128, -0.0008593050297349691, -0.0008390884031541646, -0.0008188718347810209, -0.0007986552664078772, -0.0007784386980347335, -0.0007582221296615899, -0.0007380055030807853, -0.0007177889347076416, -0.0006975723663344979, -0.0006773557397536933, -0.0006571391713805497, -0.000636922603007406, -0.0006167060346342623, -0.0005964894662611187, -0.000576272897887975, -0.0005560563295148313, -0.0005358397611416876, -0.000515623134560883, -0.0004954065661877394, -0.0004751899978145957, -0.000454973429441452, -0.00043475686106830835, -0.0004145402635913342, -0.00039432369521819055, -0.0003741070977412164, -0.00035389052936807275, -0.0003336739609949291, -0.00031345736351795495, -0.00029324079514481127, -0.00027302419766783714, -0.0002528076875023544, -0.00023259110457729548, -0.00021237452165223658, -0.0001921579532790929, -0.000171941370354034, -0.0001517247874289751, -0.00013150821905583143, -0.00011129163613077253, -9.107505320571363e-05, -7.085847028065473e-05, -5.064189463155344e-05, -3.0425315344473347e-05, -1.0208736057393253e-05, 1.0007846867665648e-05, 3.0224422516766936e-05, 5.044099816586822e-05, 7.065758109092712e-05, 9.087416401598603e-05, 0.00011109073966508731, 0.0001313073153141886, 0.0001515238982392475, 0.0001717404811643064, 0.00019195704953745008, 0.00021217363246250898, 0.00023239021538756788, 0.00025260678376071155, 0.0002728233812376857, 0.00029303994961082935, 0.000313256517983973, 0.00033347311546094716, 0.00035368968383409083, 0.00037390628131106496, 0.00039412284968420863]}, "gradients/encoder.encoder.layers.0.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 3.0, 0.0, 1.0, 0.0, 2.0, 3.0, 5.0, 6.0, 4.0, 8.0, 14.0, 10.0, 13.0, 25.0, 43.0, 51.0, 58.0, 72.0, 85.0, 107.0, 87.0, 58.0, 87.0, 61.0, 52.0, 38.0, 31.0, 25.0, 24.0, 17.0, 12.0, 4.0, 0.0, 3.0, 5.0, 0.0, 3.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00020903348922729492, -0.00019850581884384155, -0.00018797814846038818, -0.00017745047807693481, -0.00016692280769348145, -0.00015639513731002808, -0.0001458674669265747, -0.00013533979654312134, -0.00012481212615966797, -0.0001142844557762146, -0.00010375678539276123, -9.322911500930786e-05, -8.270144462585449e-05, -7.217377424240112e-05, -6.164610385894775e-05, -5.1118433475494385e-05, -4.0590763092041016e-05, -3.0063092708587646e-05, -1.9535422325134277e-05, -9.007751941680908e-06, 1.519918441772461e-06, 1.204758882522583e-05, 2.25752592086792e-05, 3.310292959213257e-05, 4.363059997558594e-05, 5.415827035903931e-05, 6.468594074249268e-05, 7.521361112594604e-05, 8.574128150939941e-05, 9.626895189285278e-05, 0.00010679662227630615, 0.00011732429265975952, 0.0001278519630432129, 0.00013837963342666626, 0.00014890730381011963, 0.000159434974193573, 0.00016996264457702637, 0.00018049031496047974, 0.0001910179853439331, 0.00020154565572738647, 0.00021207332611083984, 0.0002226009964942932, 0.00023312866687774658, 0.00024365633726119995, 0.0002541840076446533, 0.0002647116780281067, 0.00027523934841156006, 0.00028576701879501343, 0.0002962946891784668, 0.00030682235956192017, 0.00031735002994537354, 0.0003278777003288269, 0.0003384053707122803, 0.00034893304109573364, 0.000359460711479187, 0.0003699883818626404, 0.00038051605224609375, 0.0003910437226295471, 0.0004015713930130005, 0.00041209906339645386, 0.0004226267337799072, 0.0004331544041633606, 0.00044368207454681396, 0.00045420974493026733, 0.0004647374153137207]}, "gradients/encoder.encoder.layers.0.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 0.0, 2.0, 1.0, 5.0, 2.0, 2.0, 4.0, 3.0, 1.0, 5.0, 8.0, 11.0, 14.0, 20.0, 26.0, 42.0, 78.0, 220.0, 1741.0, 169927.0, 872479.0, 3413.0, 305.0, 93.0, 42.0, 33.0, 27.0, 16.0, 9.0, 14.0, 4.0, 6.0, 3.0, 2.0, 2.0, 2.0, 0.0, 4.0, 1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0001118779182434082, -0.00010803434997797012, -0.00010419078171253204, -0.00010034721344709396, -9.650364518165588e-05, -9.26600769162178e-05, -8.881650865077972e-05, -8.497294038534164e-05, -8.112937211990356e-05, -7.728580385446548e-05, -7.34422355890274e-05, -6.959866732358932e-05, -6.575509905815125e-05, -6.191153079271317e-05, -5.8067962527275085e-05, -5.4224394261837006e-05, -5.0380825996398926e-05, -4.6537257730960846e-05, -4.2693689465522766e-05, -3.8850121200084686e-05, -3.5006552934646606e-05, -3.1162984669208527e-05, -2.7319416403770447e-05, -2.3475848138332367e-05, -1.9632279872894287e-05, -1.5788711607456207e-05, -1.1945143342018127e-05, -8.101575076580048e-06, -4.258006811141968e-06, -4.1443854570388794e-07, 3.429129719734192e-06, 7.272697985172272e-06, 1.1116266250610352e-05, 1.4959834516048431e-05, 1.880340278148651e-05, 2.264697104692459e-05, 2.649053931236267e-05, 3.033410757780075e-05, 3.417767584323883e-05, 3.802124410867691e-05, 4.186481237411499e-05, 4.570838063955307e-05, 4.955194890499115e-05, 5.339551717042923e-05, 5.723908543586731e-05, 6.108265370130539e-05, 6.492622196674347e-05, 6.876979023218155e-05, 7.261335849761963e-05, 7.645692676305771e-05, 8.030049502849579e-05, 8.414406329393387e-05, 8.798763155937195e-05, 9.183119982481003e-05, 9.567476809024811e-05, 9.951833635568619e-05, 0.00010336190462112427, 0.00010720547288656235, 0.00011104904115200043, 0.00011489260941743851, 0.00011873617768287659, 0.00012257974594831467, 0.00012642331421375275, 0.00013026688247919083, 0.0001341104507446289]}, "gradients/encoder.encoder.layers.0.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 3.0, 4.0, 20.0, 42.0, 73.0, 122.0, 167.0, 172.0, 176.0, 103.0, 70.0, 29.0, 17.0, 8.0, 5.0, 3.0, 2.0, 1.0, 1.0], "bins": [-8.034706115722656e-05, -7.881224155426025e-05, -7.727742195129395e-05, -7.574260234832764e-05, -7.420778274536133e-05, -7.267296314239502e-05, -7.113814353942871e-05, -6.96033239364624e-05, -6.80685043334961e-05, -6.653368473052979e-05, -6.499886512756348e-05, -6.346404552459717e-05, -6.192922592163086e-05, -6.039440631866455e-05, -5.885958671569824e-05, -5.7324767112731934e-05, -5.5789947509765625e-05, -5.4255127906799316e-05, -5.272030830383301e-05, -5.11854887008667e-05, -4.965066909790039e-05, -4.811584949493408e-05, -4.6581029891967773e-05, -4.5046210289001465e-05, -4.3511390686035156e-05, -4.197657108306885e-05, -4.044175148010254e-05, -3.890693187713623e-05, -3.737211227416992e-05, -3.583729267120361e-05, -3.4302473068237305e-05, -3.2767653465270996e-05, -3.123283386230469e-05, -2.969801425933838e-05, -2.816319465637207e-05, -2.6628375053405762e-05, -2.5093555450439453e-05, -2.3558735847473145e-05, -2.2023916244506836e-05, -2.0489096641540527e-05, -1.895427703857422e-05, -1.741945743560791e-05, -1.58846378326416e-05, -1.4349818229675293e-05, -1.2814998626708984e-05, -1.1280179023742676e-05, -9.745359420776367e-06, -8.210539817810059e-06, -6.67572021484375e-06, -5.140900611877441e-06, -3.606081008911133e-06, -2.0712614059448242e-06, -5.364418029785156e-07, 9.98377799987793e-07, 2.5331974029541016e-06, 4.06801700592041e-06, 5.602836608886719e-06, 7.137656211853027e-06, 8.672475814819336e-06, 1.0207295417785645e-05, 1.1742115020751953e-05, 1.3276934623718262e-05, 1.481175422668457e-05, 1.634657382965088e-05, 1.7881393432617188e-05]}, "gradients/encoder.encoder.layers.0.attention.v_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 1.0, 1.0, 3.0, 1.0, 5.0, 3.0, 4.0, 6.0, 8.0, 13.0, 21.0, 23.0, 18.0, 43.0, 44.0, 75.0, 88.0, 141.0, 225.0, 417.0, 881.0, 2489.0, 10729.0, 216379.0, 796811.0, 14537.0, 3289.0, 1061.0, 472.0, 251.0, 166.0, 101.0, 79.0, 48.0, 34.0, 26.0, 20.0, 5.0, 12.0, 9.0, 8.0, 7.0, 3.0, 3.0, 2.0, 1.0, 3.0, 2.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.153085708618164e-05, -3.040861338376999e-05, -2.9286369681358337e-05, -2.8164125978946686e-05, -2.7041882276535034e-05, -2.5919638574123383e-05, -2.479739487171173e-05, -2.367515116930008e-05, -2.2552907466888428e-05, -2.1430663764476776e-05, -2.0308420062065125e-05, -1.9186176359653473e-05, -1.806393265724182e-05, -1.694168895483017e-05, -1.5819445252418518e-05, -1.4697201550006866e-05, -1.3574957847595215e-05, -1.2452714145183563e-05, -1.1330470442771912e-05, -1.020822674036026e-05, -9.085983037948608e-06, -7.963739335536957e-06, -6.841495633125305e-06, -5.7192519307136536e-06, -4.597008228302002e-06, -3.4747645258903503e-06, -2.3525208234786987e-06, -1.2302771210670471e-06, -1.0803341865539551e-07, 1.014210283756256e-06, 2.1364539861679077e-06, 3.2586976885795593e-06, 4.380941390991211e-06, 5.5031850934028625e-06, 6.625428795814514e-06, 7.747672498226166e-06, 8.869916200637817e-06, 9.992159903049469e-06, 1.111440360546112e-05, 1.2236647307872772e-05, 1.3358891010284424e-05, 1.4481134712696075e-05, 1.5603378415107727e-05, 1.672562211751938e-05, 1.784786581993103e-05, 1.8970109522342682e-05, 2.0092353224754333e-05, 2.1214596927165985e-05, 2.2336840629577637e-05, 2.345908433198929e-05, 2.458132803440094e-05, 2.570357173681259e-05, 2.6825815439224243e-05, 2.7948059141635895e-05, 2.9070302844047546e-05, 3.0192546546459198e-05, 3.131479024887085e-05, 3.24370339512825e-05, 3.355927765369415e-05, 3.4681521356105804e-05, 3.5803765058517456e-05, 3.692600876092911e-05, 3.804825246334076e-05, 3.917049616575241e-05, 4.029273986816406e-05]}, "gradients/encoder.encoder.layers.0.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0, 1.0, 1.0, 5.0, 3.0, 4.0, 5.0, 2.0, 8.0, 6.0, 10.0, 10.0, 8.0, 12.0, 16.0, 20.0, 21.0, 33.0, 36.0, 61.0, 53.0, 73.0, 123.0, 115.0, 76.0, 54.0, 59.0, 41.0, 30.0, 21.0, 18.0, 21.0, 15.0, 14.0, 10.0, 4.0, 4.0, 4.0, 3.0, 1.0, 3.0, 1.0, 1.0, 2.0, 2.0, 1.0, 0.0, 4.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0], "bins": [-5.429983139038086e-05, -5.254708230495453e-05, -5.07943332195282e-05, -4.904158413410187e-05, -4.728883504867554e-05, -4.5536085963249207e-05, -4.3783336877822876e-05, -4.2030587792396545e-05, -4.0277838706970215e-05, -3.8525089621543884e-05, -3.6772340536117554e-05, -3.501959145069122e-05, -3.326684236526489e-05, -3.151409327983856e-05, -2.976134419441223e-05, -2.80085951089859e-05, -2.625584602355957e-05, -2.450309693813324e-05, -2.275034785270691e-05, -2.099759876728058e-05, -1.9244849681854248e-05, -1.7492100596427917e-05, -1.5739351511001587e-05, -1.3986602425575256e-05, -1.2233853340148926e-05, -1.0481104254722595e-05, -8.728355169296265e-06, -6.975606083869934e-06, -5.2228569984436035e-06, -3.470107913017273e-06, -1.7173588275909424e-06, 3.5390257835388184e-08, 1.7881393432617188e-06, 3.5408884286880493e-06, 5.29363751411438e-06, 7.0463865995407104e-06, 8.799135684967041e-06, 1.0551884770393372e-05, 1.2304633855819702e-05, 1.4057382941246033e-05, 1.5810132026672363e-05, 1.7562881112098694e-05, 1.9315630197525024e-05, 2.1068379282951355e-05, 2.2821128368377686e-05, 2.4573877453804016e-05, 2.6326626539230347e-05, 2.8079375624656677e-05, 2.9832124710083008e-05, 3.158487379550934e-05, 3.333762288093567e-05, 3.5090371966362e-05, 3.684312105178833e-05, 3.859587013721466e-05, 4.034861922264099e-05, 4.210136830806732e-05, 4.385411739349365e-05, 4.560686647891998e-05, 4.7359615564346313e-05, 4.9112364649772644e-05, 5.0865113735198975e-05, 5.2617862820625305e-05, 5.4370611906051636e-05, 5.6123360991477966e-05, 5.78761100769043e-05]}, "gradients/encoder.encoder.layers.0.attention.k_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 1.0, 3.0, 0.0, 0.0, 0.0, 5.0, 3.0, 6.0, 8.0, 17.0, 12.0, 18.0, 22.0, 30.0, 35.0, 44.0, 101.0, 108.0, 177.0, 261.0, 440.0, 1627.0, 2824.0, 7670.0, 30574.0, 902470.0, 88767.0, 7745.0, 2808.0, 1233.0, 593.0, 427.0, 147.0, 116.0, 82.0, 46.0, 49.0, 25.0, 19.0, 11.0, 13.0, 14.0, 7.0, 2.0, 2.0, 1.0, 3.0, 0.0, 3.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-3.7550926208496094e-06, -3.623776137828827e-06, -3.4924596548080444e-06, -3.361143171787262e-06, -3.2298266887664795e-06, -3.098510205745697e-06, -2.9671937227249146e-06, -2.835877239704132e-06, -2.7045607566833496e-06, -2.573244273662567e-06, -2.4419277906417847e-06, -2.310611307621002e-06, -2.1792948246002197e-06, -2.0479783415794373e-06, -1.9166618585586548e-06, -1.7853453755378723e-06, -1.6540288925170898e-06, -1.5227124094963074e-06, -1.391395926475525e-06, -1.2600794434547424e-06, -1.12876296043396e-06, -9.974464774131775e-07, -8.66129994392395e-07, -7.348135113716125e-07, -6.034970283508301e-07, -4.721805453300476e-07, -3.4086406230926514e-07, -2.0954757928848267e-07, -7.82310962677002e-08, 5.3085386753082275e-08, 1.8440186977386475e-07, 3.157183527946472e-07, 4.470348358154297e-07, 5.783513188362122e-07, 7.096678018569946e-07, 8.409842848777771e-07, 9.723007678985596e-07, 1.103617250919342e-06, 1.2349337339401245e-06, 1.366250216960907e-06, 1.4975666999816895e-06, 1.628883183002472e-06, 1.7601996660232544e-06, 1.8915161490440369e-06, 2.0228326320648193e-06, 2.154149115085602e-06, 2.2854655981063843e-06, 2.4167820811271667e-06, 2.5480985641479492e-06, 2.6794150471687317e-06, 2.810731530189514e-06, 2.9420480132102966e-06, 3.073364496231079e-06, 3.2046809792518616e-06, 3.335997462272644e-06, 3.4673139452934265e-06, 3.598630428314209e-06, 3.7299469113349915e-06, 3.861263394355774e-06, 3.992579877376556e-06, 4.123896360397339e-06, 4.255212843418121e-06, 4.386529326438904e-06, 4.517845809459686e-06, 4.649162292480469e-06]}, "gradients/encoder.encoder.layers.0.attention.k_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 1.0, 1.0, 0.0, 0.0, 2.0, 1.0, 2.0, 2.0, 2.0, 1.0, 4.0, 6.0, 7.0, 4.0, 2.0, 3.0, 3.0, 4.0, 6.0, 5.0, 13.0, 12.0, 15.0, 13.0, 29.0, 35.0, 49.0, 88.0, 276.0, 139.0, 79.0, 39.0, 59.0, 19.0, 18.0, 6.0, 9.0, 12.0, 7.0, 9.0, 5.0, 8.0, 1.0, 4.0, 3.0, 0.0, 2.0, 5.0, 2.0, 1.0, 1.0, 2.0, 2.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0], "bins": [-4.410743713378906e-06, -4.276633262634277e-06, -4.1425228118896484e-06, -4.0084123611450195e-06, -3.874301910400391e-06, -3.7401914596557617e-06, -3.606081008911133e-06, -3.471970558166504e-06, -3.337860107421875e-06, -3.203749656677246e-06, -3.069639205932617e-06, -2.9355287551879883e-06, -2.8014183044433594e-06, -2.6673078536987305e-06, -2.5331974029541016e-06, -2.3990869522094727e-06, -2.2649765014648438e-06, -2.130866050720215e-06, -1.996755599975586e-06, -1.862645149230957e-06, -1.7285346984863281e-06, -1.5944242477416992e-06, -1.4603137969970703e-06, -1.3262033462524414e-06, -1.1920928955078125e-06, -1.0579824447631836e-06, -9.238719940185547e-07, -7.897615432739258e-07, -6.556510925292969e-07, -5.21540641784668e-07, -3.8743019104003906e-07, -2.5331974029541016e-07, -1.1920928955078125e-07, 1.4901161193847656e-08, 1.4901161193847656e-07, 2.8312206268310547e-07, 4.172325134277344e-07, 5.513429641723633e-07, 6.854534149169922e-07, 8.195638656616211e-07, 9.5367431640625e-07, 1.087784767150879e-06, 1.2218952178955078e-06, 1.3560056686401367e-06, 1.4901161193847656e-06, 1.6242265701293945e-06, 1.7583370208740234e-06, 1.8924474716186523e-06, 2.0265579223632812e-06, 2.16066837310791e-06, 2.294778823852539e-06, 2.428889274597168e-06, 2.562999725341797e-06, 2.6971101760864258e-06, 2.8312206268310547e-06, 2.9653310775756836e-06, 3.0994415283203125e-06, 3.2335519790649414e-06, 3.3676624298095703e-06, 3.5017728805541992e-06, 3.635883331298828e-06, 3.769993782043457e-06, 3.904104232788086e-06, 4.038214683532715e-06, 4.172325134277344e-06]}, "gradients/encoder.encoder.layers.0.attention.q_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 0.0, 2.0, 2.0, 2.0, 2.0, 5.0, 5.0, 4.0, 13.0, 5.0, 18.0, 19.0, 27.0, 58.0, 70.0, 96.0, 152.0, 272.0, 476.0, 1128.0, 7529.0, 30297.0, 905649.0, 83556.0, 13342.0, 3417.0, 1197.0, 648.0, 184.0, 108.0, 85.0, 50.0, 35.0, 33.0, 26.0, 9.0, 10.0, 7.0, 5.0, 3.0, 4.0, 7.0, 3.0, 2.0, 1.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.933906555175781e-06, -3.8063153624534607e-06, -3.67872416973114e-06, -3.5511329770088196e-06, -3.423541784286499e-06, -3.2959505915641785e-06, -3.168359398841858e-06, -3.0407682061195374e-06, -2.913177013397217e-06, -2.7855858206748962e-06, -2.6579946279525757e-06, -2.530403435230255e-06, -2.4028122425079346e-06, -2.275221049785614e-06, -2.1476298570632935e-06, -2.020038664340973e-06, -1.8924474716186523e-06, -1.7648562788963318e-06, -1.6372650861740112e-06, -1.5096738934516907e-06, -1.3820827007293701e-06, -1.2544915080070496e-06, -1.126900315284729e-06, -9.993091225624084e-07, -8.717179298400879e-07, -7.441267371177673e-07, -6.165355443954468e-07, -4.889443516731262e-07, -3.6135315895080566e-07, -2.337619662284851e-07, -1.0617077350616455e-07, 2.1420419216156006e-08, 1.4901161193847656e-07, 2.766028046607971e-07, 4.041939973831177e-07, 5.317851901054382e-07, 6.593763828277588e-07, 7.869675755500793e-07, 9.145587682723999e-07, 1.0421499609947205e-06, 1.169741153717041e-06, 1.2973323464393616e-06, 1.4249235391616821e-06, 1.5525147318840027e-06, 1.6801059246063232e-06, 1.8076971173286438e-06, 1.9352883100509644e-06, 2.062879502773285e-06, 2.1904706954956055e-06, 2.318061888217926e-06, 2.4456530809402466e-06, 2.573244273662567e-06, 2.7008354663848877e-06, 2.8284266591072083e-06, 2.956017851829529e-06, 3.0836090445518494e-06, 3.21120023727417e-06, 3.3387914299964905e-06, 3.466382622718811e-06, 3.5939738154411316e-06, 3.721565008163452e-06, 3.849156200885773e-06, 3.976747393608093e-06, 4.104338586330414e-06, 4.231929779052734e-06]}, "gradients/encoder.encoder.layers.0.attention.q_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 2.0, 1.0, 1.0, 1.0, 4.0, 3.0, 3.0, 4.0, 9.0, 14.0, 3.0, 7.0, 7.0, 15.0, 18.0, 20.0, 24.0, 45.0, 45.0, 83.0, 124.0, 196.0, 116.0, 55.0, 58.0, 27.0, 18.0, 16.0, 10.0, 12.0, 13.0, 11.0, 11.0, 6.0, 7.0, 5.0, 5.0, 3.0, 2.0, 4.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.7550926208496094e-06, -3.6265701055526733e-06, -3.4980475902557373e-06, -3.3695250749588013e-06, -3.2410025596618652e-06, -3.112480044364929e-06, -2.983957529067993e-06, -2.855435013771057e-06, -2.726912498474121e-06, -2.598389983177185e-06, -2.469867467880249e-06, -2.341344952583313e-06, -2.212822437286377e-06, -2.084299921989441e-06, -1.955777406692505e-06, -1.8272548913955688e-06, -1.6987323760986328e-06, -1.5702098608016968e-06, -1.4416873455047607e-06, -1.3131648302078247e-06, -1.1846423149108887e-06, -1.0561197996139526e-06, -9.275972843170166e-07, -7.990747690200806e-07, -6.705522537231445e-07, -5.420297384262085e-07, -4.1350722312927246e-07, -2.849847078323364e-07, -1.564621925354004e-07, -2.7939677238464355e-08, 1.0058283805847168e-07, 2.2910535335540771e-07, 3.5762786865234375e-07, 4.861503839492798e-07, 6.146728992462158e-07, 7.431954145431519e-07, 8.717179298400879e-07, 1.000240445137024e-06, 1.12876296043396e-06, 1.257285475730896e-06, 1.385807991027832e-06, 1.514330506324768e-06, 1.642853021621704e-06, 1.7713755369186401e-06, 1.8998980522155762e-06, 2.028420567512512e-06, 2.1569430828094482e-06, 2.2854655981063843e-06, 2.4139881134033203e-06, 2.5425106287002563e-06, 2.6710331439971924e-06, 2.7995556592941284e-06, 2.9280781745910645e-06, 3.0566006898880005e-06, 3.1851232051849365e-06, 3.3136457204818726e-06, 3.4421682357788086e-06, 3.5706907510757446e-06, 3.6992132663726807e-06, 3.827735781669617e-06, 3.956258296966553e-06, 4.084780812263489e-06, 4.213303327560425e-06, 4.341825842857361e-06, 4.470348358154297e-06]}, "gradients/encoder.encoder.layers.0.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 8.0, 10.0, 26.0, 53.0, 537.0, 237.0, 85.0, 26.0, 19.0, 6.0, 3.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00023801394854672253, -0.00022764672758057714, -0.00021727950661443174, -0.00020691227109637111, -0.00019654505013022572, -0.00018617782916408032, -0.0001758105936460197, -0.0001654433726798743, -0.0001550761517137289, -0.0001447089307475835, -0.0001343417097814381, -0.0001239744742633775, -0.00011360725329723209, -0.0001032400323310867, -9.287280408898368e-05, -8.250557584688067e-05, -7.213835488073528e-05, -6.177113391458988e-05, -5.140390567248687e-05, -4.103668106836267e-05, -3.0669456464238465e-05, -2.030223186011426e-05, -9.935007255990058e-06, 4.3222098611295223e-07, 1.0799441952258348e-05, 2.1166666556382552e-05, 3.1533891160506755e-05, 4.190111576463096e-05, 5.226834036875516e-05, 6.263556133490056e-05, 7.300278957700357e-05, 8.337001781910658e-05, 9.373726788908243e-05, 0.00010410448885522783, 0.00011447171709733084, 0.00012483894533943385, 0.00013520616630557925, 0.00014557338727172464, 0.00015594062278978527, 0.00016630784375593066, 0.00017667506472207606, 0.00018704228568822145, 0.00019740950665436685, 0.00020777674217242748, 0.00021814396313857287, 0.00022851118410471827, 0.0002388784196227789, 0.0002492456405889243, 0.0002596128615550697, 0.0002699800825212151, 0.0002803473034873605, 0.0002907145244535059, 0.00030108174541965127, 0.0003114489954896271, 0.0003218162164557725, 0.0003321834374219179, 0.0003425506583880633, 0.0003529178793542087, 0.0003632851003203541, 0.0003736523212864995, 0.00038401957135647535, 0.00039438679232262075, 0.00040475401328876615, 0.00041512123425491154, 0.00042548845522105694]}, "gradients/encoder.encoder.layers.0.layer_norm.bias": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 1.0, 0.0, 1.0, 3.0, 2.0, 1.0, 3.0, 0.0, 2.0, 2.0, 7.0, 6.0, 9.0, 11.0, 16.0, 22.0, 15.0, 19.0, 24.0, 17.0, 27.0, 37.0, 20.0, 69.0, 430.0, 36.0, 28.0, 26.0, 21.0, 20.0, 27.0, 21.0, 23.0, 10.0, 9.0, 11.0, 7.0, 6.0, 6.0, 3.0, 4.0, 4.0, 1.0, 1.0, 2.0, 1.0, 2.0, 2.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0001417398452758789, -0.00013655796647071838, -0.00013137608766555786, -0.00012619420886039734, -0.00012101233005523682, -0.0001158304512500763, -0.00011064857244491577, -0.00010546669363975525, -0.00010028481483459473, -9.51029360294342e-05, -8.992105722427368e-05, -8.473917841911316e-05, -7.955729961395264e-05, -7.437542080879211e-05, -6.919354200363159e-05, -6.401166319847107e-05, -5.882978439331055e-05, -5.3647905588150024e-05, -4.84660267829895e-05, -4.328414797782898e-05, -3.810226917266846e-05, -3.2920390367507935e-05, -2.7738511562347412e-05, -2.255663275718689e-05, -1.7374753952026367e-05, -1.2192875146865845e-05, -7.010996341705322e-06, -1.8291175365447998e-06, 3.3527612686157227e-06, 8.534640073776245e-06, 1.3716518878936768e-05, 1.889839768409729e-05, 2.4080276489257812e-05, 2.9262155294418335e-05, 3.444403409957886e-05, 3.962591290473938e-05, 4.48077917098999e-05, 4.9989670515060425e-05, 5.517154932022095e-05, 6.035342812538147e-05, 6.553530693054199e-05, 7.071718573570251e-05, 7.589906454086304e-05, 8.108094334602356e-05, 8.626282215118408e-05, 9.14447009563446e-05, 9.662657976150513e-05, 0.00010180845856666565, 0.00010699033737182617, 0.0001121722161769867, 0.00011735409498214722, 0.00012253597378730774, 0.00012771785259246826, 0.00013289973139762878, 0.0001380816102027893, 0.00014326348900794983, 0.00014844536781311035, 0.00015362724661827087, 0.0001588091254234314, 0.00016399100422859192, 0.00016917288303375244, 0.00017435476183891296, 0.00017953664064407349, 0.000184718519449234, 0.00018990039825439453]}, "gradients/encoder.encoder.pos_conv_embed.conv.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 3.0, 3.0, 13.0, 14.0, 11.0, 25.0, 41.0, 55.0, 102.0, 422.0, 135.0, 79.0, 39.0, 23.0, 24.0, 13.0, 7.0, 5.0, 2.0, 1.0, 2.0, 1.0], "bins": [-5.227327346801758e-05, -5.125999450683594e-05, -5.02467155456543e-05, -4.9233436584472656e-05, -4.8220157623291016e-05, -4.7206878662109375e-05, -4.6193599700927734e-05, -4.5180320739746094e-05, -4.416704177856445e-05, -4.315376281738281e-05, -4.214048385620117e-05, -4.112720489501953e-05, -4.011392593383789e-05, -3.910064697265625e-05, -3.808736801147461e-05, -3.707408905029297e-05, -3.606081008911133e-05, -3.504753112792969e-05, -3.403425216674805e-05, -3.3020973205566406e-05, -3.2007694244384766e-05, -3.0994415283203125e-05, -2.9981136322021484e-05, -2.8967857360839844e-05, -2.7954578399658203e-05, -2.6941299438476562e-05, -2.5928020477294922e-05, -2.491474151611328e-05, -2.390146255493164e-05, -2.288818359375e-05, -2.187490463256836e-05, -2.086162567138672e-05, -1.9848346710205078e-05, -1.8835067749023438e-05, -1.7821788787841797e-05, -1.6808509826660156e-05, -1.5795230865478516e-05, -1.4781951904296875e-05, -1.3768672943115234e-05, -1.2755393981933594e-05, -1.1742115020751953e-05, -1.0728836059570312e-05, -9.715557098388672e-06, -8.702278137207031e-06, -7.68899917602539e-06, -6.67572021484375e-06, -5.662441253662109e-06, -4.649162292480469e-06, -3.635883331298828e-06, -2.6226043701171875e-06, -1.6093254089355469e-06, -5.960464477539062e-07, 4.172325134277344e-07, 1.430511474609375e-06, 2.4437904357910156e-06, 3.4570693969726562e-06, 4.470348358154297e-06, 5.4836273193359375e-06, 6.496906280517578e-06, 7.510185241699219e-06, 8.52346420288086e-06, 9.5367431640625e-06, 1.055002212524414e-05, 1.1563301086425781e-05, 1.2576580047607422e-05]}, "gradients/encoder.encoder.pos_conv_embed.conv.weight_v": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 2.0, 6.0, 10.0, 10.0, 26.0, 27.0, 85.0, 374.0, 8369494.0, 18154.0, 263.0, 50.0, 42.0, 27.0, 15.0, 5.0, 2.0, 2.0, 2.0, 0.0, 0.0, 3.0, 1.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00028274135547690094, -0.0002660163736436516, -0.00024929142091423273, -0.0002325664390809834, -0.00021584148635156453, -0.0001991165045183152, -0.0001823915372369811, -0.000165666569955647, -0.0001489416026743129, -0.0001322166353929788, -0.00011549166811164469, -9.876669355435297e-05, -8.204172627301887e-05, -6.531675899168476e-05, -4.859178443439305e-05, -3.1866817153058946e-05, -1.5141849871724844e-05, 1.5831192285986617e-06, 1.8308088328922167e-05, 3.503305924823508e-05, 5.175802652956918e-05, 6.848299381090328e-05, 8.5207968368195e-05, 0.0001019329356495291, 0.0001186579029308632, 0.0001353828702121973, 0.0001521078374935314, 0.0001688328047748655, 0.00018555778660811484, 0.0002022827393375337, 0.00021900772117078304, 0.00023573268845211715, 0.0002524576848372817, 0.00026918266667053103, 0.0002859076193999499, 0.00030263260123319924, 0.0003193575539626181, 0.00033608253579586744, 0.0003528075176291168, 0.00036953247035853565, 0.0003862574230879545, 0.00040298240492120385, 0.0004197073576506227, 0.00043643233948387206, 0.00045315729221329093, 0.00046988227404654026, 0.0004866072558797896, 0.0005033322377130389, 0.0005200571613386273, 0.0005367821431718767, 0.000553507125005126, 0.0005702320486307144, 0.0005869570304639637, 0.0006036820122972131, 0.0006204069941304624, 0.0006371319759637117, 0.0006538569577969611, 0.0006705819396302104, 0.0006873069214634597, 0.0007040318450890481, 0.0007207568269222975, 0.0007374818087555468, 0.0007542067905887961, 0.0007709317142143846, 0.0007876566960476339]}, "gradients/encoder.encoder.pos_conv_embed.conv.weight_g": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 0.0, 1.0, 0.0, 6.0, 4.0, 4.0, 2.0, 0.0, 2.0, 2.0, 0.0, 0.0, 0.0, 3.0, 3.0, 1.0, 0.0, 0.0, 2.0, 2.0, 2.0, 0.0, 0.0, 0.0, 4.0, 1.0, 5.0, 1.0, 2.0, 1.0, 6.0, 7.0, 2.0, 10.0, 1.0, 7.0, 9.0, 10.0, 4.0, 4.0, 5.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.00017444408149458468, -0.0001705993345240131, -0.00016675458755344152, -0.00016290985513478518, -0.0001590651081642136, -0.00015522036119364202, -0.00015137562877498567, -0.0001475308818044141, -0.00014368613483384252, -0.00013984138786327094, -0.00013599664089269936, -0.000132151908474043, -0.00012830716150347143, -0.00012446241453289986, -0.00012061767483828589, -0.00011677293514367193, -0.00011292818817310035, -0.00010908344120252877, -0.00010523870150791481, -0.00010139396181330085, -9.754921484272927e-05, -9.370446787215769e-05, -8.985972817754373e-05, -8.601498848292977e-05, -8.217024151235819e-05, -7.832549454178661e-05, -7.448075484717265e-05, -7.063601515255868e-05, -6.679126818198711e-05, -6.294652121141553e-05, -5.9101781516801566e-05, -5.5257038184208795e-05, -5.141230940353125e-05, -4.756756607093848e-05, -4.372282273834571e-05, -3.987807940575294e-05, -3.603333607316017e-05, -3.21885927405674e-05, -2.834384940797463e-05, -2.449910607538186e-05, -2.065436274278909e-05, -1.680961941019632e-05, -1.2964876077603549e-05, -9.120132745010778e-06, -5.275389412418008e-06, -1.4306460798252374e-06, 2.414097252767533e-06, 6.2588405853603035e-06, 1.0103583917953074e-05, 1.3948327250545844e-05, 1.7793070583138615e-05, 2.1637813915731385e-05, 2.5482557248324156e-05, 2.9327300580916926e-05, 3.31720439135097e-05, 3.701678724610247e-05, 4.086153057869524e-05, 4.470627391128801e-05, 4.855101724388078e-05, 5.239576057647355e-05, 5.624050390906632e-05, 6.008524724165909e-05, 6.392999057425186e-05, 6.777473026886582e-05, 7.16194772394374e-05]}, "gradients/encoder.feature_projection.projection.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 2.0, 1.0, 1.0, 1.0, 0.0, 5.0, 0.0, 3.0, 2.0, 4.0, 2.0, 5.0, 5.0, 6.0, 3.0, 6.0, 7.0, 8.0, 7.0, 15.0, 17.0, 16.0, 30.0, 50.0, 124.0, 802.0, 20812.0, 494201.0, 7225.0, 584.0, 147.0, 66.0, 32.0, 25.0, 18.0, 19.0, 9.0, 3.0, 5.0, 4.0, 4.0, 1.0, 1.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0004763603210449219, -0.0004611760377883911, -0.00044599175453186035, -0.0004308074712753296, -0.00041562318801879883, -0.00040043890476226807, -0.0003852546215057373, -0.00037007033824920654, -0.0003548860549926758, -0.000339701771736145, -0.00032451748847961426, -0.0003093332052230835, -0.00029414892196655273, -0.00027896463871002197, -0.0002637803554534912, -0.00024859607219696045, -0.0002334117889404297, -0.00021822750568389893, -0.00020304322242736816, -0.0001878589391708374, -0.00017267465591430664, -0.00015749037265777588, -0.00014230608940124512, -0.00012712180614471436, -0.0001119375228881836, -9.675323963165283e-05, -8.156895637512207e-05, -6.638467311859131e-05, -5.120038986206055e-05, -3.6016106605529785e-05, -2.0831823348999023e-05, -5.647540092468262e-06, 9.5367431640625e-06, 2.4721026420593262e-05, 3.9905309677124023e-05, 5.5089592933654785e-05, 7.027387619018555e-05, 8.545815944671631e-05, 0.00010064244270324707, 0.00011582672595977783, 0.0001310110092163086, 0.00014619529247283936, 0.00016137957572937012, 0.00017656385898590088, 0.00019174814224243164, 0.0002069324254989624, 0.00022211670875549316, 0.00023730099201202393, 0.0002524852752685547, 0.00026766955852508545, 0.0002828538417816162, 0.00029803812503814697, 0.00031322240829467773, 0.0003284066915512085, 0.00034359097480773926, 0.00035877525806427, 0.0003739595413208008, 0.00038914382457733154, 0.0004043281078338623, 0.00041951239109039307, 0.00043469667434692383, 0.0004498809576034546, 0.00046506524085998535, 0.0004802495241165161, 0.0004954338073730469]}, "gradients/encoder.feature_projection.projection.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 5.0, 2.0, 13.0, 26.0, 36.0, 75.0, 123.0, 199.0, 192.0, 150.0, 86.0, 38.0, 33.0, 13.0, 11.0, 5.0, 5.0, 3.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0], "bins": [-6.139278411865234e-05, -6.011594086885452e-05, -5.88390976190567e-05, -5.756225436925888e-05, -5.628541111946106e-05, -5.500856786966324e-05, -5.373172461986542e-05, -5.2454881370067596e-05, -5.1178038120269775e-05, -4.9901194870471954e-05, -4.862435162067413e-05, -4.734750837087631e-05, -4.607066512107849e-05, -4.479382187128067e-05, -4.351697862148285e-05, -4.224013537168503e-05, -4.096329212188721e-05, -3.9686448872089386e-05, -3.8409605622291565e-05, -3.7132762372493744e-05, -3.585591912269592e-05, -3.45790758728981e-05, -3.330223262310028e-05, -3.202538937330246e-05, -3.074854612350464e-05, -2.9471702873706818e-05, -2.8194859623908997e-05, -2.6918016374111176e-05, -2.5641173124313354e-05, -2.4364329874515533e-05, -2.3087486624717712e-05, -2.181064337491989e-05, -2.053380012512207e-05, -1.925695687532425e-05, -1.7980113625526428e-05, -1.6703270375728607e-05, -1.5426427125930786e-05, -1.4149583876132965e-05, -1.2872740626335144e-05, -1.1595897376537323e-05, -1.0319054126739502e-05, -9.042210876941681e-06, -7.76536762714386e-06, -6.488524377346039e-06, -5.211681127548218e-06, -3.934837877750397e-06, -2.6579946279525757e-06, -1.3811513781547546e-06, -1.043081283569336e-07, 1.1725351214408875e-06, 2.4493783712387085e-06, 3.7262216210365295e-06, 5.003064870834351e-06, 6.279908120632172e-06, 7.556751370429993e-06, 8.833594620227814e-06, 1.0110437870025635e-05, 1.1387281119823456e-05, 1.2664124369621277e-05, 1.3940967619419098e-05, 1.5217810869216919e-05, 1.649465411901474e-05, 1.777149736881256e-05, 1.9048340618610382e-05, 2.0325183868408203e-05]}, "gradients/encoder.feature_projection.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 3.0, 5.0, 1.0, 6.0, 16.0, 43.0, 225.0, 135.0, 39.0, 14.0, 9.0, 3.0, 2.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.00038048738497309387, -0.0003723751287907362, -0.00036426287260837853, -0.0003561506455298513, -0.00034803838934749365, -0.000339926133165136, -0.0003318138769827783, -0.00032370162080042064, -0.000315589364618063, -0.0003074771084357053, -0.00029936485225334764, -0.0002912526251748204, -0.00028314036899246275, -0.0002750281128101051, -0.0002669158566277474, -0.00025880360044538975, -0.00025069137336686254, -0.00024257911718450487, -0.00023446687555406243, -0.00022635461937170476, -0.00021824237774126232, -0.00021013012155890465, -0.00020201786537654698, -0.0001939056091941893, -0.00018579336756374687, -0.0001776811113813892, -0.00016956886975094676, -0.0001614566135685891, -0.00015334435738623142, -0.00014523211575578898, -0.0001371198595734313, -0.00012900761794298887, -0.00012089533265680075, -0.00011278308375040069, -0.00010467083484400064, -9.655857866164297e-05, -8.844632975524291e-05, -8.033408084884286e-05, -7.222182466648519e-05, -6.410957576008514e-05, -5.599732685368508e-05, -4.7885077947285026e-05, -3.9772825402906165e-05, -3.16605728585273e-05, -2.3548323952127248e-05, -1.5436075045727193e-05, -7.3238225013483316e-06, 7.884300430305302e-07, 8.900678949430585e-06, 1.7012929674820043e-05, 2.51251804002095e-05, 3.323743294458836e-05, 4.134968185098842e-05, 4.946193075738847e-05, 5.7574183301767334e-05, 6.56864358461462e-05, 7.379868475254625e-05, 8.19109336589463e-05, 9.002318256534636e-05, 9.813543874770403e-05, 0.00010624768765410408, 0.00011435993656050414, 0.0001224721927428618, 0.00013058443437330425, 0.00013869669055566192]}, "gradients/encoder.feature_projection.layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 2.0, 3.0, 1.0, 1.0, 1.0, 1.0, 1.0, 6.0, 2.0, 7.0, 9.0, 6.0, 12.0, 23.0, 27.0, 66.0, 62.0, 79.0, 64.0, 35.0, 20.0, 14.0, 9.0, 4.0, 6.0, 2.0, 5.0, 3.0, 6.0, 2.0, 1.0, 0.0, 5.0, 3.0, 1.0, 2.0, 4.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 2.0], "bins": [-7.200241088867188e-05, -6.966479122638702e-05, -6.732717156410217e-05, -6.498955190181732e-05, -6.265193223953247e-05, -6.031431257724762e-05, -5.797669291496277e-05, -5.563907325267792e-05, -5.3301453590393066e-05, -5.0963833928108215e-05, -4.8626214265823364e-05, -4.628859460353851e-05, -4.395097494125366e-05, -4.161335527896881e-05, -3.927573561668396e-05, -3.693811595439911e-05, -3.460049629211426e-05, -3.226287662982941e-05, -2.9925256967544556e-05, -2.7587637305259705e-05, -2.5250017642974854e-05, -2.2912397980690002e-05, -2.057477831840515e-05, -1.82371586561203e-05, -1.589953899383545e-05, -1.3561919331550598e-05, -1.1224299669265747e-05, -8.886680006980896e-06, -6.549060344696045e-06, -4.211440682411194e-06, -1.8738210201263428e-06, 4.637986421585083e-07, 2.8014183044433594e-06, 5.1390379667282104e-06, 7.4766576290130615e-06, 9.814277291297913e-06, 1.2151896953582764e-05, 1.4489516615867615e-05, 1.6827136278152466e-05, 1.9164755940437317e-05, 2.1502375602722168e-05, 2.383999526500702e-05, 2.617761492729187e-05, 2.851523458957672e-05, 3.085285425186157e-05, 3.319047391414642e-05, 3.5528093576431274e-05, 3.7865713238716125e-05, 4.0203332901000977e-05, 4.254095256328583e-05, 4.487857222557068e-05, 4.721619188785553e-05, 4.955381155014038e-05, 5.189143121242523e-05, 5.422905087471008e-05, 5.6566670536994934e-05, 5.8904290199279785e-05, 6.124190986156464e-05, 6.357952952384949e-05, 6.591714918613434e-05, 6.825476884841919e-05, 7.059238851070404e-05, 7.293000817298889e-05, 7.526762783527374e-05, 7.76052474975586e-05]}, "eval/loss": 6.939670562744141, "eval/wer": 2.511617755025101, "eval/runtime": 1142.392, "eval/samples_per_second": 2.313, "eval/steps_per_second": 0.29, "train/train_runtime": 29094.1939, "train/train_samples_per_second": 4.904, "train/train_steps_per_second": 0.153, "train/total_flos": 0.0, "train/train_loss": 6.994354631227228}
\ No newline at end of file