{
    "metadata": {
        "ParamSize": 565
    },
    "records": [
        {
            "dataPath": "params_shard_0.bin",
            "format": "raw-shard",
            "nbytes": 327680000,
            "records": [
                {
                    "name": "param_0",
                    "shape": [
                        32000,
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 327680000,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_1.bin",
            "format": "raw-shard",
            "nbytes": 35389440,
            "records": [
                {
                    "name": "param_7",
                    "shape": [
                        27648,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 35389440,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_2.bin",
            "format": "raw-shard",
            "nbytes": 31703040,
            "records": [
                {
                    "name": "param_1",
                    "shape": [
                        15360,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 19660800,
                    "byteOffset": 0
                },
                {
                    "name": "param_2",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 19660800
                },
                {
                    "name": "param_3",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 20889600
                },
                {
                    "name": "param_4",
                    "shape": [
                        5120,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 6553600,
                    "byteOffset": 22118400
                },
                {
                    "name": "param_5",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 28672000
                },
                {
                    "name": "param_6",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 29081600
                },
                {
                    "name": "param_8",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 29491200
                }
            ]
        },
        {
            "dataPath": "params_shard_3.bin",
            "format": "raw-shard",
            "nbytes": 19660800,
            "records": [
                {
                    "name": "param_15",
                    "shape": [
                        15360,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 19660800,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_4.bin",
            "format": "raw-shard",
            "nbytes": 35389440,
            "records": [
                {
                    "name": "param_21",
                    "shape": [
                        27648,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 35389440,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_5.bin",
            "format": "raw-shard",
            "nbytes": 31969280,
            "records": [
                {
                    "name": "param_9",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 0
                },
                {
                    "name": "param_10",
                    "shape": [
                        5120,
                        864
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 17694720,
                    "byteOffset": 2211840
                },
                {
                    "name": "param_11",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 19906560
                },
                {
                    "name": "param_12",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 21012480
                },
                {
                    "name": "param_13",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 22118400
                },
                {
                    "name": "param_14",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 22128640
                },
                {
                    "name": "param_16",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 22138880
                },
                {
                    "name": "param_17",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 23367680
                },
                {
                    "name": "param_18",
                    "shape": [
                        5120,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 6553600,
                    "byteOffset": 24596480
                },
                {
                    "name": "param_19",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 31150080
                },
                {
                    "name": "param_20",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 31559680
                }
            ]
        },
        {
            "dataPath": "params_shard_6.bin",
            "format": "raw-shard",
            "nbytes": 19660800,
            "records": [
                {
                    "name": "param_29",
                    "shape": [
                        15360,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 19660800,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_7.bin",
            "format": "raw-shard",
            "nbytes": 33361920,
            "records": [
                {
                    "name": "param_22",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 0
                },
                {
                    "name": "param_23",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 2211840
                },
                {
                    "name": "param_24",
                    "shape": [
                        5120,
                        864
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 17694720,
                    "byteOffset": 4423680
                },
                {
                    "name": "param_25",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 22118400
                },
                {
                    "name": "param_26",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 23224320
                },
                {
                    "name": "param_27",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 24330240
                },
                {
                    "name": "param_28",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 24340480
                },
                {
                    "name": "param_30",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 24350720
                },
                {
                    "name": "param_31",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 25579520
                },
                {
                    "name": "param_32",
                    "shape": [
                        5120,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 6553600,
                    "byteOffset": 26808320
                }
            ]
        },
        {
            "dataPath": "params_shard_8.bin",
            "format": "raw-shard",
            "nbytes": 35389440,
            "records": [
                {
                    "name": "param_35",
                    "shape": [
                        27648,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 35389440,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_9.bin",
            "format": "raw-shard",
            "nbytes": 19660800,
            "records": [
                {
                    "name": "param_43",
                    "shape": [
                        15360,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 19660800,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_10.bin",
            "format": "raw-shard",
            "nbytes": 27627520,
            "records": [
                {
                    "name": "param_33",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 0
                },
                {
                    "name": "param_34",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 409600
                },
                {
                    "name": "param_36",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 819200
                },
                {
                    "name": "param_37",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 3031040
                },
                {
                    "name": "param_38",
                    "shape": [
                        5120,
                        864
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 17694720,
                    "byteOffset": 5242880
                },
                {
                    "name": "param_39",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 22937600
                },
                {
                    "name": "param_40",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 24043520
                },
                {
                    "name": "param_41",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 25149440
                },
                {
                    "name": "param_42",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 25159680
                },
                {
                    "name": "param_44",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 25169920
                },
                {
                    "name": "param_45",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 26398720
                }
            ]
        },
        {
            "dataPath": "params_shard_11.bin",
            "format": "raw-shard",
            "nbytes": 35389440,
            "records": [
                {
                    "name": "param_49",
                    "shape": [
                        27648,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 35389440,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_12.bin",
            "format": "raw-shard",
            "nbytes": 19660800,
            "records": [
                {
                    "name": "param_57",
                    "shape": [
                        15360,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 19660800,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_13.bin",
            "format": "raw-shard",
            "nbytes": 32952320,
            "records": [
                {
                    "name": "param_46",
                    "shape": [
                        5120,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 6553600,
                    "byteOffset": 0
                },
                {
                    "name": "param_47",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 6553600
                },
                {
                    "name": "param_48",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 6963200
                },
                {
                    "name": "param_50",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 7372800
                },
                {
                    "name": "param_51",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 9584640
                },
                {
                    "name": "param_52",
                    "shape": [
                        5120,
                        864
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 17694720,
                    "byteOffset": 11796480
                },
                {
                    "name": "param_53",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 29491200
                },
                {
                    "name": "param_54",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 30597120
                },
                {
                    "name": "param_55",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 31703040
                },
                {
                    "name": "param_56",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 31713280
                },
                {
                    "name": "param_58",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 31723520
                }
            ]
        },
        {
            "dataPath": "params_shard_14.bin",
            "format": "raw-shard",
            "nbytes": 35389440,
            "records": [
                {
                    "name": "param_63",
                    "shape": [
                        27648,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 35389440,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_15.bin",
            "format": "raw-shard",
            "nbytes": 19660800,
            "records": [
                {
                    "name": "param_71",
                    "shape": [
                        15360,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 19660800,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_16.bin",
            "format": "raw-shard",
            "nbytes": 32952320,
            "records": [
                {
                    "name": "param_59",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 0
                },
                {
                    "name": "param_60",
                    "shape": [
                        5120,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 6553600,
                    "byteOffset": 1228800
                },
                {
                    "name": "param_61",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 7782400
                },
                {
                    "name": "param_62",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 8192000
                },
                {
                    "name": "param_64",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 8601600
                },
                {
                    "name": "param_65",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 10813440
                },
                {
                    "name": "param_66",
                    "shape": [
                        5120,
                        864
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 17694720,
                    "byteOffset": 13025280
                },
                {
                    "name": "param_67",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 30720000
                },
                {
                    "name": "param_68",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 31825920
                },
                {
                    "name": "param_69",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 32931840
                },
                {
                    "name": "param_70",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 32942080
                }
            ]
        },
        {
            "dataPath": "params_shard_17.bin",
            "format": "raw-shard",
            "nbytes": 35389440,
            "records": [
                {
                    "name": "param_77",
                    "shape": [
                        27648,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 35389440,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_18.bin",
            "format": "raw-shard",
            "nbytes": 33054720,
            "records": [
                {
                    "name": "param_72",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 0
                },
                {
                    "name": "param_73",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 1228800
                },
                {
                    "name": "param_74",
                    "shape": [
                        5120,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 6553600,
                    "byteOffset": 2457600
                },
                {
                    "name": "param_75",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 9011200
                },
                {
                    "name": "param_76",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 9420800
                },
                {
                    "name": "param_78",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 9830400
                },
                {
                    "name": "param_79",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 12042240
                },
                {
                    "name": "param_80",
                    "shape": [
                        5120,
                        864
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 17694720,
                    "byteOffset": 14254080
                },
                {
                    "name": "param_81",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 31948800
                }
            ]
        },
        {
            "dataPath": "params_shard_19.bin",
            "format": "raw-shard",
            "nbytes": 35389440,
            "records": [
                {
                    "name": "param_91",
                    "shape": [
                        27648,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 35389440,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_20.bin",
            "format": "raw-shard",
            "nbytes": 32829440,
            "records": [
                {
                    "name": "param_82",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 0
                },
                {
                    "name": "param_83",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 1105920
                },
                {
                    "name": "param_84",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 1116160
                },
                {
                    "name": "param_85",
                    "shape": [
                        15360,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 19660800,
                    "byteOffset": 1126400
                },
                {
                    "name": "param_86",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 20787200
                },
                {
                    "name": "param_87",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 22016000
                },
                {
                    "name": "param_88",
                    "shape": [
                        5120,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 6553600,
                    "byteOffset": 23244800
                },
                {
                    "name": "param_89",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 29798400
                },
                {
                    "name": "param_90",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 30208000
                },
                {
                    "name": "param_92",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 30617600
                }
            ]
        },
        {
            "dataPath": "params_shard_21.bin",
            "format": "raw-shard",
            "nbytes": 19660800,
            "records": [
                {
                    "name": "param_99",
                    "shape": [
                        15360,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 19660800,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_22.bin",
            "format": "raw-shard",
            "nbytes": 35389440,
            "records": [
                {
                    "name": "param_105",
                    "shape": [
                        27648,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 35389440,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_23.bin",
            "format": "raw-shard",
            "nbytes": 31969280,
            "records": [
                {
                    "name": "param_93",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 0
                },
                {
                    "name": "param_94",
                    "shape": [
                        5120,
                        864
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 17694720,
                    "byteOffset": 2211840
                },
                {
                    "name": "param_95",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 19906560
                },
                {
                    "name": "param_96",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 21012480
                },
                {
                    "name": "param_97",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 22118400
                },
                {
                    "name": "param_98",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 22128640
                },
                {
                    "name": "param_100",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 22138880
                },
                {
                    "name": "param_101",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 23367680
                },
                {
                    "name": "param_102",
                    "shape": [
                        5120,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 6553600,
                    "byteOffset": 24596480
                },
                {
                    "name": "param_103",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 31150080
                },
                {
                    "name": "param_104",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 31559680
                }
            ]
        },
        {
            "dataPath": "params_shard_24.bin",
            "format": "raw-shard",
            "nbytes": 19660800,
            "records": [
                {
                    "name": "param_113",
                    "shape": [
                        15360,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 19660800,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_25.bin",
            "format": "raw-shard",
            "nbytes": 33361920,
            "records": [
                {
                    "name": "param_106",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 0
                },
                {
                    "name": "param_107",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 2211840
                },
                {
                    "name": "param_108",
                    "shape": [
                        5120,
                        864
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 17694720,
                    "byteOffset": 4423680
                },
                {
                    "name": "param_109",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 22118400
                },
                {
                    "name": "param_110",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 23224320
                },
                {
                    "name": "param_111",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 24330240
                },
                {
                    "name": "param_112",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 24340480
                },
                {
                    "name": "param_114",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 24350720
                },
                {
                    "name": "param_115",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 25579520
                },
                {
                    "name": "param_116",
                    "shape": [
                        5120,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 6553600,
                    "byteOffset": 26808320
                }
            ]
        },
        {
            "dataPath": "params_shard_26.bin",
            "format": "raw-shard",
            "nbytes": 35389440,
            "records": [
                {
                    "name": "param_119",
                    "shape": [
                        27648,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 35389440,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_27.bin",
            "format": "raw-shard",
            "nbytes": 19660800,
            "records": [
                {
                    "name": "param_127",
                    "shape": [
                        15360,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 19660800,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_28.bin",
            "format": "raw-shard",
            "nbytes": 27627520,
            "records": [
                {
                    "name": "param_117",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 0
                },
                {
                    "name": "param_118",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 409600
                },
                {
                    "name": "param_120",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 819200
                },
                {
                    "name": "param_121",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 3031040
                },
                {
                    "name": "param_122",
                    "shape": [
                        5120,
                        864
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 17694720,
                    "byteOffset": 5242880
                },
                {
                    "name": "param_123",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 22937600
                },
                {
                    "name": "param_124",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 24043520
                },
                {
                    "name": "param_125",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 25149440
                },
                {
                    "name": "param_126",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 25159680
                },
                {
                    "name": "param_128",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 25169920
                },
                {
                    "name": "param_129",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 26398720
                }
            ]
        },
        {
            "dataPath": "params_shard_29.bin",
            "format": "raw-shard",
            "nbytes": 35389440,
            "records": [
                {
                    "name": "param_133",
                    "shape": [
                        27648,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 35389440,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_30.bin",
            "format": "raw-shard",
            "nbytes": 19660800,
            "records": [
                {
                    "name": "param_141",
                    "shape": [
                        15360,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 19660800,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_31.bin",
            "format": "raw-shard",
            "nbytes": 32952320,
            "records": [
                {
                    "name": "param_130",
                    "shape": [
                        5120,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 6553600,
                    "byteOffset": 0
                },
                {
                    "name": "param_131",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 6553600
                },
                {
                    "name": "param_132",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 6963200
                },
                {
                    "name": "param_134",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 7372800
                },
                {
                    "name": "param_135",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 9584640
                },
                {
                    "name": "param_136",
                    "shape": [
                        5120,
                        864
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 17694720,
                    "byteOffset": 11796480
                },
                {
                    "name": "param_137",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 29491200
                },
                {
                    "name": "param_138",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 30597120
                },
                {
                    "name": "param_139",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 31703040
                },
                {
                    "name": "param_140",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 31713280
                },
                {
                    "name": "param_142",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 31723520
                }
            ]
        },
        {
            "dataPath": "params_shard_32.bin",
            "format": "raw-shard",
            "nbytes": 35389440,
            "records": [
                {
                    "name": "param_147",
                    "shape": [
                        27648,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 35389440,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_33.bin",
            "format": "raw-shard",
            "nbytes": 19660800,
            "records": [
                {
                    "name": "param_155",
                    "shape": [
                        15360,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 19660800,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_34.bin",
            "format": "raw-shard",
            "nbytes": 32952320,
            "records": [
                {
                    "name": "param_143",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 0
                },
                {
                    "name": "param_144",
                    "shape": [
                        5120,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 6553600,
                    "byteOffset": 1228800
                },
                {
                    "name": "param_145",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 7782400
                },
                {
                    "name": "param_146",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 8192000
                },
                {
                    "name": "param_148",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 8601600
                },
                {
                    "name": "param_149",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 10813440
                },
                {
                    "name": "param_150",
                    "shape": [
                        5120,
                        864
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 17694720,
                    "byteOffset": 13025280
                },
                {
                    "name": "param_151",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 30720000
                },
                {
                    "name": "param_152",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 31825920
                },
                {
                    "name": "param_153",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 32931840
                },
                {
                    "name": "param_154",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 32942080
                }
            ]
        },
        {
            "dataPath": "params_shard_35.bin",
            "format": "raw-shard",
            "nbytes": 35389440,
            "records": [
                {
                    "name": "param_161",
                    "shape": [
                        27648,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 35389440,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_36.bin",
            "format": "raw-shard",
            "nbytes": 33054720,
            "records": [
                {
                    "name": "param_156",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 0
                },
                {
                    "name": "param_157",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 1228800
                },
                {
                    "name": "param_158",
                    "shape": [
                        5120,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 6553600,
                    "byteOffset": 2457600
                },
                {
                    "name": "param_159",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 9011200
                },
                {
                    "name": "param_160",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 9420800
                },
                {
                    "name": "param_162",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 9830400
                },
                {
                    "name": "param_163",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 12042240
                },
                {
                    "name": "param_164",
                    "shape": [
                        5120,
                        864
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 17694720,
                    "byteOffset": 14254080
                },
                {
                    "name": "param_165",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 31948800
                }
            ]
        },
        {
            "dataPath": "params_shard_37.bin",
            "format": "raw-shard",
            "nbytes": 35389440,
            "records": [
                {
                    "name": "param_175",
                    "shape": [
                        27648,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 35389440,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_38.bin",
            "format": "raw-shard",
            "nbytes": 32829440,
            "records": [
                {
                    "name": "param_166",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 0
                },
                {
                    "name": "param_167",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 1105920
                },
                {
                    "name": "param_168",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 1116160
                },
                {
                    "name": "param_169",
                    "shape": [
                        15360,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 19660800,
                    "byteOffset": 1126400
                },
                {
                    "name": "param_170",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 20787200
                },
                {
                    "name": "param_171",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 22016000
                },
                {
                    "name": "param_172",
                    "shape": [
                        5120,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 6553600,
                    "byteOffset": 23244800
                },
                {
                    "name": "param_173",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 29798400
                },
                {
                    "name": "param_174",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 30208000
                },
                {
                    "name": "param_176",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 30617600
                }
            ]
        },
        {
            "dataPath": "params_shard_39.bin",
            "format": "raw-shard",
            "nbytes": 19660800,
            "records": [
                {
                    "name": "param_183",
                    "shape": [
                        15360,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 19660800,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_40.bin",
            "format": "raw-shard",
            "nbytes": 35389440,
            "records": [
                {
                    "name": "param_189",
                    "shape": [
                        27648,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 35389440,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_41.bin",
            "format": "raw-shard",
            "nbytes": 31969280,
            "records": [
                {
                    "name": "param_177",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 0
                },
                {
                    "name": "param_178",
                    "shape": [
                        5120,
                        864
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 17694720,
                    "byteOffset": 2211840
                },
                {
                    "name": "param_179",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 19906560
                },
                {
                    "name": "param_180",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 21012480
                },
                {
                    "name": "param_181",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 22118400
                },
                {
                    "name": "param_182",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 22128640
                },
                {
                    "name": "param_184",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 22138880
                },
                {
                    "name": "param_185",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 23367680
                },
                {
                    "name": "param_186",
                    "shape": [
                        5120,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 6553600,
                    "byteOffset": 24596480
                },
                {
                    "name": "param_187",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 31150080
                },
                {
                    "name": "param_188",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 31559680
                }
            ]
        },
        {
            "dataPath": "params_shard_42.bin",
            "format": "raw-shard",
            "nbytes": 19660800,
            "records": [
                {
                    "name": "param_197",
                    "shape": [
                        15360,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 19660800,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_43.bin",
            "format": "raw-shard",
            "nbytes": 33361920,
            "records": [
                {
                    "name": "param_190",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 0
                },
                {
                    "name": "param_191",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 2211840
                },
                {
                    "name": "param_192",
                    "shape": [
                        5120,
                        864
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 17694720,
                    "byteOffset": 4423680
                },
                {
                    "name": "param_193",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 22118400
                },
                {
                    "name": "param_194",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 23224320
                },
                {
                    "name": "param_195",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 24330240
                },
                {
                    "name": "param_196",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 24340480
                },
                {
                    "name": "param_198",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 24350720
                },
                {
                    "name": "param_199",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 25579520
                },
                {
                    "name": "param_200",
                    "shape": [
                        5120,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 6553600,
                    "byteOffset": 26808320
                }
            ]
        },
        {
            "dataPath": "params_shard_44.bin",
            "format": "raw-shard",
            "nbytes": 35389440,
            "records": [
                {
                    "name": "param_203",
                    "shape": [
                        27648,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 35389440,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_45.bin",
            "format": "raw-shard",
            "nbytes": 19660800,
            "records": [
                {
                    "name": "param_211",
                    "shape": [
                        15360,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 19660800,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_46.bin",
            "format": "raw-shard",
            "nbytes": 27627520,
            "records": [
                {
                    "name": "param_201",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 0
                },
                {
                    "name": "param_202",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 409600
                },
                {
                    "name": "param_204",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 819200
                },
                {
                    "name": "param_205",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 3031040
                },
                {
                    "name": "param_206",
                    "shape": [
                        5120,
                        864
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 17694720,
                    "byteOffset": 5242880
                },
                {
                    "name": "param_207",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 22937600
                },
                {
                    "name": "param_208",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 24043520
                },
                {
                    "name": "param_209",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 25149440
                },
                {
                    "name": "param_210",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 25159680
                },
                {
                    "name": "param_212",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 25169920
                },
                {
                    "name": "param_213",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 26398720
                }
            ]
        },
        {
            "dataPath": "params_shard_47.bin",
            "format": "raw-shard",
            "nbytes": 35389440,
            "records": [
                {
                    "name": "param_217",
                    "shape": [
                        27648,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 35389440,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_48.bin",
            "format": "raw-shard",
            "nbytes": 19660800,
            "records": [
                {
                    "name": "param_225",
                    "shape": [
                        15360,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 19660800,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_49.bin",
            "format": "raw-shard",
            "nbytes": 32952320,
            "records": [
                {
                    "name": "param_214",
                    "shape": [
                        5120,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 6553600,
                    "byteOffset": 0
                },
                {
                    "name": "param_215",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 6553600
                },
                {
                    "name": "param_216",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 6963200
                },
                {
                    "name": "param_218",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 7372800
                },
                {
                    "name": "param_219",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 9584640
                },
                {
                    "name": "param_220",
                    "shape": [
                        5120,
                        864
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 17694720,
                    "byteOffset": 11796480
                },
                {
                    "name": "param_221",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 29491200
                },
                {
                    "name": "param_222",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 30597120
                },
                {
                    "name": "param_223",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 31703040
                },
                {
                    "name": "param_224",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 31713280
                },
                {
                    "name": "param_226",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 31723520
                }
            ]
        },
        {
            "dataPath": "params_shard_50.bin",
            "format": "raw-shard",
            "nbytes": 35389440,
            "records": [
                {
                    "name": "param_231",
                    "shape": [
                        27648,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 35389440,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_51.bin",
            "format": "raw-shard",
            "nbytes": 19660800,
            "records": [
                {
                    "name": "param_239",
                    "shape": [
                        15360,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 19660800,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_52.bin",
            "format": "raw-shard",
            "nbytes": 32952320,
            "records": [
                {
                    "name": "param_227",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 0
                },
                {
                    "name": "param_228",
                    "shape": [
                        5120,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 6553600,
                    "byteOffset": 1228800
                },
                {
                    "name": "param_229",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 7782400
                },
                {
                    "name": "param_230",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 8192000
                },
                {
                    "name": "param_232",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 8601600
                },
                {
                    "name": "param_233",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 10813440
                },
                {
                    "name": "param_234",
                    "shape": [
                        5120,
                        864
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 17694720,
                    "byteOffset": 13025280
                },
                {
                    "name": "param_235",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 30720000
                },
                {
                    "name": "param_236",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 31825920
                },
                {
                    "name": "param_237",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 32931840
                },
                {
                    "name": "param_238",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 32942080
                }
            ]
        },
        {
            "dataPath": "params_shard_53.bin",
            "format": "raw-shard",
            "nbytes": 35389440,
            "records": [
                {
                    "name": "param_245",
                    "shape": [
                        27648,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 35389440,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_54.bin",
            "format": "raw-shard",
            "nbytes": 33054720,
            "records": [
                {
                    "name": "param_240",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 0
                },
                {
                    "name": "param_241",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 1228800
                },
                {
                    "name": "param_242",
                    "shape": [
                        5120,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 6553600,
                    "byteOffset": 2457600
                },
                {
                    "name": "param_243",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 9011200
                },
                {
                    "name": "param_244",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 9420800
                },
                {
                    "name": "param_246",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 9830400
                },
                {
                    "name": "param_247",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 12042240
                },
                {
                    "name": "param_248",
                    "shape": [
                        5120,
                        864
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 17694720,
                    "byteOffset": 14254080
                },
                {
                    "name": "param_249",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 31948800
                }
            ]
        },
        {
            "dataPath": "params_shard_55.bin",
            "format": "raw-shard",
            "nbytes": 35389440,
            "records": [
                {
                    "name": "param_259",
                    "shape": [
                        27648,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 35389440,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_56.bin",
            "format": "raw-shard",
            "nbytes": 32829440,
            "records": [
                {
                    "name": "param_250",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 0
                },
                {
                    "name": "param_251",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 1105920
                },
                {
                    "name": "param_252",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 1116160
                },
                {
                    "name": "param_253",
                    "shape": [
                        15360,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 19660800,
                    "byteOffset": 1126400
                },
                {
                    "name": "param_254",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 20787200
                },
                {
                    "name": "param_255",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 22016000
                },
                {
                    "name": "param_256",
                    "shape": [
                        5120,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 6553600,
                    "byteOffset": 23244800
                },
                {
                    "name": "param_257",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 29798400
                },
                {
                    "name": "param_258",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 30208000
                },
                {
                    "name": "param_260",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 30617600
                }
            ]
        },
        {
            "dataPath": "params_shard_57.bin",
            "format": "raw-shard",
            "nbytes": 19660800,
            "records": [
                {
                    "name": "param_267",
                    "shape": [
                        15360,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 19660800,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_58.bin",
            "format": "raw-shard",
            "nbytes": 35389440,
            "records": [
                {
                    "name": "param_273",
                    "shape": [
                        27648,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 35389440,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_59.bin",
            "format": "raw-shard",
            "nbytes": 31969280,
            "records": [
                {
                    "name": "param_261",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 0
                },
                {
                    "name": "param_262",
                    "shape": [
                        5120,
                        864
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 17694720,
                    "byteOffset": 2211840
                },
                {
                    "name": "param_263",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 19906560
                },
                {
                    "name": "param_264",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 21012480
                },
                {
                    "name": "param_265",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 22118400
                },
                {
                    "name": "param_266",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 22128640
                },
                {
                    "name": "param_268",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 22138880
                },
                {
                    "name": "param_269",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 23367680
                },
                {
                    "name": "param_270",
                    "shape": [
                        5120,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 6553600,
                    "byteOffset": 24596480
                },
                {
                    "name": "param_271",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 31150080
                },
                {
                    "name": "param_272",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 31559680
                }
            ]
        },
        {
            "dataPath": "params_shard_60.bin",
            "format": "raw-shard",
            "nbytes": 19660800,
            "records": [
                {
                    "name": "param_281",
                    "shape": [
                        15360,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 19660800,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_61.bin",
            "format": "raw-shard",
            "nbytes": 33361920,
            "records": [
                {
                    "name": "param_274",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 0
                },
                {
                    "name": "param_275",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 2211840
                },
                {
                    "name": "param_276",
                    "shape": [
                        5120,
                        864
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 17694720,
                    "byteOffset": 4423680
                },
                {
                    "name": "param_277",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 22118400
                },
                {
                    "name": "param_278",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 23224320
                },
                {
                    "name": "param_279",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 24330240
                },
                {
                    "name": "param_280",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 24340480
                },
                {
                    "name": "param_282",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 24350720
                },
                {
                    "name": "param_283",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 25579520
                },
                {
                    "name": "param_284",
                    "shape": [
                        5120,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 6553600,
                    "byteOffset": 26808320
                }
            ]
        },
        {
            "dataPath": "params_shard_62.bin",
            "format": "raw-shard",
            "nbytes": 35389440,
            "records": [
                {
                    "name": "param_287",
                    "shape": [
                        27648,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 35389440,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_63.bin",
            "format": "raw-shard",
            "nbytes": 19660800,
            "records": [
                {
                    "name": "param_295",
                    "shape": [
                        15360,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 19660800,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_64.bin",
            "format": "raw-shard",
            "nbytes": 27627520,
            "records": [
                {
                    "name": "param_285",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 0
                },
                {
                    "name": "param_286",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 409600
                },
                {
                    "name": "param_288",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 819200
                },
                {
                    "name": "param_289",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 3031040
                },
                {
                    "name": "param_290",
                    "shape": [
                        5120,
                        864
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 17694720,
                    "byteOffset": 5242880
                },
                {
                    "name": "param_291",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 22937600
                },
                {
                    "name": "param_292",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 24043520
                },
                {
                    "name": "param_293",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 25149440
                },
                {
                    "name": "param_294",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 25159680
                },
                {
                    "name": "param_296",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 25169920
                },
                {
                    "name": "param_297",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 26398720
                }
            ]
        },
        {
            "dataPath": "params_shard_65.bin",
            "format": "raw-shard",
            "nbytes": 35389440,
            "records": [
                {
                    "name": "param_301",
                    "shape": [
                        27648,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 35389440,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_66.bin",
            "format": "raw-shard",
            "nbytes": 19660800,
            "records": [
                {
                    "name": "param_309",
                    "shape": [
                        15360,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 19660800,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_67.bin",
            "format": "raw-shard",
            "nbytes": 32952320,
            "records": [
                {
                    "name": "param_298",
                    "shape": [
                        5120,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 6553600,
                    "byteOffset": 0
                },
                {
                    "name": "param_299",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 6553600
                },
                {
                    "name": "param_300",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 6963200
                },
                {
                    "name": "param_302",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 7372800
                },
                {
                    "name": "param_303",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 9584640
                },
                {
                    "name": "param_304",
                    "shape": [
                        5120,
                        864
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 17694720,
                    "byteOffset": 11796480
                },
                {
                    "name": "param_305",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 29491200
                },
                {
                    "name": "param_306",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 30597120
                },
                {
                    "name": "param_307",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 31703040
                },
                {
                    "name": "param_308",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 31713280
                },
                {
                    "name": "param_310",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 31723520
                }
            ]
        },
        {
            "dataPath": "params_shard_68.bin",
            "format": "raw-shard",
            "nbytes": 35389440,
            "records": [
                {
                    "name": "param_315",
                    "shape": [
                        27648,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 35389440,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_69.bin",
            "format": "raw-shard",
            "nbytes": 19660800,
            "records": [
                {
                    "name": "param_323",
                    "shape": [
                        15360,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 19660800,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_70.bin",
            "format": "raw-shard",
            "nbytes": 32952320,
            "records": [
                {
                    "name": "param_311",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 0
                },
                {
                    "name": "param_312",
                    "shape": [
                        5120,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 6553600,
                    "byteOffset": 1228800
                },
                {
                    "name": "param_313",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 7782400
                },
                {
                    "name": "param_314",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 8192000
                },
                {
                    "name": "param_316",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 8601600
                },
                {
                    "name": "param_317",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 10813440
                },
                {
                    "name": "param_318",
                    "shape": [
                        5120,
                        864
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 17694720,
                    "byteOffset": 13025280
                },
                {
                    "name": "param_319",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 30720000
                },
                {
                    "name": "param_320",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 31825920
                },
                {
                    "name": "param_321",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 32931840
                },
                {
                    "name": "param_322",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 32942080
                }
            ]
        },
        {
            "dataPath": "params_shard_71.bin",
            "format": "raw-shard",
            "nbytes": 35389440,
            "records": [
                {
                    "name": "param_329",
                    "shape": [
                        27648,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 35389440,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_72.bin",
            "format": "raw-shard",
            "nbytes": 33054720,
            "records": [
                {
                    "name": "param_324",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 0
                },
                {
                    "name": "param_325",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 1228800
                },
                {
                    "name": "param_326",
                    "shape": [
                        5120,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 6553600,
                    "byteOffset": 2457600
                },
                {
                    "name": "param_327",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 9011200
                },
                {
                    "name": "param_328",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 9420800
                },
                {
                    "name": "param_330",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 9830400
                },
                {
                    "name": "param_331",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 12042240
                },
                {
                    "name": "param_332",
                    "shape": [
                        5120,
                        864
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 17694720,
                    "byteOffset": 14254080
                },
                {
                    "name": "param_333",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 31948800
                }
            ]
        },
        {
            "dataPath": "params_shard_73.bin",
            "format": "raw-shard",
            "nbytes": 35389440,
            "records": [
                {
                    "name": "param_343",
                    "shape": [
                        27648,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 35389440,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_74.bin",
            "format": "raw-shard",
            "nbytes": 32829440,
            "records": [
                {
                    "name": "param_334",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 0
                },
                {
                    "name": "param_335",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 1105920
                },
                {
                    "name": "param_336",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 1116160
                },
                {
                    "name": "param_337",
                    "shape": [
                        15360,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 19660800,
                    "byteOffset": 1126400
                },
                {
                    "name": "param_338",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 20787200
                },
                {
                    "name": "param_339",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 22016000
                },
                {
                    "name": "param_340",
                    "shape": [
                        5120,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 6553600,
                    "byteOffset": 23244800
                },
                {
                    "name": "param_341",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 29798400
                },
                {
                    "name": "param_342",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 30208000
                },
                {
                    "name": "param_344",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 30617600
                }
            ]
        },
        {
            "dataPath": "params_shard_75.bin",
            "format": "raw-shard",
            "nbytes": 19660800,
            "records": [
                {
                    "name": "param_351",
                    "shape": [
                        15360,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 19660800,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_76.bin",
            "format": "raw-shard",
            "nbytes": 35389440,
            "records": [
                {
                    "name": "param_357",
                    "shape": [
                        27648,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 35389440,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_77.bin",
            "format": "raw-shard",
            "nbytes": 31969280,
            "records": [
                {
                    "name": "param_345",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 0
                },
                {
                    "name": "param_346",
                    "shape": [
                        5120,
                        864
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 17694720,
                    "byteOffset": 2211840
                },
                {
                    "name": "param_347",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 19906560
                },
                {
                    "name": "param_348",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 21012480
                },
                {
                    "name": "param_349",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 22118400
                },
                {
                    "name": "param_350",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 22128640
                },
                {
                    "name": "param_352",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 22138880
                },
                {
                    "name": "param_353",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 23367680
                },
                {
                    "name": "param_354",
                    "shape": [
                        5120,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 6553600,
                    "byteOffset": 24596480
                },
                {
                    "name": "param_355",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 31150080
                },
                {
                    "name": "param_356",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 31559680
                }
            ]
        },
        {
            "dataPath": "params_shard_78.bin",
            "format": "raw-shard",
            "nbytes": 19660800,
            "records": [
                {
                    "name": "param_365",
                    "shape": [
                        15360,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 19660800,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_79.bin",
            "format": "raw-shard",
            "nbytes": 33361920,
            "records": [
                {
                    "name": "param_358",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 0
                },
                {
                    "name": "param_359",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 2211840
                },
                {
                    "name": "param_360",
                    "shape": [
                        5120,
                        864
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 17694720,
                    "byteOffset": 4423680
                },
                {
                    "name": "param_361",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 22118400
                },
                {
                    "name": "param_362",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 23224320
                },
                {
                    "name": "param_363",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 24330240
                },
                {
                    "name": "param_364",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 24340480
                },
                {
                    "name": "param_366",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 24350720
                },
                {
                    "name": "param_367",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 25579520
                },
                {
                    "name": "param_368",
                    "shape": [
                        5120,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 6553600,
                    "byteOffset": 26808320
                }
            ]
        },
        {
            "dataPath": "params_shard_80.bin",
            "format": "raw-shard",
            "nbytes": 35389440,
            "records": [
                {
                    "name": "param_371",
                    "shape": [
                        27648,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 35389440,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_81.bin",
            "format": "raw-shard",
            "nbytes": 19660800,
            "records": [
                {
                    "name": "param_379",
                    "shape": [
                        15360,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 19660800,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_82.bin",
            "format": "raw-shard",
            "nbytes": 27627520,
            "records": [
                {
                    "name": "param_369",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 0
                },
                {
                    "name": "param_370",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 409600
                },
                {
                    "name": "param_372",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 819200
                },
                {
                    "name": "param_373",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 3031040
                },
                {
                    "name": "param_374",
                    "shape": [
                        5120,
                        864
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 17694720,
                    "byteOffset": 5242880
                },
                {
                    "name": "param_375",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 22937600
                },
                {
                    "name": "param_376",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 24043520
                },
                {
                    "name": "param_377",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 25149440
                },
                {
                    "name": "param_378",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 25159680
                },
                {
                    "name": "param_380",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 25169920
                },
                {
                    "name": "param_381",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 26398720
                }
            ]
        },
        {
            "dataPath": "params_shard_83.bin",
            "format": "raw-shard",
            "nbytes": 35389440,
            "records": [
                {
                    "name": "param_385",
                    "shape": [
                        27648,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 35389440,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_84.bin",
            "format": "raw-shard",
            "nbytes": 19660800,
            "records": [
                {
                    "name": "param_393",
                    "shape": [
                        15360,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 19660800,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_85.bin",
            "format": "raw-shard",
            "nbytes": 32952320,
            "records": [
                {
                    "name": "param_382",
                    "shape": [
                        5120,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 6553600,
                    "byteOffset": 0
                },
                {
                    "name": "param_383",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 6553600
                },
                {
                    "name": "param_384",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 6963200
                },
                {
                    "name": "param_386",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 7372800
                },
                {
                    "name": "param_387",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 9584640
                },
                {
                    "name": "param_388",
                    "shape": [
                        5120,
                        864
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 17694720,
                    "byteOffset": 11796480
                },
                {
                    "name": "param_389",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 29491200
                },
                {
                    "name": "param_390",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 30597120
                },
                {
                    "name": "param_391",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 31703040
                },
                {
                    "name": "param_392",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 31713280
                },
                {
                    "name": "param_394",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 31723520
                }
            ]
        },
        {
            "dataPath": "params_shard_86.bin",
            "format": "raw-shard",
            "nbytes": 35389440,
            "records": [
                {
                    "name": "param_399",
                    "shape": [
                        27648,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 35389440,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_87.bin",
            "format": "raw-shard",
            "nbytes": 19660800,
            "records": [
                {
                    "name": "param_407",
                    "shape": [
                        15360,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 19660800,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_88.bin",
            "format": "raw-shard",
            "nbytes": 32952320,
            "records": [
                {
                    "name": "param_395",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 0
                },
                {
                    "name": "param_396",
                    "shape": [
                        5120,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 6553600,
                    "byteOffset": 1228800
                },
                {
                    "name": "param_397",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 7782400
                },
                {
                    "name": "param_398",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 8192000
                },
                {
                    "name": "param_400",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 8601600
                },
                {
                    "name": "param_401",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 10813440
                },
                {
                    "name": "param_402",
                    "shape": [
                        5120,
                        864
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 17694720,
                    "byteOffset": 13025280
                },
                {
                    "name": "param_403",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 30720000
                },
                {
                    "name": "param_404",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 31825920
                },
                {
                    "name": "param_405",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 32931840
                },
                {
                    "name": "param_406",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 32942080
                }
            ]
        },
        {
            "dataPath": "params_shard_89.bin",
            "format": "raw-shard",
            "nbytes": 35389440,
            "records": [
                {
                    "name": "param_413",
                    "shape": [
                        27648,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 35389440,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_90.bin",
            "format": "raw-shard",
            "nbytes": 33054720,
            "records": [
                {
                    "name": "param_408",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 0
                },
                {
                    "name": "param_409",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 1228800
                },
                {
                    "name": "param_410",
                    "shape": [
                        5120,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 6553600,
                    "byteOffset": 2457600
                },
                {
                    "name": "param_411",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 9011200
                },
                {
                    "name": "param_412",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 9420800
                },
                {
                    "name": "param_414",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 9830400
                },
                {
                    "name": "param_415",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 12042240
                },
                {
                    "name": "param_416",
                    "shape": [
                        5120,
                        864
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 17694720,
                    "byteOffset": 14254080
                },
                {
                    "name": "param_417",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 31948800
                }
            ]
        },
        {
            "dataPath": "params_shard_91.bin",
            "format": "raw-shard",
            "nbytes": 35389440,
            "records": [
                {
                    "name": "param_427",
                    "shape": [
                        27648,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 35389440,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_92.bin",
            "format": "raw-shard",
            "nbytes": 32829440,
            "records": [
                {
                    "name": "param_418",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 0
                },
                {
                    "name": "param_419",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 1105920
                },
                {
                    "name": "param_420",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 1116160
                },
                {
                    "name": "param_421",
                    "shape": [
                        15360,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 19660800,
                    "byteOffset": 1126400
                },
                {
                    "name": "param_422",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 20787200
                },
                {
                    "name": "param_423",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 22016000
                },
                {
                    "name": "param_424",
                    "shape": [
                        5120,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 6553600,
                    "byteOffset": 23244800
                },
                {
                    "name": "param_425",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 29798400
                },
                {
                    "name": "param_426",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 30208000
                },
                {
                    "name": "param_428",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 30617600
                }
            ]
        },
        {
            "dataPath": "params_shard_93.bin",
            "format": "raw-shard",
            "nbytes": 19660800,
            "records": [
                {
                    "name": "param_435",
                    "shape": [
                        15360,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 19660800,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_94.bin",
            "format": "raw-shard",
            "nbytes": 35389440,
            "records": [
                {
                    "name": "param_441",
                    "shape": [
                        27648,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 35389440,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_95.bin",
            "format": "raw-shard",
            "nbytes": 31969280,
            "records": [
                {
                    "name": "param_429",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 0
                },
                {
                    "name": "param_430",
                    "shape": [
                        5120,
                        864
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 17694720,
                    "byteOffset": 2211840
                },
                {
                    "name": "param_431",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 19906560
                },
                {
                    "name": "param_432",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 21012480
                },
                {
                    "name": "param_433",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 22118400
                },
                {
                    "name": "param_434",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 22128640
                },
                {
                    "name": "param_436",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 22138880
                },
                {
                    "name": "param_437",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 23367680
                },
                {
                    "name": "param_438",
                    "shape": [
                        5120,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 6553600,
                    "byteOffset": 24596480
                },
                {
                    "name": "param_439",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 31150080
                },
                {
                    "name": "param_440",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 31559680
                }
            ]
        },
        {
            "dataPath": "params_shard_96.bin",
            "format": "raw-shard",
            "nbytes": 19660800,
            "records": [
                {
                    "name": "param_449",
                    "shape": [
                        15360,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 19660800,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_97.bin",
            "format": "raw-shard",
            "nbytes": 33361920,
            "records": [
                {
                    "name": "param_442",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 0
                },
                {
                    "name": "param_443",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 2211840
                },
                {
                    "name": "param_444",
                    "shape": [
                        5120,
                        864
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 17694720,
                    "byteOffset": 4423680
                },
                {
                    "name": "param_445",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 22118400
                },
                {
                    "name": "param_446",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 23224320
                },
                {
                    "name": "param_447",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 24330240
                },
                {
                    "name": "param_448",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 24340480
                },
                {
                    "name": "param_450",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 24350720
                },
                {
                    "name": "param_451",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 25579520
                },
                {
                    "name": "param_452",
                    "shape": [
                        5120,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 6553600,
                    "byteOffset": 26808320
                }
            ]
        },
        {
            "dataPath": "params_shard_98.bin",
            "format": "raw-shard",
            "nbytes": 35389440,
            "records": [
                {
                    "name": "param_455",
                    "shape": [
                        27648,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 35389440,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_99.bin",
            "format": "raw-shard",
            "nbytes": 19660800,
            "records": [
                {
                    "name": "param_463",
                    "shape": [
                        15360,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 19660800,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_100.bin",
            "format": "raw-shard",
            "nbytes": 27627520,
            "records": [
                {
                    "name": "param_453",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 0
                },
                {
                    "name": "param_454",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 409600
                },
                {
                    "name": "param_456",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 819200
                },
                {
                    "name": "param_457",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 3031040
                },
                {
                    "name": "param_458",
                    "shape": [
                        5120,
                        864
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 17694720,
                    "byteOffset": 5242880
                },
                {
                    "name": "param_459",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 22937600
                },
                {
                    "name": "param_460",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 24043520
                },
                {
                    "name": "param_461",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 25149440
                },
                {
                    "name": "param_462",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 25159680
                },
                {
                    "name": "param_464",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 25169920
                },
                {
                    "name": "param_465",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 26398720
                }
            ]
        },
        {
            "dataPath": "params_shard_101.bin",
            "format": "raw-shard",
            "nbytes": 35389440,
            "records": [
                {
                    "name": "param_469",
                    "shape": [
                        27648,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 35389440,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_102.bin",
            "format": "raw-shard",
            "nbytes": 19660800,
            "records": [
                {
                    "name": "param_477",
                    "shape": [
                        15360,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 19660800,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_103.bin",
            "format": "raw-shard",
            "nbytes": 32952320,
            "records": [
                {
                    "name": "param_466",
                    "shape": [
                        5120,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 6553600,
                    "byteOffset": 0
                },
                {
                    "name": "param_467",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 6553600
                },
                {
                    "name": "param_468",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 6963200
                },
                {
                    "name": "param_470",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 7372800
                },
                {
                    "name": "param_471",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 9584640
                },
                {
                    "name": "param_472",
                    "shape": [
                        5120,
                        864
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 17694720,
                    "byteOffset": 11796480
                },
                {
                    "name": "param_473",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 29491200
                },
                {
                    "name": "param_474",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 30597120
                },
                {
                    "name": "param_475",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 31703040
                },
                {
                    "name": "param_476",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 31713280
                },
                {
                    "name": "param_478",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 31723520
                }
            ]
        },
        {
            "dataPath": "params_shard_104.bin",
            "format": "raw-shard",
            "nbytes": 35389440,
            "records": [
                {
                    "name": "param_483",
                    "shape": [
                        27648,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 35389440,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_105.bin",
            "format": "raw-shard",
            "nbytes": 19660800,
            "records": [
                {
                    "name": "param_491",
                    "shape": [
                        15360,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 19660800,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_106.bin",
            "format": "raw-shard",
            "nbytes": 32952320,
            "records": [
                {
                    "name": "param_479",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 0
                },
                {
                    "name": "param_480",
                    "shape": [
                        5120,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 6553600,
                    "byteOffset": 1228800
                },
                {
                    "name": "param_481",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 7782400
                },
                {
                    "name": "param_482",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 8192000
                },
                {
                    "name": "param_484",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 8601600
                },
                {
                    "name": "param_485",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 10813440
                },
                {
                    "name": "param_486",
                    "shape": [
                        5120,
                        864
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 17694720,
                    "byteOffset": 13025280
                },
                {
                    "name": "param_487",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 30720000
                },
                {
                    "name": "param_488",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 31825920
                },
                {
                    "name": "param_489",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 32931840
                },
                {
                    "name": "param_490",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 32942080
                }
            ]
        },
        {
            "dataPath": "params_shard_107.bin",
            "format": "raw-shard",
            "nbytes": 35389440,
            "records": [
                {
                    "name": "param_497",
                    "shape": [
                        27648,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 35389440,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_108.bin",
            "format": "raw-shard",
            "nbytes": 33054720,
            "records": [
                {
                    "name": "param_492",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 0
                },
                {
                    "name": "param_493",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 1228800
                },
                {
                    "name": "param_494",
                    "shape": [
                        5120,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 6553600,
                    "byteOffset": 2457600
                },
                {
                    "name": "param_495",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 9011200
                },
                {
                    "name": "param_496",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 9420800
                },
                {
                    "name": "param_498",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 9830400
                },
                {
                    "name": "param_499",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 12042240
                },
                {
                    "name": "param_500",
                    "shape": [
                        5120,
                        864
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 17694720,
                    "byteOffset": 14254080
                },
                {
                    "name": "param_501",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 31948800
                }
            ]
        },
        {
            "dataPath": "params_shard_109.bin",
            "format": "raw-shard",
            "nbytes": 35389440,
            "records": [
                {
                    "name": "param_511",
                    "shape": [
                        27648,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 35389440,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_110.bin",
            "format": "raw-shard",
            "nbytes": 32829440,
            "records": [
                {
                    "name": "param_502",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 0
                },
                {
                    "name": "param_503",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 1105920
                },
                {
                    "name": "param_504",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 1116160
                },
                {
                    "name": "param_505",
                    "shape": [
                        15360,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 19660800,
                    "byteOffset": 1126400
                },
                {
                    "name": "param_506",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 20787200
                },
                {
                    "name": "param_507",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 22016000
                },
                {
                    "name": "param_508",
                    "shape": [
                        5120,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 6553600,
                    "byteOffset": 23244800
                },
                {
                    "name": "param_509",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 29798400
                },
                {
                    "name": "param_510",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 30208000
                },
                {
                    "name": "param_512",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 30617600
                }
            ]
        },
        {
            "dataPath": "params_shard_111.bin",
            "format": "raw-shard",
            "nbytes": 19660800,
            "records": [
                {
                    "name": "param_519",
                    "shape": [
                        15360,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 19660800,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_112.bin",
            "format": "raw-shard",
            "nbytes": 35389440,
            "records": [
                {
                    "name": "param_525",
                    "shape": [
                        27648,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 35389440,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_113.bin",
            "format": "raw-shard",
            "nbytes": 31969280,
            "records": [
                {
                    "name": "param_513",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 0
                },
                {
                    "name": "param_514",
                    "shape": [
                        5120,
                        864
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 17694720,
                    "byteOffset": 2211840
                },
                {
                    "name": "param_515",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 19906560
                },
                {
                    "name": "param_516",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 21012480
                },
                {
                    "name": "param_517",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 22118400
                },
                {
                    "name": "param_518",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 22128640
                },
                {
                    "name": "param_520",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 22138880
                },
                {
                    "name": "param_521",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 23367680
                },
                {
                    "name": "param_522",
                    "shape": [
                        5120,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 6553600,
                    "byteOffset": 24596480
                },
                {
                    "name": "param_523",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 31150080
                },
                {
                    "name": "param_524",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 31559680
                }
            ]
        },
        {
            "dataPath": "params_shard_114.bin",
            "format": "raw-shard",
            "nbytes": 19660800,
            "records": [
                {
                    "name": "param_533",
                    "shape": [
                        15360,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 19660800,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_115.bin",
            "format": "raw-shard",
            "nbytes": 33361920,
            "records": [
                {
                    "name": "param_526",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 0
                },
                {
                    "name": "param_527",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 2211840
                },
                {
                    "name": "param_528",
                    "shape": [
                        5120,
                        864
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 17694720,
                    "byteOffset": 4423680
                },
                {
                    "name": "param_529",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 22118400
                },
                {
                    "name": "param_530",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 23224320
                },
                {
                    "name": "param_531",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 24330240
                },
                {
                    "name": "param_532",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 24340480
                },
                {
                    "name": "param_534",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 24350720
                },
                {
                    "name": "param_535",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 25579520
                },
                {
                    "name": "param_536",
                    "shape": [
                        5120,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 6553600,
                    "byteOffset": 26808320
                }
            ]
        },
        {
            "dataPath": "params_shard_116.bin",
            "format": "raw-shard",
            "nbytes": 35389440,
            "records": [
                {
                    "name": "param_539",
                    "shape": [
                        27648,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 35389440,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_117.bin",
            "format": "raw-shard",
            "nbytes": 19660800,
            "records": [
                {
                    "name": "param_547",
                    "shape": [
                        15360,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 19660800,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_118.bin",
            "format": "raw-shard",
            "nbytes": 27627520,
            "records": [
                {
                    "name": "param_537",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 0
                },
                {
                    "name": "param_538",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 409600
                },
                {
                    "name": "param_540",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 819200
                },
                {
                    "name": "param_541",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 3031040
                },
                {
                    "name": "param_542",
                    "shape": [
                        5120,
                        864
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 17694720,
                    "byteOffset": 5242880
                },
                {
                    "name": "param_543",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 22937600
                },
                {
                    "name": "param_544",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 24043520
                },
                {
                    "name": "param_545",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 25149440
                },
                {
                    "name": "param_546",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 25159680
                },
                {
                    "name": "param_548",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 25169920
                },
                {
                    "name": "param_549",
                    "shape": [
                        15360,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1228800,
                    "byteOffset": 26398720
                }
            ]
        },
        {
            "dataPath": "params_shard_119.bin",
            "format": "raw-shard",
            "nbytes": 35389440,
            "records": [
                {
                    "name": "param_553",
                    "shape": [
                        27648,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 35389440,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_120.bin",
            "format": "raw-shard",
            "nbytes": 327680000,
            "records": [
                {
                    "name": "param_562",
                    "shape": [
                        32000,
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 327680000,
                    "byteOffset": 0
                }
            ]
        },
        {
            "dataPath": "params_shard_121.bin",
            "format": "raw-shard",
            "nbytes": 32782336,
            "records": [
                {
                    "name": "param_550",
                    "shape": [
                        5120,
                        320
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 6553600,
                    "byteOffset": 0
                },
                {
                    "name": "param_551",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 6553600
                },
                {
                    "name": "param_552",
                    "shape": [
                        5120,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 409600,
                    "byteOffset": 6963200
                },
                {
                    "name": "param_554",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 7372800
                },
                {
                    "name": "param_555",
                    "shape": [
                        27648,
                        40
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 2211840,
                    "byteOffset": 9584640
                },
                {
                    "name": "param_556",
                    "shape": [
                        5120,
                        864
                    ],
                    "dtype": "uint32",
                    "format": "raw",
                    "nbytes": 17694720,
                    "byteOffset": 11796480
                },
                {
                    "name": "param_557",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 29491200
                },
                {
                    "name": "param_558",
                    "shape": [
                        5120,
                        108
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 1105920,
                    "byteOffset": 30597120
                },
                {
                    "name": "param_559",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 31703040
                },
                {
                    "name": "param_560",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 31713280
                },
                {
                    "name": "param_561",
                    "shape": [
                        5120
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 10240,
                    "byteOffset": 31723520
                },
                {
                    "name": "param_563",
                    "shape": [
                        2048,
                        128
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 524288,
                    "byteOffset": 31733760
                },
                {
                    "name": "param_564",
                    "shape": [
                        2048,
                        128
                    ],
                    "dtype": "float16",
                    "format": "raw",
                    "nbytes": 524288,
                    "byteOffset": 32258048
                }
            ]
        }
    ]
}