{"tree_metadata": {"('learner_state', 'params', 'ac_params', 'params', 'action_head', 'Dense_0', 'bias')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "ac_params", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "action_head", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'params', 'ac_params', 'params', 'action_head', 'Dense_0', 'kernel')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "ac_params", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "action_head", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'params', 'ac_params', 'params', 'critic_head', 'Dense_0', 'bias')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "ac_params", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "critic_head", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'params', 'ac_params', 'params', 'critic_head', 'Dense_0', 'kernel')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "ac_params", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "critic_head", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'params', 'ac_params', 'params', 'shared_torso', 'Dense_0', 'bias')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "ac_params", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "shared_torso", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'params', 'ac_params', 'params', 'shared_torso', 'Dense_0', 'kernel')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "ac_params", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "shared_torso", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'params', 'ac_params', 'params', 'shared_torso', 'Dense_1', 'bias')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "ac_params", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "shared_torso", "key_type": 2}, {"key": "Dense_1", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'params', 'ac_params', 'params', 'shared_torso', 'Dense_1', 'kernel')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "ac_params", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "shared_torso", "key_type": 2}, {"key": "Dense_1", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'params', 'ac_params', 'params', 'shared_torso', 'Dense_2', 'bias')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "ac_params", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "shared_torso", "key_type": 2}, {"key": "Dense_2", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'params', 'ac_params', 'params', 'shared_torso', 'Dense_2', 'kernel')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "ac_params", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "shared_torso", "key_type": 2}, {"key": "Dense_2", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'params', 'target_ac_params', 'params', 'action_head', 'Dense_0', 'bias')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "target_ac_params", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "action_head", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'params', 'target_ac_params', 'params', 'action_head', 'Dense_0', 'kernel')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "target_ac_params", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "action_head", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'params', 'target_ac_params', 'params', 'critic_head', 'Dense_0', 'bias')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "target_ac_params", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "critic_head", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'params', 'target_ac_params', 'params', 'critic_head', 'Dense_0', 'kernel')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "target_ac_params", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "critic_head", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'params', 'target_ac_params', 'params', 'shared_torso', 'Dense_0', 'bias')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "target_ac_params", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "shared_torso", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'params', 'target_ac_params', 'params', 'shared_torso', 'Dense_0', 'kernel')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "target_ac_params", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "shared_torso", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'params', 'target_ac_params', 'params', 'shared_torso', 'Dense_1', 'bias')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "target_ac_params", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "shared_torso", "key_type": 2}, {"key": "Dense_1", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'params', 'target_ac_params', 'params', 'shared_torso', 'Dense_1', 'kernel')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "target_ac_params", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "shared_torso", "key_type": 2}, {"key": "Dense_1", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'params', 'target_ac_params', 'params', 'shared_torso', 'Dense_2', 'bias')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "target_ac_params", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "shared_torso", "key_type": 2}, {"key": "Dense_2", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'params', 'target_ac_params', 'params', 'shared_torso', 'Dense_2', 'kernel')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "target_ac_params", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "shared_torso", "key_type": 2}, {"key": "Dense_2", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'params', 'dual_params', 'log_temperature')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "dual_params", "key_type": 2}, {"key": "log_temperature", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'params', 'dual_params', 'log_alpha')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "dual_params", "key_type": 2}, {"key": "log_alpha", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'opt_states', 'ac_opt_state', '0')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "opt_states", "key_type": 2}, {"key": "ac_opt_state", "key_type": 2}, {"key": "0", "key_type": 1}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('learner_state', 'opt_states', 'ac_opt_state', '1', '0', 'count')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "opt_states", "key_type": 2}, {"key": "ac_opt_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "count", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'opt_states', 'ac_opt_state', '1', '0', 'mu', 'params', 'action_head', 'Dense_0', 'bias')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "opt_states", "key_type": 2}, {"key": "ac_opt_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "action_head", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'opt_states', 'ac_opt_state', '1', '0', 'mu', 'params', 'action_head', 'Dense_0', 'kernel')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "opt_states", "key_type": 2}, {"key": "ac_opt_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "action_head", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'opt_states', 'ac_opt_state', '1', '0', 'mu', 'params', 'critic_head', 'Dense_0', 'bias')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "opt_states", "key_type": 2}, {"key": "ac_opt_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "critic_head", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'opt_states', 'ac_opt_state', '1', '0', 'mu', 'params', 'critic_head', 'Dense_0', 'kernel')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "opt_states", "key_type": 2}, {"key": "ac_opt_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "critic_head", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'opt_states', 'ac_opt_state', '1', '0', 'mu', 'params', 'shared_torso', 'Dense_0', 'bias')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "opt_states", "key_type": 2}, {"key": "ac_opt_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "shared_torso", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'opt_states', 'ac_opt_state', '1', '0', 'mu', 'params', 'shared_torso', 'Dense_0', 'kernel')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "opt_states", "key_type": 2}, {"key": "ac_opt_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "shared_torso", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'opt_states', 'ac_opt_state', '1', '0', 'mu', 'params', 'shared_torso', 'Dense_1', 'bias')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "opt_states", "key_type": 2}, {"key": "ac_opt_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "shared_torso", "key_type": 2}, {"key": "Dense_1", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'opt_states', 'ac_opt_state', '1', '0', 'mu', 'params', 'shared_torso', 'Dense_1', 'kernel')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "opt_states", "key_type": 2}, {"key": "ac_opt_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "shared_torso", "key_type": 2}, {"key": "Dense_1", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'opt_states', 'ac_opt_state', '1', '0', 'mu', 'params', 'shared_torso', 'Dense_2', 'bias')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "opt_states", "key_type": 2}, {"key": "ac_opt_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "shared_torso", "key_type": 2}, {"key": "Dense_2", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'opt_states', 'ac_opt_state', '1', '0', 'mu', 'params', 'shared_torso', 'Dense_2', 'kernel')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "opt_states", "key_type": 2}, {"key": "ac_opt_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "shared_torso", "key_type": 2}, {"key": "Dense_2", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'opt_states', 'ac_opt_state', '1', '0', 'nu', 'params', 'action_head', 'Dense_0', 'bias')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "opt_states", "key_type": 2}, {"key": "ac_opt_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "action_head", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'opt_states', 'ac_opt_state', '1', '0', 'nu', 'params', 'action_head', 'Dense_0', 'kernel')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "opt_states", "key_type": 2}, {"key": "ac_opt_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "action_head", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'opt_states', 'ac_opt_state', '1', '0', 'nu', 'params', 'critic_head', 'Dense_0', 'bias')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "opt_states", "key_type": 2}, {"key": "ac_opt_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "critic_head", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'opt_states', 'ac_opt_state', '1', '0', 'nu', 'params', 'critic_head', 'Dense_0', 'kernel')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "opt_states", "key_type": 2}, {"key": "ac_opt_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "critic_head", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'opt_states', 'ac_opt_state', '1', '0', 'nu', 'params', 'shared_torso', 'Dense_0', 'bias')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "opt_states", "key_type": 2}, {"key": "ac_opt_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "shared_torso", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'opt_states', 'ac_opt_state', '1', '0', 'nu', 'params', 'shared_torso', 'Dense_0', 'kernel')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "opt_states", "key_type": 2}, {"key": "ac_opt_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "shared_torso", "key_type": 2}, {"key": "Dense_0", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'opt_states', 'ac_opt_state', '1', '0', 'nu', 'params', 'shared_torso', 'Dense_1', 'bias')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "opt_states", "key_type": 2}, {"key": "ac_opt_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "shared_torso", "key_type": 2}, {"key": "Dense_1", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'opt_states', 'ac_opt_state', '1', '0', 'nu', 'params', 'shared_torso', 'Dense_1', 'kernel')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "opt_states", "key_type": 2}, {"key": "ac_opt_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "shared_torso", "key_type": 2}, {"key": "Dense_1", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'opt_states', 'ac_opt_state', '1', '0', 'nu', 'params', 'shared_torso', 'Dense_2', 'bias')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "opt_states", "key_type": 2}, {"key": "ac_opt_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "shared_torso", "key_type": 2}, {"key": "Dense_2", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'opt_states', 'ac_opt_state', '1', '0', 'nu', 'params', 'shared_torso', 'Dense_2', 'kernel')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "opt_states", "key_type": 2}, {"key": "ac_opt_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "params", "key_type": 2}, {"key": "shared_torso", "key_type": 2}, {"key": "Dense_2", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'opt_states', 'ac_opt_state', '1', '1')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "opt_states", "key_type": 2}, {"key": "ac_opt_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "1", "key_type": 1}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('learner_state', 'opt_states', 'ac_opt_state', '1', '2')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "opt_states", "key_type": 2}, {"key": "ac_opt_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "2", "key_type": 1}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('learner_state', 'opt_states', 'dual_opt_state', '0')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "opt_states", "key_type": 2}, {"key": "dual_opt_state", "key_type": 2}, {"key": "0", "key_type": 1}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('learner_state', 'opt_states', 'dual_opt_state', '1', '0', 'count')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "opt_states", "key_type": 2}, {"key": "dual_opt_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "count", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'opt_states', 'dual_opt_state', '1', '0', 'mu', 'log_temperature')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "opt_states", "key_type": 2}, {"key": "dual_opt_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "log_temperature", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'opt_states', 'dual_opt_state', '1', '0', 'mu', 'log_alpha')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "opt_states", "key_type": 2}, {"key": "dual_opt_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "mu", "key_type": 2}, {"key": "log_alpha", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'opt_states', 'dual_opt_state', '1', '0', 'nu', 'log_temperature')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "opt_states", "key_type": 2}, {"key": "dual_opt_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "log_temperature", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'opt_states', 'dual_opt_state', '1', '0', 'nu', 'log_alpha')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "opt_states", "key_type": 2}, {"key": "dual_opt_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "0", "key_type": 1}, {"key": "nu", "key_type": 2}, {"key": "log_alpha", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'opt_states', 'dual_opt_state', '1', '1')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "opt_states", "key_type": 2}, {"key": "dual_opt_state", "key_type": 2}, {"key": "1", "key_type": 1}, {"key": "1", "key_type": 1}], "value_metadata": {"value_type": "None", "skip_deserialize": true}}, "('learner_state', 'buffer_state', 'current_index')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "buffer_state", "key_type": 2}, {"key": "current_index", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'buffer_state', 'experience', 'done')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "buffer_state", "key_type": 2}, {"key": "experience", "key_type": 2}, {"key": "done", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'buffer_state', 'experience', 'truncated')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "buffer_state", "key_type": 2}, {"key": "experience", "key_type": 2}, {"key": "truncated", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'buffer_state', 'experience', 'action')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "buffer_state", "key_type": 2}, {"key": "experience", "key_type": 2}, {"key": "action", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'buffer_state', 'experience', 'sampled_actions')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "buffer_state", "key_type": 2}, {"key": "experience", "key_type": 2}, {"key": "sampled_actions", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'buffer_state', 'experience', 'reward')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "buffer_state", "key_type": 2}, {"key": "experience", "key_type": 2}, {"key": "reward", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'buffer_state', 'experience', 'search_value')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "buffer_state", "key_type": 2}, {"key": "experience", "key_type": 2}, {"key": "search_value", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'buffer_state', 'experience', 'search_policy')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "buffer_state", "key_type": 2}, {"key": "experience", "key_type": 2}, {"key": "search_policy", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'buffer_state', 'experience', 'obs', 'agent_view')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "buffer_state", "key_type": 2}, {"key": "experience", "key_type": 2}, {"key": "obs", "key_type": 2}, {"key": "agent_view", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'buffer_state', 'experience', 'obs', 'action_mask')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "buffer_state", "key_type": 2}, {"key": "experience", "key_type": 2}, {"key": "obs", "key_type": 2}, {"key": "action_mask", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'buffer_state', 'experience', 'obs', 'step_count')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "buffer_state", "key_type": 2}, {"key": "experience", "key_type": 2}, {"key": "obs", "key_type": 2}, {"key": "step_count", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'buffer_state', 'experience', 'info', 'episode_length')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "buffer_state", "key_type": 2}, {"key": "experience", "key_type": 2}, {"key": "info", "key_type": 2}, {"key": "episode_length", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'buffer_state', 'experience', 'info', 'episode_return')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "buffer_state", "key_type": 2}, {"key": "experience", "key_type": 2}, {"key": "info", "key_type": 2}, {"key": "episode_return", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'buffer_state', 'experience', 'info', 'is_terminal_step')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "buffer_state", "key_type": 2}, {"key": "experience", "key_type": 2}, {"key": "info", "key_type": 2}, {"key": "is_terminal_step", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'buffer_state', 'experience', 'advantages')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "buffer_state", "key_type": 2}, {"key": "experience", "key_type": 2}, {"key": "advantages", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'buffer_state', 'is_full')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "buffer_state", "key_type": 2}, {"key": "is_full", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'key')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "key", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'env_state', 'env_state', 'gymnax_env_state', 'time')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "env_state", "key_type": 2}, {"key": "env_state", "key_type": 2}, {"key": "gymnax_env_state", "key_type": 2}, {"key": "time", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'env_state', 'env_state', 'gymnax_env_state', 'x')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "env_state", "key_type": 2}, {"key": "env_state", "key_type": 2}, {"key": "gymnax_env_state", "key_type": 2}, {"key": "x", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'env_state', 'env_state', 'gymnax_env_state', 'x_dot')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "env_state", "key_type": 2}, {"key": "env_state", "key_type": 2}, {"key": "gymnax_env_state", "key_type": 2}, {"key": "x_dot", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'env_state', 'env_state', 'gymnax_env_state', 'theta')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "env_state", "key_type": 2}, {"key": "env_state", "key_type": 2}, {"key": "gymnax_env_state", "key_type": 2}, {"key": "theta", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'env_state', 'env_state', 'gymnax_env_state', 'theta_dot')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "env_state", "key_type": 2}, {"key": "env_state", "key_type": 2}, {"key": "gymnax_env_state", "key_type": 2}, {"key": "theta_dot", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'env_state', 'env_state', 'key')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "env_state", "key_type": 2}, {"key": "env_state", "key_type": 2}, {"key": "key", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'env_state', 'env_state', 'step_count')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "env_state", "key_type": 2}, {"key": "env_state", "key_type": 2}, {"key": "step_count", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'env_state', 'key')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "env_state", "key_type": 2}, {"key": "key", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'env_state', 'running_count_episode_return')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "env_state", "key_type": 2}, {"key": "running_count_episode_return", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'env_state', 'running_count_episode_length')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "env_state", "key_type": 2}, {"key": "running_count_episode_length", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'env_state', 'episode_return')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "env_state", "key_type": 2}, {"key": "episode_return", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'env_state', 'episode_length')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "env_state", "key_type": 2}, {"key": "episode_length", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'timestep', 'discount')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "timestep", "key_type": 2}, {"key": "discount", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'timestep', 'extras', 'episode_metrics', 'episode_length')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "timestep", "key_type": 2}, {"key": "extras", "key_type": 2}, {"key": "episode_metrics", "key_type": 2}, {"key": "episode_length", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'timestep', 'extras', 'episode_metrics', 'episode_return')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "timestep", "key_type": 2}, {"key": "extras", "key_type": 2}, {"key": "episode_metrics", "key_type": 2}, {"key": "episode_return", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'timestep', 'extras', 'episode_metrics', 'is_terminal_step')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "timestep", "key_type": 2}, {"key": "extras", "key_type": 2}, {"key": "episode_metrics", "key_type": 2}, {"key": "is_terminal_step", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'timestep', 'extras', 'next_obs', 'agent_view')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "timestep", "key_type": 2}, {"key": "extras", "key_type": 2}, {"key": "next_obs", "key_type": 2}, {"key": "agent_view", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'timestep', 'extras', 'next_obs', 'action_mask')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "timestep", "key_type": 2}, {"key": "extras", "key_type": 2}, {"key": "next_obs", "key_type": 2}, {"key": "action_mask", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'timestep', 'extras', 'next_obs', 'step_count')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "timestep", "key_type": 2}, {"key": "extras", "key_type": 2}, {"key": "next_obs", "key_type": 2}, {"key": "step_count", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'timestep', 'observation', 'agent_view')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "timestep", "key_type": 2}, {"key": "observation", "key_type": 2}, {"key": "agent_view", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'timestep', 'observation', 'action_mask')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "timestep", "key_type": 2}, {"key": "observation", "key_type": 2}, {"key": "action_mask", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'timestep', 'observation', 'step_count')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "timestep", "key_type": 2}, {"key": "observation", "key_type": 2}, {"key": "step_count", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'timestep', 'reward')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "timestep", "key_type": 2}, {"key": "reward", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}, "('learner_state', 'timestep', 'step_type')": {"key_metadata": [{"key": "learner_state", "key_type": 2}, {"key": "timestep", "key_type": 2}, {"key": "step_type", "key_type": 2}], "value_metadata": {"value_type": "jax.Array", "skip_deserialize": false}}}, "use_zarr3": false}