hanAlex commited on
Commit
88dd0a4
β€’
1 Parent(s): 8ecdcac

Update model_server.py

Browse files
Files changed (1) hide show
  1. model_server.py +2 -2
model_server.py CHANGED
@@ -134,8 +134,8 @@ if __name__ == "__main__":
134
  parser = argparse.ArgumentParser()
135
 
136
  parser.add_argument("--host", type=str, default="localhost")
137
- parser.add_argument("--dtype", type=str, default="bfloat16")
138
- parser.add_argument("--device", type=str, default="cuda:0")
139
  parser.add_argument("--port", type=int, default=10000)
140
  parser.add_argument("--model-path", type=str, default="THUDM/glm-4-voice-9b")
141
  args = parser.parse_args()
 
134
  parser = argparse.ArgumentParser()
135
 
136
  parser.add_argument("--host", type=str, default="localhost")
137
+ #parser.add_argument("--dtype", type=str, default="bfloat16")
138
+ #parser.add_argument("--device", type=str, default="cuda:0")
139
  parser.add_argument("--port", type=int, default=10000)
140
  parser.add_argument("--model-path", type=str, default="THUDM/glm-4-voice-9b")
141
  args = parser.parse_args()