Dockerfile

FROM tabbyml/tabby

ENV TABBY_ROOT=/data
ENV MODEL=TabbyML/SantaCoder-1B

CMD ["serve", ”--device", "cuda", "--model", "$MODEL"]