Dockerfile

# Use a base image with Python
FROM python:3.10-slim-buster 

# Set working directory
WORKDIR /app

# Copy requirements file
COPY requirements.txt .
COPY extensions/openai/requirements.txt .

# Install dependencies
RUN pip install --upgrade pip \
    && pip install -r extensions/openai/requirements.txt \
    && pip install -r requirements.txt

# Clone the repository
RUN git clone https://github.com/oobabooga/text-generation-webui

# Set working directory to the cloned repository
WORKDIR /app/text-generation-webui

# Download the model 
RUN python download-model.py https://huggingface.co./DanielAWrightGabrielAI/mpt-7b-storywriter-4bit-128g-65kTokens-CPU

# Expose the port the web UI will run on
EXPOSE 7860

# Define the command to run the web UI (remove --tensorcores flag)
CMD ["python", "server.py", "--share", "--model", "/app/text-generation-webui/models/DanielAWrightGabrielAI_mpt-7b-storywriter-4bit-128g-65kTokens-CPU", "--trust-remote-code", "--api", "--public-api"