LLM/README.md

## LLM 大语言模型为数字人赋能



### Linly-AI 伶荔

Linly来自深圳大学数据工程国家重点实验室，参考[https://github.com/CVI-SZU/Linly](https://github.com/CVI-SZU/Linly)

下载Linly模型：[https://huggingface.co./Linly-AI/Chinese-LLaMA-2-7B-hf](https://huggingface.co./Linly-AI/Chinese-LLaMA-2-7B-hf)

一共有两种下载方式：

1. 可以使用`git`下载

```bash

git lfs install

git clone https://huggingface.co./Linly-AI/Chinese-LLaMA-2-7B-hf

```

2. 使用`huggingface`的下载工具`huggingface-cli`

```bash

pip install -U huggingface_hub



# 设置镜像加速

# Linux

export HF_ENDPOINT="https://hf-mirror.com"

# windows powershell

$env:HF_ENDPOINT="https://hf-mirror.com"



# 命令行下载

huggingface-cli download --resume-download Linly-AI/Chinese-LLaMA-2-7B-hf --local-dir Linly-AI/Chinese-LLaMA-2-7B-hf

```



**API部署**

API部署推荐**FastAPI**，现在更新了 FastAPI 的API使用版本，FastAPI 是一个高性能、易用且现代的Python Web 框架，它通过使用最新的Python 特性和异步编程，提供了快速开发Web API 的能力。 该框架不仅易于学习和使用，还具有自动生成文档、数据验证等强大功能。 无论是构建小型项目还是大型应用程序，FastAPI 都是一个强大而有效的工具。

首先安装部署API所使用的库

```bash

pip install fastapi==0.104.1

pip install uvicorn==0.24.0.post1

```

其他使用方法大致相同，主要是不同代码实现方式，会更加简单便捷，并且处理并发也会更好

```python

from fastapi import FastAPI, Request

from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig

import uvicorn

import json

import datetime

import torch

from configs import model_path, api_port

# 设置设备参数

DEVICE = "cuda"  # 使用CUDA

DEVICE_ID = "0"  # CUDA设备ID，如果未设置则为空

CUDA_DEVICE = f"{DEVICE}:{DEVICE_ID}" if DEVICE_ID else DEVICE  # 组合CUDA设备信息



# 清理GPU内存函数

def torch_gc():

    if torch.cuda.is_available():  # 检查是否可用CUDA

        with torch.cuda.device(CUDA_DEVICE):  # 指定CUDA设备

            torch.cuda.empty_cache()  # 清空CUDA缓存

            torch.cuda.ipc_collect()  # 收集CUDA内存碎片



# 创建FastAPI应用

app = FastAPI()



# 处理POST请求的端点

@app.post("/")

async def create_item(request: Request):

    global model, tokenizer  # 声明全局变量以便在函数内部使用模型和分词器

    json_post_raw = await request.json()  # 获取POST请求的JSON数据

    json_post = json.dumps(json_post_raw)  # 将JSON数据转换为字符串

    json_post_list = json.loads(json_post)  # 将字符串转换为Python对象

    prompt = json_post_list.get('prompt')  # 获取请求中的提示

    history = json_post_list.get('history')  # 获取请求中的历史记录

    max_length = json_post_list.get('max_length')  # 获取请求中的最大长度

    top_p = json_post_list.get('top_p')  # 获取请求中的top_p参数

    temperature = json_post_list.get('temperature')  # 获取请求中的温度参数

    

    # 调用模型进行对话生成

    prompt = f"请用少于25个字回答以下问题 ### Instruction:{prompt}  ### Response:"

    inputs = tokenizer(prompt, return_tensors="pt").to("cuda:0")

    generate_ids = model.generate(inputs.input_ids, 

                                  max_new_tokens=max_length if max_length else 2048,

                                  do_sample=True, 

                                  top_k=20,

                                  top_p=top_p,

                                  temperature=temperature if temperature else 0.84,

                                  repetition_penalty=1.15, eos_token_id=2, bos_token_id=1,pad_token_id=0)

    response = tokenizer.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]

    response = response.split("### Response:")[-1]

    now = datetime.datetime.now()  # 获取当前时间

    time = now.strftime("%Y-%m-%d %H:%M:%S")  # 格式化时间为字符串

    # 构建响应JSON

    answer = {

        "response": response,

        # "history": history,

        "status": 200,

        "time": time

    }

    # 构建日志信息

    log = "[" + time + "] " + '", prompt:"' + prompt + '", response:"' + repr(response) + '"'

    print(log)  # 打印日志

    torch_gc()  # 执行GPU内存清理

    return answer  # 返回响应



# 主函数入口

if __name__ == '__main__':

    # 加载预训练的分词器和模型

    model = AutoModelForCausalLM.from_pretrained(model_path, device_map="cuda:0",

                                                    torch_dtype=torch.bfloat16, trust_remote_code=True)

    tokenizer = AutoTokenizer.from_pretrained(model_path, use_fast=False, trust_remote_code=True)

    model.eval()  # 设置模型为评估模式

    # 启动FastAPI应用

    uvicorn.run(app, host='0.0.0.0', port=api_port, workers=1)  # 在指定端口和主机上启动应用

```

**POST调用**

默认部署在 7871 端口，通过 POST 方法进行调用，可以使用curl调用，如下所示：

```bash

curl -X POST "http://127.0.0.1:7871" \

     -H 'Content-Type: application/json' \

     -d '{"prompt": "如何应对压力"}'

```

**Python代码调用**

也可以使用python中的requests库进行调用，如下所示：

```python

import requests

import json



def get_completion(prompt):

    headers = {'Content-Type': 'application/json'}

    data = {"prompt": prompt}

    response = requests.post(url='http://127.0.0.1:7871', headers=headers, data=json.dumps(data))

    return response.json()['response']



if __name__ == '__main__':

    print(get_completion('你好如何应对压力'))

```

得到的返回值如下所示：

```bash

{

  "response":"寻求支持和放松，并采取积极的措施解决问题。",

  "status":200,

  "time":"2024-01-12 01:43:37"

}

```



### Qwen 通义千问

来自阿里云的Qwen，查看 [https://github.com/QwenLM/Qwen](https://github.com/QwenLM/Qwen)

如果想要快速使用，可以选1.8B的模型，参数比较少，在较小的显存也可以正常使用，当然这一部分可以替换

下载 Qwen1.8B 模型: [https://huggingface.co./Qwen/Qwen-1_8B-Chat](https://huggingface.co./Qwen/Qwen-1_8B-Chat)

可以使用`git`下载

```bash

git lfs install

git clone https://huggingface.co./Qwen/Qwen-1_8B-Chat

```

或者使用`huggingface`的下载工具`huggingface-cli`

```bash

pip install -U huggingface_hub



# 设置镜像加速

# Linux

export HF_ENDPOINT="https://hf-mirror.com"

# windows powershell

$env:HF_ENDPOINT="https://hf-mirror.com"



huggingface-cli download --resume-download Qwen/Qwen-1_8B-Chat --local-dir Qwen/Qwen-1_8B-Chat

```

如果出现了一些网络问题，大家其实可以用魔搭社区进行下载，速度很快，最后修改路径即可 [https://modelscope.cn/models/qwen/Qwen-1_8B-Chat/files](https://modelscope.cn/models/qwen/Qwen-1_8B-Chat/files)

```python

# 模型下载

from modelscope import snapshot_download

model_dir = snapshot_download('qwen/Qwen-1_8B-Chat')

```



### Gemini-Pro 双子座

来自 Google 的 Gemini-Pro，了解更多请访问 [https://deepmind.google/technologies/gemini/](https://deepmind.google/technologies/gemini/)

请求 API 密钥: [https://makersuite.google.com/](https://makersuite.google.com/)



### LLM 多模型选择

在 app.py 文件中，轻松选择您需要的模型。

```python

# 可以注释掉选择模型

# llm = LLM(mode='offline').init_model('Linly', 'Linly-AI/Chinese-LLaMA-2-7B-hf')

# llm = LLM(mode='offline').init_model('Gemini', 'gemini-pro', api_key = "your api key")

# llm = LLM(mode='offline').init_model('Qwen', 'Qwen/Qwen-1_8B-Chat')



# 可以通过config来设置模型

llm = LLM(mode=mode).init_model('Qwen', model_path)

```





### 欢迎补充～～～