知识库的一些说明

小艾同学 ... 大约 2 分钟

# 知识库的一些说明

# 0、推荐配置

新建知识库后，会有提示推荐的配置，是一个json结构，示例如下。如果需要修改，或者有问题的，请联系管理员，1121225022@qq.com

// 智能问答
"qaSearch":{
    "llmModelExtend_#install#":[
        {
            "key":"qwen257b", // NOTE 所有共享，因为属于一次性的模型，不存储
            "name":"Qwen/Qwen2.5-0.5B-Instruct",
            "type":"huggingface", // huggingface
            "device":"cuda",
            'gpuSize':int(1*1024),
            "id":"Qwen/Qwen2.5-0.5B-Instruct",
            'position':serverType, // 'local' 表示本地模型，web 表示网络模型
        },
    ]
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14

# 一、在CPU下使用知识库，在创建知识库时，会自动根据内存的大小，提供推荐的知识库配置

当可用内存 < 0.8G 时，会屏蔽多模态模型、智能问答模型和生成模型，并无法处理视频
- 本地知识库可以进行包含搜索，包含搜索是指：文字搜索、pdf和word等文件文字内容搜索、图片文字搜索、语音和视频文字搜索。无法进行相似性搜索和问答。所谓相似性搜索是指，与输入文字相似的内容，如：输入熊猫文字，会输出熊猫的图片和视频。输入熊猫的图片，会输出其他熊猫或动物的相似图片以及视频。
当可用内存在 [0.8G,6G] 时，会屏蔽多模态模型、智能问答模型和生成模型，但可以处理视频
当可用内存在 >6G 时，可以使用多模态模型、智能问答模型和生成模型

# 二、在GPU下使用知识库，会优先将模型先分配到 GPU 上，如果 GPU 没有空间了，则会将其它模型分配到内存上使用

支持的GPU计算能力范围 CUDA 11 支持的计算能力从 3.5 到 8.0，具体包括以下架构：

Kepler（3.5）：例如 GeForce 700 系列（如 GTX 780），但已被标记为弃用。
Maxwell（5.0、5.3）：例如 GeForce 900 系列（GTX 950 及以上）。
Pascal（6.0、6.1、6.2）：例如 GeForce 10 系列（GTX 1080）和 Tesla P100。
Volta（7.0、7.2）：例如 Tesla V100。
Turing（7.5）：例如 GeForce RTX 20 系列（RTX 2080）和 Quadro RTX 5000。
Ampere（8.0）：例如 GeForce RTX 30 系列（RTX 3090）和 A100 GPU。

驱动要求 CUDA 11 需要 NVIDIA 驱动版本 450.36.06 或更高。旧显卡需确保驱动兼容性，例如 Kepler 显卡需安装 450+ 示例显卡型号支持：RTX 3090 (8.0), RTX 2080 (7.5), GTX 1080 (6.1), GTX 960 (5.2), GTX 780 (3.5)。不支持：Fermi 架构（如 GTX 580，计算能力 2.x）已被移除支持。