milvus向量数据库配置及使用说明

 

1.配置

config文件夹下增加配置文件milvus_conf.xml。内容如下:

<?xml version="1.0" encoding="UTF-8"?>

<!--milvus向量数据库配置文件-->
<conf>

    <!--类型-->
    <pm name="dbtype">milvus</pm>
    <!--url-->
    <pm name="dburl"><![CDATA[http://ip:port]]></pm>
    <!--用户名-->
    <pm name="dbuser">user</pm>
    <!--密码-->
    <pm name="dbpassword">pwd</pm>
    <!--数据库名称-->
    <pm name="dbName">default</pm>
    <!--最大连接数-->
    <pm name="maxTotal">10</pm>
    <!--最大空闲连接数-->
    <pm name="maxIdle">5</pm>
    <!--最小空闲连接数-->
    <pm name="minIdle">1</pm>
    <!--从连接池获取连接的最大等待时间(毫秒)-->
    <pm name="maxWaitMillis">5000</pm>
    <!--连接在池中最小空闲时间(毫秒)-->
    <pm name="minEvictableIdleTimeMillis">60000</pm>
    <!--测试连接有效性-->
    <pm name="testOnBorrow">true</pm>
    <!--归还连接时测试-->
    <pm name="testOnReturn">false</pm>
    <!--空闲时测试连接-->
    <pm name="testWhileIdle">true</pm>
    <!--每次检查连接的数量-->
    <pm name="numTestsPerEvictionRun">3</pm>
    <!--空闲连接检查间隔(毫秒)-->
    <pm name="timeBetweenEvictionRunsMillis">30000</pm>
    <!--ollama api地址-->
    <pm name="ollamaURL"><![CDATA[http://192.168.1.103:11434/api/embeddings]]></pm>
    <!--ollama 模型名称-->
    <pm name="ollamaModelName">embeddinggemma:300m</pm>

</conf>

2.调用方式

在使用microbee-http框架的前提下,进行实例化 DataActionsWrapperMilvus。

    例:DataActionsWrapperMilvus milvus = DataActionsWrapperMilvus.getInstance();

实例化之后进行调用方法

    milvus.getAllCollections();

3.方法说明

方法名描述
 getAllCollections 获取所有集合
 getCollectionStructureByName 获取集合详细信息
 createCollectionSimple 创建集合(简单版:只包含id及向量字段)
 createCollectionWithFields 创建集合(复杂版:根据字段信息创建)
 dropCollectionByName 删除集合
 isCollectionExists 检查集合是否存在
 insertData 插入数据
 deletDataByIds 根据id删除数据
 upsertData 更新数据
 getViewEntitieByIds 根据id获取实体数据
 getViewDataByPage 分页获取数据
 content2vector 文本转向量
 vectorSearch 向量搜索
 updtMilvusStructureWithFields 修改表结构(此方法不修改原有字段信息:milvus不支持修改原有字段信息)

4.调用参数及返回值说明

4.1.获取所有集合

方法名 getAllCollections
参数 无
参数说明 无
返回值 [sm_md246, testg, anythingllm_c00b3880_5400_471c_9256_95589fd3bd22]
返回值说明 List格式,集合名称数组
调用示例List<String> allCollections = instanceMilvus.getAllCollections();

 

4.2.获取集合详细信息

方法名 getCollectionStructureByName
参数 String collectionName
参数说明 collectionName:集合名称
返回值{
  "columns": [
    {
      "dataType": "Int64",
      "autoID": true,
      "name": "id",
      "description": "Milvus 内部主键",
      "isPrimaryKey": true
    },
    {
      "dataType": "Int64",
      "autoID": false,
      "name": "mysqlid",
      "description": "关联的 MySQL 业务主键",
      "isPrimaryKey": false
    },
    {
      "dataType": "VarChar",
      "autoID": false,
      "name": "content",
      "description": "文档切片内容",
      "isPrimaryKey": false
    },
    {
      "dataType": "FloatVector",
      "autoID": false,
      "name": "vector",
      "description": "文本内容的向量表示",
      "isPrimaryKey": false,
      "dimension": 768
    }
  ],
  "tableComment": "知识库对应集合",
  "tableName": "sm_md246"
}
 
返回值说明tableName:集合名称
tableComment:集合描述
columns:字段信息
    name:字段名称
    dataType:字段类型
    isPrimaryKey:是否主键
    autoID:是否自增
    description:字段描述
调用示例Map<String, Object> collectionStructureByName = instanceMilvus.getCollectionStructureByName("microbee_test2");

 

4.3.创建集合(简单版:只包含id及向量字段)

方法名 createCollectionSimple
参数String collectionName
String collectionDesc
参数说明

collectionName:集合名称

collectionDesc:集合描述

返回值boolean
返回值说明true:成功
false:失败
调用示例boolean collectionSimple = instanceMilvus.createCollectionSimple("microbee_test", "四月一日框架调用测试");

 

4.4.创建集合(复杂版:指定所有字段信息)

方法名createCollectionWithFields
参数String collectionName
String collectionDesc
List<Map<String, Object>> fields
参数说明collectionName:集合名称
collectionDesc:集合描述
fields:字段集合
    name:字段名称
    dataType:字段类型
    isPrimaryKey:是否主键(true、false)
    autoID:是否自增(true、false)
    description:字段描述
    dimension:向量维度(向量类型时使用)
返回值boolean
返回值说明true:成功
false:失败
调用示例String fields =
"[{"name":"id","dataType":"int64","isPrimaryKey":true,"autoID":false,"description":"主键ID"},{"name":"vector","dataType":"FloatVector","isPrimaryKey":false,"autoID":false,"description":"向量字段","dimension":3},{"name":"field1","dataType":"varchar","isPrimaryKey":false,"autoID":false,"description":"内容"}]";
boolean collectionWithFields = instanceMilvus.createCollectionWithFields("microbee_test2", "调用测试2", fields);

 

4.5.删除集合

方法名dropCollectionByName
参数String collectionName
参数说明collectionName:集合名称
返回值boolean
返回值说明true:成功
false:失败
调用示例boolean b = instanceMilvus.dropCollectionByName("microbee_test");

 

4.6.检查集合是否存在

方法名isCollectionExists
参数String collectionName
参数说明collectionName:集合名称
返回值boolean
返回值说明true:存在
false:不存在
调用示例boolean microbeeTest3 = instanceMilvus.isCollectionExists("microbee_test2");

 

4.7.插入数据

方法名insertData
参数String collectionName
List<Map<String, Object>> data
参数说明

collectionName:集合名称
data:数据集合
    [{"字段名":"字段值"},{……}]

    注:data如果是jsonstring类型需转换为List<Map<String, Object>> 类型,建议使用框架中JsonUtil.parseJSONList2进行转换。

返回值{
  "success": true,
  "data": "",
  "insertCount": 1
}
返回值说明success:是否成功
data:数据集合
insertCount:插入条数
调用示例

List<Map<String, Object>> mapList = JsonUtil.parseJSONList2("[{"vector":[0.12,0.23,0.45],"field1":"这是内容"},{"vector":[0.12,0.23,0.45],"field1":"这是内容2"}]");

Map<String, Object> stringObjectMap = instanceMilvus.insertData("microbee_test2", mapList);

 

4.8.根据ids删除数据

方法名deleteDataByIds
参数String collectionName
List<Object > ids
参数说明collectionName:集合名称
ids:id集合
返回值{
  "success": true,
  "deleteCount": 1
}
返回值说明success:是否成功
deleteCount:删除条数
调用示例List<Object> ids = new ArrayList<>();
ids.add(Long.parseLong("465314276260400400"));
Map<String, Object> stringObjectMap1 = instanceMilvus.deleteDataByIds("microbee_test2", ids);

 

4.9.更新数据

方法名upsertData
参数String collectionName
List<Map<String, Object>> data
参数说明collectionName:集合名称
data:数据集合
    [{"字段名":"字段值"},{……}]
返回值{
  "success": true,
  "deleteCount": 1,
  "insertCount": 1,
  "ids": 1
}
返回值说明success:是否成功
deleteCount:删除条数
ids:id集合
调用示例List<Map<String, Object>> mapList2 = 
JsonUtil.parseJSONList2("[{"id":1,"vector":[0.12,0.23,0.45],"field1":"这是内容"},{"id":2,"vector":[0.12,0.23,0.45],"field1":"这是内容2"}]");
Map<String, Object> stringObjectMap2 = instance_milvus.upsertData("microbee_test2", mapList2);

 

4.10.根据id获取数据

方法名getViewEntitieByIds
参数String collectionName
List<Object> ids或String id
参数说明collectionName:集合名称
ids:id集合或传string id
返回值{
  "data": {
    "mysqlid": 19,
    "vector": [……..],
    "id": 464861773168870865,
    "content": "张三,今年33岁,天津人,喜欢在海河边跳水。"
  },
  "entity": {
    "mysqlid": 19,
    "vector": 768,
    "id": 464861773168870865,
    "content": "张三,今年33岁,天津人,喜欢在海河边跳水。"
  }
}
返回值说明data:数据集合(实体全部数据)
entity:实体信息(向量只返回维度)
调用示例Map<String, Object> microbeeTest2 = instanceMilvus.getViewEntitieByIds("microbee_test2", "2");

 

4.11.分页获取数据

方法名getViewDataByPage
参数String collectionName
List<ConditionPJ> conditionPJ
int page
int pageCount
参数说明collectionName:集合名称
conditionPJ:条件集合
page:页码
pageCount:每页条数
返回值{
  "total": 1,
  "data": [
    {
      "mysqlid": 19,
      "vector": [],
      "id": 464861773168870865,
      "content": "张三,今年33岁,天津人,喜欢在海河边跳水。"
    }
  ],
  "columnNames": [
    "id",
    "mysqlid",
    "content",
    "vector"
  ]
}
返回值说明data:数据集合
total:查询数据总数
columnNames:返回字段名称集合
调用示例List<ConditionPJ> conditionPJs = new ArrayList<>();
conditionPJs.add(ConditionPJ.init(1, "id", "mcb_neq", "0"));
Map<String, Object> test01 = instanceMilvus.getViewDataByPage("test_01", conditionPJs, 1, 10);
注:使用分页时必须要有条件

 

4.12.文本转向量

注:此方法需配置大模型

方法名content2vector
参数String content
参数说明content:文本内容
返回值[
  0.8146675,
  0.26684007,
  0.0701899,
  0.7063995,
  0.7720725,
  0.7844295,
  0.80117583,
  0.9030758,
  0.33126536,
  0.21173064,
  …
]
返回值说明

向量集合

调用示例float[] vector = instanceMilvus.content2vector("测试测试");

 

4.13.向量搜索

方法名vectorSearch
参数String collectionName
String vector
int searchNumber
参数说明collectionName:集合名称
vector:向量数据
searchNumber:查询条数(查所有传0)
返回值{zh
  "columnNames": [
    "id",
    "score",
    "mysqlid",
    "content"
  ],
  "data": [
    {
      "id": 464861773168870865,
      "score": 0.9999924,
      "mysqlid": 19,
      "content": "张三,今年33岁,天津人,喜欢在海河边跳水。"
    }
  ]
}
返回值说明columnNames:字段名称集合
data:查询结果集合
id:数据id
score:相关性
调用示例Map<String, Object> stringObjectMap = instance_milvus.vectorSearch("microbee_test2", "[0.12,0.23,0.45]", 10);

 

4.14.修改表结构

注:此方法不修改原有字段信息(milvus不支持修改原有字段信息)

方法名updtMilvusStructureWithFields
参数String collectionName
String collectionNewName
List<Map<String, Object>> fields
参数说明collectionName:集合原名称
collectionNewName:集合新名称(与原名称相同不进行修改)
fields:字段集合
    name:字段名称
    dataType:字段类型
    isPrimaryKey:是否主键(true、false)
    autoID:是否自增(true、false)
    description:字段描述
    isNullable:是否为空(true、false)
    dimension:向量维度(向量字段传此参数)
返回值boolean
返回值说明true:成功
false:失败
调用示例String a = 
"[{"name":"fffff1","dataType":"int64","isPrimaryKey":false,"autoID":false,"description":"测试子段1","isNullable":true},{"name":"fffff2","dataType":"varchar","isPrimaryKey":false,"autoID":false,"description":"测试子段2","isNullable":true}]";
List<Map<String, Object>> mapList = JsonUtil.parseJSONList2(a);
boolean b = instance_milvus.updtMilvusStructureWithFields("microbee_test2", "microbee_test2", mapList);

 

本文档来自—microbee-http 丨 软件开发框架平台