milvus向量数据库配置及使用说明
1.配置
config文件夹下增加配置文件milvus_conf.xml。内容如下:
<?xml version="1.0" encoding="UTF-8"?>
<!--milvus向量数据库配置文件-->
<conf><!--类型-->
<pm name="dbtype">milvus</pm>
<!--url-->
<pm name="dburl"><![CDATA[http://ip:port]]></pm>
<!--用户名-->
<pm name="dbuser">user</pm>
<!--密码-->
<pm name="dbpassword">pwd</pm>
<!--数据库名称-->
<pm name="dbName">default</pm>
<!--最大连接数-->
<pm name="maxTotal">10</pm>
<!--最大空闲连接数-->
<pm name="maxIdle">5</pm>
<!--最小空闲连接数-->
<pm name="minIdle">1</pm>
<!--从连接池获取连接的最大等待时间(毫秒)-->
<pm name="maxWaitMillis">5000</pm>
<!--连接在池中最小空闲时间(毫秒)-->
<pm name="minEvictableIdleTimeMillis">60000</pm>
<!--测试连接有效性-->
<pm name="testOnBorrow">true</pm>
<!--归还连接时测试-->
<pm name="testOnReturn">false</pm>
<!--空闲时测试连接-->
<pm name="testWhileIdle">true</pm>
<!--每次检查连接的数量-->
<pm name="numTestsPerEvictionRun">3</pm>
<!--空闲连接检查间隔(毫秒)-->
<pm name="timeBetweenEvictionRunsMillis">30000</pm>
<!--ollama api地址-->
<pm name="ollamaURL"><![CDATA[http://192.168.1.103:11434/api/embeddings]]></pm>
<!--ollama 模型名称-->
<pm name="ollamaModelName">embeddinggemma:300m</pm></conf>
2.调用方式
在使用microbee-http框架的前提下,进行实例化 DataActionsWrapperMilvus。
例:DataActionsWrapperMilvus milvus = DataActionsWrapperMilvus.getInstance();
实例化之后进行调用方法
milvus.getAllCollections();
3.方法说明
| 方法名 | 描述 |
| getAllCollections | 获取所有集合 |
| getCollectionStructureByName | 获取集合详细信息 |
| createCollectionSimple | 创建集合(简单版:只包含id及向量字段) |
| createCollectionWithFields | 创建集合(复杂版:根据字段信息创建) |
| dropCollectionByName | 删除集合 |
| isCollectionExists | 检查集合是否存在 |
| insertData | 插入数据 |
| deletDataByIds | 根据id删除数据 |
| upsertData | 更新数据 |
| getViewEntitieByIds | 根据id获取实体数据 |
| getViewDataByPage | 分页获取数据 |
| content2vector | 文本转向量 |
| vectorSearch | 向量搜索 |
| updtMilvusStructureWithFields | 修改表结构(此方法不修改原有字段信息:milvus不支持修改原有字段信息) |
4.调用参数及返回值说明
4.1.获取所有集合
| 方法名 | getAllCollections |
| 参数 | 无 |
| 参数说明 | 无 |
| 返回值 | [sm_md246, testg, anythingllm_c00b3880_5400_471c_9256_95589fd3bd22] |
| 返回值说明 | List格式,集合名称数组 |
| 调用示例 | List<String> allCollections = instanceMilvus.getAllCollections(); |
4.2.获取集合详细信息
| 方法名 | getCollectionStructureByName |
| 参数 | String collectionName |
| 参数说明 | collectionName:集合名称 |
| 返回值 | { "columns": [ { "dataType": "Int64", "autoID": true, "name": "id", "description": "Milvus 内部主键", "isPrimaryKey": true }, { "dataType": "Int64", "autoID": false, "name": "mysqlid", "description": "关联的 MySQL 业务主键", "isPrimaryKey": false }, { "dataType": "VarChar", "autoID": false, "name": "content", "description": "文档切片内容", "isPrimaryKey": false }, { "dataType": "FloatVector", "autoID": false, "name": "vector", "description": "文本内容的向量表示", "isPrimaryKey": false, "dimension": 768 } ], "tableComment": "知识库对应集合", "tableName": "sm_md246" } |
| 返回值说明 | tableName:集合名称 tableComment:集合描述 columns:字段信息 name:字段名称 dataType:字段类型 isPrimaryKey:是否主键 autoID:是否自增 description:字段描述 |
| 调用示例 | Map<String, Object> collectionStructureByName = instanceMilvus.getCollectionStructureByName("microbee_test2"); |
4.3.创建集合(简单版:只包含id及向量字段)
| 方法名 | createCollectionSimple |
| 参数 | String collectionName String collectionDesc |
| 参数说明 | collectionName:集合名称 collectionDesc:集合描述 |
| 返回值 | boolean |
| 返回值说明 | true:成功 false:失败 |
| 调用示例 | boolean collectionSimple = instanceMilvus.createCollectionSimple("microbee_test", "四月一日框架调用测试"); |
4.4.创建集合(复杂版:指定所有字段信息)
| 方法名 | createCollectionWithFields |
| 参数 | String collectionName String collectionDesc List<Map<String, Object>> fields |
| 参数说明 | collectionName:集合名称 collectionDesc:集合描述 fields:字段集合 name:字段名称 dataType:字段类型 isPrimaryKey:是否主键(true、false) autoID:是否自增(true、false) description:字段描述 dimension:向量维度(向量类型时使用) |
| 返回值 | boolean |
| 返回值说明 | true:成功 false:失败 |
| 调用示例 | String fields = "[{"name":"id","dataType":"int64","isPrimaryKey":true,"autoID":false,"description":"主键ID"},{"name":"vector","dataType":"FloatVector","isPrimaryKey":false,"autoID":false,"description":"向量字段","dimension":3},{"name":"field1","dataType":"varchar","isPrimaryKey":false,"autoID":false,"description":"内容"}]"; boolean collectionWithFields = instanceMilvus.createCollectionWithFields("microbee_test2", "调用测试2", fields); |
4.5.删除集合
| 方法名 | dropCollectionByName |
| 参数 | String collectionName |
| 参数说明 | collectionName:集合名称 |
| 返回值 | boolean |
| 返回值说明 | true:成功 false:失败 |
| 调用示例 | boolean b = instanceMilvus.dropCollectionByName("microbee_test"); |
4.6.检查集合是否存在
| 方法名 | isCollectionExists |
| 参数 | String collectionName |
| 参数说明 | collectionName:集合名称 |
| 返回值 | boolean |
| 返回值说明 | true:存在 false:不存在 |
| 调用示例 | boolean microbeeTest3 = instanceMilvus.isCollectionExists("microbee_test2"); |
4.7.插入数据
| 方法名 | insertData |
| 参数 | String collectionName List<Map<String, Object>> data |
| 参数说明 | collectionName:集合名称 注:data如果是jsonstring类型需转换为List<Map<String, Object>> 类型,建议使用框架中JsonUtil.parseJSONList2进行转换。 |
| 返回值 | { "success": true, "data": "", "insertCount": 1 } |
| 返回值说明 | success:是否成功 data:数据集合 insertCount:插入条数 |
| 调用示例 | List<Map<String, Object>> mapList = JsonUtil.parseJSONList2("[{"vector":[0.12,0.23,0.45],"field1":"这是内容"},{"vector":[0.12,0.23,0.45],"field1":"这是内容2"}]"); Map<String, Object> stringObjectMap = instanceMilvus.insertData("microbee_test2", mapList); |
4.8.根据ids删除数据
| 方法名 | deleteDataByIds |
| 参数 | String collectionName List<Object > ids |
| 参数说明 | collectionName:集合名称 ids:id集合 |
| 返回值 | { "success": true, "deleteCount": 1 } |
| 返回值说明 | success:是否成功 deleteCount:删除条数 |
| 调用示例 | List<Object> ids = new ArrayList<>(); ids.add(Long.parseLong("465314276260400400")); Map<String, Object> stringObjectMap1 = instanceMilvus.deleteDataByIds("microbee_test2", ids); |
4.9.更新数据
| 方法名 | upsertData |
| 参数 | String collectionName List<Map<String, Object>> data |
| 参数说明 | collectionName:集合名称 data:数据集合 [{"字段名":"字段值"},{……}] |
| 返回值 | { "success": true, "deleteCount": 1, "insertCount": 1, "ids": 1 } |
| 返回值说明 | success:是否成功 deleteCount:删除条数 ids:id集合 |
| 调用示例 | List<Map<String, Object>> mapList2 = JsonUtil.parseJSONList2("[{"id":1,"vector":[0.12,0.23,0.45],"field1":"这是内容"},{"id":2,"vector":[0.12,0.23,0.45],"field1":"这是内容2"}]"); Map<String, Object> stringObjectMap2 = instance_milvus.upsertData("microbee_test2", mapList2); |
4.10.根据id获取数据
| 方法名 | getViewEntitieByIds |
| 参数 | String collectionName List<Object> ids或String id |
| 参数说明 | collectionName:集合名称 ids:id集合或传string id |
| 返回值 | { "data": { "mysqlid": 19, "vector": [……..], "id": 464861773168870865, "content": "张三,今年33岁,天津人,喜欢在海河边跳水。" }, "entity": { "mysqlid": 19, "vector": 768, "id": 464861773168870865, "content": "张三,今年33岁,天津人,喜欢在海河边跳水。" } } |
| 返回值说明 | data:数据集合(实体全部数据) entity:实体信息(向量只返回维度) |
| 调用示例 | Map<String, Object> microbeeTest2 = instanceMilvus.getViewEntitieByIds("microbee_test2", "2"); |
4.11.分页获取数据
| 方法名 | getViewDataByPage |
| 参数 | String collectionName List<ConditionPJ> conditionPJ int page int pageCount |
| 参数说明 | collectionName:集合名称 conditionPJ:条件集合 page:页码 pageCount:每页条数 |
| 返回值 | { "total": 1, "data": [ { "mysqlid": 19, "vector": [], "id": 464861773168870865, "content": "张三,今年33岁,天津人,喜欢在海河边跳水。" } ], "columnNames": [ "id", "mysqlid", "content", "vector" ] } |
| 返回值说明 | data:数据集合 total:查询数据总数 columnNames:返回字段名称集合 |
| 调用示例 | List<ConditionPJ> conditionPJs = new ArrayList<>(); conditionPJs.add(ConditionPJ.init(1, "id", "mcb_neq", "0")); Map<String, Object> test01 = instanceMilvus.getViewDataByPage("test_01", conditionPJs, 1, 10); 注:使用分页时必须要有条件 |
4.12.文本转向量
注:此方法需配置大模型
| 方法名 | content2vector |
| 参数 | String content |
| 参数说明 | content:文本内容 |
| 返回值 | [ 0.8146675, 0.26684007, 0.0701899, 0.7063995, 0.7720725, 0.7844295, 0.80117583, 0.9030758, 0.33126536, 0.21173064, … ] |
| 返回值说明 | 向量集合 |
| 调用示例 | float[] vector = instanceMilvus.content2vector("测试测试"); |
4.13.向量搜索
| 方法名 | vectorSearch |
| 参数 | String collectionName String vector int searchNumber |
| 参数说明 | collectionName:集合名称 vector:向量数据 searchNumber:查询条数(查所有传0) |
| 返回值 | {zh "columnNames": [ "id", "score", "mysqlid", "content" ], "data": [ { "id": 464861773168870865, "score": 0.9999924, "mysqlid": 19, "content": "张三,今年33岁,天津人,喜欢在海河边跳水。" } ] } |
| 返回值说明 | columnNames:字段名称集合 data:查询结果集合 id:数据id score:相关性 |
| 调用示例 | Map<String, Object> stringObjectMap = instance_milvus.vectorSearch("microbee_test2", "[0.12,0.23,0.45]", 10); |
4.14.修改表结构
注:此方法不修改原有字段信息(milvus不支持修改原有字段信息)
| 方法名 | updtMilvusStructureWithFields |
| 参数 | String collectionName String collectionNewName List<Map<String, Object>> fields |
| 参数说明 | collectionName:集合原名称 collectionNewName:集合新名称(与原名称相同不进行修改) fields:字段集合 name:字段名称 dataType:字段类型 isPrimaryKey:是否主键(true、false) autoID:是否自增(true、false) description:字段描述 isNullable:是否为空(true、false) dimension:向量维度(向量字段传此参数) |
| 返回值 | boolean |
| 返回值说明 | true:成功 false:失败 |
| 调用示例 | String a = "[{"name":"fffff1","dataType":"int64","isPrimaryKey":false,"autoID":false,"description":"测试子段1","isNullable":true},{"name":"fffff2","dataType":"varchar","isPrimaryKey":false,"autoID":false,"description":"测试子段2","isNullable":true}]"; List<Map<String, Object>> mapList = JsonUtil.parseJSONList2(a); boolean b = instance_milvus.updtMilvusStructureWithFields("microbee_test2", "microbee_test2", mapList); |
扫一扫