关于使用PgVector相似度算法查询脚本的问题 返回

细雨牧童笛 发布于2周前

悬赏：0 飞吻

收藏

热忱回答（11）

• fate sta VIP0

  2周前

  vector <-> text

  这个很明显类型不一样

  0 回复
• fate sta VIP0

  2周前

  SugarParameter你没有设置 isarray，我记得要传数组

  0 回复
• 细雨牧童笛 VIP0

  2周前

  @fate sta：我将参数的IsArray属性设置为true，代码如下：

                  var sql = @$"select sentence_id, sentence, vector <-> @vector as distance

                      from public.sentence_vector

                      where Abs(vector <-> @vector) < {maxDistance}

                      order by vector <-> @vector

                      limit {pageSize} offset {pageNo * pageSize}";

                  var parameters = new SugarParameter[]{

                      new SugarParameter("@vector", vector)

                  };

                  parameters[0].IsArray = true;

                  var sentenceVectors = SugarDbContext.Ado.SqlQuery<SentenceVectorR>(sql, parameters);

  报的错误为以下内容：

  Npgsql.PostgresException:“42883: operator does not exist: vector <-> real[]

  不使用参数时，直接使用字符串方式是可以正确执行的
  vector <-> '[0.1,0.2,0.3]'

  我将上述的字符串写入参数变量，感觉上应该可以的，结果就是不对。

  
  

  我将错误信息发给ChatGPT，给我的建议是这样的：
  

  var vector = new NpgsqlTypes.NpgsqlParameter("vector", NpgsqlTypes.NpgsqlDbType.Array | NpgsqlTypes.NpgsqlDbType.Double);

  vector.Value = new double[] {-0.007534305, 0.014973218};

  代码修改如下：

                  parameters[0].IsArray = true;

                  parameters[0].DbType = System.Data.DbType.Double;

  错误依然是：

  Npgsql.PostgresException:“42883: operator does not exist: vector <-> real[]

  请问有没有好的建议来解决这个问题？

  谢谢！
  

  
  

  0 回复
• fate sta VIP0

  2周前

     var embedding = new Vector(new float[] { 1, 1, 1 });

  数组什么的都去掉改成直接用这个

  0 回复
• fate sta VIP0

  2周前

  看ado.net用法

  0 回复
• 细雨牧童笛 VIP0

  2周前

  我参考PgVector.Dapper的示例代码，修改后可以执行查询并返回正确的结果：
  

                  SqlMapper.AddTypeHandler(new VectorTypeHandler());

                  var sql = @$"select sentence_id, sentence, embedding <-> @embedding as distance
  

                      from public.sentence_vector

                      where Abs(embedding <-> @embedding) < {maxDistance}

                      order by embedding <-> @embedding

                      limit {pageSize} offset {pageNo * pageSize}";

                  using (var conn = DbContextExt.GetDbConnection4Vector())
  

                  {

                      var embedding = new Vector(vector);

                      var sentenceVectors = conn.Query<SentenceVectorR>(sql, new { embedding }).AsList();

                      return Task.FromResult(sentenceVectors);

                  }

  其中最关键的是：SqlMapper.AddTypeHandler(new VectorTypeHandler());
  我看了VectorTypeHandler的代码，似乎和SqlSugar的自定义类型思路很相似，我曾经尝试过自定义类型
  代码如下定义：
  

      public class PgVectorConverter : ISugarDataConverter

      {

          public SugarParameter ParameterConverter<T>(object value, int i)

          {

              var name = "@vectorP" + i;

              if (value is not Vector vector)

                  throw new SmartException("传入数据不是向量实例！", false);

  
  

              return new SugarParameter(name, vector.ToArray());

          }

  
  

          public T QueryConverter<T>(IDataRecord dr, int i)

          {

              var data = dr.GetValue(i);

              if (data is Vector)

                  return (T)data;

  
  

              return default;

          }
  

      }

  在向量属性的标注为下面的方式：
  

          [SugarColumn(ColumnName = "embedding", IsNullable = false, IsArray = true, ColumnDataType = "vector", SqlParameterDbType = typeof(PgVectorConverter))]

          public Vector Embedding
  

  修改后的查询代码如下：
  

                  SugarDbContext.UsePgVector<SentenceVectorR>();

                  var sql = @$"select sentence_id, sentence, embedding <-> @embedding as distance

                      from public.sentence_vector

                      where Abs(embedding <-> @embedding) < {maxDistance}

                      order by embedding <-> @embedding

                      limit {pageSize} offset {pageNo * pageSize}";

                  var embedding = new Vector(vector);

                  var parameters = new SugarParameter[]{

                      new SugarParameter("embedding", embedding)

                  };

                  var sentenceVectors = SugarDbContext.Ado.SqlQuery<SentenceVectorR>(sql, parameters);

                  return Task.FromResult(sentenceVectors);

  运行后报的错误如下：
  Can't write CLR type Pgvector.Vector with handler type TextHandler

  似乎很接近答案了，但又不知如何解决？
  谢谢！

  0 回复
• fate sta VIP0

  2周前

  var dataSourceBuilder = new NpgsqlDataSourceBuilder("数据库连接串");

              dataSourceBuilder.UseVector();

              var dataSource = dataSourceBuilder.Build();

  这个处理了吗

  0 回复
• fate sta VIP0

  2周前

  实体也要用这个类型

  0 回复
• 细雨牧童笛 VIP0

  2周前

  @fate sta：参考了AI的回答：
  

  conn.TypeMapper.MapComposite<Vector>("vector", new VectorHandler());

  关键还是要定义Vector类型的Handler，PgVector.Dapper实现了这个功能：
  

  SqlMapper.AddTypeHandler(new VectorTypeHandler());

  所以可以正确执行，SqlSugar的自定义类型似乎与Hanlder的功能不一样，所以执行报错。

  感谢大力支持，谢谢！

  
  

  0 回复
• fate sta VIP0

  2周前

  @细雨牧童笛：解决了吗

  0 回复
• 细雨牧童笛 VIP0

  2周前

  @fate sta：目前使用

  SqlMapper.AddTypeHandler(new VectorTypeHandler());

  解决的，有时间再动态跟踪一下SqlSugar源码，这个问题花费的时间比较多，先放一放。

  感谢！

  0 回复