时序数据库 .NET 操作 QuestDb

新请升级 5.1.2.8 以上版本

修复了 并发下报错 SqlSugarScope 5.1.3.1

缺点：

用户使用下来都夸性能强大，虽然性能强大，但是使用下来有几个小问题

1、不支持删操作 （只能truncatetable 或者删除分区）

2、程序里面尽量不要修改表结构和truncate drop操作这样容易锁表（右边菜单有解锁方案）

表建好了就尽量不要去改他了，CodeFirst只执行一次就行了  

修改表结构后最好重启服务，不然会出现LOCK TABLE问题，更多解决方案 看右边菜单【常见错误】

QuestDb 数据库

QuestDb 性能最强的时序库，适合物联网、金融大数据，数据日志等 ，也是2021年Github增速最快的数据库

适合历史数据和数据聚合统计 比如金融软件，支持Window和Linux

在线测试

测试网址 https://demo.questdb.io/

//测试用例1： LIKE 1亿多取一条 用了1秒
select * from pos where id ~ 'OQHFDQTJTJJQEEEZ' //Like

//测试用例2：按天分表 所有数据进行汇总 接近2亿数据汇总 用了9秒左右
select  sum(price),side from 'trades' where price>100 group by side

//测试用例3：按天分表 所有数据进行汇总 接近2亿进行Count 用了2秒 （关系型数据库要20分钟以上）
select count(1) from 'trades'

安装SqlSugar预览版

SqlSugarCore 5.1.1-preview09

连接字符串

host=localhost;port=8812;username=admin;password=quest;database=qdb;ServerCompatibilityMode=NoTypeLoading;
//数据库固定的

代码

 DbType = DbType.QuestDB

源码DEMO

创建索引

  //索引特性可以多个字段
   [SugarIndex(null, nameof(IndexClass.Name), OrderByType.Asc)]
    public class IndexClassTest
    {
        public int Id { get; set; }

        //只能是string类型并且 datatype=symbol 其它类型不需要索引
        [SugarColumn(ColumnDataType = "symbol")]
        public string Name { get; set; }
    }
   //创建表
   db.CodeFirst.InitTables<IndexClassTest>();

GroupBy

和正常的GroupBy用法一样，在SqlSugar中用法没有区别

 var list= db.Queryable<Order>()
                .GroupBy(x => x.Name)
                .Select(i => new
                {
                    name = i.Name,
                    count = SqlFunc.AggregateCount(i.Name)
                })
                .ToList();

独有：创建分表

数据不超过30亿不需要分表30亿内分表意义不大，分表已知问题存在下面几个

1. 插入后不能立马查询出来随机性的，不分表正常，不清楚是否有什么配置

2. 出现过1个客户测试电脑环境经常断电出现过一次数据丢失，不清楚系统问题还是数据库问题（其他时序库也有这种情况）

3. 1个客户出现分表并且表的字段超级多 出现了性能问题 ，时间比较久了也可能是官方修复了

如果数据超过十亿或者更多，我们需分表存储性能更佳

//无需自动分表特性 只需要在分表字段上加上 TimeDbSplitField
public class SplitTableEntity
 {
        public string Id { get; set; }
        public string name{get;set;}
        [TimeDbSplitField(DateType.Day)]//按天分表 
        public DateTime Ts { get; set; }//只能是时间类型一个字段
}
    
//创建表
 db.CodeFirst.InitTables<IndexClassTest>();

创建完带有Day标识的表说明你创建成功了和正常表一样使用，存储时是按时间分开存储的全自动的

独有：高级时间统计 SampleBy

请升级到:5.1.4.86-preview07

//用例1：根据1天进行分组统计，比报表查询要好用很多
var list=db.Queryable<UnitSiafayyy>()
               .SampleBy(1, SampleByUnit.Day)//有字符串重载
               .Select(it=>new { 
                  Id=SqlFunc.AggregateMin(it.Id),
                  Count=SqlFunc.AggregateCount(it.Id)
                })
               .ToList();
//用例2:统计后过滤
var list=db.Queryable<UnitSiafayyy>()
               .SampleBy(1, SampleByUnit.Day)//有字符串重载
               .Select(it=>new { 
                  Id=SqlFunc.AggregateMin(it.Id),
                  Count=SqlFunc.AggregateCount(it.Id)
                })
                .MergeTable().Where(it=>it.Count>1)
               .ToList(); 
 
//ORM建表情况下，创建时间一定要加 分表标记，并且忽略更新
public class UnitSiafayyy
{
   [SugarColumn(IsPrimaryKey = true)]
   public long Id { get; set; }
   [TimeDbSplitField(DateType.Year)]//重点2个标签
   [SugarColumn(IsOnlyIgnoreUpdate =true)]
   public DateTime DateTime { get; set; }
}

独有：Last On (弱化开窗口函数)

请升级到:5.1.4.86-preview10

分组取最后一条可以多个字段，相当于其他数据库的开窗口函数要弱一些

var list db.Queryable<Users>()
 .PartitionBy(it=>new {时间戳字段,分组字段1,分组字段1}).ToList();//只能根据时间戳字段取最后一条
 
  //生成的Sql
  //SELECT * RFOM USERS Lastest on  时间戳字段 Partition By 分组字段1,分组字段1
 
  //ORM建表要注意
  [TimeDbSplitField(DateType.Year)]//时间戳字段需标记一下
  [SugarColumn(IsOnlyIgnoreUpdate =true)]
  public DateTime DateTime { get; set; }

大数据插入

//数据量大并发高参数化插入性能更好 100万 15秒左右
db.Insertable<Users>(list).UseParameter().ExecuteCommand();

//这个数据更强大的插入方式还在研究目前这个性完全够用了

并发插入

在高性能并发情况下并发建议使用异步处理

    for (int i = 0; i < 1000; i++)
    {
                Task.Run(() =>
                {
                    //因为没事务 db都加上db.CopyNew()这样不用考虑任何线程问题
                    db.CopyNew().Insertable(updateObjs).ExecuteCommandAsync();
                    Console.WriteLine(i);
                });
    }

   Console.ReadKey();//我们可以用控制台测试 几K并发只只是短时间爆发完全没有没问题

绿色数据库下载

加群 :995692596 群文件可以下载，后缀改成Zip

常见错误 

文件被锁 

错误：could not open read-only [file=H:\BuleDb\QuestDb\bin\qdbroot\db\booltest511\default\a.d]”

1、重启服务器 

2、禁止使用tuncatetable语法和修改表操作，这些表初始化后不要动了

3、上面2个都不行在用C#程序插入一记录 锁就解除了

db.Insertable(new BoolTest511() { Id = 1, dateTime = DateTime.Now, A = true }).ExecuteCommand();

错误： Exception while reading from stream

解决方案：先检查SQL是否正确，在不行就重启服务

官网

https://questdb.io/docs/get-started/docker