说下数据存储

2025-12-12 0 374

数据落盘是很重要的一个环节。数据库在落盘前都是要先写到日志文件的,防止文件丢失和系统崩溃恢复的。硬盘有个问题那就是慢,所以存储的数据提取一般都是要考虑这个问题的,一般有两个部分一个就是减少读取也就是减少IO,另一个就是需要一些数据结构的设计对数据提取和写入效率有一些保障的。

数据库有个WAL的机制

简单的说下数据的文件

  • 因为从系统到硬盘每层都是缓存的。

  • 还有是写入的数据要读取是要序列化和反序列化的,最简单的比如写入一个文本的文件,在把文件的内容读取出来。但是存储数据肯定不能用这个搞法的写的都是字节码反解析出对应的数据。

  • 还有个问题是什么时候触发这个写盘的动作。批量还好;如果性能有要求的?有个阈值控制写盘的动作。

  • 还有个问题读写盘的时候顺序读写性能是最高的,这里就有个划分的问题

  • 还有就是后期有个合并得操作提高利用率

  • 还有个再提下了分布式文件系统数据分散开来。数据分片、冗余备份?

简单来个demo

定义一个简单的表结构

自动写入添加一个字段 _status 1个字节
表结构:id 32位
       name 100位
       msg  200位
一条数据最大的位数 1+32+100+200=333个字节       

划分

|数据1|数据2|......
因为有些字段是变长的修改下结构,怎么办?
|数据长度-数据1|数据长度-数据2|......
这里面还有个问题就是你会发现数据提取的时候必须整个块一起提取才能找到数据,那再开辟一块地方记录索引数据
|主键-数据1位置|主键-数据2位置|......
这样已处理完后有个问题数据修改还像修改不了了
->打个删除标记->重新写条数据进去

划分分块

  • 整个文件我们可以拆分成一个一个的小块进行数据处理

简单的安全

为了方式文件的损坏这里可以再数据写入后主动添加有些校验数据CRC、MD5、sha。

数据分片?

数据拆分不同地方+拼接?
另存一份备份?完整的一个备份、切片数据有备份拼接
这里面有个问题份的数据量怎么控制?

收藏 (0) 打赏

感谢您的支持,我会继续努力的!

打开微信/支付宝扫一扫,即可进行扫码打赏哦,分享从这里开始,精彩与您同在
点赞 (0)

申明:本文由第三方发布,内容仅代表作者观点,与本网站无关。对本文以及其中全部或者部分内容的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。本网发布或转载文章出于传递更多信息之目的,并不意味着赞同其观点或证实其描述,也不代表本网对其真实性负责。

左子网 编程相关 说下数据存储 https://www.zuozi.net/35979.html

常见问题
  • 1、自动:拍下后,点击(下载)链接即可下载;2、手动:拍下后,联系卖家发放即可或者联系官方找开发者发货。
查看详情
  • 1、源码默认交易周期:手动发货商品为1-3天,并且用户付款金额将会进入平台担保直到交易完成或者3-7天即可发放,如遇纠纷无限期延长收款金额直至纠纷解决或者退款!;
查看详情
  • 1、描述:源码描述(含标题)与实际源码不一致的(例:货不对板); 2、演示:有演示站时,与实际源码小于95%一致的(但描述中有”不保证完全一样、有变化的可能性”类似显著声明的除外); 3、发货:不发货可无理由退款; 4、安装:免费提供安装服务的源码但卖家不履行的; 5、收费:价格虚标,额外收取其他费用的(但描述中有显著声明或双方交易前有商定的除外); 6、其他:如质量方面的硬性常规问题BUG等。 注:经核实符合上述任一,均支持退款,但卖家予以积极解决问题则除外。
查看详情
  • 1、左子会对双方交易的过程及交易商品的快照进行永久存档,以确保交易的真实、有效、安全! 2、左子无法对如“永久包更新”、“永久技术支持”等类似交易之后的商家承诺做担保,请买家自行鉴别; 3、在源码同时有网站演示与图片演示,且站演与图演不一致时,默认按图演作为纠纷评判依据(特别声明或有商定除外); 4、在没有”无任何正当退款依据”的前提下,商品写有”一旦售出,概不支持退款”等类似的声明,视为无效声明; 5、在未拍下前,双方在QQ上所商定的交易内容,亦可成为纠纷评判依据(商定与描述冲突时,商定为准); 6、因聊天记录可作为纠纷评判依据,故双方联系时,只与对方在左子上所留的QQ、手机号沟通,以防对方不承认自我承诺。 7、虽然交易产生纠纷的几率很小,但一定要保留如聊天记录、手机短信等这样的重要信息,以防产生纠纷时便于左子介入快速处理。
查看详情

相关文章

猜你喜欢
发表评论
暂无评论
官方客服团队

为您解决烦忧 - 24小时在线 专业服务