• 文章
  • 新闻
  • 资料
  • 视频
  • 活动
  • 特别报道
  • VIP智库
  • 专家
  • 报告
e-works为您找到 693  条结果
  • 相关性
  • 发布时间

分布式数据库的存储设计改进

同时最近一直被目前的分布式数据库的存储上有几个问题困扰着:在节点数固定的时候,Hdfs的数据是根据机器负载来决定存储在哪个节点上的,这样做的好处是数据平均分布,可以根据机器的存储大小加权平均,并且依据机器的负载情况动态调整 ,而是每10000条记录这个小范围内是有顺序大小的,每10000个的节点分布是按照取余规则的分布在不同的节点上;某个表的数据也不是在记录级别上平均分布,而是以10000条记录为粒度进行平均分布的;我们设计的时候需要根据实际情况来确定是选择 业务上可能对这个窗口进行数据操作,插入,更新,删除都有可能,时间上可能业务先操作和锁定记录,然后移动,也有可能先移动,移动过程中,操作了已经移动的数据或者操作和锁定还没有移动的记录;如何处理数据重新分布设计好的系统 为了保证移动数据的时候业务的正常运行,我们需要做如下的设计:场景1的先插入还是先移动的问题,可以动态调整,在插入很少的记录的时候,先插入,再移动,如果运行中先插入失败,则退化为先移动在插入;在插入大量的数据的时候 对于窗口比较大的情况,可以数据操作可以将大窗口调整为小窗口,每个小窗口使用以上的处理方式,同时业务的操作使用类似触发的检查机制来同步更新到新节点上,具体的说:对于已经移动的小窗口内的插入或者覆盖(replace
来源:网络大数据
2017-10-10
共 70 页 总数:693
信息搜索中,请稍候...

系列微信

数字化企业网
PLM之神
e-works制信科技
MES百科
工业自动化洞察
智能制造IM
AI智造圈
智能工厂前线
工业机器人洞察
智造人才圈
工业软件应用
智能制造网博会
ERP之家
供应链指南针
© 2002-2026  武汉制信科技有限公司  版权所有  ICP经营许可证:鄂B2-20030029-1(于2003年首获许可证:鄂B2-20030029)
鄂公网安备:420100003343号 法律声明及隐私权政策     投诉举报电话:027-87592219

关于我们    |    联系我们    |    隐私条款

ICP经营许可证:鄂B2-20080078
(于2003年首获许可证:鄂B2-20030029)
鄂公网安备:420100003343号
© 2002-2026  武汉制信科技有限公司  版权所有
投诉举报电话:027-87592219

扫码查看