TXY
  • 首页
  • 归档
  • 源码系列
  • 标签
  • 关于
  • 友链
Time, Clocks, and the Ordering of Events in a Distributed System 论文阅读

Time, Clocks, and the Ordering of Events in a Distributed System 论文阅读

背景这篇论文是 Leslie Lamport 于 1978 年发表的,并在 2007 年被选入 SOSP 的名人堂,被誉为第一篇真正的”分布式系统”论文,该论文曾一度成为计算机科学史上被引用最多的论文(截止 2022 年 3 月 6 日已达到 13071 次)。论文的作者 Lamport 享有分布式计算原理之父的美誉,并且因其对分布式系统研究作出的卓越贡献,于 2013 年被授予了图灵奖。 这篇论
2021-03-21
#分布式系统理论 #论文阅读
VM-FT 论文阅读

VM-FT 论文阅读

背景本论文主要介绍了一个用于提供容错虚拟机 (fault-tolerant virtual machine) 的企业级商业系统,该系统包含了两台位于不同物理机的虚拟机,其中一台为 primary,另一台为 backup,backup 备份了 primary 的所有执行。当 primary 出现故障时,backup 可以上线接管 primary 的工作,以此来提供容错。 内容论文内容可以参考此 博客
2021-03-13
#分布式系统理论 #论文阅读
GFS 论文阅读

GFS 论文阅读

相关背景单机文件系统我们见得已经很多,像 xfs,ext4 等等都已经是很出名的单机文件系统。然而,单机文件系统的容量始终是有限的,随着数据量的不断增大,就算对单机不断的 scale up 也会逐渐达到上限。因此,支持 scale out 的分布式文件系统是技术的必然。作为世界上数据量可能最多的公司,Google 在 21 世纪初就已经遇到了这个挑战,随之其开发了 GFS 这个创时代的分布式文件系
2021-03-07
#分布式存储 #论文阅读 #Google
数据库系统调优时有关操作系统的知识与测试监控

数据库系统调优时有关操作系统的知识与测试监控

前言在测试数据库的性能时,往往需要通过从网卡,CPU,内存,磁盘,代码等方面出发进行性能调优,这期间可能会纵向扩展机器以获得更好的性能。然而,在不同的硬件机器上测试时,有时的结果可能与预期相差较多,单从软件方面进行猜想可能并不靠谱。因此,需要对机器硬件进行一定的了解和对应的测试,这样就能够在调优分析时利用底层的硬件信息来支撑瓶颈分析,从而更可能做出正确的判断。本篇博客将从网卡,CPU,内存,磁盘出
2021-01-27
#测试 #操作系统
开源协议解读

开源协议解读

前言越来越多的开发者与设计者希望将自己的产品开源,以便其他人可以在他们的代码基础上做更多事,开源社区也因此充满生机。然而一旦开源,如何为代码选择开源许可证就是一个非常重要的问题。 相信很多人和我一样,在 Github 创建 repo 时对可以选择的多种 license 很迷糊,不知道该选哪个好,因此本篇博客就简单介绍一下常见的 license 和他们之间的区别,以做记录和学习。 什么是许可协议关于
2021-01-24
#开源
Twitter 内存缓存系统分析论文阅读

Twitter 内存缓存系统分析论文阅读

背景基于一个物理现实:内存操作比磁盘操作快若干个数量级。现代网站服务广泛使用了类似 redis ,memcached 的内存缓存系统。其思想很简单:尽管海量数据最终都需要落盘持久化,但如果能够将一些常用的数据在内存中缓存以供读请求直接获取,则不仅能够降低请求时延,还能够提升系统吞吐量,而且也能够减少底层数据管理系统比如关系型数据库的负载。 内存缓存系统的大规模商用激发了业界对其的研究,现有的研究主
2020-12-17
#分布式存储 #论文阅读
Spark 论文阅读

Spark 论文阅读

背景在 Apache Spark 广泛使用以前,业界主要使用 MapReduce 和 Dryad 这样的集群计算框架来对大数据进行分布式处理。这类计算框架,最大的优点旨在帮助程序员专注业务编程,而非花精力分发计算任务和实现程序容错。 MapReduce 虽然对利用集群中的计算资源做了各类抽象,但还没有实现对集群内存的抽象封装。这样对那些需要重复利用中间结果集的应用就很不友好,比如机器学习和图算法,
2020-11-26
#论文阅读 #分布式计算
为什么选择 git 来作为代码版本控制系统

为什么选择 git 来作为代码版本控制系统

版本控制系统代码作为软件研发的核心产物,在整个开发周期都在递增,不断合入新需求以及解决 bug 的新 patch,这就需要有一款系统,能够存储、追踪文件的修改历史,记录多个版本的开发和维护。于是,版本控制系统(Version Control Systems)应运而生,主要分为两类,集中式和分布式。 集中式版本控制系统 集中化的版本控制系统,诸如 CVS,SVN 等,都有一个单一的集中管理的服务器,
2020-11-09
#git
33 条常用 git 命令详解

33 条常用 git 命令详解

参考我的 Github Repo。 由于作者能力有限,描述必然会有纰漏,欢迎提交 PR、创建 Issue 进一步交流。 如果看完之后有所收获,求求给个 Star 以表支持。😊
2020-10-30
#git
MapReduce 论文阅读

MapReduce 论文阅读

相关背景在 20 世纪初,包括本文作者在内的 Google 的很多程序员,为了处理海量的原始数据,已经实现了数以百计的、专用的计算方法。这些计算方法用来处理大量的原始数据,比如,文档抓取(类似网络爬虫的程序)、Web 请求日志等等;也为了计算处理各种类型的衍生数据,比如倒排索引、Web 文档的图结构的各种表示形势、每台主机上网络爬虫抓取的页面数量的汇总、每天被请求的最多的查询的集合等等。 要解决的
2020-10-23
#论文阅读 #Google #分布式计算
1…4567

搜索

Hexo Fluid
总访问量 次 总访客数 人