Skip to content

fpdb/Distribution-System

 
 

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

48 Commits
 
 
 
 
 
 
 
 
 
 

Repository files navigation

分布式系统学习

分布式学习论文以及论文的实现

  • 对论文进行了更加容易理解的翻译,对文章进行了更好梳理
  • 依托于6.824的课程,对部分论文进行了golang实现
  • 对部分6.824的课程重点内容进行了整理 本人非科班出身,如果有错误望指正

目录

先熟悉golang的threads的特性。

对Goroutines的理解。

锁的作用

channel的作用

MapReduce是一个主要用于处理大量数据的集的一种programming model。

它主要用了map function来处理记录key/value pairs,接着利用reduce function聚合压缩key/value pairs.

这篇文章主要通过理解英文版的论文+整合网络资源+自我的理解来描述MapReduce的:

1基本思路 2如何应用 3必要的改进

该篇在结合86.824课程的内容,以其框架内容为依托,用Go实现了MapReduce,主要实现了串行,并行实现MapReduce,同时写了如何处理Woker failure的方法。

GFS是一种scalable的分布式文件系统,其主要用处是管理数据。

同时它在廉价的商用硬件的情况下可以有很好的fault tolerance,并且可以给大量用户提供服务。

About

分布式系统学习

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

  • Go 98.3%
  • Other 1.7%