目录 使用.Net Core实现FNV分布式hash一致性算法 Memcached FNV分布式hash算法实现 FNV1算法实现 为什么使用FNV算法实现hash一致性 使用.Net Core实现FNV分布式hash一致性算法 说到FNV哈希算法不得不提Memcached，我们先简单介绍一下Memcached。 Memcached Memcached分为客户端与服务端，Memcached是服务端，服务端本身不提供分布式实现，只是一个单独的k-v缓存；Memcached的分布式是在客户端类库中实现的，也就是说你可以根据自己的需要实现不同的分布式方案，不一定非得使用FNV哈希算法。 Memcached通过FNV算法实现了服务的分布式，并通过引入虚拟节点的办法尽量是服务器分布的更均匀。已经有很多文章在介绍Memcached的分布式实现原理了，所以我就不那么多废话了。 FNV分布式hash算法实现 如果你还不了解FNV哈希算法，可以先看一下我之前的文章，在那里我摘录了wiki上的FNV哈希算法实现公式。 FNV1算法实现 代码实现上我将参考MD5算法的实现来编写FNV1算法： 首先，我将创建一个FNV1类，该类需要实现HashAlgorithm，之所以实现HashAlgorithm，是因为该抽象类定义了hash算法通用的接口，这样也可以使我们的实现与.net框架集成的更好，当然如果你不喜欢也可以不实现HashAlgorithm，就当是写了一个独立的帮助类。 然后，我们重写Create方法，这里我们将创建一个FNV1类的实例 最后，我们去实现这个FNV1类 所有实现代码如下： //首先我将创建FNV1类 public abstract class FNV1 : HashAlgorithm { //重写隐藏HashAlgorithm的Create方法 public static new FNV1 Create() { return new Implementation(); } //下面FNV1的实现我们完全是套用的公式没有什么好讲的 private sealed class Implementation : FNV1 { private const uint OFFSETBASIS = 2166136261; private const uint PRIME = 16777619; private uint _hash; public override void Initialize() { _hash = OFFSETBASIS; } protected override void HashCore(byte[] array, int ibStart, int cbSize) { int end = ibStart + cbSize; for (var index = ibStart; index < end; index++) { _hash *= PRIME; _hash ^= array[index]; } } protected override byte[] HashFinal() { return BitConverter.GetBytes(_hash); } } } ## 使用方法 var bytes=Encoding.UTF8.GetBytes("Test"); var hashBytes=FNV1.Create().ComputerHash(bytes); var hashValue=BitConverter.ToUInt32(hashBytes); FNV其实还有FNV1a算法，与FNV1有些许的区别，这里我就不一一实现了，你可以参考FNV1的实现和FNV哈希算法来实现FNV1a算法。我有一个帮助类MicroFx.Cryptography分别实现了FNV1和FNV1a的32bit、64bit算法版本。 为什么使用FNV算法实现hash一致性 无论是分布式算法还是hash一致性算法都不只有一种或几种实现方案，但Memached为什么会选择FNV算法，而不是md5，不是sha呢？我有自己的认识。 我们先看几行代码，分别使用MD5，sha，FNV算法计算一个Test字符串的哈希值，然后对比hash结果中数组的长度 var bytes = Encoding.UTF8.GetBytes("Test"); var shabytes = SHA1.Create().ComputeHash(bytes); //shabytes长度为20，及160bit var md5bytes=MD5.Create().ComputeHash(bytes); //md5bytes长度为16，及128bit var fnvbytes = FNV1a.Create().ComputeHash(bytes); //fnvbytes长度为4，及32bit 算法 取值范围 sha1 [0,2^160-1] md5 [0,2^128-1] fnv [0,2^32-1] 从上表我们可以看出，FNV的取值范围最小，如果将区间内的每一个整数看做一个Memcached服务端节点，那么FNV容纳的数量最少，但相对于实际的环境下已经足够多了，这样我们每次在计算一台服务器属于哪个节点的时候速度上会比md5、sha1快很多。 FNV的32bit计算结果值刚好是一个uint类型，.net core最大支持ulong也就是uint64，再大的话就需要我们自己实现，所以这也是选择FNV的一个原因。（或许我这里不应该拿.net举例，但实际常用的高级语言最大也是64bit） 分类: Asp.Net Core,算法,.Net Core 标签: FNV算法, .net Core FNV, 算法 好文要顶 关注我 收藏该文 Net_win 关注 - 21 粉丝 - 3 +加关注 4 0 « 上一篇：我的博客即将入驻“云栖社区”，诚邀技术同仁一同入驻。 » 下一篇：EFCore中如何移除主外键关系 posted @ 2018-09-20 16:16 Net_win 阅读(247) 评论(0) 编辑 收藏 https://www.cnblogs.com/guodf/p/9681543.html