学习笔记

kafka消息分发策略分析

当我们使用kafka向指定Topic发送消息时,如果该Topic具有多个partition,无论消费者有多少,最终都会保证一个partition内的消息只会被一个Consumer group中的一个Consumer消费,也就是说同一Consumer group中的多个Consumer自动会起到负载均衡的效果。 1、消息构造 下面我们就针对调用kafka API发送消息到Topic时partition的分配策略,分析下其内部具体的源码码实现。 首先看下kafka API中消息体ProducerRecord类的构造函数,可以看到构造消息时可指定该消息要发送的Topic、partition、key、value等关键信息。 ...

互联网的圈子,游戏行业的现状是如何?

今年9月,笔者曾经在一篇报道中讲述了银河数娱的困境。当时整个集团的员工都被迟发工资,迟缴公积金,陈二狗也不能幸免。 于是制作人和研发领导开始找他谈话:如果你主动离职,公司就立刻跟你结清拖欠的工资,并再给你2000元补助。9月底,基于对这家公司的心灰意冷,陈二狗带着一身慢性病答应离职——虽然这家公司把原有的十几个项目砍到四个,大幅度缩减人员规模,也拿到了新的投资,但他实在是待不下去了。   现在陈二狗决定离开游戏行业,备战公务员考试,选一个朝九晚五不加班的文职——当年陈二狗毕业就进了一家国企,却因为热爱游戏辞职做了策划。如今想来,他觉得自己的脑子一定是坏掉了:   “有一种差距,叫做我理想中的游戏行业和现实中的游戏行业。”      …… ...

Spring Cloud开发人员如何解决服务冲突和实例乱窜?(IP实现方案)

一、背景 在我上一篇文章《Spring Cloud开发人员如何解决服务冲突和实例乱窜?》中提到使用服务的元数据来实现隔离和路由,有朋友问到能不能直接通过IP来实现?本文就和大家一起来讨论一下这个问题 二、可行性分析 要实现通过IP来隔离和路由的话有一个非常关键的点需要解决,就是怎样实现IP可辨识,意思就是如何区分那个IP是服务器上的,那个IP是开发人员本机的 file 如上图所示其实我们还是能找到规律可以辨识的,所以这个是可以行的! 开发人员本机IP - 其实就是客户端IP,也就是原始请求方的IP:172.16.20.2 ...

Contour 学习笔记(二):使用级联功能实现蓝绿部署和金丝雀发布

上篇文章介绍了 Contour 分布式架构的工作原理,顺便简单介绍了下 IngressRoute 的使用方式。本文将探讨 IngressRoute 更高级的用法,其中级联功能是重点。 1. IngressRoute 大入门 上篇文章在 examples/example-workload 目录下创建了一个示例应用,我们来回顾一下它的 IngressRoute 配置: apiVersion: contour.heptio.com/v1beta1 kind: IngressRoute metadata: ...

为什么有了Compose和Swarm,还会有Kubernetes的出现?

一、k8s设计思想更先进 k8s的主要设置思想,是从更宏观的角度,以统一的方式来定义任务之间的各种关系 1.k8s的核心功能图 2.k8s的全局架构图 把微服务比喻为人,服务治理解决的是人的沟通,人太多了就需要生存空间和沟通方式的优化,这就需要集群和编排。 compose和swarm可以解决少数人之间的关系,比如把手机号给你,你就可以方便的找到我,但是如果手机号变更的时候就会麻烦,人多了也会麻烦。 而k8s是站在上帝视角的高度抽象,看到了 总体有哪些组织,不同组织有什么样的特点(Job、CronJob、Autoscaler、StatefulSet、DaemonSet...) ...

JPA多条件复杂SQL动态分页查询

概述   ORM映射为我们带来便利的同时,也失去了较大灵活性,如果SQL较复杂,要进行动态查询,那必定是一件头疼的事情(也可能是lz还没发现好的方法),记录下自己用的三种复杂查询方式。 环境 springBoot IDEA2017.3.4 JDK8 pom.xml

泛型的使用

 一,泛型概述​ 关于泛型,先来说几句集合。都知道集合是可以存储任意对象,当我们创建一个集合时如果没有声明它的存储类型,那该集合便自动提升为Object类型。请参看如下代码:...

一种对开发更友好的前端骨架屏自动生成方案

(马蜂窝技术原创内容,公众号 ID:mfwtech) 一份来自 Akamai 的研究报告显示,在对 1048 名网购户进行采访后发现: 约 47% 的用户期望他们的页面在两秒之内加载完成。 如果页面加载时间超过 3s,约 40% 的用户会选择离开或关闭页面。 一直以来,为了提升用户在页面加载时的体验,无论是 Web 还是 iOS、Android 的应用中,前端开发工程师都做了许多工作。除了解决如何让网页展现速度更快的问题,还有很重要的一点就是提升用户对加载等待时间的感知。「菊花图」以及由其衍生出的各种加载动画就是一类常见的解决方案,相信无论是开发者还是用户对下面这个图标都不会陌生: ...

基于HTML5 + WebGL 实现 3D 挖掘机系统

互联网以及物联网的影响下,人们对于机械的管理,机械的可视化,机械的操作可视化提出了更高的要求。如何在一个系统中完整的显示机械的运行情况,机械的运行轨迹,或者机械的机械动作显得尤为的重要,因为这会帮助一个不了解这个机械的小白可以直观的了解机械的运行情况,以及机械的所有可能发生的动作,对于三一或者其它国内国外重工机械的公司能够有一个更好的展示或者推广。 挖掘机,又称挖掘机械(excavating machinery),从近几年工程机械的发展来看,挖掘机的发展相对较快,挖掘机已经成为工程建设中最主要的工程机械之一。所以该系统实现了对挖掘机的 3D 可视化,在传统行业一般都是基于 Web SCADA 的前端技术来实现 2D 可视化监控,而且都是 2D 面板部分数据的监控,从后台获取数据前台显示数据,但是对于挖掘机本身来说,挖掘机的模型,挖掘机的动作,挖掘机的运行可视化却是更让人眼前一亮的,所以该系统对于挖机的 3D 模型做出了动作的可视化,大体包括以下几个方面: ...

PCA降维的原理、方法、以及python实现。

参考:菜菜的sklearn教学之降维算法.pdf!! PCA(主成分分析法) 1. PCA(最大化方差定义或者最小化投影误差定义)是一种无监督算法,也就是我们不需要标签也能对数据做降维,这就使得其应用范围更加广泛了。那么PCA的核心思想是什么呢? 例如D维变量构成的数据集,PCA的目标是将数据投影到维度为K的子空间中,要求K
青岛软件培训

可能你正在寻找一家靠谱的IT培训机构,学习一些专业的软件开发技术,找一份得体的工作。恰巧我们就是一家踏踏实实做教育的IT人才培养机构,我们咨询电话是 0532-85025005,如果你确实对IT感兴趣,我们不妨交流一下。

申请免费试听课程