2019-11-13 11:04
讲个故事：以前，爱捣鼓的小明突然灵机一动，写出了下面的代码...
2019-11-13 11:26
对一般小公司来说 可能yarn调度能力足够了 但是对于大规模集群1000 or 2000+的话 yarn的调度性能捉襟见肘
恰好网上看到一篇很好的文章https://tech.meituan.com/2019/08/01/hadoop-yarn-scheduling-performance-optimization-practice.html
参考了YARN-5969 发现hadoop2.9.0已经修正了该issue 实测提高了调度性能
FairScheduler 调度方式有两种
心跳调度:Yarn的NodeManager会通过心跳的方式定期向ResourceManager汇报自身状态 伴随着这次rpc请求 会触发Resourcemanager 触发nodeUpdate()方法 为这个节点进行一次资源调度
...
2019-11-13 11:25
1.过期设置Redis 中设置过期时间主要通过以下四种方式：...
2019-11-13 11:45
在这次的项目中图表显示的部分比较多，这边给分享下用到的图表的数据刷新
饼图最后的效果
先看下
前端部分
复制代码
复制代码
这是右边图的 echarts的html 一定要定义好大小
接下来是 js部分 先定义一个模板 官网有 自己稍加修改 （比较懒没加注释）
...
2019-11-13 11:25
什么是倒排索引？
倒排索引（英语：Inverted index），也常被称为反向索引、置入档案或反向档案，是一种索引方法，被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。它是文档检索系统中最常用的数据结构。通过倒排索引，可以根据单词快速获取包含这个单词的文档列表。倒排索引主要由两个部分组成：“单词词典”和“倒排文件”。
假设我们现在有文件：
test1.txt中存有：我们爱自然语言处理
test2.txt中存有：我们爱计算机视觉
正向索引：{“test1.txt”:["我们",“爱”,"自然语言","处理"],"test2.txt":["我们","爱","计算机","视觉"]}
...
2019-11-13 11:55
Redis 是一种内存数据库，将数据保存在内存中，读写效率要比传统的将数据保存在磁盘上的数据库要快很多。但是 Redis 也会发生延迟时，这是就需要我们对其产生原因有深刻的了解，以便于快速排查问题，解决 Redis的延迟问题一条命令执行过程...
2019-11-13 11:23
欢迎关注笔者的公众号: 小哈学Java, 专注于推送 Java 领域优质干货文章！！
个人网站: https://www.exception.site/essay/create-tar-gz-by-java
一、背景
最近，小哈主要在负责日志中台的开发工作, 等等，啥是日志中台？
俺只知道中台概念，这段时间的确很火，但是日志中台又是用来干啥的？
这里小哈尽量地通俗的说下日志中台的职责，再说日志中台之前，我们先扯点别的？
相信大家对集中式日志平台 ELK 都知道一些，生产环境中, 稍复杂的架构，服务一般都是集群部署，这样，日志就会分散在每台服务器上，一旦发生问题，想要查看日志就会非常繁琐，你需要登录每台服务器找日志，因为你不确定请求被打到哪个节点上。另外，任由开发人员登录服务器查看日志本身就存在安全隐患，不小心执行了 rm -rf * 咋办？
...
2019-11-13 11:35
版权声明：本文为原创文章，转载请附上原文出处链接和本声明。https://www.cnblogs.com/mxxbc/p/11844885.html...
2019-11-13 11:19
强化学习简介及马尔科夫决策过程
1. 什么是强化学习
强化学习（reinforcement learning, RL）是近年来大家提的非常多的一个概念，那么，什么叫强化学习？
强化学习是机器学习的一个分支，和监督学习，非监督学习并列。
参考文献[1]中给出了定义：
Reinforcement learning is learning what to do ----how to map situations to actions ---- so as to maximize a numerical reward signal.
...
2019-11-13 11:37
由于我本地的mysql版本比较低，最近想着要升级一下mysql版本，鉴于docker容器的火热，就想着在本地装个docker环境，然后下载最新版的mysql镜像，完成mysql8.0的安装。电脑是windows 10版本。一 启用Hyper-V...
2019-11-13 11:06
当我们依赖的中间件资源或者是上游服务性能出现严重问题时，为了防止用户看到错误页面或者加载页面时间过长，我们需要将服务降级静态页面。或者将不影响主流程的旁路服务关闭掉，以让出资源给主要流程。这类操作称为降级。服务降级方案有三种方式，降低一致性、减少非必要功能、简化功能，后面我会分别举例说明。
想要做好降级的前提是，提前压测得出指标上限，还有提前梳理好系统的性能制约点，比如依赖的服务响应超时时间和基础负载性能（比如CPU使用率），并纳入监控范围。当前提就绪后，我们就开始编写异常降级操作手册，包括托底预案，描述好当发生什么样的场景时，每一步做什么，它的预期结果是什么，还有是否演练过，只有经过真枪实弹考验的士兵才是好士兵。最后一点，我们会特别注意的，降级方案是手动生效还是自动生效的，它和止损息息相关。
...
2019-11-13 11:35
一、.MemoryCache介绍 MemoryCache是.Net Framework 4.0开始提供的内存缓存类，使用该类型可以方便的在程序内部缓存数据并对于数据的有效性进行方便的管理, 它通过在内存中缓存数据和对象来减少读取数据库的次数，从而减轻数据库负载，加快数据读取速度，提升系统的性能。...
2019-11-13 11:35
一、安装activeMQ
安装步骤参照网上教程，本文不做介绍
二、修改activeMQ配置文件
broker新增配置信息 schedulerSupport="true"
...
2019-11-13 11:46
WebUI automation testing framework based on Selenium and unittest....