Neil Lee's blog

一、概述新建用户后，我们可能需要该用户能够使用一些越权的东西。sudo命令能够暂时提升该用户的权限到root，但是前提是要求该用户存在与 sudoer list 中。 sudoers 存储在 /etc/sudoers 文件中。 二、操作方法2.1 进入 root 用户修改 /etc/sudoers 文件需要 root 权限，因此需要你进入到 root 用户下（su 命令为登录 root 用户... 阅读全文…

一、概述近些天，遇到Redis监控的应用场景，从网上搜罗了一些文章，做了整理。 二、工具列表2.1 redis-faina见参考文章1 2.2 redis-live见参考文章1 2.3 redis-stat见参考文章1 2.4 redis-monitor见参考文章1 三、实践试用了里面的几款工具。占坑待续 参考文章 Redis监控方案-https://my.oschina.net/guol... 阅读全文…

一、概述解析JSON过程中，什么情况都可能遇到。遇到特殊的情况，不会怎么办？肯定不是设计的问题，一定是你的姿势不对。 有这样一种JSON需要解析：123456789101112131415{ "b3444533f6544": { "path": "path", "at": 149... 阅读全文…

一、概述 Kylo，作为一个基于 Spark 和 NiFi 的开源数据湖编排框架，解决对数据湖获取、治理、感知和技术支持等诸多问题。Kylo 将数据湖的很多功能自动化，包括数据接入、准备、分析发现、Profiling 和管理等等。Kylo 提供了符合业务分析人员思路的 GUI 界面以及 IT 运营和数据科学等模块。 通过 Kylo 的 GUI 界面，业务人员可以按照他们关心的方式来操作数据，... 阅读全文…

一、概述为方便用户使用 NiFi 进行二次开发，NiFi 为开发者提供了 NIFI REST API。 关于 API 的详细介绍，请参见官网 NIFI REST API。这里仅给出一些注意的小细节。 二、注意事项2.1 REST API 的 URLAPI 文档中，只给出了每个 API 的相对路径，并没有给出关于完整地址的 URL 说明。 URL 地址应该为：http://[ip]:[port... 阅读全文…

一、概述“光说不练假把式。” 官网上的介绍多少让人迷迷糊糊的，各种高大上的词语仿佛让 NiFi 离我们越来越远。 实践是最好的老师。那就让我们试用一下 NiFi 吧！ 二、安装由于我的整个学习和使用过程都是在 Linux 下完成，所以，整个教程也是面向 Linux 用户的。 其他系统下的使用方法类似，如有其他系统的用户，那么还请有选择性的进行参考本教程。 NiFi 是免安装地，仅需从官网下载... 阅读全文…

一、概述许多业务仅仅使用官方提供的组件不能够满足性能上的需求，往往要通过高度可定制的组件来完成特定的业务需求。 而 NiFi 提供了自定义组件的这种方式。 二、自定义 Processorhttp://www.nifi.rocks/developing-a-custom-apache-nifi-processor-json/ 占坑待续 三、Debug Processor目前似乎没有较好的方式，... 阅读全文…

一、概述大部分 NiFi 使用者都是通过 NiFi 的 Processor 来实现自己的业务的。因此，我也主要就 NiFi 官方提供的 Porcessor 进行介绍。 二、Processor如果你没有修改 Processor 的存放目录的话，Processor 被存放在 [nifi_install_location]/libs 目录下，NiFi 被启动时，都会将该目录下的组件加载到系统中，供... 阅读全文…

一、概述在某些极端情况下，某些 NiFi 节点信息会由于用户强行 disconnect from cluster ，而出现 local flow 与 cluster 的 flow 不同步的问题。 此后，该问题节点再也无法正常同 cluster 建立连接，并且频繁报错：Failed to connect node to cluster because local flow is differe... 阅读全文…

一、概述自定义的 Processor 继承了 AbstractProcessor，而 AbstractProcessor 继承了 AbstractSessionFactoryProcessor ，getLogger() 方法位于 AbstractSessionFactoryProcessor 类中。123protected final ProcessorLog getLogger()
... 阅读全文…