介绍 gralde 是一个 开源的自动化构建工具，设计的初衷就是为了足够灵活，来满足几乎所有软件的构建需求。并且具有以下的功能： 高性能 只编译需要编译的部分（因为 task 的输入和输出变动），甚至可以在不同的机器上利用 build cache（有共享 cache 的条件下） 基于 JVM 熟悉java 的人很轻松就能学会 基于约定实现 gradle 借鉴了...

背景 日志：记录程序的运行轨迹，方便查找关键信息，也方便快速定位解决问题。 随着公司发展，后端项目app的数量 越来越多，排查问题的复杂度越来越高，需要对日志的格式统一规划，便于后续日志收集分析报警。 日志的作用（WHY） 问题追踪： 辅助排查和定位线上问题，优化程序运行性能。 状态监控： 通过日志分析，可以监控系统的运行状态。 安全审计： 审计主要体现在安全上，...

logstash 缺点： 性能问题 具体 benchmark 可以参考链接 不支持缓存，典型的替代方案还得依赖 kafka 或者Redis 作为中心缓存池 Flume Flume基于流式数据的、使用简单的（借助配置文件即可）、健壮的、容错的。 Flume的简单体现在：写一个source、channel、sink之后，一条命令就...

部署前检查工作 显式设置最大并行度 给所有的 operator 设置 uuid (如果 对 state 敏感的话) 设置 正确的状态储存后端，避免用 MemoryStateBackend FsStateBackend or RocksDBStateBackend 配置 JobManager 高可用 Standalone Cluster HA or YARN ...

环境 Red Hat Enterprise Linux 8 Red Hat Enterprise Linux 7 Red Hat Enterprise Linux 6 Red Hat Enterprise Linux 5 方法步骤 生成 SSH key 如果你还没有生成过 ssh-key，参照下面的步骤生成一对 ssh-key，如果已经生成直接跳过 [us...

因为 python 总所周知的历史原因，有很多包可以选择，这边一句话总结一下，希望有帮助 python2 MySQL-Python mysql-python 是 python2 时代的连接mysql 的package，底层用C 实现，用python 包装成 python package,安装的时候需要编译，也可以下载二进制文件进行安装， 但是需要注意的是： mysql-python 只 支...

部署 docker 镜像拉取 docker pull gethue/hue:latest 启动命令 docker run -d -p 8888:8888 -v /usr/share/hue/desktop/conf:/usr/share/hue/desktop/conf --name hue --restart always gethue/hue...

服务器 ip: 192.168.2.106 usr: zl password: 123456 hadoop 伪集群模式安装 版本选择 最新版是 3.3 版本，但是考虑到各个组件的兼容性问题 选择2.10 版本的hadoop 安装 根据附录下载 相关文件 解压 tar -zxvf hadoop-2.10.0.tar.gz 配置 hadoop 相关...

原文 引言 上篇《微调 Kafka 生产者》文章中，我们给出了几点可以改进 Kafka 生产端的建议。这篇文章我们将要来检视几个调优 kafka 消费端的常用选择。 在流式系统中，是非常值得考虑传输两端的性能的。如果你让你的生产端的效率提升了，相应的消费端也需要提升效率来适应。最起码不能让消费端成为性能瓶颈。正如我们接下来要介绍的内容一样，一些消费端的配置实际上依赖其生产段和 部分kaf...