Collections

---

• 二次开发的jar包
• 好用的网站
• 架构
• 记录好用的开源工具
  • 股票工具
  • shell客户端
  • 算法
  • 数据建模
  • 云平台
  • 代码版本管理
  • 元数据管理 & 数据治理
  • 分布式调度
  • 流式开发平台
  • 数据可视化
  • 流式中间件
  • 大数据计算框架周边
  • 数据库实时同步工具
  • ETL工具
  • 服务运维
  • 监控运维
  • 服务工具
  • 内网穿透
  • 数据工具
  • 代码混淆
  • SQL审计
  • Java JVM
  • 日志分析
  • 量化交易

二次开发的jar包

• 请移步这里

好用的网站

• 大数据工具导航

架构

• 实时湖仓一体
• 大数据生态方案

记录好用的开源工具

股票工具

• 股票基金助手-Chrome版
• VSCode-韭菜盒子

shell客户端

• mRemoteNG
• MobaXterm
• Tabby（原名 Terminus）

算法

• Alink-基于Flink的通用算法平台

数据建模

• PDManer-关系数据库模型建模工具

云平台

• CloudEon是一款基于Kubernetes的云原生大数据平台

代码版本管理

• svnWebUI-svn服务端web图形化管理工具
• Svnkit-远程SVN在线管理系统

元数据管理 & 数据治理

• Amundsen-数据治理框架
• Marquez-开源的元数据服务
• Datahub-一站式元数据治理平台
• SchemaCrawler-表结构可视化工具
• querybook-combining collocated table metadata
• sqllineage-python解析sql血缘追溯工具

分布式调度

• Taier是一个开源的分布式DAG调度系统，专注不同任务的提交和调度
• Schedulis-微众银行基于Azkaban的工作流任务调度系统
• Dolphinscheduler-Apache工作流调度工具

流式开发平台

• StreamPark-让Flink 开发更简单,极大降低学习成本和开发门槛
• Dinky-一站式开发运维 FlinkSQL
• flink-streaming-platform-web基于flink-sql的实时流计算web平台
• TIS基于批(DataX)流(Flink-CDC、Chunjun)一体数据中台

数据可视化

• DataEase-开源的数据可视化分析工具
• Datart-新一代数据可视化开放平台
• DataGear-开源免费的数据可视化分析平台
• JimuReport-积木报表
• Superset-开源BI平台
• CBoard-开源BI平台
• Zeppelin-一个让交互式数据分析变得可行的基于网页的开源框架
• metabase
• redash

流式中间件

• Kyuubi-Thrift JDBC/ODBC interface to use Spark or Flink

大数据计算框架周边

• Kyuubi-建立在Apache Spark之上高性能的通用JDBC和SQL执行引擎

数据库实时同步工具

• chunjun-一个基于Flink的批流统一的数据同步工具
• flink-cdc-connectors-Change Data Capture (CDC) Connectors for Apache Flink
• debezium-Mysql/Oracle/Sqlserver/MongoDB/PostgreSql等CDC工具
• SpinalTap-Mysql CDC工具
• Maxwell-Mysql2Json的CDC工具
• Canal-Mysql CDC工具
• Otter-基于Canal的Mysql CDC工具
• DataBus-Oracle/Mysql CDC工具
• mysql-binlog-connector-java-自定义Mysql CDC工具
• Yugong-阿里巴巴去Oracle数据迁移同步工具全量+增量,目标支持MySQL/DRDS,本版本支持 MSSQL/MySQL作为源数据库
• TIS-基于批(DataX)流(Flink-CDC)一体数据中台

ETL工具

• seatunnel原名为Waterdrop,基于Spark or Flink的海量数据处理产品
• Exchangis-微众银行基于Datax&Sqoop的数据同步工具
• Datax
• Addax-Datax的优化二次开发版本
• Kettle
• NiFi
• 基于web版kettle开发的一套分布式综合调度

服务运维

• LogiKM-Kafka集群指标监控与运维管控平台
• KnowStreaming-一站式Apache Kafka管控平台
• onedev-一站式CI/CD DevOps 工具

监控运维

• JumpServer-全球首款开源的堡垒机
• NextTerminal-轻量级堡垒机系统
• wgcloud-高并发监控系统
• spug-自动化运维平台
• OpsManage-自动化运维平台
• yala-主机监控管理功能
• opendevops-云管理平台
• HertzBeat-API、PING、端口、数据库、操作系统等监控
• ChengYing（承影）作为一站式全自动化全生命周期运维管家

服务工具

• kudu-plus-是可视化管理kudu的工具
• zkcopy-Zookeeper自动化数据同步迁移工具

内网穿透

• nps-轻量级、高性能、功能强大的内网穿透代理服务器
• frp内网穿透

数据工具

• Faker-生成你需要的所有假数据
• 异构数据库数据与结构同步工具
• sql转换工具，sql翻译，sql格式化，支持oracle转mysql

代码混淆

• obfuscator-Java代码混淆

SQL审计

• Archery-SQL审核查询平台
• Yearning-简单、高效的MYSQL审计平台

Java JVM

• jvmm-虚拟机监控的工具
• Arthas-Java诊断利器

日志分析

• goaccess-实时Web日志分析器和交互式查看器

量化交易

• 量化交易列表

---

Comments