备案期间网站能用吗,四川建筑培训网,什么网站专做宠物物品,郑州网站分析介绍
Kettle#xff08;也称为Pentaho Data Integration#xff09;是一款开源的ETL#xff08;Extract, Transform, Load#xff09;工具#xff0c;由Pentaho#xff08;现为Hitachi Vantara#xff09;开发和维护。它提供了一套强大的数据集成和转换功能#xff0c…介绍
Kettle也称为Pentaho Data Integration是一款开源的ETLExtract, Transform, Load工具由Pentaho现为Hitachi Vantara开发和维护。它提供了一套强大的数据集成和转换功能用于从各种数据源提取数据、进行数据转换和清洗并将数据加载到目标系统中。 ETL功能Kettle专注于提供ETL功能即从不同的数据源如数据库、文件、Web服务等中提取数据并对数据进行转换和整理最后将数据加载到目标系统中。它支持各种数据处理操作如过滤、排序、聚合、连接、转换等以满足不同的数据集成需求。 可视化设计Kettle提供了一个可视化的设计界面称为Spoon。通过Spoon用户可以通过拖拽和连接各种组件来创建数据转换和工作流程。这种可视化的设计方式使得ETL过程更加直观和易于理解。 多种数据源支持Kettle支持多种数据源的连接和操作包括关系型数据库如MySQL、Oracle、SQL Server等、非关系型数据库如MongoDB、Hadoop等、文件如CSV、Excel等、Web服务如REST API、SOAP等等。这使得Kettle可以处理各种不同类型和格式的数据。 强大的转换和清洗功能Kettle提供了丰富的转换和清洗功能可以对数据进行各种操作如字段映射、数据类型转换、数据清洗、数据合并、数据拆分等。这些功能使得数据在整个ETL过程中能够得到有效的处理和准备。 可扩展性Kettle提供了一套插件机制允许用户根据自己的需求进行功能扩展和定制。用户可以编写自定义的插件以满足特定的数据集成和处理需求。
Kettle是一款功能强大、灵活可扩展的ETL工具适用于各种数据集成和转换任务。在开源系统中它的可视化设计界面和丰富的功能使得数据处理变得更加简单和高效。
尽管目前市面上开源ETL老牌工具有SqoopdataxCanal、StreamSets等新晋ELT工具有airbyte, seaTunnel等。但kettle作为传统老牌ETL工具在易用性资料丰富性等方面仍然有一席之地对于千万级内的数据量级处理仍是不可替代的优秀ETl工具之一。
本人是KETTLE使用爱好者以及二次开发者拥有8年的丰富使用经验。在使用过程中针对kettle的弱项以及对市面上一些kettle二开工具的对比发现目前尚未有一款好用的调度管理工具。经此于是准备开发一款简单易用灵活部署可以水平扩展的分布式调度管理平台。 功能介绍和对比
废话不多说上才艺
比较维度功能本产品第三方产品设计及架构框架springcloud微服务springboot或springmvc单体设计前后端分离ui层管理调度执行耦合在一个服务中调度层agent层执行层调度层基于xxl-job封装和优化支持集群和动态分片集群模式下支持数十万至百万级任务调度基于quartz或者spring schedule组件agent层springcloud微服务模式用来管理kettle的carte服务支持水平扩展接受调度层的指令来向执行层发送转换做作业的任务。 1、支持carte服务的管理和探活自动剔除异常节点和故障转移 2、支持8种负载均衡策略 3、基于分片模式的任务执行状态定时检测不存在单点压力和故障。 4、任务异常告警carte服务监控告警可视化配置无执行层基于kettle的carte模式采用插件策略二次开发无代码入侵不集成任何kettle源码兼容kettle5.x, kettle6.x, kettle7.x, kettle8.x,kettle9.xkettle源码嵌入单体服务中不利于版本升级和管理前端UI框架vue2.XeasyUI, jquery, bootstrap权限设计基于RBAC模式设计部门岗位角色无菜单按钮资源层精细化控制数据权限业务模块设计数据集成任务报表概览任务管理项目管理无任务管理无集群管理无节点管理无无元数据管理血缘分析无数据源管理数仓管理ODS原始数据层无DWD数据明细层无DWS服务数据层无ADS数据应用层无数据服务数据发布无授权管理无api管理无监控模块服务器监控Prometheushertzbeat无服务级监控grafana无jvm监控无日志观测链路追踪模块loki日志可视化loki日志可视化无oss日志存储oss日志存储无jaeger链路追踪jaeger链路追踪无
架构设计 详细功能介绍
1、ETL概览 首先是ETL概览最上面是统计当前管理的任务数以及任务执行情况。下面的折线图是展示每日执行的转换和作业的成功失败数。 2、项目管理
2.1 项目管理
对ETL任务进行项目维度的包装将ETL任务和业务进行绑定使之具备生命周期属性更易于理解和管理。 2.2 项目新增 3、任务管理
整个系统的最核心地方对ETL任务进行封装与项目映射为多对一的关系。一个项目任务绑定一个carte集群和一个调度任务并拥有任务状态属性。可以实时查看当前任务执行状态以及执行日志。 任务新增
新增任务需要绑定项目和ETL资源库的转换或作业信息然后再指定要执行的carte集群。
支持运行中的任务实时修改转换或作业信息。改动下次执行生效。 任务执行
任务创建完成之后可以点击右侧按钮执行执行一次此时agent层会从集群中根据负载均衡策略选取一个可用的slave节点将转换做作业信息发送到该节点上执行并将改任务添加到状态监控队列对任务的执行状态进行更新和日志监控 当任务启动后状态栏会切换为动态转换的蓝色小齿轮同时可以实时查看进行中的日志 任务定时执行
对于ETL任务90%的都要定时重复执行这里可以设置定时执行 这里可以对定时方式进行配置指定agent作为执行器以及agent的路由策略cron表达式以及失败策略等。 启动定时任务
点击定时管理按钮可以对定时任务进行执行停止以及删除操作。 任务修改
支持实时的任务修改和集群修改下次执行时会自动生效。 任务DAG查看 4、集群管理
这里重新设计了carte的集群配置carte本身的集群只是简单的主从模式这里设计了master动态选举集群模式
master节点挂掉之后会自动选择其他slave节点作为master节点。 新建集群
每个slave可以加入到多个集群中互不冲突。集群策略支持8种负载均衡模式如果对任务执行成功率有严格要求可以设置为故障转移模式但这种情况可能会存在任务倾斜的情况导致某个carte节点任务数很多而有的carte又很闲。后面会考虑增加一个组合模式的负载均衡策略将故障转移和轮询或者一致性hash结合在一起。正常情况建议选择一致性hash或者轮询策略。 5、节点管理
节点是集群的组成核心之一所有集群都是从节点池中选择一批进行组合。
管理列表这里优先展示节点身上的任务数以及cpu和内存使用情况。 节点操作
可以对节点进行刷新编辑停止等操作。 6、日志观测平台 日志观测平台基于分布式轻量级日志存储系统loki, 和采集器vector, 以及grafana可视化展示平台组成方便开发实时排查系统日志和快速定位问题。
7、监控告警平台 基于jmx和prometheus非入侵方式对carte服务进行jvm维度的监控一旦服务状态异常秒级响应告警方便运维实时处理问题保证ETL任务的稳定性和可靠性。
系统体验
生活不易系统目前在持续升级迭代中暂时未计划开源。核心功能ETL部分已在自有阿里云服务器稳定运行3个月之久2C2G的单机carte配置可稳定运行10-100个任务视具体任务的数据体量而定。
