Skip to content

Release v5.0.0

Latest
Latest

Choose a tag to compare

View all tags
@baisui1981 baisui1981 released this 25 Dec 07:18
v5.0.0
519e82e

Abstract

TIS的v5.0.0版本终于完成了开发，v5.0.0在以下几方面进行了功能加强和升级。https://github.com/datavane/tis/milestone/11?closed=1

TIS v5.0.0 版本主要功能说明

1. TIS AI Agent - 让数据管道"说人话"

TIS v5.0.0 引入了国内首个大数据领域的原生AI Agent，支持通过自然语言对话快速创建数据管道。用户只需用中文描述需求（如"将MySQL同步到Doris"）
，AI Agent即可自动完成数据源配置、插件选择、管道创建、增量同步启动等全流程操作。相比传统方式需要15-20分钟的手工配置，AI Agent将操作时间缩短至2分钟以内。
基于TIS多年积累的领域模型和插件体系，采用Plan-and-Execute架构深度整合，支持DeepSeek、通义千问等国产大模型，真正实现了"开箱即用"的智能化数据集成体验。

2. CDC启动前智能预验证机制

例如：针对PostgreSQL实时数据同步任务启动失败的痛点，TIS v5.0.0实现了7个维度的预验证机制，在Flink CDC任务启动前即可发现潜在问题：包括PostgreSQL版本检查、WAL配置验证、用户权限校验、系统表存在性检测、复制槽状态监控、解码插件验证和表结构检查。将原本需要在运行时才能发现的错误（如版本不兼容、配置缺失）提前到配置阶段，问题发现时间从数小时缩短到数秒，大幅降低用户排查成本。区分错误和警告两级提示，既能快速定位致命问题，又能提供优化建议，有效防止WAL日志堆积等生产环境隐患。

其他源端，如：MySQL、Oracle等CDC任务启动时候也都加入的先验校功能

3. Flink Job实时告警监控系统

TIS v5.0.0为运行中的Flink实时同步任务增加了完善的告警监控能力。系统通过定时轮询机制自动监控Flink Job的运行状态，当任务因异常终止或被手动停止时，可通过多种渠道及时通知相关人员，支持邮件、钉钉、企业微信、飞书、HTTP回调等5种告警方式。用户可灵活配置告警渠道和自定义消息模板，确保数据同步任务的异常能够第一时间被发现和处理，避免因任务中断导致的数据延迟或丢失，显著提升生产环境的稳定性和可靠性。

4. HTTP正向代理支持

为解决企业内网环境下访问外部数据源的网络隔离问题,TIS v5.0.0新增了HTTP正向代理功能。用户可在系统中配置代理服务器地址、端口及认证信息,TIS在访问外部HTTP/HTTPS资源时将自动通过代理转发请求。该功能特别适用于需要从公网抓取数据但服务器无法直接访问互联网的场景,也支持通过企业统一代理网关进行安全审计。配置简单灵活,支持基本认证和匿名代理两种模式,有效打通了数据集成的"最后一公里"。

New Feature

  • 希望Transformer可以加一个 “常量值算子”#480
  • postgresql 9 实时同步数据到 mysql5.7异常#470
  • Kafka Reader topic tag 关注表需要支持通配符#468
  • 为TIS设置内网代理功能#431
  • 全自动pipeline执行机器人实现#413
  • 增量实例支持告警功能#218

Bug Fix

  • flink-cdc启动如mysql 数据库的binlog没有开启 gtid功能 就会报异常#477
  • 执行tdfs端到mysql点击预览功能出错#476
  • KingbaseV9 flinkcdc实时同步到doris,全量同步阶段出现日期转换错误java.lang.UnsupportedOperationException: null#474
  • kingbase中在mysql模式下如果有integer字段类型则执行增量cdc会将字段过滤掉#473
  • MySQL v8版本在分库分表模型是运行部分分表的监听会跳过#471
  • Form Datetime时间控件保存时间与所在zone真实事件慢8小时#469
  • 编辑模式下切换两个pipeline会出现冲突#467

Installation

Related Projects

Assets 2
Loading