Skip to content

taskPyroer/taskpyro

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

43 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

TaskPyro 是什么?

TaskPyro 是一个轻量级的 Python 任务调度平台,专注于提供简单易用的任务管理、爬虫调度解决方案和 AI 智能助手功能。它能够帮助您轻松管理和调度 Python 任务,特别适合需要定时执行的爬虫任务、数据处理任务,以及通过 AI 智能交互进行系统管理的场景。

官网文档:https://docs.taskpyro.cn/

登录界面 主界面 架构图

特别感谢以下赞助商的支持:

thordata

开发背景

在当今数字化时代,自动化数据采集、处理和 AI 智能管理变得越来越重要。然而,现有的任务调度解决方案要么过于复杂,要么缺乏针对 Python 环境的特定优化,更缺乏智能化的交互方式。特别是许多用户的代码需要在 Windows 环境下才能更好地运行(如使用特定的 Windows API、COM 组件或依赖 Windows 特有的软件或一些浏览器自动化爬虫代码),但却缺乏合适的系统来进行统一的管理、调度、监控和智能交互。TaskPyro 正是为了解决这些痛点而诞生的,旨在为 Python 开发者提供一个简单、高效、可靠的跨平台任务调度平台,同时集成 AI 智能助手,通过自然语言交互实现智能化管理。

为什么选择TaskPyro?

  • 🏢 大型企业:需要跨机器、跨地域的分布式任务调度管理
  • 🔍 数据工程师:需要在多台服务器上执行大规模数据采集和处理任务
  • 🕷️ 爬虫开发者:需要管理分布在不同节点的爬虫任务集群
  • 📊 数据分析师:需要在多个计算节点上并行执行数据分析任务
  • 🛠️ 系统运维人员:需要统一管理多台服务器的定时维护任务
  • 👥 开发团队:需要多用户协作和权限管理的任务调度平台
  • 🌐 混合环境:需要同时管理 Windows 和 Linux 服务器的任务调度
  • 🤖 AI 爱好者:希望通过自然语言交互智能管理任务的开发者
  • 💬 即时通讯用户:想通过企业微信、钉钉、飞书随时监控系统状态

使用流程

  • 部署主控节点(Docker)
  • 配置分布式工作节点(Windows/Linux)(可选,不配置也可以直接本机部署任务)
  • 配置Python环境和版本
  • 创建项目并分发到工作节点
  • 配置用户权限和访问控制
  • 配置消息通知和监控告警
  • 创建本机/分布式定时任务

核心功能

TaskPyro 专业版提供了一系列企业级功能,帮助您构建高可用的分布式任务调度系统:

  • 🌐 分布式架构

    • 支持 Windows 和 Linux 混合节点部署
    • 无需 Docker 环境的轻量级工作节点
    • 通过 Docker 一键安装主控节点统一管理所有分布式节点
    • 跨平台任务调度和执行
    • 优化分布式架构,提升跨平台任务调度能力
  • 📊 企业级监控

    • 系统概览:实时展示集群整体状态
    • 性能指标:CPU、内存、磁盘使用率监控
    • 任务统计:成功率、执行时间、错误分析
    • 工作节点:节点状态、资源使用、连接状态
    • 指标图表:历史趋势分析和性能报表
  • 📅 任务调度

    • 支持 Cron 表达式定时调度
    • 自主选择节点和任务分发
    • 支持任务依赖关系配置
    • 支持一次性和周期性任务
  • 🔧 环境管理

    • 跨节点 Python 虚拟环境管理
    • 环境配置自动同步和分发
    • 主机支持多版本 Python 环境
    • 依赖包统一管理和安装
    • 环境隔离,避免依赖冲突
  • 📁 项目管理与代码分发

    • 项目文件自动分发到工作节点
    • 在线代码浏览和编辑功能
    • 支持多种项目类型和框架
    • 代码同步状态实时监控
    • Git 仓库定时同步:支持配置 Git 仓库,定时自动拉取最新代码
  • 👥 用户权限管理

    • 多用户角色和权限控制
    • 页面访问权限精细化配置
    • 管理员可分配用户访问范围
  • 🔐 环境变量管理

    • 集中化环境变量配置
    • 敏感信息加密存储
    • 支持动态配置更新
    • 账号密码等敏感信息安全管理
  • 🕷️ 爬虫框架支持

    • 支持 Scrapy 等主流爬虫框架
    • 支持 Selenium、Playwright、DrissionPage 等浏览器自动化工具
    • 提供完整的框架运行环境配置
    • 内置 Node.js 环境,支持 JS 逆向
    • 支持 PyExecJS 等常用逆向库
    • 支持 Python 与 JS 代码无缝集成
  • 📈 高级监控与告警

    • 实时任务状态监控
    • 详细的执行日志记录
    • 任务执行统计分析
    • 支持钉钉、飞书、企业微信通知
    • 异常告警和执行结果推送
    • 性能瓶颈分析和优化建议
  • 🤖 AI 智能助手

    • 自然语言交互:通过对话即可部署项目、配置任务等
    • 智能任务分配:AI 分析系统负载,自动推荐最优节点
    • 系统状态分析:智能分析系统运行状况,提供优化建议
    • Web 端 AI 对话:在 Web 界面与 AI 助手实时对话,支持历史记录管理
    • AI 配置管理:支持配置多个大模型 API,满足不同场景需求
    • 多模型支持:支持 DeepSeek、智谱清言等主流模型
  • 💬 即时通讯机器人

    • 支持飞书、钉钉、企业微信三大平台
    • 随时随地通过聊天工具与系统交互
    • 查询系统状态、管理任务、接收告警
    • 移动办公,无需登录系统即可操作
  • 💾 持久化文件管理

    • 统一管理需要长期保存的文件
    • 支持文件上传、下载、目录管理
    • 提供完整的文件操作 API
    • 支持断点续传(取决于浏览器)
  • 🎨 现代化 UI 界面

    • 全新 UI 重构,采用 Shadcn UI 框架
    • 界面美观流畅,提升用户体验
    • 响应式设计,支持不同设备
  • 系统性能优化

    • 系统底层源码深度优化
    • 提升响应速度和性能
    • 优化下载日志功能
  • 💼 企业级特性

    • 高可用架构设计
    • 集群扩展和缩容
    • 详细的使用文档和技术支持
    • 1.x 版本无缝升级支持

系统安装

标准版安装

https://docs.taskpyro.cn/guide/install.html

专业版安装

https://docs.taskpyro.cn/professional/install.html

系统运行截图

监控仪表盘

性能指标监控

专业版仪表盘提供全面的性能指标监控,实时展示系统CPU、内存、磁盘使用率等关键指标,帮助您及时发现性能瓶颈。

专业版仪表盘-性能指标界面

任务统计分析

通过直观的图表展示任务执行情况,包括成功率、失败原因分析、平均执行时间等统计数据,助您全面了解任务运行状况。

专业版仪表盘-任务统计界面

工作节点状态

实时监控所有工作节点的运行状态、资源使用情况和连接状态,确保分布式系统的稳定运行。

专业版仪表盘-工作节点界面

任务日历视图

通过日历形式直观展示任务分布情况,不同颜色代表不同任务状态,方便您快速识别任务执行模式。

专业版仪表盘-日历图界面

任务详情查看

点击日历中的具体日期,可查看该天所有任务的详细执行情况,包括开始时间、结束时间、执行状态等信息。

专业版仪表盘-点击查看一整天任务详细界面

甘特图

展示24内定时任务的耗时分布,方便查看或对比每天不同任务耗时分布

专业版仪表盘-甘特图任务耗时详细分布界面

AI 智能功能

AI 助手对话界面

在 Web 界面与 AI 助手实时对话,通过自然语言交互管理系统、部署项目、配置任务,打破传统机械式操作流程。

AI 助手对话界面

AI 对话模式选择

支持多种对话模式,满足不同需求:对话模式(日常对话交互,快速响应)、思考模式(深度分析问题,展示推理过程)、文档模式(基于系统文档提供准确答案)。

AI 对话模式选择

AI 配置管理

灵活配置多个大模型 API,支持 DeepSeek、智谱清言等主流模型,满足不同场景需求。

AI 配置界面

AI 机器人配置

将 AI 助手集成到主流即时通讯平台,支持飞书、钉钉、企业微信,随时随地与系统交互。

AI 机器人配置界面

飞书机器人对话

在飞书群聊中与 AI 助手对话,查询系统信息、管理任务、接收告警通知。

飞书机器人对话场景

钉钉机器人对话

在钉钉群聊中与 AI 助手对话,随时随地监控系统状态和管理任务。

钉钉机器人对话场景

企业微信机器人对话

在企业微信群聊中与 AI 助手对话,通过移动办公提高工作效率。

企业微信机器人对话场景

项目管理功能

项目总览

专业版提供强大的项目管理功能,支持多种项目类型,集中展示所有项目的状态、类型和最近更新时间,方便您快速查找和管理项目。

专业版项目界面

ZIP项目创建

支持通过上传ZIP压缩包快速创建项目,系统会自动解压并部署到指定节点,简化项目部署流程。

新建ZIP项目界面

GIT项目集成

支持通过Git仓库地址创建项目,自动拉取代码并部署,支持私有仓库认证,实现代码与任务平台的无缝集成。

新建GIT项目界面

在线代码编辑

提供功能强大的在线代码编辑器,让您无需本地IDE即可进行代码修改和调试。

代码在线编辑界面

Python版本管理

多版本Python管理

TaskPyro支持在同一系统中管理多个Python版本,您可以轻松添加、删除和切换不同版本的Python解释器,满足不同项目的环境需求。

添加Python版本界面

Python虚拟环境管理

虚拟环境总览

专业版提供全面的虚拟环境管理功能,集中展示所有环境的状态、Python版本和包数量,方便您快速查找和管理虚拟环境。

专业版环境管理界面

环境快速创建

支持一键创建虚拟环境,可选择Python版本和预安装的依赖包,大幅简化环境配置流程,提高开发效率。

环境创建

安装过程日志

提供详细的包安装日志,实时展示安装进度和可能出现的错误信息,帮助您快速定位和解决环境配置问题。

安装日志

智能镜像源配置

内置多个常用PyPI镜像源,自动选择最快的源进行包安装,支持自定义镜像源,加速依赖包的安装过程。

智能镜像源管理

任务管理

任务创建配置

专业版提供强大的任务创建功能,支持多种调度方式(Cron表达式、固定间隔、一次性执行),可选择执行节点、Python环境和依赖任务,满足复杂的任务调度需求。

专业版新建任务界面

任务列表管理

集中展示所有任务的状态、调度规则和最近执行情况,支持按状态、节点等条件筛选,提供批量操作功能,方便您高效管理大量任务。

任务列表界面

执行历史记录

详细记录每个任务的历史执行情况,包括开始时间、结束时间、执行状态和耗时,帮助您分析任务执行模式和性能瓶颈。

执行历史界面

运行日志查看

提供实时的任务运行日志,支持在线查看和下载,方便您监控任务执行过程和排查问题,提高故障诊断效率。

运行日志界面

分布式节点管理

节点总览

集中展示所有工作节点的状态、类型和资源使用情况,支持按状态、地域等条件筛选,方便您快速了解整个分布式集群的运行状况。

节点界面

节点添加配置

支持快速添加新的工作节点,配置节点名称、地址和认证信息,系统会自动检测节点连接状态,确保节点正常接入集群。

添加节点

微服务节点管理

TaskPyro支持微服务架构,可将不同功能部署到专用节点,提高系统可扩展性和容错能力,满足大规模分布式部署需求。

TaskPyro微服务节点界面

节点性能监控

实时监控各节点的CPU、内存、磁盘使用率等性能指标,支持历史数据查询和趋势分析,帮助您及时发现并解决性能问题。

节点监控

日志管理

系统日志中心

集中管理所有系统日志,包括任务执行日志、节点连接日志和系统操作日志,支持多条件筛选和全文搜索,方便您快速定位和排查问题。

日志管理界面

系统设置

用户管理

专业版支持多用户管理,可设置不同用户角色和权限,控制用户对系统功能和资源的访问权限,满足企业级多用户协作需求。

用户设置界面

用户权限配置

提供精细化的权限控制功能,可为每个用户或用户组分配特定的操作权限,确保系统安全性和数据隔离性。

用户设置界面

邮件通知配置

支持配置邮件服务器和通知规则,系统可在任务执行完成、出现异常等情况下自动发送邮件通知,确保您及时了解系统状态。

邮件设置界面

系统信息设置

提供系统基本信息配置,包括系统名称、Logo和界面主题等,支持自定义系统外观,打造专属的任务调度平台。

信息设置界面

订阅方案

版本对比

TaskPyro提供三个版本,满足不同用户的需求:

功能/版本 免费版 标准版 专业版
基础限制
定时任务数量 5个 无限制 无限制
项目数量 2个 无限制 无限制
虚拟环境数量 2个 无限制 无限制
核心功能
Cron表达式调度
固定间隔调度
一次性任务执行
任务依赖配置
Python多版本管理
虚拟环境管理
多用户管理
监控与通知
任务状态监控
执行日志记录
执行统计分析
钉钉/飞书/企微通知
异常告警推送
高级功能
项目代码在线编辑
权限控制
分布式架构
跨平台节点部署
企业级监控面板
节点资源监控
环境变量
AI 智能助手
即时通讯机器人
Git 仓库定时同步
持久化文件管理
现代化 UI 界面
系统性能优化
任务智能分配
系统状态分析
技术支持服务
持续更新新功能

价格方案

标准版

提供多种灵活的付费方案,满足您不同的需求:

  • 半年付:86元/6个月
  • 年付:129元/年
  • 永久授权:688元

::: tip 重要提示 在授权有效期内,您可以享受完全无限制的功能,并且支持更换绑定的服务器。 :::

专业版

专业版提供更强大的分布式架构和企业级功能:

  • 年付:668元/年
  • 永久授权:2088元

::: tip 专业版特权 在授权有效期内,您可以享受完全无限制的功能,并且支持更换绑定的服务器;专业版也会持续更新和优化更多功能。 :::

以上付费均支持开发票

版本选择建议

  • 免费版:适合个人学习和小型项目,希望体验TaskPyro基本功能的用户
  • 标准版:适合中小型团队和企业,需要完整任务调度功能和通知机制的用户
  • 专业版:适合大型企业和组织,需要分布式架构、跨平台部署、高级监控和 AI 智能功能的用户

::: warning 升级提示 您可以随时从低版本升级到高版本,会根据剩余授权时间提供对应的折扣。 :::

咨询方式

请添加微信:PJ221BBB

::: tip 备注说明 加好友时请备注:taskpyro :::

学习交流

微信:PJ221BBB 公众号:布鲁的Python之旅
个人微信 公众号

About

爬虫管理系统,爬虫管理平台,分布式爬虫管理平台, openclaw龙虾,AI助手,可视化操作,完整监控,灵活的Python环境管理,,环境隔离,资源占用小,支持 Scrapy 等主流爬虫框架,支持 Selenium、Playwright、DrissionPage 等浏览器自动化工具,支持node环境下的js逆向代码,支持windows分布式调度

Topics

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

 
 
 

Contributors