Prefect Cloud数据编排系统使用
Prefect Cloud数据编排系统使用
目录
一、Prefect Cloud介绍
二、信息备查
1、Prefect 官网地址
2、Prefect文档介绍
3、Prefect的Github地址
4、Prefec建立本地server 和UI
5、Prefect Cloud地址
三、Prefect安装和说明
1、安装prefect包
2、使用Prefect Cloud的使用流程
四、Prefect Cloud 使用
1、登录Prefect Cloud账号
(1)我选择的是Email登录,填写自己的email地址,点continue
(2)Prefect Cloud会发送邮件,里面有登录code 和登录链接
(3)查收自己的邮件,可以填写code,也可以从链接直接进入
2、设置App Keys
(1)设置app keys的位置
(2)设置API keys
(3) 新增API key
(4) 复制API key
3、创建工作区域 WorkSpace
(1)通过命令行
(2)通过Prefect Cloud平台
4、创建工作队列Work Queue
(1)通过Prefect Cloud平台选择Work Queues栏目创建
(2) 创建工作队列编辑
5、本地开启代理监控队列
(1) Prefect Cloud端开启队列
(2) 本地开启队列
6、创建工作流
(1) 创建工作流并部署
(2) Prefect Cloud查看该工作流
(3) 查看部署工作流详情
(4)查看该工作流执行情况
7、设置工作流定期执行计划
五、总结
一、Prefect Cloud介绍
Prefect 是传统Apache AirFlow的成员出来做的项目,相比AirFlow有不少优势。
Prefect Cloud 允许计算机作为数据处理单元,结果传入Prefect云服务中,并在其中管理数据计算流程。 不需要安装Prefect UI和Prefect Server。对于隐私性不太高的数据计算项目,使用Prefect Cloud的个人版,简单快捷。
目前Prefect已经开发的2代了,最新版本2.7.5。
本文主要介绍如何使用Prefect Cloud,如果想自己建立Prefect server 和前端UI,可以参看下面“Prefec建立本地server 和UI”
二、信息备查
1、Prefect 官网地址
Prefect - The New Standard in Dataflow Automation - Prefect
2、Prefect文档介绍
Welcome to Prefect 2 - Prefect 2 - Coordinating the world's dataflows
3、Prefect的Github地址
4、Prefec建立本地server 和UI
GitHub - PrefectHQ/server: The Prefect API and backend
GitHub - PrefectHQ/ui: The home of the Prefect UI
5、Prefect Cloud地址
Prefect Cloud 2.0
三、Prefect安装和说明
1、安装prefect包
pip install -U prefect
2、使用Prefect Cloud的使用流程
(1)先申请Prefect Cloud 账号
(2)再在Prefect Cloud里面创建工作空间Work Space
(3)再创建Prefect Cloud里面创建工作队列 Work Queue
(4)运行本地代理监控工作队列
(5)把数据工作流部署到Prefect Cloud中
(6) 设置定期执行计划
(7)定期执行后监控结果流程
四、Prefect Cloud 使用
1、登录Prefect Cloud账号
Prefect Cloud 2.0
(1)我选择的是Email登录,填写自己的email地址,点continue
(2)Prefect Cloud会发送邮件,里面有登录code 和登录链接
(3)查收自己的邮件,可以填写code,也可以从链接直接进入
2、设置App Keys
(1)设置app keys的位置
点最左下角的问号,然后点自己的账户名,进入到设置页面
(2)设置API keys
(3) 新增API key
新增的api key 可以设置是否过期,以及过期时间
(4) 复制API key
3、创建工作区域 WorkSpace
(1)通过命令行
XXXOUTLOOKCOM是自己的邮箱 datawork是自己创建workspace的名称
prefect cloud workspace set --workspace "XXXOUTLOOKCOM/datawork"
(2)通过Prefect Cloud平台
4、创建工作队列Work Queue
(1)通过Prefect Cloud平台选择Work Queues栏目创建
(2) 创建工作队列
5、本地开启代理监控队列
(1) Prefect Cloud端开启队列
(2) 本地开启队列
通过命令行执行该命令开启队列
prefect agent start --work-queue "fund"
6、创建工作流
(1) 创建工作流并部署
from prefect.deployments import Deployment
from prefect import flow, task
# 创建工作流
@flow(name='fund_get_nav') # name是工作流的名称
def flow_fund_get_nav():print('hello world')# 部署工作流
def deplot():deployment = Deployment.build_from_flow(flow=flow_fund_get_nav,name="fund_get_nav", # 工作流的名称version=1, # 工作流版本work_queue_name="fund", # 工作流所在的工作队列的名称)deployment.apply()if __name__ == "__main__":deplot()
(2) Prefect Cloud查看该工作流
(3) 查看部署工作流详情
(4)查看该工作流执行情况
7、设置工作流定期执行计划
五、总结
Prefect Cloud首次配置可能略微需要熟悉一下,配置完之后,后续部署监控就非常方便了,希望这篇文章对大家有用。
- 梯度下降法和最速下降法区别
- 扎心了!37岁被裁,好几个月都没有找到工作,面试大公司被婉拒,无奈只能降薪去小公司,没想到还被人嫌弃技术太落后...
- 【Yolo】Jetson Orin Nano下部署 YoloV5
- HTK 安装、编译以及测试——Ubuntu 14.04
- mmap优缺点
- YumRepo Error: All mirror URLs are not using ftp, http[s] or file解决办法
- VC学习资料收集(12):VC小知识总结
- VC知识(一)
- 排列 组合 算法(一)
- SiamFC:Fully
- 常用的Linux终端命令盘点
- Matlab中interp2和interpn的差异
- 网页弹出对话框的几种代码
- 使用HTML写一个完整的注册页面
- python爬虫爬取网页信息
- 自适应直方图均衡(CLAHE) 代码及详细注释【OpenCV】
- word 如何设置页码?分页?分节?