基于AWS的Python程序开发

费良宏, AWS Evangelist

©2015,
 Amazon
 Web
 Services,
 Inc.
 or
 its
 affiliates.
 All
 rights
 reserved

Python 是什么？

§ 一种通用的、高级程序设计语言 § 一个荷兰人（Guido van Rossum）的设计／1991年 § 一个榜单上（TIBOE）上排名第5的语言／2015年9月 § 一大批公司、开发者在使用它

Google, Youtube, Instagram, Pinterest, Bing, Reddit, Etsy,  Dropbox, Quora, Yelp, Friendfeed, Trulia, Hunch, Blogger  and Rdio... 

§ 一些知名的软件由它来开发

Autodesk Maya, GIMP, BitTorrent, Blender 3D, Cinema 4D,  Dropbox, OpenStack, YUM, OpenERP, Civilization IV,  Matplotlib, FreeCAD, MySQL Workbench, Nuke... 

为什么是Python ？

在一些人眼中它像一把”瑞士军刀”，无所不能

“Python allows us to produce maintainable features in record times, with  a minimum of developers.”

Cuong Do, Software Architect, Youtube

一些人觉得它充满争议，并不完美

Python 2 vs. Python3, Significant white-­space, Performance, Global  Interpreter Lock (GIL)  …

Python 之禅

美胜于丑 规则胜于特例 显胜于隐 实用胜于单纯 简胜于繁 告错胜于沉默 繁胜于杂 沉默胜于吵闹 平胜于迭 拒绝胜于猜测 疏胜于密 唯一胜于显然 最好只有一种 不要自认作者 现在胜于永不 永不胜于匆猝 值得说则必说 命名空间很赞

－ Tim Peters (PEP20 / import this)

爱上Python 的十大理由

让我保持专注 我猜的总是对的 键入不多 喜欢的人毋需多说 不假设如何发现错误 不期待完美语言的出现 不把我当作傻瓜 效率之上再谈性能 不会有向后兼容的痛苦 减少混乱

－ Bruce Eckle, "Why I Love Python" 

Boto – 适用于Python的AWS 开发工具包

Boto 版本 –

Boto3.__version__   ‘1.1.3’

兼容性 －

Py2.6 、Py2.7 ，Py3.3+

功能 －

支持 40+ AWS 服务（S3, EC2, EMR,  Machine Learning…）

Boto3 概述

• 设计之初已支持 Python2 & Python 3  • 从底层支持的数据驱动 • 针对AWS 新的服务的支持 • 一致性的使用界面 现代风格的面向对象的 API  • 可在现有的 Boto2 的程序中使用 • 与AWS CLI 共享 Botocore • 基于Apache许可的开源项目

Boto3 的变化

• 资源(Resource) -­ 高级的面向对象的接口 • 集合(Collection) -­ 迭代操作资源组的工具 • 客户端(Clients) -­ 低层次服务连接 • 分页器(Paginators) -­ 响应自动分页 • 阻塞(Waiters) -­ 一种阻塞的方法,直到特定的状态满足 • Botocore  -­ 提供低级别的客户端、会话、凭据以及配

置数据

Boto3  的架构



Boto 3 Session



Config



Resources



Clients



Botocore Session

Credentials



Clients HTTPS



Authentication Serialization

Boto3 的安装与配置

安装 － $ pip install boto3

配置文件（~/.aws/credentials） －

[default]  aws_access_key_id = YOUR_ACCESS_KEY  aws_secret_access_key = YOUR_SECRET_KEY region=us-­east-­1

Boto3 的样例代码

import boto3

s3 = boto3.resource('s3') bucket = s3.Bucket('my-­‐bucket') for obj in bucket.objects.all():

print(obj.key, obj.last_modified)

Boto3 应用演示

演示概述

• 低级别的客户端(Client)调用 • 客户端对象列表分页(Pagination) • 访问资源(Resource) • 创建一个新资源(Amazon S3对象) • 集合(Collection)遍历 • 资源信息输出

通过AWS Transcoder 实现视频转码

通过AWS Transcoder 实现视频转码

通过AWS Transcoder 实现视频转码

通过AWS Transcoder 实现视频转码

通过AWS Transcoder 实现视频转码

通过AWS Transcoder 实现视频转码

通过AWS Transcoder 实现视频转码

通过AWS Transcoder 实现视频转码

通过AWS Transcoder 实现视频转码

Amazon  SQS

通过AWS Transcoder 实现视频转码

Amazon  SQS

通过AWS Transcoder 实现视频转码

演示

转码程序的设计

• Elastic Transcoder 需要的配置 • 用于输入的S3 bucket • 用于输出的S3 bucket • 用于通知的Amazon SNS topic • 用于资源存取的IAM角色 • 转码管道(pipeline) • 转码任务(job)

转码程序的基础：会话和连接

• 建立缺省的会话(session)

– 从文件或者环境变量中加载 Config 和 credentials

• 创建客户端 (clients) • 创建资源 (resources)

转码程序的基础：会话和连接

import boto3

# Creating a client by name client = boto3.client('s3')

# Creating a resource by name resource = boto3.resource('s3')

Amazon S3 上传

• 建立新的存储桶(bucket) • 获取存储桶(bucket) 的名字 • 上传文件

Amazon S3 上传

import boto3

# Create a new bucket s3 = boto3.resource('s3') bucket = s3.create_bucket(Name='Boto3')

# Get a bucket by name bucket = s3.Bucket('Boto3')

Amazon S3 上传

import boto3

# Get a bucket by name bucket = s3.Bucket('Boto3')

# Upload a new file with open('file.mov', 'rb') as data:

bucket.Object('file.mov').put(Body=data)

Amazon S3 下载

• 找到存储桶(buckets) • 找到存储对象(objects) • 下载对象(object) 内容

Amazon S3 下载

import boto3

# List all objects in all buckets s3 = boto3.resource('s3') for bucket in s3.buckets.all():

for obj in bucket.objects.all(): print(bucket.name,  obj.key)

Amazon S3 下载

import boto3

# Download a file bucket = s3.Bucket('Boto3') obj = bucket.Object('output.mp4') data = obj.get()['Body'].read()

Amazon SNS Topic & Amazon SQS Queue

• 建立新的 Amazon SNS topic • 获取已存在的 Amazon SNS topic • 建立新的 Amazon SQS queue • 获取已存在的Amazon SQS queue • 发送通知到 Amazon SQS queue • 检查新的消息

Amazon SNS Topic & Amazon SQS Queue

import boto3

# Create SNS topic (idempotent) sns = boto3.resource('sns') topic = sns.create_topic(Name='Boto3')

# Get an SNS topic topic = sns.Topic('<TOPIC ARN>')

Amazon SNS Topic & Amazon SQS Queue

# Create an SQS queue (idempotent) sqs = boto3.resource('sqs') queue = sqs.create_queue(QueueName='Boto3')

# Get an existing queue queue = sqs.get_queue_by_name(QueueName='Boto3')

Amazon SNS Topic & Amazon SQS Queue

# Subscribe  an SQS queue to the topic topic.subscribe(

Protocol='sqs', Endpoint=queue.attributes['QueueArn'])

IAM 角色

• 建立新的 IAM 角色(role) • 设置许可(permissions)

– Amazon S3 – Amazon SQS – Amazon Elastic Transcoder

IAM 角色

import boto3

# Create IAM role iam = boto3.resource('iam') role = iam.create_role(

RoleName='role-­‐name', AssumeRolePolicyDocument='...')

IAM 角色

# Set role policy policy = role.RolePolicy('transcoder') policy.put(PolicyDocument={

'Version': '2012-­‐10-­‐17', 'Statement':[

{...} ] })

转码的 Pipeline & Jobs

• 建立新的 pipeline • 可选项

– Input / output S3 bucket – IAM role – Amazon SNS topic config

• 建立新的 job

转码的 Pipeline & Jobs

# Create a new pipeline transcoder = boto3.client('elastictranscoder') response = transcoder.create_pipeline(

Name='Boto3', InputBucket='Boto3-­‐input', OutputBucket='Boto3-­‐output', Role='<ROLE ARN>', ... )

转码的 Pipeline & Jobs

# Create a new transcoding job job = transcoder.create_job(

PipelineId=response['Pipeline']['Id'], Input={

'Key': 'input.mov', ... }, Outputs={...} )

增加一点胶水代码

• 目录监控 • 主要功能

– Upload / start job / wait / download / delete

• Amazon S3 清理 • Amazon SQS 清理

资源

• 演示源代码 － https://github.com/boto/boto3-­ sample

• AWS SDK for Python -­ https://aws.amazon.com/cn/sdk-­for-­python/

• Boto3 文档 － http://boto.readthedocs.org/en/latest/ • Boto3 @ github -­ https://github.com/boto/boto

谢谢！

©2015,
 Amazon
 Web
 Services,
 Inc.
 or
 its
 affiliates.
 All
 rights
 reserved