動架構(gòu)：Serverless Examples的S3/SQS/SNS/Kinesis全鏈路實戰(zhàn))
一文吃透事件驅(qū)動架構(gòu)Serverless Examples的S3/SQS/SNS/Kinesis全鏈路實戰(zhàn)【免費下載鏈接】examplesServerless Examples – A collection of boilerplates and examples of serverless architectures built with the Serverless Framework on AWS Lambda, Microsoft Azure, Google Cloud Functions, and more.項目地址: https://gitcode.com/gh_mirrors/exa/examplesServerless Examples是 Serverless Framework 官方的無服務(wù)器架構(gòu)示例庫收錄了上百個可直接部署到 AWS Lambda 的樣板項目。本文將帶你用其中的 S3、SQS、SNS、Kinesis 四類事件驅(qū)動示例快速吃透事件驅(qū)動架構(gòu)EDA的核心套路如何讓系統(tǒng)事件來了才干活實現(xiàn)松耦合、高可用的全鏈路處理 什么是事件驅(qū)動架構(gòu)為什么無服務(wù)器場景特別需要它事件驅(qū)動架構(gòu)Event-Driven Architecture的核心思想是組件之間不直接互相調(diào)用而是通過事件解耦。事件源上傳了一個文件、產(chǎn)生了一條消息發(fā)出信號下游消費者按需訂閱處理。對比項請求-響應(yīng)架構(gòu)事件驅(qū)動架構(gòu)耦合度調(diào)用方必須等處理完成立即返回后臺異步處理容錯性下游掛掉則整體失敗隊列緩沖 自動重試彈性伸縮需預(yù)估峰值事件來了才創(chuàng)建實例零事件零成本在 Serverless 場景下這個優(yōu)勢被放大到極致Lambda 函數(shù)天然就是事件觸發(fā)器S3 丟一個文件、SQS 進(jìn)一條消息函數(shù)就被喚醒處理完即休眠。Serverless Examples 恰好為每一種主流事件源都準(zhǔn)備了現(xiàn)成模板本文按S3 → SQS → SNS → Kinesis → 工作流編排的順序逐一拆解。S3 事件驅(qū)動文件一上傳鏈路自動啟動S3 是事件驅(qū)動架構(gòu)里最常見的入口事件源。倉庫提供了多個不同語言/深度的示例雙桶文件復(fù)制aws-node-s3-file-replicator/Node.js和 aws-golang-s3-file-replicator/Go。向輸入桶上傳文件后Lambda 自動監(jiān)聽s3:ObjectCreated事件并復(fù)制到輸出桶。其 serverless.yml 用serverless-lift插件的storageconstruct 聲明兩個桶s3事件直接綁定桶名無需手寫 CloudFormation。音頻自動轉(zhuǎn)寫aws-node-simple-transcribe-s3/上傳 .wav 文件即觸發(fā) Transcribe 轉(zhuǎn)寫JSON 結(jié)果回寫 S3——上傳即處理的經(jīng)典管道。圖片智能識別aws-node-rekognition-analysis-s3-image/配合 lib/imageAnalyser.js 識別圖片內(nèi)容。經(jīng)驗S3 事件適合做入口層但 S3 通知只重試有限次數(shù)真正重要的數(shù)據(jù)流建議讓 S3 事件把任務(wù)投遞給 SQS/SNS下一節(jié)把可靠性交給消息隊列。SQS 生產(chǎn)者-消費者事件驅(qū)動全鏈路的核心骨架SQSSimple Queue Service是事件驅(qū)動架構(gòu)的緩沖帶倉庫提供了四個循序漸進(jìn)的示例1. 最小可用骨架aws-node-sqs-workeraws-node-sqs-worker/ 演示標(biāo)準(zhǔn)的生產(chǎn)者-消費者模式producer函數(shù)由httpApi事件觸發(fā)POST /produce收到請求后把 JSON 投進(jìn)JobsQueue立即返回 202調(diào)用方無需等待處理完成consumer函數(shù)由sqs事件源觸發(fā)以batchSize: 10批量消費消息并處理。事件綁定全部聲明在 serverless.yml 中生產(chǎn)端通過QUEUE_URL環(huán)境變量拿到隊列地址邏輯代碼見 handler.js。2. 完整架構(gòu)圖aws-ruby-sqs-with-dynamodbaws-ruby-sqs-with-dynamodb/ 是最全鏈路的示例API Gateway → producer Lambda → SQS → worker Lambda → DynamoDB失敗消息進(jìn)死信隊列DLQ并觸發(fā) CloudWatch 郵件告警。整體事件鏈路如下圖中紫色橢圓區(qū)域是serverless-lift插件自動創(chuàng)建的SQS 隊列、worker、DLQ、CloudWatch 告警部署時一行 YAML 即可搞定——這正是事件驅(qū)動 IaC 的便利性。請求參數(shù)用dry-schema校驗后生成彩票優(yōu)惠券記錄存入 DynamoDB結(jié)果可在控制臺驗證3. 進(jìn)階變體示例特點適合學(xué)習(xí)點aws-python-sqs-worker/Python Liftqueueconstruct自帶 DLQPython 生態(tài)的事件處理aws-node-typescript-sqs-standard/通過消息體 消息屬性兩種通道傳數(shù)據(jù)TS 類型化事件負(fù)載DLQ 是生產(chǎn)環(huán)境的保命符worker 處理失敗的消息最終落到死信隊列而不是丟失并可通過 CloudWatch 告警第一時間通知到郵箱SNS 發(fā)布-訂閱一個事件多方消費如果 SQS 是一對一緩沖SNSSimple Notification Service就是一對多廣播生產(chǎn)者只發(fā)一次消息所有訂閱者都能收到。倉庫的 aws-node-text-analysis-via-sns-post-processing/ 是教科書級的用法addNote函數(shù)暴露 HTTP 端點POST /notes收到文本后立刻返回把分析工作交給 SNS消息發(fā)布到analyzeNote主題由analyzeNote函數(shù)訂閱處理只有情感分?jǐn)?shù)達(dá)標(biāo)的內(nèi)容才會被保存。serverless.yml 中 SNS 主題 ARN 由${aws:accountId}和${aws:region}在部署時自動拼裝sns: Publish權(quán)限也一并聲明零手工配置。README 里點明了隊列/主題的相對優(yōu)勢見 addNote.js 與 analyzeNote.js支持自動重試、背壓back-off防止并發(fā)爆炸——直接 Lambda 調(diào) Lambda 可沒有這些能力。Kinesis 流式事件高吞吐的實時數(shù)據(jù)管道當(dāng)事件量從每分鐘幾十條漲到每秒上萬條就該用 Kinesis Data Streams 了。aws-node-typescript-kinesis/ 演示完整閉環(huán)建流serverless.yml 中用原生 CloudFormation 聲明AWS::Kinesis::StreamShardCount: 1、保留 24 小時生產(chǎn)producer函數(shù)接收 HTTP POST通過PutRecordCommand寫事件——注意 kinesis/producer.ts 里用randomUUID()作為分區(qū)鍵保證記錄均勻分布到各分片消費consumer函數(shù)綁定stream: type: kinesis事件流中每有新記錄就被喚醒處理。典型場景IoT 遙測數(shù)據(jù)、應(yīng)用日志、點擊流實時分析——生產(chǎn)端和消費端完全解耦任一側(cè)擴縮容互不影響。組合拳Step Functions 編排多事件鏈路單條鏈路用隊列就能解決但復(fù)雜業(yè)務(wù)流程先并行執(zhí)行兩步 → 等三天 → 查天氣 → 條件分支需要狀態(tài)機編排。倉庫的 aws-ruby-step-functions/ 用組織美好周末這個趣味場景演示了完整狀態(tài)機并行買票 訂車位 → 等待 → 查天氣 → 按結(jié)果走成功或取消分支詳細(xì)流程如下事件源與編排器組合后你獲得的是S3 觸發(fā)入口 → SNS/SQS 緩沖解耦 → Lambda 處理 → Step Functions 編排長流程 → 失敗進(jìn) DLQ 告警的完整事件驅(qū)動全鏈路。快速上手三步部署你的第一條事件鏈路1?? 拿到代碼只需 clone 一次git clone https://gitcode.com/gh_mirrors/exa/examples2?? 進(jìn)入感興趣的示例目錄安裝依賴cd examples/aws-node-sqs-worker npm install3?? 部署并觀察事件流動serverless deploy部署輸出會給出各端點地址。對 SQS 示例向POST /produce發(fā)一條 JSON然后用serverless logs -f consumer -t實時查看消費者日志親眼看消息在事件鏈路中流轉(zhuǎn) ??。選型速查表你的場景該用哪個事件源你的需求推薦事件源倉庫對應(yīng)示例文件/對象上傳后處理S3 事件aws-node-s3-file-replicator/削峰、重試、解耦后臺任務(wù)SQS 隊列aws-node-sqs-worker/一個事件通知多個訂閱者SNS 主題aws-node-text-analysis-via-sns-post-processing/高吞吐實時數(shù)據(jù)流Kinesis 流aws-node-typescript-kinesis/表數(shù)據(jù)變更捕獲歸檔DynamoDB Streamsaws-node-dynamodb-stream-processing/跨函數(shù)長流程編排Step Functionsaws-ruby-step-functions/總結(jié)事件驅(qū)動架構(gòu)不是玄學(xué)它就三件事選對事件源、把事件放進(jìn)正確的通道S3/SQS/SNS/Kinesis、讓消費者可靠地處理并兜底失敗。Serverless Examples 用可運行的代碼把這三件事講透了S3 事件做入口上傳即觸發(fā)SQS 做緩沖解耦 重試 DLQ 是生產(chǎn)標(biāo)配SNS 做廣播一魚多吃Kinesis 扛吞吐實時流處理Step Functions 把多條鏈路編排成可靠工作流。每個示例都自帶 README.md 級別的詳細(xì)文檔和一鍵serverless deploy部署腳本照著跑一遍你對事件驅(qū)動架構(gòu)的理解就會從看過概念變成動手做過全鏈路。【免費下載鏈接】examplesServerless Examples – A collection of boilerplates and examples of serverless architectures built with the Serverless Framework on AWS Lambda, Microsoft Azure, Google Cloud Functions, and more.項目地址: https://gitcode.com/gh_mirrors/exa/examples創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 一文吃透事件驅(qū)動架構(gòu)：Serverless Examples的S3/SQS/SNS/Kinesis全鏈路實戰(zhàn)
一文吃透事件驅(qū)動架構(gòu)Serverless Examples的S3/SQS/SNS/Kinesis全鏈路實戰(zhàn)【免費下載鏈接】examplesServerless Examples – A collection of boilerplates and examples of serverless architectures built with the Serverless Framework on AWS Lambda, Microsoft Azure, Google Cloud Functions, and more.項目地址: https://gitcode.com/gh_mirrors/exa/examplesServerless Examples是 Serverless Framework 官方的無服務(wù)器架構(gòu)示例庫收錄了上百個可直接部署到 AWS Lambda 的樣板項目。本文將帶你用其中的 S3、SQS、SNS、Kinesis 四類事件驅(qū)動示例快速吃透事件驅(qū)動架構(gòu)EDA的核心套路如何讓系統(tǒng)事件來了才干活實現(xiàn)松耦合、高可用的全鏈路處理 什么是事件驅(qū)動架構(gòu)為什么無服務(wù)器場景特別需要它事件驅(qū)動架構(gòu)Event-Driven Architecture的核心思想是組件之間不直接互相調(diào)用而是通過事件解耦。事件源上傳了一個文件、產(chǎn)生了一條消息發(fā)出信號下游消費者按需訂閱處理。對比項請求-響應(yīng)架構(gòu)事件驅(qū)動架構(gòu)耦合度調(diào)用方必須等處理完成立即返回后臺異步處理容錯性下游掛掉則整體失敗隊列緩沖 自動重試彈性伸縮需預(yù)估峰值事件來了才創(chuàng)建實例零事件零成本在 Serverless 場景下這個優(yōu)勢被放大到極致Lambda 函數(shù)天然就是事件觸發(fā)器S3 丟一個文件、SQS 進(jìn)一條消息函數(shù)就被喚醒處理完即休眠。Serverless Examples 恰好為每一種主流事件源都準(zhǔn)備了現(xiàn)成模板本文按S3 → SQS → SNS → Kinesis → 工作流編排的順序逐一拆解。S3 事件驅(qū)動文件一上傳鏈路自動啟動S3 是事件驅(qū)動架構(gòu)里最常見的入口事件源。倉庫提供了多個不同語言/深度的示例雙桶文件復(fù)制aws-node-s3-file-replicator/Node.js和 aws-golang-s3-file-replicator/Go。向輸入桶上傳文件后Lambda 自動監(jiān)聽s3:ObjectCreated事件并復(fù)制到輸出桶。其 serverless.yml 用serverless-lift插件的storageconstruct 聲明兩個桶s3事件直接綁定桶名無需手寫 CloudFormation。音頻自動轉(zhuǎn)寫aws-node-simple-transcribe-s3/上傳 .wav 文件即觸發(fā) Transcribe 轉(zhuǎn)寫JSON 結(jié)果回寫 S3——上傳即處理的經(jīng)典管道。圖片智能識別aws-node-rekognition-analysis-s3-image/配合 lib/imageAnalyser.js 識別圖片內(nèi)容。經(jīng)驗S3 事件適合做入口層但 S3 通知只重試有限次數(shù)真正重要的數(shù)據(jù)流建議讓 S3 事件把任務(wù)投遞給 SQS/SNS下一節(jié)把可靠性交給消息隊列。SQS 生產(chǎn)者-消費者事件驅(qū)動全鏈路的核心骨架SQSSimple Queue Service是事件驅(qū)動架構(gòu)的緩沖帶倉庫提供了四個循序漸進(jìn)的示例1. 最小可用骨架aws-node-sqs-workeraws-node-sqs-worker/ 演示標(biāo)準(zhǔn)的生產(chǎn)者-消費者模式producer函數(shù)由httpApi事件觸發(fā)POST /produce收到請求后把 JSON 投進(jìn)JobsQueue立即返回 202調(diào)用方無需等待處理完成consumer函數(shù)由sqs事件源觸發(fā)以batchSize: 10批量消費消息并處理。事件綁定全部聲明在 serverless.yml 中生產(chǎn)端通過QUEUE_URL環(huán)境變量拿到隊列地址邏輯代碼見 handler.js。2. 完整架構(gòu)圖aws-ruby-sqs-with-dynamodbaws-ruby-sqs-with-dynamodb/ 是最全鏈路的示例API Gateway → producer Lambda → SQS → worker Lambda → DynamoDB失敗消息進(jìn)死信隊列DLQ并觸發(fā) CloudWatch 郵件告警。整體事件鏈路如下圖中紫色橢圓區(qū)域是serverless-lift插件自動創(chuàng)建的SQS 隊列、worker、DLQ、CloudWatch 告警部署時一行 YAML 即可搞定——這正是事件驅(qū)動 IaC 的便利性。請求參數(shù)用dry-schema校驗后生成彩票優(yōu)惠券記錄存入 DynamoDB結(jié)果可在控制臺驗證3. 進(jìn)階變體示例特點適合學(xué)習(xí)點aws-python-sqs-worker/Python Liftqueueconstruct自帶 DLQPython 生態(tài)的事件處理aws-node-typescript-sqs-standard/通過消息體 消息屬性兩種通道傳數(shù)據(jù)TS 類型化事件負(fù)載DLQ 是生產(chǎn)環(huán)境的保命符worker 處理失敗的消息最終落到死信隊列而不是丟失并可通過 CloudWatch 告警第一時間通知到郵箱SNS 發(fā)布-訂閱一個事件多方消費如果 SQS 是一對一緩沖SNSSimple Notification Service就是一對多廣播生產(chǎn)者只發(fā)一次消息所有訂閱者都能收到。倉庫的 aws-node-text-analysis-via-sns-post-processing/ 是教科書級的用法addNote函數(shù)暴露 HTTP 端點POST /notes收到文本后立刻返回把分析工作交給 SNS消息發(fā)布到analyzeNote主題由analyzeNote函數(shù)訂閱處理只有情感分?jǐn)?shù)達(dá)標(biāo)的內(nèi)容才會被保存。serverless.yml 中 SNS 主題 ARN 由${aws:accountId}和${aws:region}在部署時自動拼裝sns: Publish權(quán)限也一并聲明零手工配置。README 里點明了隊列/主題的相對優(yōu)勢見 addNote.js 與 analyzeNote.js支持自動重試、背壓back-off防止并發(fā)爆炸——直接 Lambda 調(diào) Lambda 可沒有這些能力。Kinesis 流式事件高吞吐的實時數(shù)據(jù)管道當(dāng)事件量從每分鐘幾十條漲到每秒上萬條就該用 Kinesis Data Streams 了。aws-node-typescript-kinesis/ 演示完整閉環(huán)建流serverless.yml 中用原生 CloudFormation 聲明AWS::Kinesis::StreamShardCount: 1、保留 24 小時生產(chǎn)producer函數(shù)接收 HTTP POST通過PutRecordCommand寫事件——注意 kinesis/producer.ts 里用randomUUID()作為分區(qū)鍵保證記錄均勻分布到各分片消費consumer函數(shù)綁定stream: type: kinesis事件流中每有新記錄就被喚醒處理。典型場景IoT 遙測數(shù)據(jù)、應(yīng)用日志、點擊流實時分析——生產(chǎn)端和消費端完全解耦任一側(cè)擴縮容互不影響。組合拳Step Functions 編排多事件鏈路單條鏈路用隊列就能解決但復(fù)雜業(yè)務(wù)流程先并行執(zhí)行兩步 → 等三天 → 查天氣 → 條件分支需要狀態(tài)機編排。倉庫的 aws-ruby-step-functions/ 用組織美好周末這個趣味場景演示了完整狀態(tài)機并行買票 訂車位 → 等待 → 查天氣 → 按結(jié)果走成功或取消分支詳細(xì)流程如下事件源與編排器組合后你獲得的是S3 觸發(fā)入口 → SNS/SQS 緩沖解耦 → Lambda 處理 → Step Functions 編排長流程 → 失敗進(jìn) DLQ 告警的完整事件驅(qū)動全鏈路。快速上手三步部署你的第一條事件鏈路1?? 拿到代碼只需 clone 一次git clone https://gitcode.com/gh_mirrors/exa/examples2?? 進(jìn)入感興趣的示例目錄安裝依賴cd examples/aws-node-sqs-worker npm install3?? 部署并觀察事件流動serverless deploy部署輸出會給出各端點地址。對 SQS 示例向POST /produce發(fā)一條 JSON然后用serverless logs -f consumer -t實時查看消費者日志親眼看消息在事件鏈路中流轉(zhuǎn) ??。選型速查表你的場景該用哪個事件源你的需求推薦事件源倉庫對應(yīng)示例文件/對象上傳后處理S3 事件aws-node-s3-file-replicator/削峰、重試、解耦后臺任務(wù)SQS 隊列aws-node-sqs-worker/一個事件通知多個訂閱者SNS 主題aws-node-text-analysis-via-sns-post-processing/高吞吐實時數(shù)據(jù)流Kinesis 流aws-node-typescript-kinesis/表數(shù)據(jù)變更捕獲歸檔DynamoDB Streamsaws-node-dynamodb-stream-processing/跨函數(shù)長流程編排Step Functionsaws-ruby-step-functions/總結(jié)事件驅(qū)動架構(gòu)不是玄學(xué)它就三件事選對事件源、把事件放進(jìn)正確的通道S3/SQS/SNS/Kinesis、讓消費者可靠地處理并兜底失敗。Serverless Examples 用可運行的代碼把這三件事講透了S3 事件做入口上傳即觸發(fā)SQS 做緩沖解耦 重試 DLQ 是生產(chǎn)標(biāo)配SNS 做廣播一魚多吃Kinesis 扛吞吐實時流處理Step Functions 把多條鏈路編排成可靠工作流。每個示例都自帶 README.md 級別的詳細(xì)文檔和一鍵serverless deploy部署腳本照著跑一遍你對事件驅(qū)動架構(gòu)的理解就會從看過概念變成動手做過全鏈路。【免費下載鏈接】examplesServerless Examples – A collection of boilerplates and examples of serverless architectures built with the Serverless Framework on AWS Lambda, Microsoft Azure, Google Cloud Functions, and more.項目地址: https://gitcode.com/gh_mirrors/exa/examples創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考