、產(chǎn)品差異與 GE 圖模式調(diào)用指南)
算子庫人工智能CANN【免費(fèi)下載鏈接】ops-math本項(xiàng)目是CANN提供的數(shù)學(xué)類基礎(chǔ)計(jì)算算子庫實(shí)現(xiàn)網(wǎng)絡(luò)在NPU上加速計(jì)算。項(xiàng)目地址https://gitcode.com/cann/ops-math點(diǎn)擊查看免費(fèi)下載AddV2 是 CANN ops-math 數(shù)學(xué)算子庫中用于執(zhí)行逐元素加法的基礎(chǔ)算子兼容 TensorFlow AddV2 語義支持廣播與動(dòng)態(tài) shape。本文以 math/add_v2/README.md 為主體結(jié)合倉庫內(nèi)算子原型proto、宿主側(cè)定義OpDef、InferShape、Tiling 與 Kernel 源碼完整梳理 AddV2 的功能說明、參數(shù)規(guī)格、產(chǎn)品差異、廣播規(guī)則并給出基于算子 IRGE 圖模式的可運(yùn)行調(diào)用示例幫助開發(fā)者在 Ascend 系列產(chǎn)品上正確使用與驗(yàn)證該算子。一、算子功能與語義說明1.1 功能概述AddV2 對輸入張量x1和x2執(zhí)行逐元素加法并將結(jié)果寫入輸出張量y支持 NumPy 風(fēng)格的廣播broadcast語義兼容 TensorFlow AddV2 圖節(jié)點(diǎn)行為。1.2 版本說明V2 的含義名稱中的 V2 僅用于對應(yīng) TensorFlow 的AddV2圖節(jié)點(diǎn)并不表示加法運(yùn)算或廣播規(guī)則發(fā)生了變化。在 AddV2 與 Add 共同支持的數(shù)據(jù)類型范圍內(nèi)兩者的數(shù)學(xué)語義一致AddV2 的數(shù)據(jù)類型與調(diào)用通路以本文為準(zhǔn)。1.3 計(jì)算公式$$ y_i x_{1,i} x_{2,i} $$其中 $i$ 遍歷廣播結(jié)果的全部元素$x_{1,i}$ 與 $x_{2,i}$ 表示廣播后對應(yīng)位置的元素。該逐元素語義在 Kernel 層由Vec::Add實(shí)現(xiàn)見 math/add_v2/op_kernel/arch35/add_v2_dag.h所有元素按同一規(guī)則并行計(jì)算。1.4 廣播規(guī)則與示例廣播時(shí)從末尾維度向前對齊每組對應(yīng)維度的長度必須相等或至少有一路的維度長度為 1。倉庫文檔給出的典型示例x1 shape (3, 4), x2 shape (1, 4) - y shape (3, 4) x1 shape (3, 1), x2 shape (1, 4) - y shape (3, 4)從源碼看廣播的 shape 推導(dǎo)由宿主側(cè) InferShape 統(tǒng)一完成。在 math/add_v2/op_host/add_v2_infershape.cpp 中InferShapeAddV2直接調(diào)用Ops::Base::InferShape4Broadcast(context)即輸出 shape 完全由通用廣播推導(dǎo)工具計(jì)算確保輸出 shape 等于x1與x2按廣播規(guī)則對齊后的 shape。單元測試 math/add_v2/tests/ut/op_host/test_add_v2_infershape.cpp 驗(yàn)證了(8, 8)與(1)廣播得到(8, 8)的場景。二、產(chǎn)品支持情況根據(jù)倉庫 READMEAddV2 在以下產(chǎn)品上均獲得支持產(chǎn)品是否支持Ascend 950PR / Ascend 950DT√Atlas A3 訓(xùn)練系列產(chǎn)品 / Atlas A3 推理系列產(chǎn)品√Atlas A2 訓(xùn)練系列產(chǎn)品 / Atlas A2 推理系列產(chǎn)品√Atlas 200I/500 A2 推理產(chǎn)品√Atlas 推理系列產(chǎn)品√Atlas 訓(xùn)練系列產(chǎn)品√其中 Ascend 950 平臺(tái)架構(gòu)代號(hào) arch35的宿主與 Kernel 實(shí)現(xiàn)均落在 math/add_v2/op_host/arch35/ 與 math/add_v2/op_kernel/arch35/ 目錄下并通過 math/add_v2/op_host/config/ascend950/add_v2_binary.json 配置每種數(shù)據(jù)類型的算子二進(jìn)制文件bin。三、參數(shù)說明AddV2 共包含兩個(gè)輸入張量與一個(gè)輸出張量均為必選REQUIRED數(shù)據(jù)格式統(tǒng)一為 ND參數(shù)名輸入/輸出/屬性描述數(shù)據(jù)類型數(shù)據(jù)格式x1輸入加法運(yùn)算的第一個(gè)輸入張量對應(yīng)公式中的 x1BFLOAT16、FLOAT16、FLOAT、INT32、INT16、UINT8、INT8、INT64、COMPLEX64NDx2輸入加法運(yùn)算的第二個(gè)輸入張量對應(yīng)公式中的 x2。數(shù)據(jù)類型與 x1 一致BFLOAT16、FLOAT16、FLOAT、INT32、INT16、UINT8、INT8、INT64、COMPLEX64NDy輸出加法運(yùn)算的輸出張量對應(yīng)公式中的 y。數(shù)據(jù)類型與 x1 一致shape 為 x1 與 x2 的廣播結(jié)果BFLOAT16、FLOAT16、FLOAT、INT32、INT16、UINT8、INT8、INT64、COMPLEX64ND3.1 參數(shù)約束的源碼印證數(shù)據(jù)類型一致性算子原型 math/add_v2/op_graph/add_v2_proto.h 通過REG_OP(AddV2)聲明x1、x2、y三個(gè)端口并限制為同 dtype 集合同時(shí)宿主側(cè)定義 math/add_v2/op_host/add_v2_def.cpp 為三個(gè)端口注冊了完全相同的 9 組同 dtype 組合。運(yùn)行期校驗(yàn)圖推斷階段 math/add_v2/op_graph/add_v2_graph_infer.cpp 的InferDataTypeAddV2會(huì)顯式檢查x1與x2dtype 是否相同若不同則報(bào)錯(cuò)x1 and x2 must have the same dtype并返回失敗輸出 dtype 直接繼承x1。該算子不注冊異類型組合因此不做類型提升type promotion。數(shù)據(jù)格式所有端口統(tǒng)一聲明為FORMAT_ND并標(biāo)記AutoContiguous()表示輸入為連續(xù)排布的 ND 張量。四、產(chǎn)品差異說明重點(diǎn)不同產(chǎn)品在數(shù)據(jù)類型、動(dòng)態(tài) shape 能力與空 Tensor 支持上存在差異使用時(shí)須嚴(yán)格對照下表產(chǎn)品數(shù)據(jù)類型靜態(tài) shape 能力動(dòng)態(tài) shape 能力shape/rank 及空 Tensor 限制Ascend 950PR / Ascend 950DTBFLOAT16、FLOAT16、FLOAT、INT32、INT16、UINT8、INT8、INT64、COMPLEX64輸入 ND → 輸出 ND輸入 ND → 輸出 ND支持固定 rank 動(dòng)態(tài) shape 和 dynamic rankrank 取值范圍為 [1, 8]支持空 Tensor輸出 y 的 shape 仍必須是兩路輸入的廣播結(jié)果Atlas A3 訓(xùn)練系列 / A3 推理系列、Atlas A2 訓(xùn)練系列 / A2 推理系列BFLOAT16、FLOAT16、FLOAT、INT32、INT64輸入 ND → 輸出 ND輸入 ND → 輸出 ND支持固定 rank 動(dòng)態(tài) shape不支持 dynamic rankrank 取值范圍為 [0, 8]rank 為 0 時(shí)表示標(biāo)量空 Tensor 僅支持兩路輸入 shape 相同或其中一路輸入為單元素張量的廣播場景Atlas 200I/500 A2 推理產(chǎn)品、Atlas 推理系列、Atlas 訓(xùn)練系列FLOAT16、FLOAT、INT32、INT64輸入 ND → 輸出 ND輸入 ND → 輸出 ND支持固定 rank 動(dòng)態(tài) shape不支持 dynamic rankrank 取值范圍為 [0, 8]rank 為 0 時(shí)表示標(biāo)量空 Tensor 僅支持兩路輸入 shape 相同或其中一路輸入為單元素張量的廣播場景4.1 差異的源碼依據(jù)數(shù)據(jù)類型注冊差異完整的 9 種 dtype含 COMPLEX64、INT16、UINT8、INT8注冊在算子定義中但不同產(chǎn)品實(shí)際支持范圍不同。Tiling 側(cè)的IsSupportedDtype見 math/add_v2/op_host/arch35/add_v2_tiling_arch35.cpp對 arch35 平臺(tái)校驗(yàn)DT_FLOAT16/DT_BF16/DT_FLOAT/DT_INT64/DT_COMPLEX64/DT_UINT8/DT_INT8/DT_INT32/DT_INT16與 README 中 Ascend 950 的數(shù)據(jù)類型列一致而其他產(chǎn)品按產(chǎn)品能力裁剪。rank 范圍與 dynamic rankAscend 950 平臺(tái)在 Tiling 中通過CheckRank強(qiáng)制 rank 落在 [1, 8]見 math/add_v2/op_host/arch35/add_v2_tiling_arch35.cpp且add_v2_def.cpp中aicoreConfig.DynamicRankSupportFlag(true)、DynamicShapeSupportFlag(true)分別開啟 dynamic rank 與動(dòng)態(tài) shape 支持而 Atlas A2/A3 等系列不支持 dynamic rank僅支持固定 rank 動(dòng)態(tài) shape。空 Tensor 支持Ascend 950 平臺(tái)專門為空 Tensor 設(shè)計(jì)了獨(dú)立處理通路詳見下文第六節(jié)因此支持范圍更寬其他產(chǎn)品僅允許兩路輸入 shape 相同或單元素廣播這兩種空 Tensor 場景。五、調(diào)用說明GE 圖模式AddV2 的調(diào)用方式如下表調(diào)用方式調(diào)用樣例說明GE 圖模式test_geir_add_v2.cpp通過算子 IRadd_v2_proto.h構(gòu)圖方式調(diào)用 AddV2 算子注意本算子不提供同名 aclnn 接口僅支持上表的 GE 圖模式調(diào)用。這意味著用戶無法通過aclnnAddV2這類接口直接調(diào)用必須經(jīng)由 GEGraph Engine構(gòu)圖后在圖上運(yùn)行。5.1 構(gòu)圖與運(yùn)行流程倉庫示例 math/add_v2/examples/test_geir_add_v2.cpp 完整演示了 GE 圖模式的調(diào)用步驟核心流程為初始化 GE通過ge::GEInitialize(global_options)初始化 GE 全局環(huán)境示例中使用{ge.exec.deviceId, 0}指定設(shè)備、{ge.graphRunMode, 1}指定圖運(yùn)行模式。創(chuàng)建圖與算子節(jié)點(diǎn)ge::Graph graph(graph_name)創(chuàng)建圖op::AddV2(add1)創(chuàng)建 AddV2 算子節(jié)點(diǎn)。構(gòu)造輸入數(shù)據(jù)節(jié)點(diǎn)使用op::Data(...)構(gòu)造占位輸入節(jié)點(diǎn)并通過ADD_INPUT宏為每個(gè)輸入創(chuàng)建TensorDescshape、FORMAT_ND、dtype調(diào)用GenOnesDataFloat32生成全 2 的浮點(diǎn)測試數(shù)據(jù)最后通過add1.set_input_x1(...)/add1.set_input_x2(...)將輸入節(jié)點(diǎn)接入 AddV2 算子。設(shè)置圖輸入輸出graph.SetInputs(inputs).SetOutputs(outputs)聲明圖的輸入輸出。創(chuàng)建會(huì)話并建圖new Session(build_options)創(chuàng)建會(huì)話session-AddGraph(graph_id, graph, graph_options)將計(jì)算圖加入會(huì)話。運(yùn)行圖session-RunGraph(graph_id, input, output)執(zhí)行計(jì)算。保存結(jié)果SaveInputOutput將輸入/輸出張量以 bin 文件落盤并逐元素打印輸出結(jié)果。資源清理刪除會(huì)話并調(diào)用ge::GEFinalize()結(jié)束 GE 環(huán)境。其中示例默認(rèn)使用{4, 2}的輸入 shapestd::vectorint64_t xShape {4, 2};即兩路4x2張量相加輸出同樣為4x2。關(guān)鍵代碼片段auto add1 op::AddV2(add1); std::vectorint64_t xShape {4, 2}; ADD_INPUT(1, x1, inDtype, xShape); ADD_INPUT(2, x2, inDtype, xShape); outputs.push_back(add1);ADD_INPUT宏內(nèi)部會(huì)完成占位節(jié)點(diǎn)、TensorDescFORMAT_ND dtype、測試數(shù)據(jù)生成、set_input_xN接線等全部工作是理解 GE 圖模式入?yún)?gòu)造的關(guān)鍵入口。5.2 圖模式下的算子端口與校驗(yàn)鏈路在 GE 圖模式下AddV2 的端口契約由算子 IR 原型 math/add_v2/op_graph/add_v2_proto.h 聲明構(gòu)圖后經(jīng)過以下鏈路完成推導(dǎo)與校驗(yàn)InferDataTypeadd_v2_graph_infer.cpp校驗(yàn)x1、x2同 dtype并將y的 dtype 置為x1的 dtype。InferShapeadd_v2_infershape.cpp調(diào)用InferShape4Broadcast計(jì)算廣播后的輸出 shape。OpDef 定義add_v2_def.cpp聲明端口 dtype/format 集合與 AICore 配置開啟動(dòng)態(tài) shape、dynamic rank、精度降低標(biāo)志等。Tilingadd_v2_tiling_arch35.cpp根據(jù)實(shí)際 shape、dtype 與編譯信息生成切分策略。六、源碼級實(shí)現(xiàn)原理以 Ascend 950 / arch35 為例6.1 Kernel 入口與模板分派Kernel 入口位于 math/add_v2/op_kernel/arch35/add_v2.cpp采用模板參數(shù)schMode調(diào)度模式與userDef用戶自定義分支開關(guān)做編譯期分派userDef 1空 Tensor 通路。由于輸出元素個(gè)數(shù)為 0無任何數(shù)據(jù)需要搬運(yùn)Kernel 直接返回Tiling 側(cè)已把blockDim設(shè)為 1。否則按 dtype 選擇計(jì)算 DAG浮點(diǎn)類 dtypehalf/bfloat16_t/float走AddWithCastCompute其余類型走AddWithoutCastCompute再統(tǒng)一交給BroadcastSchschMode, OpDag sch(tiling)完成廣播調(diào)度。6.2 計(jì)算 DAG 設(shè)計(jì)在 math/add_v2/op_kernel/arch35/add_v2_dag.h 中定義了兩種計(jì)算圖DAGAddWithoutCastCompute免精度轉(zhuǎn)換通路CopyInBrc廣播搬入→Vec::AddT逐元素加→CopyOut寫回適用于整型等可直接相加的 dtype。AddWithCastCompute精度轉(zhuǎn)換通路先將輸入Cast到float做加法再把結(jié)果Cast回原 dtypeCAST_RINT_MODE使用就近取整適用于half/bfloat16_t/float類型對應(yīng)PrecisionReduceFlag(true)的配置。兩個(gè) DAG 均使用MemOptCfgMemLevel::LEVEL_2進(jìn)行二級內(nèi)存L2級的訪存優(yōu)化并由DAGSch統(tǒng)一調(diào)度。6.3 空 Tensor 專用通路空 Tensor 場景在 math/add_v2/op_kernel/arch35/add_v2_struct_arch35.h 中被專門處理常規(guī)廣播通路使用 schMode 取值表1、2、101…999 等中的普通模式而空 Tensor 走自定義schMode 999userDef 1的模板分支。原因在于 ATVOSS 的BroadcastBaseTiling在合軸后會(huì)顯式拒絕 0 元素tensor check is empty因此空 Tensor 必須復(fù)用該自定義分支Tiling 側(cè)對應(yīng)定義ADD_V2_SCH_MODE_EMPTY 999、ADD_V2_USER_DEF_EMPTY 1見 add_v2_tiling_arch35.cpp。單元測試 math/add_v2/tests/ut/op_host/arch35/test_add_v2_tiling.cpp 對該分支給出了精確注釋空 Tensor 分支的 tiling key 為65550 0x1000E其低 16 位0x000E 14是 schMode 999 在取值表中的序號(hào)第 16 位userDef 1常規(guī)通路userDef 0key 仍為 8不受影響。七、約束說明與使用建議倉庫 README 明確 AddV2 的約束說明為無約束說明無但這僅指算子層面的通用約束實(shí)際使用時(shí)仍需遵守上文第四節(jié)產(chǎn)品差異表中的產(chǎn)品級限制數(shù)據(jù)類型范圍、rank 范圍、dynamic rank 支持度、空 Tensor 場景等。輸入x1、x2必須同 dtype輸出y的 dtype 與x1一致shape 為廣播結(jié)果。由于本算子不提供 aclnn 接口涉及動(dòng)態(tài) shape 或 dynamic rank 的圖模式調(diào)用建議在 test_add_v2_tiling.cpp 與 test_add_v2_infershape.cpp 中選取對應(yīng)的 shape 組合先做宿主側(cè)單測驗(yàn)證再上板運(yùn)行。八、驗(yàn)證與測試參考倉庫為 AddV2 提供了完整的宿主側(cè)單元測試可用于驗(yàn)證 shape 推導(dǎo)與 tiling 邏輯InferShape 單測math/add_v2/tests/ut/op_host/test_add_v2_infershape.cpp 覆蓋了同 shape 相加(8,8)(8,8)-(8,8)、廣播相加(8,8)(1)-(8,8)以及動(dòng)態(tài) shape 等場景。Tiling 單測math/add_v2/tests/ut/op_host/arch35/test_add_v2_tiling.cpp 使用TilingContextFaker/TilingCaseExecutor構(gòu)造DT_FLOAT等 dtype、8x8等 shape 的 tiling 上下文并驗(yàn)證空 Tensor 分支的 tiling key65550等關(guān)鍵數(shù)值。結(jié)合這些測試與上文的源碼鏈路開發(fā)者可以在修改 shape、dtype 或產(chǎn)品形態(tài)后快速回歸驗(yàn)證 AddV2 的廣播推導(dǎo)與切分策略是否符合預(yù)期。贊分享算子庫人工智能CANN【免費(fèi)下載鏈接】ops-math本項(xiàng)目是CANN提供的數(shù)學(xué)類基礎(chǔ)計(jì)算算子庫實(shí)現(xiàn)網(wǎng)絡(luò)在NPU上加速計(jì)算。項(xiàng)目地址https://gitcode.com/cann/ops-math點(diǎn)擊查看免費(fèi)下載相關(guān)推薦CANN ops-math ClipByValue 算子深度解析功能、參數(shù)、GE IR 圖模式調(diào)用與源碼實(shí)現(xiàn)CANN ops math ClipByValue 算子深度解析功能、參數(shù)、GE IR 圖模式調(diào)用與源碼實(shí)現(xiàn) ClipByValue裁剪取值是 CANN算子庫人工智能CANNCANN ops-math MatrixDiagPart 算子深度解析功能、約束與 GE 圖模式調(diào)用實(shí)戰(zhàn)CANN ops math MatrixDiagPart 算子深度解析功能、約束與 GE 圖模式調(diào)用實(shí)戰(zhàn) MatrixDiagPart 是 CANN ops算子庫人工智能CANNCANN ops-math 算子解讀AsStrided 張量視圖算子as_strided功能、參數(shù)與 GE 圖模式調(diào)用實(shí)戰(zhàn)CANN ops math 算子解讀AsStrided 張量視圖算子as_strided功能、參數(shù)與 GE 圖模式調(diào)用實(shí)戰(zhàn) AsStridedas_st算子庫人工智能CANN上一篇rack-mini-profiler 與單頁應(yīng)用集成React、Vue、Angular 完美適配方案下一篇OneBot消息系統(tǒng)完全指南文本、圖片、語音、視頻等12種消息段的靈活應(yīng)用創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 CANN ops-math 中 AddV2 算子深度解析：功能、參數(shù)、產(chǎn)品差異與 GE 圖模式調(diào)用指南
算子庫人工智能CANN【免費(fèi)下載鏈接】ops-math本項(xiàng)目是CANN提供的數(shù)學(xué)類基礎(chǔ)計(jì)算算子庫實(shí)現(xiàn)網(wǎng)絡(luò)在NPU上加速計(jì)算。項(xiàng)目地址https://gitcode.com/cann/ops-math點(diǎn)擊查看免費(fèi)下載AddV2 是 CANN ops-math 數(shù)學(xué)算子庫中用于執(zhí)行逐元素加法的基礎(chǔ)算子兼容 TensorFlow AddV2 語義支持廣播與動(dòng)態(tài) shape。本文以 math/add_v2/README.md 為主體結(jié)合倉庫內(nèi)算子原型proto、宿主側(cè)定義OpDef、InferShape、Tiling 與 Kernel 源碼完整梳理 AddV2 的功能說明、參數(shù)規(guī)格、產(chǎn)品差異、廣播規(guī)則并給出基于算子 IRGE 圖模式的可運(yùn)行調(diào)用示例幫助開發(fā)者在 Ascend 系列產(chǎn)品上正確使用與驗(yàn)證該算子。一、算子功能與語義說明1.1 功能概述AddV2 對輸入張量x1和x2執(zhí)行逐元素加法并將結(jié)果寫入輸出張量y支持 NumPy 風(fēng)格的廣播broadcast語義兼容 TensorFlow AddV2 圖節(jié)點(diǎn)行為。1.2 版本說明V2 的含義名稱中的 V2 僅用于對應(yīng) TensorFlow 的AddV2圖節(jié)點(diǎn)并不表示加法運(yùn)算或廣播規(guī)則發(fā)生了變化。在 AddV2 與 Add 共同支持的數(shù)據(jù)類型范圍內(nèi)兩者的數(shù)學(xué)語義一致AddV2 的數(shù)據(jù)類型與調(diào)用通路以本文為準(zhǔn)。1.3 計(jì)算公式$$ y_i x_{1,i} x_{2,i} $$其中 $i$ 遍歷廣播結(jié)果的全部元素$x_{1,i}$ 與 $x_{2,i}$ 表示廣播后對應(yīng)位置的元素。該逐元素語義在 Kernel 層由Vec::Add實(shí)現(xiàn)見 math/add_v2/op_kernel/arch35/add_v2_dag.h所有元素按同一規(guī)則并行計(jì)算。1.4 廣播規(guī)則與示例廣播時(shí)從末尾維度向前對齊每組對應(yīng)維度的長度必須相等或至少有一路的維度長度為 1。倉庫文檔給出的典型示例x1 shape (3, 4), x2 shape (1, 4) - y shape (3, 4) x1 shape (3, 1), x2 shape (1, 4) - y shape (3, 4)從源碼看廣播的 shape 推導(dǎo)由宿主側(cè) InferShape 統(tǒng)一完成。在 math/add_v2/op_host/add_v2_infershape.cpp 中InferShapeAddV2直接調(diào)用Ops::Base::InferShape4Broadcast(context)即輸出 shape 完全由通用廣播推導(dǎo)工具計(jì)算確保輸出 shape 等于x1與x2按廣播規(guī)則對齊后的 shape。單元測試 math/add_v2/tests/ut/op_host/test_add_v2_infershape.cpp 驗(yàn)證了(8, 8)與(1)廣播得到(8, 8)的場景。二、產(chǎn)品支持情況根據(jù)倉庫 READMEAddV2 在以下產(chǎn)品上均獲得支持產(chǎn)品是否支持Ascend 950PR / Ascend 950DT√Atlas A3 訓(xùn)練系列產(chǎn)品 / Atlas A3 推理系列產(chǎn)品√Atlas A2 訓(xùn)練系列產(chǎn)品 / Atlas A2 推理系列產(chǎn)品√Atlas 200I/500 A2 推理產(chǎn)品√Atlas 推理系列產(chǎn)品√Atlas 訓(xùn)練系列產(chǎn)品√其中 Ascend 950 平臺(tái)架構(gòu)代號(hào) arch35的宿主與 Kernel 實(shí)現(xiàn)均落在 math/add_v2/op_host/arch35/ 與 math/add_v2/op_kernel/arch35/ 目錄下并通過 math/add_v2/op_host/config/ascend950/add_v2_binary.json 配置每種數(shù)據(jù)類型的算子二進(jìn)制文件bin。三、參數(shù)說明AddV2 共包含兩個(gè)輸入張量與一個(gè)輸出張量均為必選REQUIRED數(shù)據(jù)格式統(tǒng)一為 ND參數(shù)名輸入/輸出/屬性描述數(shù)據(jù)類型數(shù)據(jù)格式x1輸入加法運(yùn)算的第一個(gè)輸入張量對應(yīng)公式中的 x1BFLOAT16、FLOAT16、FLOAT、INT32、INT16、UINT8、INT8、INT64、COMPLEX64NDx2輸入加法運(yùn)算的第二個(gè)輸入張量對應(yīng)公式中的 x2。數(shù)據(jù)類型與 x1 一致BFLOAT16、FLOAT16、FLOAT、INT32、INT16、UINT8、INT8、INT64、COMPLEX64NDy輸出加法運(yùn)算的輸出張量對應(yīng)公式中的 y。數(shù)據(jù)類型與 x1 一致shape 為 x1 與 x2 的廣播結(jié)果BFLOAT16、FLOAT16、FLOAT、INT32、INT16、UINT8、INT8、INT64、COMPLEX64ND3.1 參數(shù)約束的源碼印證數(shù)據(jù)類型一致性算子原型 math/add_v2/op_graph/add_v2_proto.h 通過REG_OP(AddV2)聲明x1、x2、y三個(gè)端口并限制為同 dtype 集合同時(shí)宿主側(cè)定義 math/add_v2/op_host/add_v2_def.cpp 為三個(gè)端口注冊了完全相同的 9 組同 dtype 組合。運(yùn)行期校驗(yàn)圖推斷階段 math/add_v2/op_graph/add_v2_graph_infer.cpp 的InferDataTypeAddV2會(huì)顯式檢查x1與x2dtype 是否相同若不同則報(bào)錯(cuò)x1 and x2 must have the same dtype并返回失敗輸出 dtype 直接繼承x1。該算子不注冊異類型組合因此不做類型提升type promotion。數(shù)據(jù)格式所有端口統(tǒng)一聲明為FORMAT_ND并標(biāo)記AutoContiguous()表示輸入為連續(xù)排布的 ND 張量。四、產(chǎn)品差異說明重點(diǎn)不同產(chǎn)品在數(shù)據(jù)類型、動(dòng)態(tài) shape 能力與空 Tensor 支持上存在差異使用時(shí)須嚴(yán)格對照下表產(chǎn)品數(shù)據(jù)類型靜態(tài) shape 能力動(dòng)態(tài) shape 能力shape/rank 及空 Tensor 限制Ascend 950PR / Ascend 950DTBFLOAT16、FLOAT16、FLOAT、INT32、INT16、UINT8、INT8、INT64、COMPLEX64輸入 ND → 輸出 ND輸入 ND → 輸出 ND支持固定 rank 動(dòng)態(tài) shape 和 dynamic rankrank 取值范圍為 [1, 8]支持空 Tensor輸出 y 的 shape 仍必須是兩路輸入的廣播結(jié)果Atlas A3 訓(xùn)練系列 / A3 推理系列、Atlas A2 訓(xùn)練系列 / A2 推理系列BFLOAT16、FLOAT16、FLOAT、INT32、INT64輸入 ND → 輸出 ND輸入 ND → 輸出 ND支持固定 rank 動(dòng)態(tài) shape不支持 dynamic rankrank 取值范圍為 [0, 8]rank 為 0 時(shí)表示標(biāo)量空 Tensor 僅支持兩路輸入 shape 相同或其中一路輸入為單元素張量的廣播場景Atlas 200I/500 A2 推理產(chǎn)品、Atlas 推理系列、Atlas 訓(xùn)練系列FLOAT16、FLOAT、INT32、INT64輸入 ND → 輸出 ND輸入 ND → 輸出 ND支持固定 rank 動(dòng)態(tài) shape不支持 dynamic rankrank 取值范圍為 [0, 8]rank 為 0 時(shí)表示標(biāo)量空 Tensor 僅支持兩路輸入 shape 相同或其中一路輸入為單元素張量的廣播場景4.1 差異的源碼依據(jù)數(shù)據(jù)類型注冊差異完整的 9 種 dtype含 COMPLEX64、INT16、UINT8、INT8注冊在算子定義中但不同產(chǎn)品實(shí)際支持范圍不同。Tiling 側(cè)的IsSupportedDtype見 math/add_v2/op_host/arch35/add_v2_tiling_arch35.cpp對 arch35 平臺(tái)校驗(yàn)DT_FLOAT16/DT_BF16/DT_FLOAT/DT_INT64/DT_COMPLEX64/DT_UINT8/DT_INT8/DT_INT32/DT_INT16與 README 中 Ascend 950 的數(shù)據(jù)類型列一致而其他產(chǎn)品按產(chǎn)品能力裁剪。rank 范圍與 dynamic rankAscend 950 平臺(tái)在 Tiling 中通過CheckRank強(qiáng)制 rank 落在 [1, 8]見 math/add_v2/op_host/arch35/add_v2_tiling_arch35.cpp且add_v2_def.cpp中aicoreConfig.DynamicRankSupportFlag(true)、DynamicShapeSupportFlag(true)分別開啟 dynamic rank 與動(dòng)態(tài) shape 支持而 Atlas A2/A3 等系列不支持 dynamic rank僅支持固定 rank 動(dòng)態(tài) shape。空 Tensor 支持Ascend 950 平臺(tái)專門為空 Tensor 設(shè)計(jì)了獨(dú)立處理通路詳見下文第六節(jié)因此支持范圍更寬其他產(chǎn)品僅允許兩路輸入 shape 相同或單元素廣播這兩種空 Tensor 場景。五、調(diào)用說明GE 圖模式AddV2 的調(diào)用方式如下表調(diào)用方式調(diào)用樣例說明GE 圖模式test_geir_add_v2.cpp通過算子 IRadd_v2_proto.h構(gòu)圖方式調(diào)用 AddV2 算子注意本算子不提供同名 aclnn 接口僅支持上表的 GE 圖模式調(diào)用。這意味著用戶無法通過aclnnAddV2這類接口直接調(diào)用必須經(jīng)由 GEGraph Engine構(gòu)圖后在圖上運(yùn)行。5.1 構(gòu)圖與運(yùn)行流程倉庫示例 math/add_v2/examples/test_geir_add_v2.cpp 完整演示了 GE 圖模式的調(diào)用步驟核心流程為初始化 GE通過ge::GEInitialize(global_options)初始化 GE 全局環(huán)境示例中使用{ge.exec.deviceId, 0}指定設(shè)備、{ge.graphRunMode, 1}指定圖運(yùn)行模式。創(chuàng)建圖與算子節(jié)點(diǎn)ge::Graph graph(graph_name)創(chuàng)建圖op::AddV2(add1)創(chuàng)建 AddV2 算子節(jié)點(diǎn)。構(gòu)造輸入數(shù)據(jù)節(jié)點(diǎn)使用op::Data(...)構(gòu)造占位輸入節(jié)點(diǎn)并通過ADD_INPUT宏為每個(gè)輸入創(chuàng)建TensorDescshape、FORMAT_ND、dtype調(diào)用GenOnesDataFloat32生成全 2 的浮點(diǎn)測試數(shù)據(jù)最后通過add1.set_input_x1(...)/add1.set_input_x2(...)將輸入節(jié)點(diǎn)接入 AddV2 算子。設(shè)置圖輸入輸出graph.SetInputs(inputs).SetOutputs(outputs)聲明圖的輸入輸出。創(chuàng)建會(huì)話并建圖new Session(build_options)創(chuàng)建會(huì)話session-AddGraph(graph_id, graph, graph_options)將計(jì)算圖加入會(huì)話。運(yùn)行圖session-RunGraph(graph_id, input, output)執(zhí)行計(jì)算。保存結(jié)果SaveInputOutput將輸入/輸出張量以 bin 文件落盤并逐元素打印輸出結(jié)果。資源清理刪除會(huì)話并調(diào)用ge::GEFinalize()結(jié)束 GE 環(huán)境。其中示例默認(rèn)使用{4, 2}的輸入 shapestd::vectorint64_t xShape {4, 2};即兩路4x2張量相加輸出同樣為4x2。關(guān)鍵代碼片段auto add1 op::AddV2(add1); std::vectorint64_t xShape {4, 2}; ADD_INPUT(1, x1, inDtype, xShape); ADD_INPUT(2, x2, inDtype, xShape); outputs.push_back(add1);ADD_INPUT宏內(nèi)部會(huì)完成占位節(jié)點(diǎn)、TensorDescFORMAT_ND dtype、測試數(shù)據(jù)生成、set_input_xN接線等全部工作是理解 GE 圖模式入?yún)?gòu)造的關(guān)鍵入口。5.2 圖模式下的算子端口與校驗(yàn)鏈路在 GE 圖模式下AddV2 的端口契約由算子 IR 原型 math/add_v2/op_graph/add_v2_proto.h 聲明構(gòu)圖后經(jīng)過以下鏈路完成推導(dǎo)與校驗(yàn)InferDataTypeadd_v2_graph_infer.cpp校驗(yàn)x1、x2同 dtype并將y的 dtype 置為x1的 dtype。InferShapeadd_v2_infershape.cpp調(diào)用InferShape4Broadcast計(jì)算廣播后的輸出 shape。OpDef 定義add_v2_def.cpp聲明端口 dtype/format 集合與 AICore 配置開啟動(dòng)態(tài) shape、dynamic rank、精度降低標(biāo)志等。Tilingadd_v2_tiling_arch35.cpp根據(jù)實(shí)際 shape、dtype 與編譯信息生成切分策略。六、源碼級實(shí)現(xiàn)原理以 Ascend 950 / arch35 為例6.1 Kernel 入口與模板分派Kernel 入口位于 math/add_v2/op_kernel/arch35/add_v2.cpp采用模板參數(shù)schMode調(diào)度模式與userDef用戶自定義分支開關(guān)做編譯期分派userDef 1空 Tensor 通路。由于輸出元素個(gè)數(shù)為 0無任何數(shù)據(jù)需要搬運(yùn)Kernel 直接返回Tiling 側(cè)已把blockDim設(shè)為 1。否則按 dtype 選擇計(jì)算 DAG浮點(diǎn)類 dtypehalf/bfloat16_t/float走AddWithCastCompute其余類型走AddWithoutCastCompute再統(tǒng)一交給BroadcastSchschMode, OpDag sch(tiling)完成廣播調(diào)度。6.2 計(jì)算 DAG 設(shè)計(jì)在 math/add_v2/op_kernel/arch35/add_v2_dag.h 中定義了兩種計(jì)算圖DAGAddWithoutCastCompute免精度轉(zhuǎn)換通路CopyInBrc廣播搬入→Vec::AddT逐元素加→CopyOut寫回適用于整型等可直接相加的 dtype。AddWithCastCompute精度轉(zhuǎn)換通路先將輸入Cast到float做加法再把結(jié)果Cast回原 dtypeCAST_RINT_MODE使用就近取整適用于half/bfloat16_t/float類型對應(yīng)PrecisionReduceFlag(true)的配置。兩個(gè) DAG 均使用MemOptCfgMemLevel::LEVEL_2進(jìn)行二級內(nèi)存L2級的訪存優(yōu)化并由DAGSch統(tǒng)一調(diào)度。6.3 空 Tensor 專用通路空 Tensor 場景在 math/add_v2/op_kernel/arch35/add_v2_struct_arch35.h 中被專門處理常規(guī)廣播通路使用 schMode 取值表1、2、101…999 等中的普通模式而空 Tensor 走自定義schMode 999userDef 1的模板分支。原因在于 ATVOSS 的BroadcastBaseTiling在合軸后會(huì)顯式拒絕 0 元素tensor check is empty因此空 Tensor 必須復(fù)用該自定義分支Tiling 側(cè)對應(yīng)定義ADD_V2_SCH_MODE_EMPTY 999、ADD_V2_USER_DEF_EMPTY 1見 add_v2_tiling_arch35.cpp。單元測試 math/add_v2/tests/ut/op_host/arch35/test_add_v2_tiling.cpp 對該分支給出了精確注釋空 Tensor 分支的 tiling key 為65550 0x1000E其低 16 位0x000E 14是 schMode 999 在取值表中的序號(hào)第 16 位userDef 1常規(guī)通路userDef 0key 仍為 8不受影響。七、約束說明與使用建議倉庫 README 明確 AddV2 的約束說明為無約束說明無但這僅指算子層面的通用約束實(shí)際使用時(shí)仍需遵守上文第四節(jié)產(chǎn)品差異表中的產(chǎn)品級限制數(shù)據(jù)類型范圍、rank 范圍、dynamic rank 支持度、空 Tensor 場景等。輸入x1、x2必須同 dtype輸出y的 dtype 與x1一致shape 為廣播結(jié)果。由于本算子不提供 aclnn 接口涉及動(dòng)態(tài) shape 或 dynamic rank 的圖模式調(diào)用建議在 test_add_v2_tiling.cpp 與 test_add_v2_infershape.cpp 中選取對應(yīng)的 shape 組合先做宿主側(cè)單測驗(yàn)證再上板運(yùn)行。八、驗(yàn)證與測試參考倉庫為 AddV2 提供了完整的宿主側(cè)單元測試可用于驗(yàn)證 shape 推導(dǎo)與 tiling 邏輯InferShape 單測math/add_v2/tests/ut/op_host/test_add_v2_infershape.cpp 覆蓋了同 shape 相加(8,8)(8,8)-(8,8)、廣播相加(8,8)(1)-(8,8)以及動(dòng)態(tài) shape 等場景。Tiling 單測math/add_v2/tests/ut/op_host/arch35/test_add_v2_tiling.cpp 使用TilingContextFaker/TilingCaseExecutor構(gòu)造DT_FLOAT等 dtype、8x8等 shape 的 tiling 上下文并驗(yàn)證空 Tensor 分支的 tiling key65550等關(guān)鍵數(shù)值。結(jié)合這些測試與上文的源碼鏈路開發(fā)者可以在修改 shape、dtype 或產(chǎn)品形態(tài)后快速回歸驗(yàn)證 AddV2 的廣播推導(dǎo)與切分策略是否符合預(yù)期。贊分享算子庫人工智能CANN【免費(fèi)下載鏈接】ops-math本項(xiàng)目是CANN提供的數(shù)學(xué)類基礎(chǔ)計(jì)算算子庫實(shí)現(xiàn)網(wǎng)絡(luò)在NPU上加速計(jì)算。項(xiàng)目地址https://gitcode.com/cann/ops-math點(diǎn)擊查看免費(fèi)下載相關(guān)推薦CANN ops-math ClipByValue 算子深度解析功能、參數(shù)、GE IR 圖模式調(diào)用與源碼實(shí)現(xiàn)CANN ops math ClipByValue 算子深度解析功能、參數(shù)、GE IR 圖模式調(diào)用與源碼實(shí)現(xiàn) ClipByValue裁剪取值是 CANN算子庫人工智能CANNCANN ops-math MatrixDiagPart 算子深度解析功能、約束與 GE 圖模式調(diào)用實(shí)戰(zhàn)CANN ops math MatrixDiagPart 算子深度解析功能、約束與 GE 圖模式調(diào)用實(shí)戰(zhàn) MatrixDiagPart 是 CANN ops算子庫人工智能CANNCANN ops-math 算子解讀AsStrided 張量視圖算子as_strided功能、參數(shù)與 GE 圖模式調(diào)用實(shí)戰(zhàn)CANN ops math 算子解讀AsStrided 張量視圖算子as_strided功能、參數(shù)與 GE 圖模式調(diào)用實(shí)戰(zhàn) AsStridedas_st算子庫人工智能CANN上一篇rack-mini-profiler 與單頁應(yīng)用集成React、Vue、Angular 完美適配方案下一篇OneBot消息系統(tǒng)完全指南文本、圖片、語音、視頻等12種消息段的靈活應(yīng)用創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考