算子庫(kù)人工智能CANN【免費(fèi)下載鏈接】ops-math本項(xiàng)目是CANN提供的數(shù)學(xué)類基礎(chǔ)計(jì)算算子庫(kù)實(shí)現(xiàn)網(wǎng)絡(luò)在NPU上加速計(jì)算。項(xiàng)目地址https://gitcode.com/cann/ops-math點(diǎn)擊查看免費(fèi)下載Neg 是 CANN ops-math 數(shù)學(xué)算子庫(kù)中實(shí)現(xiàn)逐元素取負(fù)相反數(shù)運(yùn)算的基礎(chǔ)算子通過(guò)aclnnNeg/aclnnInplaceNeg兩段式接口對(duì)外提供能力是神經(jīng)網(wǎng)絡(luò)中符號(hào)翻轉(zhuǎn)、梯度計(jì)算等場(chǎng)景的常用構(gòu)件。本文以 Neg 算子 README 與其配套的 aclnnNegaclnnInplaceNeg 接口文檔 為主體結(jié)合算子 API、Host 側(cè) tiling、Kernel 側(cè)實(shí)現(xiàn)與可運(yùn)行樣例完整講解該算子的規(guī)格、接口、源碼原理與調(diào)用方式。讀完本文你將能夠在 Atlas A2 系列產(chǎn)品上獨(dú)立編譯運(yùn)行 Neg 算子樣例并理解其底層取負(fù) 類型轉(zhuǎn)換 視圖拷貝的完整計(jì)算流水。Neg 算子概述Neg算子對(duì)輸入的數(shù)值型數(shù)據(jù)執(zhí)行逐元素取負(fù)操作計(jì)算公式為y -x即對(duì)輸入張量x中的每一個(gè)元素計(jì)算其相反數(shù)并寫入輸出張量y。該算子在 neg_def.cpp 中通過(guò)算子原型注冊(cè)O(shè)P_ADD(Neg)定義其 shape 推導(dǎo)規(guī)則非常簡(jiǎn)單——輸出與輸入形狀完全一致見(jiàn) neg_infershape.cpp 中的InferShapeNeg直接將輸入 shape 拷貝給輸出。算子規(guī)格描述根據(jù) READMENeg 算子的規(guī)格如下項(xiàng)名稱Typedata typeformat算子輸入xtensorint64, int32, int16, int8, uint8, float16, bfloat16, float32ND算子輸出ytensor與輸入相同ND核函數(shù)名--neg-從源碼結(jié)構(gòu)看aclnn_neg接口層實(shí)際支持的 dtype 范圍更寬。在 aclnn_neg.cpp 中定義了兩份 dtype 支持列表dtype_support_listint8/uint8/int16/int32/int64/float16/float32/double/complex64/complex128與dtype_support_list_afterV200在上述基礎(chǔ)上追加 bfloat16。是否啟用后者由GetCurNpuArch()判斷——當(dāng)芯片架構(gòu)為DAV_2201或DAV_3510即昇騰 910B 及后續(xù)架構(gòu)時(shí)bfloat16 才會(huì)被放行。算子類型與貢獻(xiàn)信息該算子位于experimental/math/neg目錄屬于實(shí)驗(yàn)性數(shù)學(xué)算子的增量貢獻(xiàn)。按 README 中的貢獻(xiàn)表Neg 算子由個(gè)人開發(fā)者新增并持續(xù)演進(jìn)最初貢獻(xiàn) Neg 算子主體隨后貢獻(xiàn)了 int64/int16/uint8 三種整數(shù)類型的支持。目錄內(nèi)的完整代碼結(jié)構(gòu)如下op_api/aclnn 對(duì)外 API 層aclnn_neg.h/.cpp、neg.h/.cppop_host/算子原型、shape 推導(dǎo)與 tilingneg_def.cpp、neg_infershape.cpp、neg_tiling.cppop_kernel/昇騰 AI Core 上的 kernel 實(shí)現(xiàn)neg.cpp、neg.h、neg_tiling_data.h、neg_tiling_key.hexamples/可直接編譯運(yùn)行的調(diào)用樣例test_aclnn_neg.cpp、test_aclnn_inplace_neg.cppdocs/接口詳細(xì)說(shuō)明 aclnnNegaclnnInplaceNeg.md支持的產(chǎn)品型號(hào)與環(huán)境要求按 README 說(shuō)明本算子樣例支持如下產(chǎn)品型號(hào)Atlas A2 訓(xùn)練系列產(chǎn)品Atlas 800I A2 推理產(chǎn)品配套的 接口文檔 亦確認(rèn) Atlas A2 訓(xùn)練系列產(chǎn)品/Atlas A2 推理系列產(chǎn)品均支持本接口。這與源碼中的 AICore 支持列表相互印證neg.cpp中的AICORE_DTYPE_SUPPORT_LIST_AFTER_910B面向DAV_2201、DAV_3510架構(gòu)也就是 910B 之后的昇騰芯片。編譯運(yùn)行此樣例前需要先按 CANN 軟件安裝指南完成開發(fā)運(yùn)行環(huán)境的部署包括 CANN 工具鏈、昇騰驅(qū)動(dòng)與固件并準(zhǔn)備好編譯工具鏈。環(huán)境就緒后可通過(guò) quick_op_invocation.md 描述的build.sh腳本方式快速編譯運(yùn)行樣例。兩段式接口aclnnNeg 與 aclnnInplaceNegCANN 的算子 API 采用標(biāo)準(zhǔn)的兩段式調(diào)用模型Neg 算子同樣遵循該模型。兩段式接口的通用背景可參考 two_phase_api.md第一段接口負(fù)責(zé)參數(shù)校驗(yàn)、構(gòu)建算子計(jì)算流程并返回所需的 workspace 大小與執(zhí)行器第二段接口才真正把任務(wù)提交到指定 Stream 上執(zhí)行。aclnnNeg與aclnnInplaceNeg實(shí)現(xiàn)完全相同的數(shù)學(xué)功能區(qū)別僅在于輸出的承載方式aclnnNeg需要調(diào)用方新建一個(gè)輸出張量對(duì)象out來(lái)存儲(chǔ)計(jì)算結(jié)果原輸入保持不變aclnnInplaceNeg無(wú)需新建輸出張量直接在輸入張量selfRef的內(nèi)存中就地寫入結(jié)果原地取負(fù)適合需要省內(nèi)存、允許破壞原始數(shù)據(jù)的場(chǎng)景。四個(gè)接口的函數(shù)原型如下聲明見(jiàn) aclnn_neg.haclnnStatus aclnnNegGetWorkspaceSize(const aclTensor *self, aclTensor *out, uint64_t *workspaceSize, aclOpExecutor **executor); aclnnStatus aclnnNeg(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, const aclrtStream stream); aclnnStatus aclnnInplaceNegGetWorkspaceSize(aclTensor *selfRef, uint64_t *workspaceSize, aclOpExecutor **executor); aclnnStatus aclnnInplaceNeg(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream);aclnnNegGetWorkspaceSize 參數(shù)說(shuō)明參數(shù)方向說(shuō)明self計(jì)算輸入Device 側(cè)的aclTensor*支持非連續(xù) Tensor見(jiàn) non_contiguous_tensor.md數(shù)據(jù)格式支持 ND見(jiàn) data_format.mdout計(jì)算輸出Device 側(cè)的aclTensor*數(shù)據(jù)類型需是 self 可轉(zhuǎn)換的類型類型轉(zhuǎn)換關(guān)系見(jiàn) conversion_relationship.md同樣支持非連續(xù) Tensor 與 ND 格式workspaceSize計(jì)算輸出返回需要在 Device 側(cè)申請(qǐng)的 workspace 大小executor計(jì)算輸出返回 op 執(zhí)行器封裝了算子計(jì)算流程返回值aclnnStatus為統(tǒng)一狀態(tài)碼具體定義參見(jiàn) aclnn_return_code.md。第一段接口會(huì)完成入?yún)⑿ｒ?yàn)主要錯(cuò)誤場(chǎng)景161001(ACLNN_ERR_PARAM_NULLPTR): 1. 傳入的 self、out 是空指針。 161002(ACLNN_ERR_PARAM_INVALID): 1. self 和 out 的數(shù)據(jù)類型不在支持的范圍之內(nèi)。 2. self 與 out 的 dtype 不同。 3. self 與 out 的 shape 不同。這些校驗(yàn)邏輯在 aclnn_neg.cpp 的CheckParams中一一對(duì)應(yīng)CheckNotNull檢查空指針、CheckDtypeValid檢查 dtype 是否在支持列表內(nèi)、CheckPromoteType校驗(yàn) self 的 dtype 能否轉(zhuǎn)換為 out 的 dtype、CheckShape校驗(yàn)維度不超過(guò) 8 且 shape 一致。aclnnNeg 參數(shù)說(shuō)明參數(shù)方向說(shuō)明workspace計(jì)算輸入在 Device 側(cè)申請(qǐng)的 workspace 內(nèi)存起始地址workspaceSize計(jì)算輸入在 Device 側(cè)申請(qǐng)的 workspace 大小由第一段接口獲取executor計(jì)算輸入op 執(zhí)行器包含算子計(jì)算流程stream計(jì)算輸入指定執(zhí)行任務(wù)的 acl 流aclnnInplaceNegGetWorkspaceSize 參數(shù)說(shuō)明參數(shù)方向說(shuō)明selfRef計(jì)算輸入/計(jì)算輸出Device 側(cè)的aclTensor*既是輸入也是輸出就地計(jì)算支持非連續(xù) TensorND 格式workspaceSize計(jì)算輸出返回需要在 Device 側(cè)申請(qǐng)的 workspace 大小executor計(jì)算輸出返回 op 執(zhí)行器第一段接口的錯(cuò)誤場(chǎng)景161001(ACLNN_ERR_PARAM_NULLPTR): 1. 傳入的 selfRef 是空指針。 161002(ACLNN_ERR_PARAM_INVALID): 1. selfRef 的數(shù)據(jù)類型不在支持的范圍之內(nèi)。 2. selfRef 的維度范圍超過(guò) 8。從實(shí)現(xiàn)上看aclnnInplaceNegGetWorkspaceSize并沒(méi)有單獨(dú)寫一套流程而是直接復(fù)用普通接口——將selfRef同時(shí)作為 self 和 out 傳入aclnnNegGetWorkspaceSize見(jiàn) aclnn_neg.cpp因此它天然繼承了所有 dtype、shape 一致性校驗(yàn)只是 out 與 self 指向同一塊內(nèi)存。aclnnInplaceNeg 參數(shù)說(shuō)明與aclnnNeg完全相同workspaceDevice 側(cè) workspace 內(nèi)存地址、workspaceSize由第一段接口獲取、executorop 執(zhí)行器、stream任務(wù)執(zhí)行的 acl 流。源碼原理取負(fù)的完整計(jì)算流水理解了接口我們?cè)偕钊朐创a看這條計(jì)算流水到底做了什么。aclnnNegGetWorkspaceSize的構(gòu)建邏輯aclnn_neg.cpp清晰展示了 API 的完整計(jì)算路徑空 Tensor 快速返回若self-IsEmpty()為真直接返回 workspace 大小為 0空 Tensor 在 kernel 中天然支持Contiguous調(diào)用l0op::Contiguous把非連續(xù)輸入規(guī)整為連續(xù) Tensor這就是支持非連續(xù) Tensor的實(shí)現(xiàn)基礎(chǔ)Neg 計(jì)算調(diào)用l0op::Neg(selfContiguous, ...)執(zhí)行真正的取負(fù) kernelCast 類型轉(zhuǎn)換調(diào)用l0op::Cast把計(jì)算結(jié)果轉(zhuǎn)換為 out 的數(shù)據(jù)類型支撐out 是 self 可轉(zhuǎn)換類型的能力ViewCopy 落盤調(diào)用l0op::ViewCopy將結(jié)果寫入 out兼容 out 可能是非連續(xù) Tensor 的情況最后通過(guò)uniqueExecutor-GetWorkspaceSize()匯總整條流水所需 workspace 大小。第二段接口aclnnNeg/aclnnInplaceNeg的實(shí)現(xiàn)則非常簡(jiǎn)潔直接調(diào)用框架的CommonOpExecutorRun完成提交執(zhí)行。AiCore 與 AiCpu 的分發(fā)策略l0op::Neg本身neg.cpp會(huì)根據(jù)輸入 dtype 和當(dāng)前芯片架構(gòu)決定走哪條計(jì)算路徑AiCore 路徑當(dāng) dtype 命中AICORE_DTYPE_SUPPORT_LISTfloat/float16/int32/int8/int64/int16/uint8/bf16時(shí)通過(guò)ADD_TO_LAUNCHER_LIST_AICORE宏將 Neg 算子加入 AiCore 任務(wù)隊(duì)列AiCpu 路徑其余情況通過(guò)ADD_TO_LAUNCHER_LIST_AICPU宏回退到 AiCpu 執(zhí)行保證接口的通用性。Kernel 層的逐類型實(shí)現(xiàn)AiCore 上的 kernel 實(shí)現(xiàn)neg.cpp 與 neg.h對(duì)每種 dtype 都做了針對(duì)性處理這是取負(fù)看似簡(jiǎn)單、實(shí)則有坑的地方float / half直接調(diào)用向量指令Muls(dst, src, -1)完成乘 -1int32 / int16先Duplicate(-1)再用Mul逐元素相乘int8由于向量乘單元不支持直接對(duì) int8 做乘法先Cast到 half 計(jì)算-1倍再通過(guò)左移/右移 8 位模擬 int8 的溢出截?cái)嘈袨樽詈筠D(zhuǎn)回 int8uint8與 PyTorch 的torch.neg(uint8)語(yǔ)義對(duì)齊——保持 uint8 類型并按 256 取?；乩@。實(shí)現(xiàn)上先轉(zhuǎn) half 乘 -1、加 256再與 255 做按位與mask實(shí)現(xiàn)模 256 效果int6464 位取負(fù)最為復(fù)雜采用按位取反 加 1的補(bǔ)碼思路Not逐位取反后通過(guò)掩碼實(shí)現(xiàn)對(duì)低 32 位 1 的進(jìn)位傳播含低位進(jìn)位向高位傳遞的判斷詳細(xì)流程見(jiàn) neg.h 中 int64 分支的實(shí)現(xiàn)bfloat16因Muls指令不支持 bfloat16先Cast到 float 乘 -1再Cast回 bf16。Tiling 策略按核心均分 尾部塊處理Host 側(cè)的 neg_tiling.cpp 負(fù)責(zé)把輸入數(shù)據(jù)切分到多個(gè) AI Core 上并行計(jì)算。核心思路是按 32BBLOCK_SIZE對(duì)齊切塊每個(gè)核分得大塊big core或小塊small core數(shù)據(jù)余數(shù)作為尾部塊tail block交給前tailBlockNum個(gè)核多算一份并通過(guò)SetTilingKey(1/0)區(qū)分是否有尾部塊兩種切分形態(tài)Kernel 側(cè)根據(jù)TILING_KEY_IS選擇對(duì)應(yīng)的初始化分支。tiling 還針對(duì)不同 dtype 調(diào)整 UB 緩沖區(qū)的劃分份數(shù)ubPartNum默認(rèn) 4 份int8 加 4 份、uint8 加 6 份、bf16 加 2 份這些類型計(jì)算時(shí)需要額外臨時(shí)緩沖如 int8/uint8 的 half 與 int16 中間緩沖區(qū)int64 則固定為 7 份并做 32 元素對(duì)齊與最大 repeat 次數(shù)255限制。Kernel 側(cè)使用雙緩沖BUFFER_NUM 2流水線按CopyIn → Compute → CopyOut循環(huán)處理每個(gè)分片尾部片單獨(dú)處理剩余數(shù)據(jù)。約束說(shuō)明確定性計(jì)算aclnnNeg與aclnnInplaceNeg默認(rèn)即為確定性實(shí)現(xiàn)多次運(yùn)行結(jié)果一致可滿足調(diào)試與復(fù)現(xiàn)需求。確定性計(jì)算相關(guān)的通用約定可參考 determinism_compute.md。輸入輸出數(shù)據(jù)格式限定為NDshape 必須一致輸出 dtype 必須是輸入可轉(zhuǎn)換到的類型。調(diào)用示例aclnnNeg示例代碼位于 examples/test_aclnn_neg.cpp完整編譯與運(yùn)行流程參考 compile_and_run_sample.md。核心代碼如下#include iostream #include vector #include acl/acl.h #include aclnnop/aclnn_neg.h #define CHECK_RET(cond, return_expr) \ do { \ if (!(cond)) { \ return_expr; \ } \ } while (0) #define LOG_PRINT(message, ...) \ do { \ printf(message, ##__VA_ARGS__); \ } while (0) int64_t GetShapeSize(const std::vectorint64_t shape) { int64_t shapeSize 1; for (auto i : shape) { shapeSize * i; } return shapeSize; } int Init(int32_t deviceId, aclrtStream* stream) { // 固定寫法資源初始化 auto ret aclInit(nullptr); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclInit failed. ERROR: %d\n, ret); return ret); ret aclrtSetDevice(deviceId); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtSetDevice failed. ERROR: %d\n, ret); return ret); ret aclrtCreateStream(stream); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtCreateStream failed. ERROR: %d\n, ret); return ret); return 0; } template typename T int CreateAclTensor(const std::vectorT hostData, const std::vectorint64_t shape, void** deviceAddr, aclDataType dataType, aclTensor** tensor) { auto size GetShapeSize(shape) * sizeof(T); // 調(diào)用aclrtMalloc申請(qǐng)device側(cè)內(nèi)存 auto ret aclrtMalloc(deviceAddr, size, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtMalloc failed. ERROR: %d\n, ret); return ret); // 調(diào)用aclrtMemcpy將host側(cè)數(shù)據(jù)拷貝到device側(cè)內(nèi)存上 ret aclrtMemcpy(*deviceAddr, size, hostData.data(), size, ACL_MEMCPY_HOST_TO_DEVICE); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtMemcpy failed. ERROR: %d\n, ret); return ret); // 計(jì)算連續(xù)tensor的strides std::vectorint64_t strides(shape.size(), 1); for (int64_t i shape.size() - 2; i 0; i--) { strides[i] shape[i 1] * strides[i 1]; } // 調(diào)用aclCreateTensor接口創(chuàng)建aclTensor *tensor aclCreateTensor(shape.data(), shape.size(), dataType, strides.data(), 0, aclFormat::ACL_FORMAT_ND, shape.data(), shape.size(), *deviceAddr); return 0; } int main() { // 1. 固定寫法device/stream初始化參考acl API手冊(cè) // 根據(jù)自己的實(shí)際device填寫deviceId int32_t deviceId 0; aclrtStream stream; auto ret Init(deviceId, stream); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(Init acl failed. ERROR: %d\n, ret); return ret); // 2. 構(gòu)造輸入與輸出需要根據(jù)API的接口自定義構(gòu)造 std::vectorint64_t selfShape {4, 2}; std::vectorint64_t outShape {4, 2}; void* selfDeviceAddr nullptr; void* outDeviceAddr nullptr; aclTensor* self nullptr; aclTensor* out nullptr; std::vectorfloat selfHostData {0, 1, 2, 3, 4, 5, 6, 7}; std::vectorfloat outHostData {0, 0, 0, 0, 0, 0, 0, 0}; // 創(chuàng)建self aclTensor ret CreateAclTensor(selfHostData, selfShape, selfDeviceAddr, aclDataType::ACL_FLOAT, self); CHECK_RET(ret ACL_SUCCESS, return ret); // 創(chuàng)建out aclTensor ret CreateAclTensor(outHostData, outShape, outDeviceAddr, aclDataType::ACL_FLOAT, out); CHECK_RET(ret ACL_SUCCESS, return ret); // 3. 調(diào)用CANN算子庫(kù)API uint64_t workspaceSize 0; aclOpExecutor* executor; // 調(diào)用aclnnNeg第一段接口 ret aclnnNegGetWorkspaceSize(self, out, workspaceSize, executor); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclnnNegGetWorkspaceSize failed. ERROR: %d\n, ret); return ret); // 根據(jù)第一段接口計(jì)算出的workspaceSize申請(qǐng)device內(nèi)存 void* workspaceAddr nullptr; if (workspaceSize 0) { ret aclrtMalloc(workspaceAddr, workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(allocate workspace failed. ERROR: %d\n, ret); return ret); } // 調(diào)用aclnnNeg第二段接口 ret aclnnNeg(workspaceAddr, workspaceSize, executor, stream); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclnnNeg failed. ERROR: %d\n, ret); return ret); // 4. 固定寫法同步等待任務(wù)執(zhí)行結(jié)束 ret aclrtSynchronizeStream(stream); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtSynchronizeStream failed. ERROR: %d\n, ret); return ret); // 5. 獲取輸出的值將device側(cè)內(nèi)存上的結(jié)果拷貝至host側(cè) auto size GetShapeSize(outShape); std::vectorfloat resultData(size, 0); ret aclrtMemcpy(resultData.data(), resultData.size() * sizeof(resultData[0]), outDeviceAddr, size * sizeof(resultData[0]), ACL_MEMCPY_DEVICE_TO_HOST); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(copy result from device to host failed. ERROR: %d\n, ret); return ret); for (int64_t i 0; i size; i) { LOG_PRINT(result[%ld] is: %f\n, i, resultData[i]); } // 6. 釋放aclTensor aclDestroyTensor(self); aclDestroyTensor(out); // 7. 釋放device資源 aclrtFree(selfDeviceAddr); aclrtFree(outDeviceAddr); if (workspaceSize 0) { aclrtFree(workspaceAddr); } aclrtDestroyStream(stream); aclrtResetDevice(deviceId); aclFinalize(); return 0; }這段代碼完整覆蓋了 CANN 算子調(diào)用的七個(gè)標(biāo)準(zhǔn)步驟初始化 → 構(gòu)造 aclTensor → 兩段式調(diào)用 → 同步等待 → 取回結(jié)果 → 釋放張量 → 釋放資源。對(duì)于 shape 為{4, 2}、輸入為{0,1,2,3,4,5,6,7}的 float32 數(shù)據(jù)期望輸出為{-0,-1,-2,-3,-4,-5,-6,-7}-0即浮點(diǎn)負(fù)零是取負(fù)運(yùn)算的正常結(jié)果。調(diào)用示例aclnnInplaceNeg原地版本examples/test_aclnn_inplace_neg.cpp與普通版本的結(jié)構(gòu)幾乎一致核心差異有兩點(diǎn)不需要?jiǎng)?chuàng)建 out 張量以及結(jié)果直接回寫到 selfRef 的內(nèi)存。核心代碼如下#include iostream #include vector #include acl/acl.h #include aclnnop/aclnn_neg.h #define CHECK_RET(cond, return_expr) \ do { \ if (!(cond)) { \ return_expr; \ } \ } while (0) #define LOG_PRINT(message, ...) \ do { \ printf(message, ##__VA_ARGS__); \ } while (0) int64_t GetShapeSize(const std::vectorint64_t shape) { int64_t shapeSize 1; for (auto i : shape) { shapeSize * i; } return shapeSize; } int Init(int32_t deviceId, aclrtStream* stream) { // 固定寫法資源初始化 auto ret aclInit(nullptr); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclInit failed. ERROR: %d\n, ret); return ret); ret aclrtSetDevice(deviceId); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtSetDevice failed. ERROR: %d\n, ret); return ret); ret aclrtCreateStream(stream); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtCreateStream failed. ERROR: %d\n, ret); return ret); return 0; } template typename T int CreateAclTensor(const std::vectorT hostData, const std::vectorint64_t shape, void** deviceAddr, aclDataType dataType, aclTensor** tensor) { auto size GetShapeSize(shape) * sizeof(T); // 調(diào)用aclrtMalloc申請(qǐng)device側(cè)內(nèi)存 auto ret aclrtMalloc(deviceAddr, size, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtMalloc failed. ERROR: %d\n, ret); return ret); // 調(diào)用aclrtMemcpy將host側(cè)數(shù)據(jù)拷貝到device側(cè)內(nèi)存上 ret aclrtMemcpy(*deviceAddr, size, hostData.data(), size, ACL_MEMCPY_HOST_TO_DEVICE); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtMemcpy failed. ERROR: %d\n, ret); return ret); // 計(jì)算連續(xù)tensor的strides std::vectorint64_t strides(shape.size(), 1); for (int64_t i shape.size() - 2; i 0; i--) { strides[i] shape[i 1] * strides[i 1]; } // 調(diào)用aclCreateTensor接口創(chuàng)建aclTensor *tensor aclCreateTensor(shape.data(), shape.size(), dataType, strides.data(), 0, aclFormat::ACL_FORMAT_ND, shape.data(), shape.size(), *deviceAddr); return 0; } int main() { // 1. 固定寫法device/stream初始化參考acl API手冊(cè) int32_t deviceId 0; aclrtStream stream; auto ret Init(deviceId, stream); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(Init acl failed. ERROR: %d\n, ret); return ret); // 2. 構(gòu)造輸入與輸出原地版本只需要selfRef無(wú)需新建out std::vectorint64_t selfRefShape {4, 2}; void* selfRefDeviceAddr nullptr; aclTensor* selfRef nullptr; std::vectorfloat selfRefHostData {0, 1, 2, 3, 4, 5, 6, 7}; // 創(chuàng)建selfRef aclTensor ret CreateAclTensor(selfRefHostData, selfRefShape, selfRefDeviceAddr, aclDataType::ACL_FLOAT, selfRef); CHECK_RET(ret ACL_SUCCESS, return ret); // 3. 調(diào)用CANN算子庫(kù)API uint64_t workspaceSize 0; aclOpExecutor* executor; // 調(diào)用aclnnInplaceNeg第一段接口 ret aclnnInplaceNegGetWorkspaceSize(selfRef, workspaceSize, executor); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclnnInplaceNegGetWorkspaceSize failed. ERROR: %d\n, ret); return ret); // 根據(jù)第一段接口計(jì)算出的workspaceSize申請(qǐng)device內(nèi)存 void* workspaceAddr nullptr; if (workspaceSize 0) { ret aclrtMalloc(workspaceAddr, workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(allocate workspace failed. ERROR: %d\n, ret); return ret); } // 調(diào)用aclnnInplaceNeg第二段接口 ret aclnnInplaceNeg(workspaceAddr, workspaceSize, executor, stream); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclnnInplaceNeg failed. ERROR: %d\n, ret); return ret); // 4. 固定寫法同步等待任務(wù)執(zhí)行結(jié)束 ret aclrtSynchronizeStream(stream); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtSynchronizeStream failed. ERROR: %d\n, ret); return ret); // 5. 獲取輸出的值結(jié)果已寫回selfRef的device內(nèi)存 auto size GetShapeSize(selfRefShape); std::vectorfloat resultData(size, 0); ret aclrtMemcpy(resultData.data(), resultData.size() * sizeof(resultData[0]), selfRefDeviceAddr, size * sizeof(resultData[0]), ACL_MEMCPY_DEVICE_TO_HOST); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(copy resultData from device to host failed. ERROR: %d\n, ret); return ret); for (int64_t i 0; i size; i) { LOG_PRINT(resultData[%ld] is: %f\n, i, resultData[i]); } // 6. 釋放aclTensor原地版本只需要釋放selfRef aclDestroyTensor(selfRef); // 7. 釋放device資源 aclrtFree(selfRefDeviceAddr); if (workspaceSize 0) { aclrtFree(workspaceAddr); } aclrtDestroyStream(stream); aclrtResetDevice(deviceId); aclFinalize(); return 0; }對(duì)比兩個(gè)示例可以看到原地版本少了out張量的創(chuàng)建、釋放與aclrtFree整體內(nèi)存占用更低。使用原地接口前務(wù)必確認(rèn)原始輸入不再被需要否則會(huì)因數(shù)據(jù)被覆蓋而產(chǎn)生錯(cuò)誤。如何選擇與注意事項(xiàng)普通版 vs 原地版的選擇若計(jì)算結(jié)果要寫入獨(dú)立的輸出張量、原始輸入還需要繼續(xù)參與后續(xù)計(jì)算使用aclnnNeg若希望省掉一塊輸出內(nèi)存、且原始數(shù)據(jù)允許被覆蓋例如作為某個(gè)鏈?zhǔn)竭\(yùn)算的中間結(jié)果就地翻轉(zhuǎn)符號(hào)使用aclnnInplaceNeg。實(shí)踐要點(diǎn)workspace 的申請(qǐng)必須在第一段接口之后、第二段接口之前且只有當(dāng)workspaceSize 0時(shí)才需要申請(qǐng)否則直接傳空指針即可兩段式調(diào)用之間executor是連接兩者的關(guān)鍵句柄不可提前釋放計(jì)算完成后務(wù)必調(diào)用aclrtSynchronizeStream同步再執(zhí)行 Device 到 Host 的結(jié)果拷貝否則可能讀到未完成計(jì)算的數(shù)據(jù)輸出out的 dtype 與 shape 必須與self保持一致或可轉(zhuǎn)換否則第一段接口會(huì)返回161002(ACLNN_ERR_PARAM_INVALID)整數(shù)類型尤其 uint8 取負(fù)遵循模 256 回繞語(yǔ)義與 PyTorch 行為對(duì)齊數(shù)值上neg(1) 255這是由 Kernel 層實(shí)現(xiàn)決定的預(yù)期行為而非錯(cuò)誤。小結(jié)Neg 算子雖然語(yǔ)義簡(jiǎn)單y -x但其工程實(shí)現(xiàn)完整覆蓋了 CANN 算子開發(fā)的各個(gè)層面算子原型注冊(cè)與 shape 推導(dǎo)neg_def.cpp、neg_infershape.cpp、dtype 感知的 tiling 切分neg_tiling.cpp、AiCore/AiCpu 雙路徑分發(fā)neg.cpp、以及針對(duì) int8/uint8/int64/bf16 等類型的精細(xì)向量化 kernelneg.h。通過(guò)aclnnNeg與aclnnInplaceNeg兩段式接口開發(fā)者既可以在獨(dú)立輸出上完成取負(fù)也可以原地翻轉(zhuǎn)數(shù)據(jù)配合 examples 中的可直接運(yùn)行樣例即可在 Atlas A2 系列產(chǎn)品上快速驗(yàn)證算子行為為理解 CANN 數(shù)學(xué)算子的標(biāo)準(zhǔn)開發(fā)范式提供了極佳的參照。贊分享算子庫(kù)人工智能CANN【免費(fèi)下載鏈接】ops-math本項(xiàng)目是CANN提供的數(shù)學(xué)類基礎(chǔ)計(jì)算算子庫(kù)實(shí)現(xiàn)網(wǎng)絡(luò)在NPU上加速計(jì)算。項(xiàng)目地址https://gitcode.com/cann/ops-math點(diǎn)擊查看免費(fèi)下載相關(guān)推薦CANN ops-math 算子 aclnnAcos 與 aclnnInplaceAcos 兩段式接口完全指南CANN ops math 算子 aclnnAcos 與 aclnnInplaceAcos 兩段式接口完全指南 導(dǎo)讀 本文以 CANN 數(shù)學(xué)算子庫(kù) ops ma算子庫(kù)人工智能CANNAIMNet2-rxn在有機(jī)合成中的應(yīng)用5個(gè)真實(shí)案例帶你掌握核心技巧AIMNet2 rxn在有機(jī)合成中的應(yīng)用5個(gè)真實(shí)案例帶你掌握核心技巧 AIMNet2 rxn是一款專為廣義有機(jī)反應(yīng)建模設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)原子間勢(shì)函數(shù)能夠以接近ω算子庫(kù)人工智能CANNCANN ops-math 算子解析IsNegInf 負(fù)無(wú)窮判斷算子的 ACLNN 接口與 AiCore 實(shí)現(xiàn)CANN ops math 算子解析IsNegInf 負(fù)無(wú)窮判斷算子的 ACLNN 接口與 AiCore 實(shí)現(xiàn) 導(dǎo)讀 本文聚焦 CANN ops math 倉(cāng)算子庫(kù)人工智能CANN創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考