數(shù)據(jù)分析數(shù)據(jù)工程機器學習【免費下載鏈接】cudfcuDF - GPU DataFrame Library項目地址https://gitcode.com/gh_mirrors/cu/cudf點擊查看免費下載本文是 libcudf C API 文檔體系中Table Classes表類模塊的深度技術指南。該模塊是 cuDFGPU DataFrame LibraryC 層的核心抽象之一定義了以cudf::table擁有型數(shù)據(jù)容器與cudf::table_view/cudf::mutable_table_view非擁有型輕量視圖為代表的一整套表對象模型。閱讀本文后你將掌握 libcudf 中表對象的構建方式、所有權語義、行列元數(shù)據(jù)訪問、列子集選取select、視圖與容器互轉以及表級空值/可空性檢測等工具函數(shù)的真實用法并理解其底層實現(xiàn)與測試驗證方式。一、Table Classes 在 libcudf API 文檔體系中的位置libcudf 的公開 API 文檔由 Sphinx Breathe 驅動 Doxygen 自動生成。核心類被組織為若干個 Doxygen 組group定義于 cpp/include/doxygen_groups.h頂層組cudf_classesClasses下包含column_classesColumn、table_classesTable、scalar_classesScalar、fixed_point_classesFixed Point等子組其中table_classes組正是本文主題其 RST 入口為 docs/cudf/source/libcudf/api_docs/table_classes.rst通過.. doxygengroup:: table_classes指令把組內(nèi)所有帶ingroup table_classes標記的類與函數(shù)的 Doxygen 注釋自動展開為 API 頁面該頁面作為子頁面掛接在 docs/cudf/source/libcudf/api_docs/cudf_classes.rst 的toctree中與column_classes、scalar_classes、fixed_point_classes并列。從源碼看ingroup table_classes標記出現(xiàn)在 cpp/include/cudf/table/table.hpp、cpp/include/cudf/table/table_view.hpp、cpp/include/cudf/table/table_view.hpp 與 cpp/include/cudf/table/equality.hpp因此該組實際由三大類 API 組成擁有型容器cudf::table、非擁有視圖(mutable_)table_view以及表級相等比較函數(shù)tables_equal。二、核心對象模型擁有型容器與非擁有視圖libcudf 表對象遵循與column/column_view完全一致的兩層設計哲學類型所有權拷貝成本典型用途cudf::table擁有持有unique_ptrcolumn深拷貝設備內(nèi)存數(shù)據(jù)的真正持有者運算結果、讀入數(shù)據(jù)cudf::table_view非擁有持有column_view按值傳遞、trivially copyable只讀傳入各類 compute APIcudf::mutable_table_view非擁有持有mutable_column_view按值傳遞需要對列內(nèi)容就地修改的場景兩類視圖的共同基類是cudf::detail::table_view_baseColumnView模板參數(shù)只能是column_view或mutable_column_view通過static_assert強制約束見 cpp/include/cudf/table/table_view.hpp。視圖非擁有、可平凡拷貝文檔明確要求按值傳遞cpp/include/cudf/table/table_view.hpp。一個值得注意的語義細節(jié)無論是table還是table_view都允許零列但有行數(shù)的表——當列集合為空時行數(shù)依然可以非零見 cpp/include/cudf/table/table.hpp 與 cpp/include/cudf/table/table_view.hpp。這服務于將零列但非零長度的 Arrow 數(shù)組轉換為 libcudf 表的場景需要借助顯式行數(shù)構造器完成。三、cudf::table擁有型表容器cudf::table的內(nèi)部存儲是一個std::vectorstd::unique_ptrcolumn并顯式記錄_num_rowscpp/include/cudf/table/table.hpp。其構造、復制、視圖轉換等成員在 cpp/src/table/table.cpp 中實現(xiàn)。3.1 構造函數(shù)cudf::table共提供四種構造途徑cpp/include/cudf/table/table.hpp1. 深拷貝構造——從另一張表完整復制列數(shù)據(jù)可顯式指定 CUDA 流與設備內(nèi)存資源explicit table(table const other, cuda::stream_ref stream cudf::get_default_stream(), rmm::device_async_resource_ref mr cudf::get_current_device_resource_ref());實現(xiàn)中逐列調(diào)用std::make_uniquecolumn(*c, stream, mr)完成拷貝cpp/src/table/table.cpp并包裹CUDF_FUNC_RANGE()用于 NVTX 性能分析。2. 移動構造——從std::vectorstd::unique_ptrcolumn轉移列所有權table(std::vectorstd::unique_ptrcolumn columns);實現(xiàn)會校驗每個列指針非空且大小一致行數(shù)取自首列cpp/src/table/table.cpp。若columns為空則_num_rows置 0。3. 顯式行數(shù)構造——用于零列表場景table(std::vectorstd::unique_ptrcolumn columns, size_type num_rows);當columns非空時要求num_rows與每個列的大小嚴格相等否則拋出std::invalid_argumentnum_rows為負同樣拋錯cpp/src/table/table.cpp。4. 從視圖拷貝構造——把table_view的內(nèi)容物化為擁有型表table(table_view view, cuda::stream_ref stream cudf::get_default_stream(), rmm::device_async_resource_ref mr cudf::get_current_device_resource_ref());實現(xiàn)遍歷視圖逐列構造columncpp/src/table/table.cpp。注意該類的拷貝賦值與移動賦值均被deletecpp/include/cudf/table/table.hpp所有權的轉移必須通過構造或release()完成。3.2 常用成員方法方法簽名簡化行為num_columns()size_type num_columns() const noexcept返回列數(shù)即_columns.size()table.hppnum_rows()size_type num_rows() const noexcept返回行數(shù)table.hppalloc_size()std::size_t alloc_size() const所有列設備分配總字節(jié)數(shù)內(nèi)部對每列alloc_size()做transform_reduce求和table.cppview()table_view view() const生成不可變非擁有視圖table.cppmutable_view()mutable_table_view mutable_view()生成可變非擁有視圖table.cpprelease()std::vectorstd::unique_ptrcolumn release()移交列所有權隨后num_columns()0且num_rows()0table.cppselect(begin, end)/select(indices)模板 / 向量版本按列索引區(qū)間或索引集合選取子表視圖table.hppget_column(i)column/column const返回第 i 列的引用越界拋std::out_of_rangetable.hpp此外還提供了到table_view與mutable_table_view的隱式轉換運算符table.hpp、table.hpp因此在調(diào)用接受視圖的 API 時table可以直接隱式轉換無需顯式調(diào)用view()。四、table_view 與 mutable_table_view輕量非擁有視圖table_view_baseColumnView是兩類視圖的公共實現(xiàn)cpp/include/cudf/table/table_view.hpp提供如下能力迭代器begin()/end()返回對內(nèi)部列視圖向量的迭代器支持范圍 for 遍歷各列table_view.hpp列訪問column(column_index)返回指定列的ColumnView const越界拋std::out_of_rangetable_view.hpp元數(shù)據(jù)num_columns()、num_rows()、is_empty()判斷num_columns()0table_view.hpp。4.1 構造與行數(shù)校驗視圖構造時對列大小一致性有嚴格校驗實現(xiàn)在 cpp/src/table/table_view.cpp由std::vectorColumnView構造若列數(shù)大于 0逐個斷言每列size()與首列一致不一致拋Column size mismatch.邏輯錯誤行數(shù)取首列大小空列時行數(shù)為 0由std::vectorColumnView 顯式num_rows構造校驗num_rows 0且每列大小等于num_rows否則拋std::invalid_argument。由于std::vector可以由std::initializer_list構造官方推薦直接使用花括號初始化例如column_view c0, c1, c2; table_view t{{c0, c1, c2}}; // 由三列構造視圖該寫法在 table_view.hpp 的注釋中明確給出。此外table_view與mutable_table_view還支持從向量列表拼接構造table_view(std::vectortable_view const views)會把多個視圖的列橫向拼接到一張表中并要求所有視圖行數(shù)一致否則拋logic_errortable_view.hpp。其實現(xiàn)先concatenate_column_views合并列、再由concatenated_table_num_rows校驗行數(shù)一致table_view.cpp、table_view.cpp。4.2 select按列索引選取子表table_view::select提供兩個重載迭代器區(qū)間版本模板與std::vectorsize_type版本table_view.hpp后者委托給前者table_view.cpp。其行為為返回由指定列索引組成的新視圖不拷貝數(shù)據(jù)任一索引越出[0, num_columns())拋std::out_of_range允許結果為空視圖但行數(shù)被保留。測試用例 cpp/tests/table/table_view_tests.cu 驗證了t.select({2, 3})得到的視圖第 0 列與原始表第 2 列相等、第 1 列與原始表第 3 列相等table_view_tests.cu 則驗證select({2, 3, 4})對只有兩列的表拋出std::out_of_range。4.3 mutable_table_view 的特殊行為mutable_table_view繼承table_view_basemutable_column_view額外提供column(i)返回mutable_column_view通過const_cast放寬只讀限制table_view.hpp到不可變table_view的轉換運算符實現(xiàn)為構造{begin(), end()}的列視圖向量并攜帶行數(shù)table_view.cpp由std::vectormutable_table_view拼接構造table_view.hpp。五、表級工具函數(shù)與相等比較table_view.hpp與equality.hpp還提供一組作用在整表上的工具函數(shù)多數(shù)實現(xiàn)在 cpp/src/table/table_view.cpp函數(shù)語義實現(xiàn)位置has_nested_columns(view)是否存在嵌套類型列LIST/STRUCT 等按is_nested(col.type())判斷table_view.cppnullable(view)任一列可空不深入子層級table_view.cpphas_nulls(view)任一列含空值不深入子層級table_view.cpphas_nested_nulls(input)遞歸檢查整棵列層級中的空值table_view.cpphas_nested_nullable_columns(input)遞歸檢查整棵層級中的可空列table_view.cppget_nullable_columns(table)收集所有嵌套層級的可空列返回vectorcolumn_viewtable_view.cppscatter_columns(source, map, target)按列索引映射把source的列視圖散落到target的副本中語義為out[map[i]] source[i]table_view.cppdetail::is_relationally_comparable(lhs, rhs)逐列檢查類型可關系比較且類型相同table_view.cpp5.1 tables_equal表相等比較cpp/include/cudf/table/equality.hpp 定義的tables_equal是table_classes組內(nèi)的核心計算 APIbool tables_equal(table_view const left, table_view const right, null_equality nulls_equal null_equality::EQUAL, cuda::stream_ref stream cudf::get_default_stream());返回true當且僅當行數(shù)相同、列數(shù)相同、列類型匹配且left每一行與right同索引行比較相等?？罩凳欠裣嗟扔蒼ulls_equal默認null_equality::EQUAL控制浮點 NaN 視為相等若表中含EMPTY類型則拋cudf::logic_error。其設備端實現(xiàn)在 cpp/src/table/table_equal.cu。六、實戰(zhàn)示例組合使用表對象綜合以上 API一個典型的構造 → 視圖 → 選取 → 比較流程如下寫法參照測試用例 cpp/tests/table/table_view_tests.cu 與頭文件注釋#include cudf/table/table.hpp #include cudf/table/table_view.hpp #include cudf/table/equality.hpp // 1. 用列包裝器構造列測試框架場景實際生產(chǎn)環(huán)境列來自 IO 或算子結果 cudf::test::fixed_width_column_wrapperint8_t col1{{1, 2, 3, 4}}; cudf::test::fixed_width_column_wrapperint16_t col2{{1, 2, 3, 4}}; cudf::test::fixed_width_column_wrapperint32_t col3{{4, 5, 6, 7}}; cudf::test::fixed_width_column_wrapperint64_t col4{{4, 5, 6, 7}}; // 2. 通過 initializer_list 構造視圖 cudf::table_view t{{col1, col2, col3, col4}}; assert(t.num_columns() 4 t.num_rows() 4); // 3. 選取列子集零拷貝 cudf::table_view selected t.select({2, 3}); assert(selected.num_columns() 2); // 4. 空列表視圖仍攜帶行數(shù) cudf::table_view empty_cols(std::vectorcudf::column_view{}); assert(empty_cols.num_columns() 0); // 5. 視圖 → 擁有型表深拷貝并可用隱式轉換直接比較 cudf::table owned(selected); bool equal cudf::tables_equal(selected, owned.view());生產(chǎn)環(huán)境非測試框架中列通常由cudf::make_fixed_width_column等工廠函數(shù)創(chuàng)建或由cudf::io讀入后獲得視圖構造與select、tables_equal的使用方式保持一致。需要迭代列時可直接使用范圍 forfor (auto const col : t) { // col 為 cudf::column_view }對表做字典序逐行比較等高級操作可參考 cpp/tests/table/table_view_tests.cu 中通過cudf::detail::row::lexicographic::two_table_comparator配合thrust::transform實現(xiàn)的樣例。七、關聯(lián)文檔與進一步閱讀Table Classes API 頁面入口docs/cudf/source/libcudf/api_docs/table_classes.rst類總覽頁docs/cudf/source/libcudf/api_docs/cudf_classes.rst頭文件權威 API 文檔cpp/include/cudf/table/table.hpp、cpp/include/cudf/table/table_view.hpp、cpp/include/cudf/table/equality.hpp實現(xiàn)列級基礎見 cpp/include/cudf/column/column.hpp 與 cpp/include/cudf/column/column_view.hpp表實現(xiàn)見 cpp/src/table/table.cpp、cpp/src/table/table_view.cpp、cpp/src/table/table_equal.cu測試表容器行為見 cpp/tests/table/table_tests.cpp視圖行為見 cpp/tests/table/table_view_tests.cuPython 側對應抽象cudf.DataFrame 的底層即由這些 C 表對象支撐相關用法可參考 python/cudf/cudf 目錄下的實現(xiàn)。掌握table/table_view/mutable_table_view三者之間的所有權與視圖語義是正確、高效地調(diào)用 libcudf 全部計算與 IO API 的前提——幾乎所有算子都接收table_view作為入?yún)⒉⒁詓td::unique_ptrtable作為返回值理解本組類即可順暢閱讀與使用整個 libcudf API 面。贊分享數(shù)據(jù)分析數(shù)據(jù)工程機器學習【免費下載鏈接】cudfcuDF - GPU DataFrame Library項目地址https://gitcode.com/gh_mirrors/cu/cudf點擊查看免費下載相關推薦libcudf GPU DataFrame 核心數(shù)據(jù)結構完全指南column 與 table 解析libcudf GPU DataFrame 核心數(shù)據(jù)結構完全指南column 與 table 解析 libcudf 是 cuDF 項目的 C GPU Da數(shù)據(jù)分析數(shù)據(jù)工程機器學習TBB concurrent_set 相等性比較語義解析operator 與 operator! 的規(guī)范、源碼實現(xiàn)與陷阱TBB concurrent_set 相等性比較語義解析operator 與 operator! 的規(guī)范、源碼實現(xiàn)與陷阱 本文解析 Intel oneA數(shù)據(jù)分析數(shù)據(jù)工程機器學習cuDF Column Nullmask 完全指南libcudf 有效性位掩碼 API 剖析與實戰(zhàn)cuDF Column Nullmask 完全指南libcudf 有效性位掩碼 API 剖析與實戰(zhàn) 導讀 在 GPU DataFrame 庫 cuDFlib數(shù)據(jù)分析數(shù)據(jù)工程機器學習上一篇性能基準測試MiniCPM-V在不同硬件配置下的完整評測下一篇解決90%用戶痛點MiniCPM-V模型實戰(zhàn)問題與高效解決方案創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考