文章目錄1. 課前導(dǎo)讀1.1 本節(jié)課學(xué)習(xí)目標(biāo)1.2 知識(shí)重難點(diǎn)1.3 學(xué)習(xí)前置條件1.4 學(xué)完可掌握能力1.5 行業(yè)應(yīng)用場(chǎng)景2. 核心理論精講2.1 會(huì)話Session的核心職責(zé)2.2 惰性執(zhí)行Lazy Execution2.3 Session.run() 核心參數(shù)2.4 會(huì)話配置ConfigProto2.5 從1.x到2.x會(huì)話的退役3. 環(huán)境搭建與工具配置4. 代碼實(shí)戰(zhàn)教學(xué)4.1 基本Session使用1.x風(fēng)格4.2 變量初始化與feed_dict4.3 Session配置示例4.4 獲取多個(gè)fetches4.5 InteractiveSession 便捷方式4.6 PartialRun部分執(zhí)行4.7 在2.x中使用tf.function模擬Session的惰性執(zhí)行5. 案例實(shí)操演練5.1 原始1.x代碼線性回歸5.2 在2.x環(huán)境中以兼容模式運(yùn)行5.3 對(duì)比2.x原生實(shí)現(xiàn)無(wú)Session6. 常見坑點(diǎn)與排錯(cuò)總結(jié)6.1 Session生命周期坑點(diǎn)6.2 feed_dict與placeholder6.3 分布式會(huì)話配置6.4 與Eager模式的沖突6.5 性能誤區(qū)7. 知識(shí)點(diǎn)總結(jié) 課后作業(yè)7.1 核心知識(shí)點(diǎn)梳理7.2 基礎(chǔ)作業(yè)7.3 進(jìn)階實(shí)操作業(yè)7.4 思考拓展題《TensorFlow2.x: 深度學(xué)習(xí)入門到高階實(shí)戰(zhàn)教程》系列課程導(dǎo)航1. 課前導(dǎo)讀1.1 本節(jié)課學(xué)習(xí)目標(biāo)理解TensorFlow 1.x中會(huì)話Session的核心職責(zé)圖執(zhí)行、變量初始化、資源回收。掌握tf.Session的創(chuàng)建、配置、運(yùn)行和關(guān)閉的正確流程。區(qū)分tf.InteractiveSession與常規(guī)會(huì)話的區(qū)別。理解惰性執(zhí)行的概念構(gòu)建圖并不執(zhí)行只有運(yùn)行Session才觸發(fā)計(jì)算。學(xué)習(xí)在TensorFlow 2.x中如何通過(guò)tf.compat.v1模塊調(diào)用Session并了解2.x的即時(shí)執(zhí)行如何替代Session。掌握tf.function底層圖執(zhí)行與資源管理的原理理解其與會(huì)話的異同。1.2 知識(shí)重難點(diǎn)類別內(nèi)容重點(diǎn)tf.Session.run()的參數(shù)fetches, feed_dicttf.global_variables_initializer()ConfigProto配置GPU選項(xiàng)、日志難點(diǎn)分布式會(huì)話與tf.train.MonitoredTrainingSessiontf.function隱式圖執(zhí)行與會(huì)話的資源管理對(duì)比f(wàn)eed_dict 與 tf.placeholder 的替代方案易混淆點(diǎn)Session關(guān)閉后的再次使用InteractiveSession與Session的默認(rèn)圖設(shè)置PartialRun與多次run的區(qū)別1.3 學(xué)習(xí)前置條件已完成第8課計(jì)算圖的學(xué)習(xí)理解圖的概念。了解TensorFlow 1.x的基本代碼風(fēng)格可選本課會(huì)講解。具備Python上下文管理器with的知識(shí)。1.4 學(xué)完可掌握能力能夠閱讀和遷移TensorFlow 1.x遺留代碼理解其中的Session操作。在2.x中利用tf.compat.v1.Session進(jìn)行兼容性調(diào)試或特殊場(chǎng)景如顯式資源控制。深入理解tf.function的執(zhí)行性能調(diào)優(yōu)包括資源復(fù)用和內(nèi)存回收。診斷并解決與Session生命周期相關(guān)的運(yùn)行時(shí)錯(cuò)誤。1.5 行業(yè)應(yīng)用場(chǎng)景遺留系統(tǒng)維護(hù)大量生產(chǎn)環(huán)境模型仍基于TensorFlow 1.x需要理解Session機(jī)制以進(jìn)行調(diào)試和優(yōu)化。資源受限部署使用Session可以精確控制GPU內(nèi)存分配和回收適合邊緣設(shè)備。高級(jí)性能調(diào)優(yōu)使用PartialRun實(shí)現(xiàn)交叉輸入的計(jì)算優(yōu)化。分布式訓(xùn)練MonitoredSession配合tf.train.ClusterSpec管理多節(jié)點(diǎn)會(huì)話。2. 核心理論精講2.1 會(huì)話Session的核心職責(zé)在TensorFlow 1.x中計(jì)算圖Graph僅定義了操作和依賴關(guān)系并不執(zhí)行。Session負(fù)責(zé)內(nèi)存分配為圖中的變量和張量分配內(nèi)存CPU/GPU。操作調(diào)度根據(jù)設(shè)備分配和依賴關(guān)系按拓?fù)漤樞驁?zhí)行節(jié)點(diǎn)。結(jié)果返回將fetches指定的輸出張量值返回給Python客戶端。資源回收會(huì)話結(jié)束時(shí)釋放占用的系統(tǒng)資源。一個(gè)典型的1.x程序結(jié)構(gòu)構(gòu)建圖創(chuàng)建tf.Graph或默認(rèn)圖添加操作和變量。創(chuàng)建tf.Session可指定config、target分布式。初始化變量調(diào)用tf.global_variables_initializer().run()。執(zhí)行訓(xùn)練多次調(diào)用session.run(train_op, feed_dict)。關(guān)閉會(huì)話session.close()或使用上下文管理器。2.2 惰性執(zhí)行Lazy Execution惰性執(zhí)行是指定義操作時(shí)不立即計(jì)算只有通過(guò)Session.run()時(shí)才執(zhí)行。這帶來(lái)以下特性圖優(yōu)化在運(yùn)行前可進(jìn)行算子融合、常量折疊。延遲執(zhí)行多次run可以復(fù)用同一張圖避免重復(fù)定義。靈活輸入通過(guò)feed_dict在運(yùn)行時(shí)注入數(shù)據(jù)對(duì)應(yīng)tf.placeholder。相比于2.x的即時(shí)執(zhí)行惰性執(zhí)行的優(yōu)勢(shì)在于性能優(yōu)化和分布式部署缺點(diǎn)在于調(diào)試?yán)щy和代碼冗長(zhǎng)。2.3Session.run()核心參數(shù)fetches可以是操作Operation或張量Tensor用于指定需要執(zhí)行并返回的節(jié)點(diǎn)。支持列表、字典、元組等嵌套結(jié)構(gòu)。feed_dict將tf.placeholder張量映射到具體的數(shù)值Numpy數(shù)組或張量用于輸入數(shù)據(jù)。options / run_metadata高級(jí)選項(xiàng)用于性能分析。run()會(huì)阻塞直到結(jié)果計(jì)算完成并返回與fetches結(jié)構(gòu)一致的結(jié)果。2.4 會(huì)話配置ConfigPrototf.ConfigProto用于配置會(huì)話行為常見選項(xiàng)allow_soft_placement當(dāng)指定設(shè)備不存在時(shí)自動(dòng)放到可用設(shè)備。log_device_placement打印設(shè)備分配日志。gpu_options.allow_growthGPU內(nèi)存按需增長(zhǎng)而非一次性占用全部。gpu_options.per_process_gpu_memory_fraction限制GPU內(nèi)存使用比例。intra_op_parallelism_threads/inter_op_parallelism_threads控制線程池大小。2.5 從1.x到2.x會(huì)話的退役TensorFlow 2.x默認(rèn)采用即時(shí)執(zhí)行不再需要Session。但為了兼容性tf.compat.v1.Session提供了幾乎相同的API。同時(shí)2.x的tf.function將Python函數(shù)轉(zhuǎn)換為圖執(zhí)行時(shí)內(nèi)部隱式管理類似會(huì)話的資源但用戶無(wú)需顯式創(chuàng)建和關(guān)閉。對(duì)比概念TensorFlow 1.xTensorFlow 2.x執(zhí)行入口Session.run()直接調(diào)用張量運(yùn)算或函數(shù)數(shù)據(jù)輸入feed_dict placeholder直接傳入張量或Python數(shù)值變量初始化tf.global_variables_initializer()變量創(chuàng)建時(shí)立即初始化資源管理需手動(dòng)close()或with塊自動(dòng)管理無(wú)需干預(yù)3. 環(huán)境搭建與工具配置本課需要在TensorFlow 2.x環(huán)境中演示兼容1.x的Session用法同時(shí)也可選擇安裝TensorFlow 1.15進(jìn)行對(duì)比可選。我們使用2.13版本并導(dǎo)入tf.compat.v1。conda activate tf213 python確認(rèn)導(dǎo)入importtensorflowastf tf.compat.v1.disable_eager_execution()# 可切換到1.x行為可選本課會(huì)講但通常我們保留Eager模式然后通過(guò)tf.compat.v1.Session局部使用。4. 代碼實(shí)戰(zhàn)教學(xué)4.1 基本Session使用1.x風(fēng)格importtensorflowastf# 為了演示清晰我們臨時(shí)切換到v1 API風(fēng)格但僅在特定代碼塊# 注意不要全局disable_eager以免影響其他代碼# 方法1使用tf.compat.v1 APIwithtf.compat.v1.Session()assess:# 定義常量atf.constant(3.0)btf.constant(4.0)cab# 執(zhí)行并獲取結(jié)果resultsess.run(c)print(c ,result)# 7.04.2 變量初始化與feed_dict# 使用placeholder作為輸入withtf.compat.v1.Session()assess:xtf.compat.v1.placeholder(tf.float32,shape(2,),namex)ytf.compat.v1.placeholder(tf.float32,shape(2,),namey)zxy# 運(yùn)行需要feed_dict提供具體數(shù)值resultsess.run(z,feed_dict{x:[1.0,2.0],y:[3.0,4.0]})print(z ,result)# [4.0, 6.0]# 變量需要初始化wtf.Variable(tf.ones((2,)),namew)# 初始化操作init_optf.compat.v1.global_variables_initializer()sess.run(init_op)print(w ,sess.run(w))4.3 Session配置示例# 配置GPU內(nèi)存增長(zhǎng)configtf.compat.v1.ConfigProto()config.gpu_options.allow_growthTrueconfig.log_device_placementFalse# 是否打印設(shè)備分配withtf.compat.v1.Session(configconfig)assess:atf.constant([1,2,3])btf.constant([4,5,6])cabprint(sess.run(c))4.4 獲取多個(gè)fetcheswithtf.compat.v1.Session()assess:xtf.constant(2)ytf.square(x)ztf.sqrt(tf.cast(x,tf.float32))# 同時(shí)獲取多個(gè)結(jié)果res_y,res_zsess.run([y,z])print(y ,res_y,z ,res_z)# 使用字典命名返回結(jié)果resultssess.run({sq:y,sqrt:z})print(results)4.5 InteractiveSession 便捷方式# InteractiveSession會(huì)設(shè)置自身為默認(rèn)會(huì)話且Tensor.eval()可直接使用sesstf.compat.v1.InteractiveSession()atf.constant(5.0)btf.constant(6.0)ca*b# 不需要顯式sess.run可以直接eval()print(c ,c.eval())# 30.0sess.close()4.6 PartialRun部分執(zhí)行# 對(duì)于需要多次feed不同輸入但圖結(jié)構(gòu)固定的場(chǎng)景PartialRun可減少開銷withtf.compat.v1.Session()assess:atf.compat.v1.placeholder(tf.float32,shape(2,))btf.compat.v1.placeholder(tf.float32,shape(2,))cab da*b# 創(chuàng)建部分運(yùn)行句柄prsess.partial_run_setup([c,d],[a,b])# 第一次執(zhí)行只提供a執(zhí)行到c注意必須提供所有依賴的feedPartialRun允許先給一部分# 實(shí)際使用復(fù)雜一般場(chǎng)景較少# 示例先運(yùn)行c后運(yùn)行dres_csess.partial_run(pr,c,feed_dict{a:[1,1],b:[2,2]})res_dsess.partial_run(pr,d,feed_dict{a:[3,3],b:[4,4]})print(res_c,res_d)4.7 在2.x中使用tf.function模擬Session的惰性執(zhí)行# 2.x的tf.function將函數(shù)轉(zhuǎn)為圖調(diào)用時(shí)隱式執(zhí)行但類似Session.runtf.functiondefgraph_func(x,y):returnxy# 調(diào)用時(shí)立即執(zhí)行但內(nèi)部使用圖resultgraph_func(tf.constant(1),tf.constant(2))print(result)# 3# 查看生成的圖concretegraph_func.get_concrete_function(tf.TensorSpec(shape(),dtypetf.int32),tf.TensorSpec(shape(),dtypetf.int32))print(concrete.graph.as_graph_def())5. 案例實(shí)操演練案例將TensorFlow 1.x的線性回歸代碼遷移到2.x兼容模式理解Session執(zhí)行流程。5.1 原始1.x代碼線性回歸importtensorflow.compat.v1astf tf.disable_v2_behavior()# 生成合成數(shù)據(jù)importnumpyasnp X_trainnp.linspace(0,10,100)y_train2*X_train1np.random.randn(100)*0.5# 定義圖Xtf.placeholder(tf.float32,shape(None,),nameX)ytf.placeholder(tf.float32,shape(None,),namey)wtf.Variable(0.0,nameweight)btf.Variable(0.0,namebias)y_predw*Xb losstf.reduce_mean(tf.square(y-y_pred))optimizertf.train.GradientDescentOptimizer(learning_rate0.01).minimize(loss)inittf.global_variables_initializer()# 創(chuàng)建會(huì)話并訓(xùn)練withtf.Session()assess:sess.run(init)forepochinrange(100):_,lsess.run([optimizer,loss],feed_dict{X:X_train,y:y_train})ifepoch%200:print(fEpoch{epoch}, loss{l:.4f})w_val,b_valsess.run([w,b])print(fTrained: w{w_val:.3f}, b{b_val:.3f})5.2 在2.x環(huán)境中以兼容模式運(yùn)行importtensorflowastfimportnumpyasnp# 使用compat.v1模塊但不完全禁用v2行為可以局部使用X_trainnp.linspace(0,10,100).astype(np.float32)y_train(2*X_train1np.random.randn(100)*0.5).astype(np.float32)# 在tf.compat.v1命名空間下操作tf_v1tf.compat.v1 Xtf_v1.placeholder(tf.float32,shape(None,),nameX)ytf_v1.placeholder(tf.float32,shape(None,),namey)wtf_v1.Variable(0.0,nameweight)btf_v1.Variable(0.0,namebias)y_predw*Xb losstf_v1.reduce_mean(tf.square(y-y_pred))optimizertf_v1.train.GradientDescentOptimizer(learning_rate0.01).minimize(loss)inittf_v1.global_variables_initializer()# 創(chuàng)建會(huì)話withtf_v1.Session()assess:sess.run(init)forepochinrange(100):_,lsess.run([optimizer,loss],feed_dict{X:X_train,y:y_train})ifepoch%200:print(fEpoch{epoch}, loss{l:.4f})w_val,b_valsess.run([w,b])print(fTrained: w{w_val:.3f}, b{b_val:.3f})5.3 對(duì)比2.x原生實(shí)現(xiàn)無(wú)Session# 2.x原生方式X_tensortf.constant(X_train)y_tensortf.constant(y_train)w_vartf.Variable(0.0)b_vartf.Variable(0.0)optimizertf.keras.optimizers.SGD(0.01)deftrain_step(X,y):withtf.GradientTape()astape:y_predw_var*Xb_var losstf.reduce_mean(tf.square(y-y_pred))gradstape.gradient(loss,[w_var,b_var])optimizer.apply_gradients(zip(grads,[w_var,b_var]))returnlossforepochinrange(100):loss_valtrain_step(X_tensor,y_tensor)ifepoch%200:print(fEpoch{epoch}, loss{loss_val:.4f})print(fTrained: w{w_var.numpy():.3f}, b{b_var.numpy():.3f})通過(guò)對(duì)比讀者可體會(huì)到2.x代碼的簡(jiǎn)潔性但也理解了Session背后的資源管理。6. 常見坑點(diǎn)與排錯(cuò)總結(jié)6.1 Session生命周期坑點(diǎn)坑1Session未關(guān)閉導(dǎo)致資源泄漏GPU顯存占用不釋放。解決使用with tf.Session() as sess:上下文管理器或顯式調(diào)用sess.close()?？?在Session關(guān)閉后仍然調(diào)用run()拋出RuntimeError: Attempted to use a closed Session.解決確保所有執(zhí)行在上下文內(nèi)。6.2 feed_dict與placeholder坑3忘記feed所有placeholder錯(cuò)誤提示You must feed a value for placeholder tensor ...解決檢查feed_dict中的key是否匹配placeholder且shape/dtype正確?？?feed_dict傳入Numpy數(shù)組與placeholder的dtype不匹配可能靜默轉(zhuǎn)換或報(bào)錯(cuò)。解決顯式轉(zhuǎn)換數(shù)據(jù)類型或在placeholder中設(shè)置dtypetf.float32等。6.3 分布式會(huì)話配置坑5使用tf.train.MonitoredTrainingSession時(shí)未正確設(shè)置chief workers導(dǎo)致會(huì)話掛起。解決閱讀分布式文檔明確is_chief參數(shù)。6.4 與Eager模式的沖突坑6在2.x中調(diào)用tf.compat.v1.Session但未禁用Eager可能出現(xiàn)RuntimeError: tf.placeholder() is not compatible with eager execution.解決在包含placeholder的代碼塊前調(diào)用tf.compat.v1.disable_eager_execution()或改用tf.compat.v1.placeholder并確保執(zhí)行時(shí)Eager被臨時(shí)禁用無(wú)法混用最好獨(dú)立腳本。坑7試圖在Eager環(huán)境下使用tf.Session.run去執(zhí)行包含tf.Variable的操作但變量未在Session中初始化。解決要么完全使用v1模式disable_eager_execution要么遷移到v2。6.5 性能誤區(qū)誤區(qū)1每次迭代都創(chuàng)建新的Session開銷巨大。應(yīng)該復(fù)用Session。誤區(qū)2濫用InteractiveSession導(dǎo)致隱式默認(rèn)會(huì)話混亂。推薦顯式使用with Session。7. 知識(shí)點(diǎn)總結(jié) 課后作業(yè)7.1 核心知識(shí)點(diǎn)梳理Session職責(zé)執(zhí)行圖、管理資源、分配設(shè)備。惰性執(zhí)行圖定義與執(zhí)行分離Session.run觸發(fā)計(jì)算。feed_dict運(yùn)行時(shí)注入數(shù)據(jù)給placeholder。ConfigProto配置GPU選項(xiàng)、線程數(shù)、設(shè)備放置策略。1.x到2.x遷移tf.compat.v1提供兼容但推薦使用Eager tf.function。替代方案2.x中不需要會(huì)話但理解Session有助于底層調(diào)試。7.2 基礎(chǔ)作業(yè)使用tf.compat.v1.Session計(jì)算函數(shù) ( f(x) 3x^2 2x 1 ) 在 ( x2 ) 和 ( x5 ) 處的值要求使用placeholder。創(chuàng)建一個(gè)Session配置允許GPU內(nèi)存增長(zhǎng)并打印執(zhí)行a tf.constant([[1,2],[3,4]]); b tf.linalg.matmul(a, a)時(shí)的設(shè)備放置信息設(shè)置log_device_placementTrue。解釋為什么在2.x中不再需要顯式的Session.close()。7.3 進(jìn)階實(shí)操作業(yè)任務(wù)將1.x的MNIST softmax分類代碼遷移到2.x兼容模式并評(píng)估性能提供1.x代碼框架使用tf.compat.v1要求使用placeholder輸入圖像和標(biāo)簽。使用tf.nn.softmax_cross_entropy_with_logits等op。使用GradientDescentOptimizer。通過(guò)feed_dict在每個(gè)epoch喂入數(shù)據(jù)。訓(xùn)練結(jié)束后輸出測(cè)試集準(zhǔn)確率。然后將上述代碼改寫為2.x原生風(fēng)格無(wú)Session使用tf.GradientTape對(duì)比訓(xùn)練時(shí)間。附加要求在兩種實(shí)現(xiàn)中都記錄從創(chuàng)建圖/變量到訓(xùn)練完成的耗時(shí)分析Session開銷。7.4 思考拓展題在1.x中tf.train.Coordinator和QueueRunner常用于多線程輸入。它們與Session的關(guān)系是什么2.x中如何替代這些機(jī)制假設(shè)你有一個(gè)TensorFlow 1.x的SavedModel其中包含圖定義和checkpoint。在不重新訓(xùn)練的情況下如何在2.x環(huán)境中加載并執(zhí)行推理提示tf.compat.v1.Sessiontf.saved_model.loader.load分析以下代碼為什么會(huì)導(dǎo)致內(nèi)存不斷增長(zhǎng)如何修復(fù)importtensorflow.compat.v1astf tf.disable_v2_behavior()foriinrange(100):atf.constant([i])ba1withtf.Session()assess:print(sess.run(b))下一課預(yù)告專欄基礎(chǔ)階段綜合實(shí)操——我們將利用前9課的知識(shí)完成一個(gè)綜合項(xiàng)目從數(shù)據(jù)加載、張量操作、自動(dòng)微分到模型訓(xùn)練融會(huì)貫通基礎(chǔ)階段的所有核心技能。《TensorFlow2.x: 深度學(xué)習(xí)入門到高階實(shí)戰(zhàn)教程》系列課程導(dǎo)航去訂閱第一部分基礎(chǔ)入門1-10 課第二部分神經(jīng)網(wǎng)絡(luò)核心11-25 課第三部分進(jìn)階網(wǎng)絡(luò)與框架高階26-40 課第四部分企業(yè)實(shí)戰(zhàn)與項(xiàng)目落地41-50 課 感謝您耐心閱讀到這里 如果本文對(duì)您有所啟發(fā)歡迎 點(diǎn)贊 收藏 分享給更多需要的伙伴。? 期待在評(píng)論區(qū)看到您的想法, 共同進(jìn)步。 關(guān)注我持續(xù)獲取更多干貨內(nèi)容 我們下篇文章見