1. 項目概述為什么要在Windows上折騰Hadoop如果你和我一樣主要工作環(huán)境是Windows但又需要學習、測試或者開發(fā)基于Hadoop的大數(shù)據(jù)應用那么直接在Windows上安裝一個單機版的Hadoop就成了一個繞不開的“必修課”。很多人一聽到Hadoop第一反應就是Linux集群覺得在Windows上搞這個純屬自找麻煩。但說實話對于絕大多數(shù)開發(fā)者、學生或者數(shù)據(jù)分析師來說我們需要的并不是一個生產(chǎn)級別的、多節(jié)點的高可用集群而是一個能在本機快速搭建、用于代碼調(diào)試、功能驗證和學習原理的沙箱環(huán)境。Hadoop 3.1.3是一個比較經(jīng)典的穩(wěn)定版本雖然現(xiàn)在有更新的3.2.x、3.3.x但3.1.3的文檔和社區(qū)資源非常豐富踩坑時更容易找到解決方案對于入門和日常開發(fā)測試來說完全夠用。在Windows上安裝它核心目的就是模擬一個完整的Hadoop運行環(huán)境讓你能夠運行MapReduce程序、操作HDFS文件系統(tǒng)甚至跑一跑Hive、Spark on YARN等上層應用而無需額外準備Linux服務器或虛擬機極大提升了學習和開發(fā)前期的效率。當然Windows并非Hadoop的原生支持平臺所以整個過程會涉及到一些“非標準”操作比如需要借助一些工具來提供Linux環(huán)境下的基礎(chǔ)服務。別擔心我會把每一步的原理、可能遇到的坑以及我的解決經(jīng)驗都詳細拆解出來。只要你跟著步驟走保持耐心在Windows 10或Windows 11上成功跑起Hadoop 3.1.3是完全可以實現(xiàn)的。整個過程我們追求的不是極致的性能而是環(huán)境的可用性、穩(wěn)定性和可復現(xiàn)性。2. 核心思路與前置準備模擬Linux環(huán)境是關(guān)鍵在Linux上安裝Hadoop相對直接因為其底層依賴如Shell環(huán)境、文件系統(tǒng)權(quán)限、原生庫都是現(xiàn)成的。而在Windows上我們需要一個“橋梁”來滿足這些依賴。主流方案有兩種使用Cygwin或使用Windows Subsystem for Linux (WSL)。我這里強烈推薦并詳細講解基于WSL的方案因為它更接近原生Linux性能損耗小且與Windows系統(tǒng)集成度更高管理起來更方便。2.1 方案選型為什么是WSL而不是CygwinCygwin是一個在Windows上模擬POSIX兼容環(huán)境的大型工具集它通過一個兼容層cygwin1.dll將Linux API調(diào)用翻譯成Windows API。早期很多在Windows上運行Hadoop的教程都基于Cygwin。但它有幾個明顯缺點性能開銷兼容層帶來了額外的性能損耗。路徑問題Cygwin的路徑如/cygdrive/c/Users與Windows路徑C:\Users需要轉(zhuǎn)換在配置Hadoop時容易混淆。環(huán)境復雜安裝包龐大需要手動選擇很多開發(fā)包對新手不友好。WSLWindows Subsystem for Linux則是微軟官方提供的、在Windows內(nèi)核之上運行一個完整的Linux兼容層。WSL 2更是基于輕量級虛擬機技術(shù)提供了完整的Linux內(nèi)核。它的優(yōu)勢在于近乎原生性能文件I/O、網(wǎng)絡等性能接近原生Linux。無縫交互可以直接在Windows資源管理器中訪問Linux文件系統(tǒng)\\wsl$也可以在Linux中通過/mnt/c訪問Windows盤符路徑處理清晰。系統(tǒng)集成好通過wsl命令在Windows終端如Windows Terminal中直接啟動Linux Shell體驗流暢。因此我們的核心思路就是在Windows上啟用WSL 2并安裝一個Linux發(fā)行版如Ubuntu然后在這個Linux子系統(tǒng)中安裝和配置Hadoop。這樣Hadoop實際上是運行在一個“真正的”Linux環(huán)境中只是這個環(huán)境被Windows托管了。2.2 準備工作清單在開始安裝Hadoop之前我們需要確保Windows環(huán)境就緒。請按順序完成以下檢查與安裝操作系統(tǒng)版本確保你的Windows 10版本為2004及以上內(nèi)部版本19041及以上或者Windows 11。這是支持WSL 2的最低要求。可以在“設(shè)置”-“系統(tǒng)”-“關(guān)于”中查看。啟用WSL功能以管理員身份打開Windows PowerShell或命令提示符運行以下命令。這會啟用“適用于Linux的Windows子系統(tǒng)”和“虛擬機平臺”兩個可選功能。dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart執(zhí)行后務必重啟電腦使更改生效。設(shè)置WSL 2為默認版本重啟后再次以管理員身份打開PowerShell運行wsl --set-default-version 2如果提示W(wǎng)SL 2需要內(nèi)核更新請根據(jù)提示鏈接下載并安裝“WSL2 Linux內(nèi)核更新包”。安裝Linux發(fā)行版打開Microsoft Store搜索“Ubuntu”。建議選擇最新的LTS版本例如“Ubuntu 22.04 LTS”。點擊獲取并安裝。安裝完成后從開始菜單啟動Ubuntu它會完成初始設(shè)置要求你創(chuàng)建用戶名和密碼。這個用戶名和密碼很重要后續(xù)會頻繁使用。驗證WSL版本安裝好Ubuntu后在Windows PowerShell中運行wsl -l -v你應該能看到安裝的發(fā)行版如Ubuntu-22.04及其版本VERSION列應為2。注意如果你的網(wǎng)絡環(huán)境訪問Microsoft Store有困難也可以手動下載Linux發(fā)行版的Appx包進行離線安裝。但通過Store安裝是最簡單的方式。至此你的Windows已經(jīng)擁有了一個完整的Linux運行環(huán)境。接下來所有的操作除非特別說明都將在WSL中的Ubuntu終端里進行。3. 詳細安裝與配置步驟實錄現(xiàn)在我們進入WSL的Ubuntu環(huán)境開始Hadoop的安裝之旅。打開Windows Terminal推薦或PowerShell輸入wsl或ubuntu命令即可進入Ubuntu命令行。3.1 基礎(chǔ)環(huán)境配置用戶、SSH與JavaHadoop分布式運行需要SSH免密登錄即使單機模式某些腳本也會檢查SSH服務。同時Hadoop是Java編寫的所以JDK是必須的。3.1.1 更新系統(tǒng)與創(chuàng)建Hadoop專用用戶雖然可以使用安裝時創(chuàng)建的個人用戶但為了環(huán)境隔離和避免權(quán)限問題我習慣為Hadoop創(chuàng)建一個專用用戶。# 首先更新軟件包列表 sudo apt update sudo apt upgrade -y # 創(chuàng)建名為 hadoop 的用戶并設(shè)置密碼按提示輸入 sudo adduser hadoop系統(tǒng)會提示你設(shè)置密碼和填寫一些信息密碼可以簡單點如hadoop其他信息可以直接回車跳過。接下來我們需要給這個新用戶添加sudo權(quán)限方便后續(xù)安裝軟件sudo usermod -aG sudo hadoop然后切換到hadoop用戶進行操作su - hadoop輸入你剛才設(shè)置的密碼。你會發(fā)現(xiàn)命令行提示符的用戶名變成了hadoop。3.1.2 配置SSH免密登錄Hadoop的啟動腳本如start-dfs.sh,start-yarn.sh需要通過SSH連接到各個節(jié)點包括本地來啟動守護進程。配置免密登錄后這些腳本才能無干預運行。# 1. 安裝SSH服務器和客戶端 sudo apt install openssh-server openssh-client -y # 2. 生成SSH密鑰對。一路回車使用默認位置和不設(shè)置密碼。 ssh-keygen -t rsa -P -f ~/.ssh/id_rsa # 3. 將公鑰追加到授權(quán)密鑰文件并設(shè)置正確的權(quán)限 cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys # 4. 測試SSH連接到本機是否不需要密碼 ssh localhost第一次SSH連接時會詢問是否將主機加入已知主機列表輸入yes。如果配置成功你應該能直接登錄到本機而不需要輸入密碼。執(zhí)行exit命令退出SSH會話回到原來的終端。實操心得如果ssh localhost仍然要求輸入密碼99%的原因是~/.ssh目錄或authorized_keys文件的權(quán)限不對。確保.ssh目錄權(quán)限為700 (chmod 700 ~/.ssh)authorized_keys文件權(quán)限為600。3.1.3 安裝Java (JDK 8)Hadoop 3.1.3官方兼容JDK 8。雖然更高版本也可能工作但為了最大程度避免兼容性問題我們安裝OpenJDK 8。sudo apt install openjdk-8-jdk -y安裝完成后驗證安裝java -version你應該看到類似openjdk version 1.8.0_392的輸出。接下來需要配置JAVA_HOME環(huán)境變量。首先找到JDK的安裝路徑update-alternatives --config java記下路徑例如/usr/lib/jvm/java-8-openjdk-amd64/jre/bin/java。那么JAVA_HOME就是其上級目錄的上級目錄/usr/lib/jvm/java-8-openjdk-amd64。編輯hadoop用戶的bash配置文件nano ~/.bashrc在文件末尾添加以下行請根據(jù)你實際查到的路徑修改export JAVA_HOME/usr/lib/jvm/java-8-openjdk-amd64 export PATH$PATH:$JAVA_HOME/bin保存退出CtrlX然后按Y再回車。讓配置立即生效source ~/.bashrc驗證JAVA_HOMEecho $JAVA_HOME應該正確輸出你設(shè)置的路徑。3.2 Hadoop 3.1.3 安裝與核心配置3.2.1 下載與解壓我們切換到hadoop用戶的家目錄進行操作。cd ~使用wget從Apache鏡像下載Hadoop 3.1.3二進制包。如果下載速度慢可以先用瀏覽器從 Apache Hadoop官網(wǎng) 找到下載鏈接然后在WSL里用wget加鏈接下載。wget https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz下載完成后解壓并移動到合適的目錄。我習慣放在/usr/local下但為了權(quán)限方便我們先解壓到當前用戶目錄然后建立軟鏈接或直接配置環(huán)境變量。tar -xzvf hadoop-3.1.3.tar.gz mv hadoop-3.1.3 ~/hadoop # 重命名并移動到用戶目錄下方便管理現(xiàn)在Hadoop的主目錄就是/home/hadoop/hadoop。3.2.2 配置環(huán)境變量同樣編輯~/.bashrc文件nano ~/.bashrc在文件末尾添加Hadoop相關(guān)環(huán)境變量export HADOOP_HOME/home/hadoop/hadoop export HADOOP_INSTALL$HADOOP_HOME export HADOOP_MAPRED_HOME$HADOOP_HOME export HADOOP_COMMON_HOME$HADOOP_HOME export HADOOP_HDFS_HOME$HADOOP_HOME export YARN_HOME$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR$HADOOP_HOME/lib/native export PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin保存退出并使其生效source ~/.bashrc驗證輸入hadoop version應該能看到Hadoop 3.1.3的版本信息。3.2.3 修改Hadoop配置文件最關(guān)鍵的一步Hadoop的配置文件位于$HADOOP_HOME/etc/hadoop/目錄下。我們需要修改以下幾個核心文件。請務必仔細核對每項配置。1.hadoop-env.sh配置Hadoop運行環(huán)境。cd $HADOOP_HOME/etc/hadoop nano hadoop-env.sh找到export JAVA_HOME這一行取消注釋并設(shè)置為我們之前找到的JDK路徑export JAVA_HOME/usr/lib/jvm/java-8-openjdk-amd64還可以在同一文件中設(shè)置Hadoop的日志目錄等但默認即可。2.core-site.xmlHadoop核心配置定義文件系統(tǒng)默認的URI和臨時目錄。nano core-site.xml在configuration標簽內(nèi)添加configuration property namefs.defaultFS/name valuehdfs://localhost:9000/value descriptionHDFS的默認訪問地址和端口/description /property property namehadoop.tmp.dir/name value/home/hadoop/hadoopdata/tmp/value descriptionHadoop臨時文件存儲目錄非常重要NameNode和DataNode的數(shù)據(jù)目錄會基于此生成。/description /property /configuration注意hadoop.tmp.dir的路徑需要提前創(chuàng)建并且hadoop用戶要有讀寫權(quán)限。我們稍后創(chuàng)建。3.hdfs-site.xmlHDFS相關(guān)配置如副本數(shù)、數(shù)據(jù)存儲路徑。nano hdfs-site.xml在configuration標簽內(nèi)添加。因為是單機模式我們把副本數(shù)設(shè)為1并明確指定NameNode和DataNode的數(shù)據(jù)存儲目錄。configuration property namedfs.replication/name value1/value description數(shù)據(jù)塊副本數(shù)量單機模式設(shè)為1/description /property property namedfs.namenode.name.dir/name valuefile:///home/hadoop/hadoopdata/dfs/name/value descriptionNameNode元數(shù)據(jù)存儲路徑/description /property property namedfs.datanode.data.dir/name valuefile:///home/hadoop/hadoopdata/dfs/data/value descriptionDataNode數(shù)據(jù)塊存儲路徑/description /property /configuration4.mapred-site.xmlMapReduce框架配置指定使用YARN作為資源調(diào)度器。nano mapred-site.xmlconfiguration property namemapreduce.framework.name/name valueyarn/value description指定MapReduce作業(yè)運行在YARN框架上/description /property /configuration5.yarn-site.xmlYARN資源管理器配置。nano yarn-site.xmlconfiguration property nameyarn.nodemanager.aux-services/name valuemapreduce_shuffle/value descriptionNodeManager上運行的附屬服務MapReduce需要shuffle服務/description /property property nameyarn.nodemanager.aux-services.mapreduce_shuffle.class/name valueorg.apache.hadoop.mapred.ShuffleHandler/value /property property nameyarn.resourcemanager.hostname/name valuelocalhost/value descriptionResourceManager運行的主機名/description /property /configuration3.2.4 創(chuàng)建必要的目錄并設(shè)置權(quán)限根據(jù)配置文件中的路徑創(chuàng)建所有需要的目錄mkdir -p ~/hadoopdata/tmp mkdir -p ~/hadoopdata/dfs/name mkdir -p ~/hadoopdata/dfs/data確保hadoop用戶擁有這些目錄的所有權(quán)chown -R hadoop:hadoop ~/hadoopdata chmod -R 755 ~/hadoopdata4. 啟動、驗證與基礎(chǔ)操作經(jīng)過漫長的配置終于到了激動人心的啟動時刻。4.1 格式化HDFS這是第一次啟動前必須且只能執(zhí)行一次的操作它會初始化NameNode的元數(shù)據(jù)存儲目錄。如果后續(xù)啟動失敗需要重新格式化務必先徹底刪除~/hadoopdata/dfs/name和~/hadoopdata/dfs/data目錄下的所有內(nèi)容否則可能導致數(shù)據(jù)不一致。hdfs namenode -format看到類似 “Storage directory /home/hadoop/hadoopdata/dfs/name has been successfully formatted” 的提示說明格式化成功。4.2 啟動Hadoop守護進程Hadoop提供了便捷的腳本啟動所有服務。我們先啟動HDFS。start-dfs.sh這個腳本會啟動NameNode、DataNode和SecondaryNameNode。你會看到一些啟動日志。用jps命令Java進程查看工具來檢查是否啟動成功jps你應該能看到至少包含NameNode,DataNode,SecondaryNameNode的進程列表。接下來啟動YARNstart-yarn.sh再次運行jps應該會多出ResourceManager和NodeManager進程。4.3 驗證服務與Web UI訪問Hadoop各個組件都提供了Web管理界面這是驗證服務是否正常運行的直觀方式。HDFS NameNode UI: 在Windows的瀏覽器中打開http://localhost:9870。注意Hadoop 3.x 默認NameNode的Web端口從50070改為了9870。如果頁面能打開并顯示Overview、Datanodes等信息說明HDFS啟動成功。YARN ResourceManager UI: 打開http://localhost:8088。這里可以查看集群資源使用情況和提交的作業(yè)。重要提示由于Hadoop服務運行在WSL的Linux環(huán)境中而瀏覽器在Windows端localhost能互通是因為WSL 2做了網(wǎng)絡橋接。如果無法訪問請檢查WSL 2的防火墻設(shè)置或者嘗試在WSL內(nèi)部用curl http://localhost:9870測試服務是否在監(jiān)聽。4.4 基礎(chǔ)HDFS操作體驗現(xiàn)在讓我們在命令行中體驗一下HDFS的基本操作感受一下這個“分布式”文件系統(tǒng)。# 1. 在HDFS上創(chuàng)建一個用戶目錄類似于Linux的/home hdfs dfs -mkdir -p /user/hadoop # 2. 從本地文件系統(tǒng)上傳一個文件到HDFS。先創(chuàng)建一個測試文件。 echo Hello, Hadoop on Windows with WSL! ~/test.txt hdfs dfs -put ~/test.txt /user/hadoop/ # 3. 查看HDFS上的文件列表 hdfs dfs -ls /user/hadoop # 4. 查看HDFS上文件的內(nèi)容 hdfs dfs -cat /user/hadoop/test.txt # 5. 從HDFS下載文件到本地 hdfs dfs -get /user/hadoop/test.txt ~/test_download.txt cat ~/test_download.txt如果這些命令都能成功執(zhí)行那么恭喜你一個單機版的Hadoop已經(jīng)在你的Windows上完美運行起來了4.5 運行一個示例MapReduce作業(yè)Hadoop自帶了一些示例JAR包我們可以運行經(jīng)典的WordCount程序來測試整個MapReduce on YARN的流程是否通暢。# 1. 在HDFS上創(chuàng)建輸入目錄并上傳一些文本文件作為輸入。 # 我們可以用Hadoop的配置文件作為輸入源。 hdfs dfs -mkdir /user/hadoop/input hdfs dfs -put $HADOOP_HOME/etc/hadoop/*.xml /user/hadoop/input/ # 2. 運行WordCount示例程序。 # hadoop-mapreduce-examples-3.1.3.jar 包含了各種示例。 # 指定輸入目錄和輸出目錄輸出目錄必須不存在。 hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /user/hadoop/input /user/hadoop/output # 3. 觀察YARN Web UI (http://localhost:8088)你會看到一個新的應用被提交和運行。 # 等待作業(yè)完成。完成后查看輸出結(jié)果。 hdfs dfs -cat /user/hadoop/output/part-r-00000 | head -20你會看到各個單詞及其出現(xiàn)的次數(shù)。至此你的Hadoop環(huán)境已經(jīng)具備了完整的HDFS存儲和MapReduce計算能力。5. 常見問題與故障排查實錄在WindowsWSL環(huán)境下安裝Hadoop雖然步驟清晰但依然可能遇到一些特有的問題。下面是我在多次安裝中總結(jié)的“坑”和解決方案。5.1 WSL相關(guān)網(wǎng)絡與權(quán)限問題問題1Hadoop Web UI (9870, 8088) 在Windows瀏覽器中無法訪問。排查首先在WSL內(nèi)部用curl http://localhost:9870測試。如果WSL內(nèi)能訪問說明服務正常是Windows到WSL的網(wǎng)絡問題。解決獲取WSL 2的IP地址在WSL中運行ip addr show eth0 | grep inet。你會看到一個類似172.x.x.x的IP。在Windows瀏覽器中用這個IP地址替換localhost訪問如http://172.x.x.x:9870。更一勞永逸的方法在WSL中編輯Hadoop配置文件將localhost綁定到0.0.0.0或者直接使用WSL的主機名。但最簡單還是用IP訪問。問題2啟動腳本報錯 “Connection refused” 或 SSH相關(guān)錯誤。排查執(zhí)行ssh localhost是否真的免密。檢查~/.ssh目錄權(quán)限必須700authorized_keys文件權(quán)限必須600。解決確保SSH服務正在運行sudo service ssh status。如果沒運行啟動它sudo service ssh start。還可以將SSH服務設(shè)為開機自啟sudo systemctl enable sshWSL 2可能需要額外配置systemd支持。5.2 Hadoop啟動與運行報錯問題3執(zhí)行start-dfs.sh后jps看不到 NameNode 或 DataNode。排查查看日志日志是排錯的生命線。Hadoop的日志默認在$HADOOP_HOME/logs/目錄下。查看最新的對應日志文件如hadoop-hadoop-namenode-主機名.log。常見原因與解決端口被占用Hadoop默認使用9000、9870、50070等端口。用netstat -tlnp | grep :9000查看。如果被占用可以修改core-site.xml中的fs.defaultFS端口或者停止占用端口的程序。目錄權(quán)限不足確保hadoop.tmp.dir以及HDFS數(shù)據(jù)目錄dfs.namenode.name.dir,dfs.datanode.data.dir的所屬用戶和組是hadoop并且有讀寫權(quán)限。用ls -ld 目錄路徑檢查。多次格式化導致ClusterID不一致如果DataNode的VERSION文件中的clusterID與NameNode的不一致DataNode就無法啟動。解決方法停止所有服務刪除dfs.name.dir和dfs.data.dir目錄下的所有內(nèi)容重新格式化NameNode (hdfs namenode -format)再啟動。問題4運行MapReduce作業(yè)失敗YARN Web UI顯示作業(yè)狀態(tài)為 FAILED。排查點擊失敗的應用ID進入應用詳情頁查看Logs鏈接特別是stderr和syslog。常見原因內(nèi)存不足WSL默認分配的內(nèi)存可能較小?？梢栽赪indows用戶目錄下的.wslconfig文件如C:\Users\你的用戶名\.wslconfig中增加內(nèi)存限制[wsl2] memory4GB # 根據(jù)你的機器情況調(diào)整建議至少4G processors2修改后在PowerShell中執(zhí)行wsl --shutdown關(guān)閉WSL再重新打開。本地庫Native Library問題某些Hadoop功能依賴本地庫?？梢試L試在$HADOOP_HOME/etc/hadoop/hadoop-env.sh中添加export HADOOP_OPTS-Djava.library.path$HADOOP_HOME/lib/native?；蛘咧苯雍雎詫τ诨A(chǔ)WordCount影響不大。5.3 日常使用與維護技巧停止服務與啟動腳本對應使用stop-yarn.sh和stop-dfs.sh來優(yōu)雅地停止服務。重置環(huán)境如果你想從頭再來最干凈的方式是停止所有Hadoop進程。刪除Hadoop數(shù)據(jù)目錄rm -rf ~/hadoopdata刪除Hadoop安裝目錄如果你想重裝rm -rf ~/hadoop重新解壓、配置、格式化、啟動。資源清理長期使用后HDFS會存儲數(shù)據(jù)MapReduce作業(yè)會產(chǎn)生中間文件。定期清理不用的數(shù)據(jù)hdfs dfs -rm -r /user/hadoop/output刪除輸出目錄。對于YARN的作業(yè)歷史日志可以配置日志聚合并設(shè)置保留時間。在Windows上通過WSL運行Hadoop本質(zhì)上是在一個高度集成的Linux容器中運行它。這帶來了近乎原生的體驗同時又保留了Windows主系統(tǒng)的便利性。對于學習、開發(fā)和輕量級測試而言這套方案已經(jīng)非常成熟和可靠。最大的挑戰(zhàn)往往來自于最初的環(huán)境配置和網(wǎng)絡設(shè)置一旦跨過這個坎后面就是海闊天空。