​使用 NI RF 硬體開發機器學習架構的數位預失真原型並進行比較評估

​近年來，人工智慧 (AI) 與機器學習 (ML) 領域的技術發展突飛猛進，也因此許多產業都出現了解決挑戰性問題的新方法。在無線通訊領域，AI/ML 是發展前景最受看好的技術，也是現階段廣泛討論的重點，可望能帶來創新服務並提升行動網路效能。¹AI/ML 之類的技術能協助行動網路營運商 (MNO) 提升網路效率並降低營運成本，與 MNO 的一項重要目標不謀而合。這樣的效率提升或許能在時域、頻域和空間域以更智慧的方式分配資源，或者採用更有效的干擾補償機制，從而有助於提升頻譜使用效率。再者，使用 AI/ML 能夠提升能源效率，也能解決基地台的主要成本驅動因素。舉例來說，這類技術提供能根據需求開關基地台的智慧方法，因此能夠提高功率放大器的使用效率。 

​雖然 AI/ML 在網路層級的運用相當成功，但要將 AI/ML 應用於 RF 層、實體層 (PHY) 或 MAC 層等較低層級，難度相對提高許多。較低層級的時序限制相當嚴格，要開發並部署相比傳統方法更具顯著優勢且兼具穩定可靠等優點的 AI/ML 架構演算法，難度相對提高。²因此，目前這方面仍處於研究階段，目的在於了解各項取捨條件，找出適合應用 AI/ML 的領域，並且驗證 AI/ML 演算法應用於實際網路環境中時的穩定性與可靠性。最終，唯有證明應用 AI/ML 的優勢確實大於採用傳統方法，對此進行的新一波投資才會是合理的做法。 

​當今針對無線通訊系統 RF/PHY/MAC 層進行的 AI/ML 研究活動包含下列熱門領域： 

• ​RF：機器學習架構的數位預失真 (DPD)，目的在於提升功率放大器的效率並節省能源。
• PHY：機器學習架構的通道評估與符號偵測，目的在於減少甚至完全不使用引導符號，從而提升頻譜效率，以及在維持傳輸品質的前提下降低訊噪比，從而提升能源效率。
• ​MAC：機器學習架構的波束管理，目的在於提升波束擷取與追蹤成效，以利將天線陣列的能量精準導向使用者所在位置。這樣的方式能夠服務一個區域內的更多使用者，從而提高頻譜使用效率。而且還能節省能源，根據服務需求的實際品質調整接收儀的訊噪比。

​在 NI 另一篇技術文章中，我們說明了一個運用 NI SDR 裝置開發即時神經接收儀原型並進行比較評估的架構。在本技術文章中，我們會說明使用 NI RF 硬體開發功率放大器數位預失真 ML 演算法原型並進行比較評估的案例研究。本文簡介幾種研究過的用於 DPD 的典型神經網路。另也說明我們如何實作原型應用程式，使用實際 PA 產生的波形資料訓練 ML-DPD 模型，從而驗證這個模型應用於 PA 的預失真效能，並且將其效能與其他尖端演算法效能進行比較評估。最後，我們會分享實驗過程中的重要心得，並總結整理出在實際應用機器學習架構的 DPD 技術時需要克服的挑戰，以及尚待解決的研究議題。

​眾所皆知，功率放大器 (PA) 在非線性區間運作時能達到最佳效率。然而，PA 在這個非線性區間運作時，會因為 PA 的非線性特性引發的互調失真，產生不理想的頻帶外發射訊號。數位預失真通常應用於傳輸器波形，目的是補償失真。補償也稱為預失真，是在數位基頻階段施加 PA 非線性特性的反向作用，藉此使得 DPD 和 PA 的整體響應恢復線性表現。圖 1 說明這個補償機制。由於這項機制的緣故，DPD 能夠讓 PA 在非線性區域中以更高的功率效率運作，同時又能保持其線性表現。 

​隨著資料傳輸率需求不斷攀升，需要在較高的載波頻率下有更多頻寬，而這通常需要採用天線陣列來引導能量並克服高路徑損耗。就專為在這類條件下運作所設計的 PA 而言，DPD 的難度會更高，原因如下：

• ​PA 會呈現非靜態行為，導致其底層模型隨運作條件改變而變動  
• ​PA 非線性特性的複雜程度提高，不再適合使用以 Volterra 級數為基礎的模型  

​為了克服現代通訊系統所面臨的前述挑戰，DPD 需要創新的方法。機器學習是產業和學術界都在積極研究的其中一種方法，我們會在下一節說明。

圖 1. 數位預失真的原理

圖 2.DPD 改善頻譜洩漏

​圖 2 所示範例比較應用與不應用數位預失真時 Wi-Fi PA 的輸出訊號，以此說明預失真改善頻譜洩漏的情形。DPD 的主要挑戰在於評估所用 PA 的非線性度，也就是評估底層 PA 模型。針對無記憶非線性行為的補償，傳統做法是採用以 AM/AM 和 AM/PM 失真量測結果為基礎的靜態查詢表。為解決具記憶的非線性行為，通常會使用記憶多項式模型 (MPM) 等以 Volterra 級數為基礎的模型，以及廣義記憶多項式 (GMP) 模型。

​神經網路具非線性系統建模能力，能夠對功率放大器這類會表現出非線性行為且具線性記憶效應的非線性系統進行建模，因此，神經網路在行為建模與數位預失真領域的應用已經有相當廣泛的研究。

​數十年前，有研究團隊提出⁵以多層感知器 (MLP) 結構為基礎的實數延時神經網路 (RVTDNN) 模型，用於 3G 功率放大器的行為建模。此模型在訊號的同相 (I) 和正交 (Q) 分量上加入分接式延遲線，以此模擬 PA 的短期記憶效應。當時的團隊提出了一種全遞迴神經網路 (FRNN)6，針對 3G 行動通訊系統中具備強烈記憶效應且具高度非線性特性的功率放大器 (PA) 進行行為建模。此網路使用複數訊號為輸入，且權重與偏差皆為複數。團隊針對使用神經網路的功率放大器數位預失真進行了廣泛研究，也應用 WCDMA 訊號進行過驗證，⁷後來提出了實數聚焦延時神經網路 (RVFTDNN)，能有效避免計算複數梯度。 

​遞迴神經網路 (RNN) 本就具備記憶效應建模能力，這是指目前的輸出不僅取決於目前的輸入，也與過去的輸入息息相關的情形。不過，由於梯度消失的問題，RNN 在擷取長期記憶效應時會出現一定的難度。為克服 RNN 的梯度消失問題，研究人員提出了長短期記憶 (LSTM) 網路。⁸

​LSTM 網路採用不同類型的閘控機制，能更有效地控制新舊資訊對網路記憶狀態造成的影響。⁹針對具有長期記憶效應的氮化鎵 (GaN) 功率放大器的行為建模，有研究團隊進一步研究10使用 LSTM 網路克服 FRNN 的侷限。⁷此外還提出其他用於數位預失真的改良版或經最佳化處理過的 RNN 網路版本，例如雙向 LSTM (BiLSTM) 網路與閘控遞迴單元 (GRU) 網路^11、12，相關研究可參閱參考資料。近期有團隊開始探究將卷積神經網路 (CNN) 應用於 PA 行為建模與預失真的可能。¹³ 

​此外，也有研究提出採用神經網路來避免具有主動天線陣列的 Massive MIMO 系統中的數位預失真連續更新參數問題，此類系統會因波束相關負載調變產生失真。¹⁴在本案例研究中，我們選擇實作以 LSTM 為基礎的神經網路進行 DPD。  

​圖 3 示意實作神經網路的每一層。此神經網路會將未失真複數時域訊號 x[n] 的樣本作為輸入，並在輸出端提供對應的預失真複數時域訊號 z[n] 的樣本。在每一個時間步長，LSTM 層會接收目前以及過去 M 個輸入訊號樣本的同相分量 i 與正交相分量 q 當成輸入，其中 M 表示記憶深度。  

圖 3. 模型架構

​在學習 (訓練) 階段，必須使用訓練資料集讓神經網路學習目標 DPD 功能。DPD 模型常用的學習架構可能是直接學習架構 (DLA)、間接學習架構 (ILA)，或者是以迭代學習控制 (ILC) 為基礎的架構。我們的案例研究選擇以 ILC 為訓練資料來源，因為 ILC 提供最理想的 PA 預失真輸入訊號，能讓 PA 保持線性行為。 

​以 ILC 為基礎的 DPD 可做為評估任何 DPD 機制效能的實用基準。 

​圖 4 顯示 ILC 的學習架構，該架構在給定未失真輸入訊號 x[n] 的情況下，迭代運算預失真器輸出訊號 (z[n])，此輸出訊號同時也是 PA 的輸入訊號。經過充分的迭代次數後，最終計算出的預失真器輸出訊號即可視為理想的預失真器輸出信號，也就是理想的 PA 輸入訊號 zideal [n]

圖 4. 學習架構：迭代學習控制

​可以將一組或多組未失真輸入訊號及其對應的理想預失真器輸出訊號，用於訓練或擬合任何 DPD 模型的參數，不論是傳統的廣義記憶多項式模型，或是本案例所用的神經網路模型。在訓練過程中，理想的預失真器輸出訊號會是目標輸出訊號的基準真實值，讓 DPD 模型學會在給定未失真輸入訊號的情況下，能夠輸出這些目標輸出訊號。該訓練過程見圖 5。

圖 5.DPD 模型訓練

​我們建立了一個原型應用程式，用於研究機器學習架構的 DPD 作業的整個工作流程。

​此應用程式在 NI PXI 機箱中的 PXI 控制器執行，此機箱使用 NI PXI 向量訊號收發儀 (VST) 產生及分析 RF 訊號，並以 NI PXI 電源量測單元進行 DC 供電以及驅動 PA 數位控制線路。圖 6 是所用測試配置的程式方塊圖。  

圖 6. 顯示硬體連接的測試配置

​此應用程式用於執行下列步驟： 

1. ​建立要用於訓練和測試的波形資料。 
2. 使用實際的 PA 建立訓練資料集。 
3. 使用訓練資料集訓練神經網路模型。 
4. 部署訓練完畢的神經網路模型，針對實際 PA 的輸入進行預失真處理。 

​圖 7 示意這些使用者操作。後續章節詳細說明以上步驟。除去神經網路模型訓練的部分，此應用程式皆以 NI LabVIEW 編寫而成。此應用程式使用 NI RFmx 軟體，以 NI 向量訊號收發儀 (VST) 在 PA 進行標準 RF 量測。並且使用 NI RFmx Waveform Creator 建立波形檔案。神經網路模型訓練的部分，則是使用 TensorFlow 及 Keras 函式庫以 Python 執行。為加快執行速度，訓練全程在搭載 NVIDIA GPU 的 Linux 伺服器執行。

圖 7。 ML-DPD 原型應用程式的使用者操作

​步驟 1：建立波形資料  

​可以使用 NI RFmx Waveform Creator 建立符合通訊標準的波形。在我們的案例研究中，使用 NI RFmx Waveform Creator for WLAN 產生多個 802.11ax 訊框波形資料，每個訊框 1 毫秒長、通道頻寬為 80 MHz。在負載資料部分，我們採用了不同的偽隨機資料位元序列，並且將調變階數一路從 BPSK 調整到 1024-QAM。我們將波形儲存成 TDMS 格式的檔案。 

​這些波形就是我們資料集中所使用的未失真輸入訊號。波形資料集根據使用者指定的輸入分為兩部分：a) 訓練用波形資料集，以及 b) 測試用波形資料集。舉例來說，我們的訓練用波形資料集通常會包含一些 BPSK 波形。 

​步驟 2：使用實際的 PA 建立訓練資料集  

​下一步是建立訓練資料集。要訓練神經網路模型，我們需要的是未失真輸入訊號及其對應的理想預失真器輸出訊號，該輸出訊號是使用實際的 PA，在預先設定好的一組 PA 運作條件 (如 RF 中心頻率與輸入平均功率等) 下計算出來的。 

​針對每個自 TDMS 波形檔讀取的未失真輸入訊號及 PA 運作條件，其理想預失真器輸出訊號的計算方式如下：我們根據目標 PA 運作條件，在 NI-RFSG 上設定 RF 設定值。NI-RFSG 會利用 NI VST 內建的向量訊號產生器，自訓練用波形資料集中的 TDMS 格式波形檔案 (該檔案是在步驟 1 中建立的) 讀取資料，並在 PA 的輸入端產生 RF 訊號。PA 的輸出訊號由 NI VST 內建的向量訊號分析儀擷取之後，再使用 NI RFmx SpecAn 的 IDPD (ILC DPD) 量測功能進行量測。量測功能會傳回一個預失真波形，我們將這個波形記錄為理想的預失真器輸出訊號。 

​波形的 I/Q 資料與相關的訊號元資料及 RF 設定均記錄在 TDMS 格式的訓練資料集檔案中。  

​訓練資料集檔案包含下列資訊： 

• ​I/Q 波形資料  
  • ​未失真輸入訊號：未受損的基頻訊號，以本例而言，就是指在步驟 1 中建立的 802.11ax 波形也可以使用多音訊號等其他波形，或是符合任意無線通訊標準的波形
• ​理想的預失真器輸出訊號：使用迭代學習控制 (ILC) 計算出的波形。在計算時，我們所用的是 NI RFmx SpecAn 中以 ILC 為基礎的 DPD (IDPD) 量測功能。  
• ​元資料 (含範例值的重要內容)
  • ​ 波形設定範例  
    • ​標準：802.11ax  
    • ​頻寬：80 MHz  
    • ​調變階數：BPSK  
    • ​波形長度：1 毫秒  
    • ​波形 PAPR：10.8 dB  
• ​RF 設定範例  
  • ​RF 中心頻率：5.5 GHz  
  • ​PA 輸入平均功率：-10 dBm  

​如前所述，研究人員可以使用這個資料集訓練預失真器的任何模型。只要訓練條件保持不變，就不必重複進行取得訓練資料集的流程

​步驟 3：訓練模型

​有了訓練資料集後，下一步就是訓練模型。圖 8 示意所用的訓練流程。訓練應用程式使用 TensorFlow 和 Keras 函式庫以 Python 編寫，並且為加快訓練速度，在搭載 NVIDIA A100 GPU 的 Linux 伺服器執行。訓練用波形資料集會先分成訓練資料集、驗證資料集和測試資料集三個部分。在訓練期間，模型會接收訓練及驗證資料集中的未失真輸入訊號，並預測對應的預失真器輸出訊號。  

​將後者與相關的理想預失真器輸出訊號進行比較後，再計算出各自的訓練及驗證損失。訓練損失用於更新模型係數。驗證損失需要進行監控，從而判斷模型是否具備良好的泛化能力，並且偵測是否出現過擬合現象。我們所用的損失指標是預測值與理想目標模型輸出 (即理想的預失真器輸出) 之間的均方誤差 (MSE)。

圖 8.模型訓練

​進行訓練與驗證實驗的過程中，我們發現當 MSE 損失值降至 10^-4 以下，且訓練和驗證損失曲線平順地同時收斂至相近的低值時，就表示訓練成功完成，如圖 9 所示。訓練流程的最終輸出會是一個 H5 檔案，其中包含訓練模型的係數。  

圖 9. 目標訓練與驗證損失曲線

​步驟 4：部署模型，針對實際 PA 輸入訊號進行預失真處理

​ML-DPD 模型訓練完成後必須經過測試，確認該模型是否同樣適用於訓練過程中未曾使用過的波形資料。為此，我們會先使用訓練完成的模型，將 DPD 應用於測試用波形資料集中的波形資料，再產生訊號並輸入到 PA。應用這個模型的方法是，在 LabVIEW 中呼叫 Python 函式庫，傳入模型係數檔案與波形資料作為輸入。接著比較其效能與 ILC DPD 的效能。測試應用程式除了支援 ILC DPD 和 ML-DPD，也能應用傳統的 DPD 方法，例如記憶多項式 DPD，從而對照此方法評估並比較 ML-DPD 的效能。效能比較可以採用 RMS EVM 和 ACLR 之類的標準指標，並依據訊號類型使用 NI RFmx SpecAn 和 RFmx NR 或 RFmx WLAN 進行。

圖 10. 目標訓練與驗證損失曲線

​原型應用程式用於設計和測試適用於 TriQuint Wi-Fi PA 的 ML-DPD (評估機板：TQP887051)。

圖 11. ML-DPD 原型應用程式用於 PXI 系統 (左) 與 TriQuint Wi-Fi PA (右) 的測試配置

​為進行測試，我們選擇的中心頻率是 5.5 GHz，PA 輸入平均功率則是 -8.5 dBm。我們使用 NI RFmx SpecAn 結合一個 PAPR 約 10.5 dB 的 802.11ax、80 MHz、1024-QAM 波形，測得該 PA 在此操作點的 AM-AM 特性，如圖 11 所示。PA 的線性增益大約是 25.7 dB。在輸入功率達到約 2 dBm 的峰值時，PA 的輸出出現約 3 dB 的增益壓縮。

圖 12. 頻率為 5.5 GHz 且輸入平均功率為 -8.5 dBm 時 PA 的 AM-AM 特性。

​在這個操作點，我們訓練模型使用的訓練資料集包含 13 個具備 BPSK 調變機制的不同 802.11ax 訊框。模型參數記憶深度設定為四個樣本，因此，模型大小約是 24,000 個參數。驗證資料集含三個具備 BPSK 調變機制的 802.11ax 訊框。每個 802.11ax 訊框的長度各有 1 毫秒。圖 12 顯示在訓練過程中觀察到的損失曲線。觀察到的訓練與驗證損失在 2×10^-4 左右，都是可以接受的。我們嘗試過不同的記憶深度值，結果發現深度值為四是最適合的。

圖 13. 受訓模型的損失曲線

​接著，我們使用不同的波形資料和不同的輸入平均功率 (在 -15 dBm 到 -8.5 dBm 範圍內，步長 0.25 dB) 對模型進行測試。圖 13 的測試結果範例，採用的是測試資料集中的一個 1024-QAM 波形資料檔案。這正是之前用於量測 AM-AM 特性的波形。我們使用 NI RFmx WLAN 在三種預失真模式下量測 RMS EVM： 

1. 不進行預失真  
2. ILC DPD  
3. ML-DPD  

​我們將 ML-DPD 的效能與 ILC DPD 的效能進行比較，因為 ML-DPD 是以 ILC DPD 資料為基準真實值進行訓練的。如圖所示，相較於不進行任何預失真測得的 EVM，ILC DPD 與 ML-DPD 的 EVM 均有顯著改善。以訓練期間所用的 -8.5 dB 輸入功率而言，訓練過的 ML-DPD 在 EVM 表現方面與最佳 ILC DPD 旗鼓相當。 

​在大多數的其他輸入功率條件下，ML-DPD EVM 表現與 ILC DPD 所能達到的值相近 (差異在 1 dB 以內)。唯獨在輸入功率範圍介於 -10.5 dBm 到 -9.5 dBm 之間時，ML-DPD 與最佳 ILC DPD 的 EVM 偏差較明顯，最高約有 2 dB，未來若在訓練過程中加入更多該功率範圍內的訓練資料，就有機會進一步縮小偏差。

圖 14. 經/未經預失真處理的 WLAN RMS EVM。

​在本技術文件中，我們說明如何使用 NI 軟硬體進行功率放大器數位預失真機器學習方法的原型開發、效能驗證，以及評估比較。我們以同一套原型開發系統建立訓練資料，並且對照其他尖端 DPD 演算法驗證推論效能。文中也提供了應用 LSTM 神經網路進行 Wi-Fi PA DPD 的結果範例。結果顯示，就這個特定範例而言，ML-DPD 的效能接近做為 ML 模型訓練參考的 ILC DPD 的效能下限。 

​值得注意的是，儘管這個範例的結果看起來不錯，我們在研究過程中也遇到過 ML-DPD 模型範例表現不如預期的情況。本次研究的一大重要發現在於，一定要將新開發的 ML-DPD 模型與其他 DPD 方法進行比較與效能評估，才能更進一步掌握效率與複雜度之間的取捨。使用實際系統驗證何種情況下 ML-DPD 能發揮效益，以及何時採用傳統 DPD 演算法較合適，也同樣重要。 

​我們認為需在下列研究領域進行更多研究與創新： 

• ​大型泛化 ML-DPD 模型與在運作過程中反覆訓練與調整的小型模型之間的取捨，以及對應的訓練策略。  
• ​適用於以 FPGA、GPU 或 CPU 為基礎的目標平台，效能經最佳處理、複雜度低且能即時運作的 ML-DPD 模型。  
• ​降低在數位處理平台執行 ML-DPD 的耗電量，避免 DPD 抵銷 PA 所帶來的節能效果。  
• ​智慧驗證與測試方法，從而能以更有效率的方式證明資料導向 ML-DPD 模型的可靠性與穩定性。  

​為深入探討這些研究課題，本文說明的 NI RF 硬體及其尖端軟硬體組合能協助您理解在設計節能效率更高的 RF 系統時，在 ML-DPD 方面必須考量的具體取捨。這方面的考量最終也有助於提升業界對於在行動通訊網路等關鍵系統中採用先進 AI 技術的信任程度。

​1 Sundarum, Meesha.“3GPP Technology Trends.”5G Americas, 2024. https://www.5gamericas.org/3gp-technology-trends. 

​2 Polese, M., Dohler, M., Dressler, F., Erol-Kantarci, M., Jana, R., Knopp, R., Melodia, T., “Empowering the 6G Cellular Architecture with Open RAN.”IEEE Journal on Selected Areas in Communications, November 2023. 

​3 Summerfield, Steve.“How to Make a Digital Predistortion Solution Practical and Relevant.”Microwaves & RF, 2022. https://www.mwrf.com/technologies/embedded/systems/article/21215159/analog-devices-how-to-make-adigital-predistortion-solution-practical-and-relevant.

​4 Zhu, Anding, January 10, 2023.“Digital Predistortion of Wireless Transmitters Using Machine Learning.”IEEE MTT-S Webinar.

​5 Liu, T., Boumaiza, S., and Ghannouchi, F. M., March 2004.“Dynamic Behavioral Modeling of 3G Power Amplifiers Using Real-Valued Time-Delay Neural Networks.”IEEE Transactions on Microwave Theory and Techniques, 52 (3):1025–1033. 

​6 Luongvinh, Danh and Kwon, Youngwoo, 2005.“Behavioral Modeling of Power Amplifiers Using Fully Recurrent Neural Networks.”IEEE MTT-S International Microwave Symposium Digest:1979–1982. 

​7 Rawat, M., Rawat, K., and Ghannouchi, F. M., January 2010.“Adaptive Digital Predistortion of Wireless Power Amplifiers/Transmitters Using Dynamic Real-Valued Focused Time-Delay Line Neural Networks.”IEEE Transactions on Microwave Theory and Techniques 58 (1):95-104.

​8 Hochreiter, S and Schmidhuber, J., November 1997.“Long short-term memory.”Neural Computation 9 (8):1735–1780. 

​9 Olah, Christopher, “Understanding LSTM Networks.”Understanding LSTM Networks -- colah’s blog, August 27, 2015. https://colah.github.io/posts/2015-08-Understanding-LSTMs/. 

​10 Chen, P., Alsahali, S., Alt, A., Lees, J., and Tasker, P. J., 2018.“Behavioral Modeling of GaN Power Amplifiers Using Long Short-Term Memory Networks.”2018 International Workshop on Integrated Nonlinear Microwave and MillimetreWave Circuits (INMMIC), Brive La Gaillarde, France, 2018, pp. 1–3. 

​11 Li, G., Zhang, Y., Li, H., Qiao, W., and Liu, F., 2020.“Instant Gated Recurrent Neural Network Behavioral Model for Digital Predistortion of RF Power Amplifiers.”IEEE Access, vol. 8:67474–67483. 

​12 Kobal, T., Li, Y., Wang, X., and Zhu, A, June 2022.“Digital Predistortion of RF Power Amplifiers with Phase-Gated Recurrent Neural Networks,” IEEE Transactions on Microwave Theory and Techniques 70 (6):3291–3299.

​13 Hu, X, et al., August 2022.“Convolutional Neural Network for Behavioral Modeling and Predistortion of Wideband Power Amplifiers.”IEEE Transactions on Neural Networks and Learning Systems 33 (8):3923–3937. 

​14 Brihuega, A., Anttila, L, and Valkama, M. August 2020.“Neural-Network-Based Digital Predistortion for Active Antenna Arrays Under Load Modulation.”IEEE Microwave and Wireless Components Letters 30 (8):843–846​

• 深入了解 NI VST
• 探索 RF 量測函式庫
• 探索 AI 在無線系統中的應用
• 深入了解 GPU 與 LabVIEW 及 NI PXI 硬體的整合