摘要：該文研究macro-femto異構(gòu)蜂窩網(wǎng)絡(luò)中移動(dòng)用戶的功率控制問題,首先建立了以最小接收信號信干噪比為約束條件,最大化毫微微小區(qū)的總能效為目標(biāo)的優(yōu)化模型;然后提出了基于Q-Learning算法的毫微微小區(qū)集中式功率控制(PCQL)算法,該算法基于強(qiáng)化學(xué)習(xí),能在沒有準(zhǔn)確信道狀態(tài)信息的情況下,實(shí)現(xiàn)對小區(qū)內(nèi)所有用戶終端的發(fā)射功率統(tǒng)一調(diào)整。仿真結(jié)果表明該算法能實(shí)現(xiàn)對用戶終端的功率有效控制,提升系統(tǒng)能效。