圍棋雙人版的問題，透過圖書和論文來找解法和答案更準確安心。 我們找到下列地圖、推薦、景點和餐廳等資訊懶人包

強化學習：原理與Python實現

為了解決圍棋雙人版的問題，作者肖智清 這樣論述：

全書分為三個部分。第壹部分瞭解強化學習應用，瞭解強化學習基本知識，搭建強化學習測試環境。該部分包括：強化學習的概況、強化學習簡單示例、強化學習演算法的常見思想、強化學習的應用、強化學習測試環境的搭建。第二部分介紹強化學習理論與深度強化學習演算法。強化學習理論部分：Markov決策過程的數學描述、Monte Carlo方法和時序差分方法的數學理論；深度強化學習演算法部分：詳細剖析全部具有重要影響力的深度強化學習演算法，結合TensorFlow實現源碼。第三部分介紹強化學習綜合應用案例。   肖智清　 強化學習一線研發人員，清華大學工學博士，現就職于全球知名投資銀行。擅長概率統

計和機器學習，於近5年發表SCI/EI論文十餘篇，是多個國際性知名期刊和會議審稿人。在國內外多項程式設計和資料科學競賽上獲得冠軍。 前言 第1章 初識強化學習  1 1.1 強化學習及其關鍵元素  1 1.2 強化學習的應用  3 1.3 智慧體/環境介面  4 1.4 強化學習的分類  6 1.4.1 按任務分類  6 1.4.2 按演算法分類  7 1.5 如何學習強化學習  8 1.5.1 學習路線  9 1.5.2 學習資源  9 1.6 案例：基於Gym庫的智慧體/環境交互  9 1.6.1 安裝Gym庫  10 1.6.2 使用Gym庫  10 1.6.3 小

車上山  12 1.7 本章小結  14 第2章 Markov決策過程  16 2.1 Markov決策過程模型  16 2.1.1 離散時間Markov決策過程  16 2.1.2 環境與動力  18 2.1.3 智能體與策略  19 2.1.4 獎勵、回報與價值函數  19 2.2 Bellman期望方程  21 2.3 最優策略及其性質  25 2.3.1 最優策略與最優價值函數  25 2.3.2 Bellman最優方程  25 2.3.3 用Bellman最優方程求解最優策略  29 2.4 案例：懸崖尋路  31 2.4.1 實驗環境使用  31 2.4.2 求解Bellman期

望方程  32 2.4.3 求解Bellman最優方程  33 2.5 本章小結  35 第3章 有模型數值反覆運算  37 3.1 度量空間與壓縮映射  37 3.1.1 度量空間及其完備性  37 3.1.2 壓縮映射與Bellman運算元  38 3.1.3 Banach不動點定理  39 3.2 有模型策略反覆運算  40 3.2.1 策略評估  40 3.2.2 策略改進  42 3.2.3 策略反覆運算  44 3.3 有模型價值反覆運算  45 3.4 動態規劃  46 3.4.1 從動態規劃看反覆運算演算法  46 3.4.2 非同步動態規劃  47 3.5 案例：冰面滑行 

47 3.5.1 實驗環境使用  48 3.5.2 有模型策略反覆運算求解  49 3.5.3 有模型價值反覆運算求解  51 3.6 本章小結  52 第4章 回合更新價值反覆運算  54 4.1 同策回合更新  54 4.1.1 同策回合更新策略評估  54 4.1.2 帶起始探索的同策回合更新  58 4.1.3 基於柔性策略的同策回合更新  60 4.2 異策回合更新  62 4.2.1 重要性採樣  62 4.2.2 異策回合更新策略評估  64 4.2.3 異策回合更新最優策略求解  65 4.3 案例：21點遊戲  66 4.3.1 實驗環境使用  66 4.3.2 同策策略

評估  67 4.3.3 同策最優策略求解  70 4.3.4 異策策略評估  72 4.3.5 異策最優策略求解  73 4.4 本章小結  74 第5章 時序差分價值反覆運算  76 5.1 同策時序差分更新  76 5.1.1 時序差分更新策略評估  78 5.1.2 SARSA演算法  81 5.1.3 期望SARSA演算法  83 5.2 異策時序差分更新  85 5.2.1 基於重要性採樣的異策演算法  85 5.2.2 Q學習  86 5.2.3 雙重Q學習  87 5.3 資格跡  89 5.3.1 λ回報  89 5.3.2 TD(λ)  90 5.4 案例：計程車調度 

92 5.4.1 實驗環境使用  93 5.4.2 同策時序差分學習調度  94 5.4.3 異策時序差分學習調度  97 5.4.4 資格跡學習調度  99 5.5 本章小結  100 第6章 函數近似方法  101 6.1 函數近似原理  101 6.1.1 隨機梯度下降  101 6.1.2 半梯度下降  103 6.1.3 帶資格跡的半梯度下降  105 6.2 線性近似  107 6.2.1 精確查閱資料表與線性近似的關係  107 6.2.2 線性最小二乘策略評估  107 6.2.3 線性最小二乘最優策略求解  109 6.3 函數近似的收斂性  109 6.4 深度Q學習 

110 6.4.1 經驗重播  111 6.4.2 帶目標網路的深度Q學習  112 6.4.3 雙重深度Q網路  114 6.4.4 對偶深度Q網路  114 6.5 案例：小車上山  115 6.5.1 實驗環境使用  116 6.5.2 用線性近似求解最優策略  117 6.5.3 用深度Q學習求解最優策略  120 6.6 本章小結  123 第7章 回合更新策略梯度方法  125 7.1 策略梯度演算法的原理  125 7.1.1 函數近似與動作偏好  125 7.1.2 策略梯度定理  126 7.2 同策回合更新策略梯度演算法  128 7.2.1 簡單的策略梯度演算法  12

8 7.2.2 帶基線的簡單策略梯度演算法  129 7.3 異策回合更新策略梯度演算法  131 7.4 策略梯度更新和極大似然估計的關係  132 7.5 案例：車杆平衡  132 7.5.1 同策策略梯度演算法求解最優策略  133 7.5.2 異策策略梯度演算法求解最優策略  135 7.6 本章小結  137 第8章 執行者/評論者方法  139 8.1 同策執行者/評論者演算法  139 8.1.1 動作價值執行者/評論者演算法  140 8.1.2 優勢執行者/評論者演算法  141 8.1.3 帶資格跡的執行者/評論者演算法  143 8.2 基於代理優勢的同策演算法  14

3 8.2.1 代理優勢  144 8.2.2 鄰近策略優化  145 8.3 信任域演算法  146 8.3.1 KL散度  146 8.3.2 信任域  147 8.3.3 自然策略梯度演算法  148 8.3.4 信任域策略優化  151 8.3.5 Kronecker因數信任域執行者/評論者演算法  152 8.4 重要性採樣異策執行者/評論者演算法  153 8.4.1 基本的異策演算法  154 8.4.2 帶經驗重播的異策演算法  154 8.5 柔性執行者/評論者演算法  157 8.5.1 熵  157 8.5.2 獎勵工程和帶熵的獎勵  158 8.5.3 柔性執行者/評論

者的網路設計  159 8.6 案例：雙節倒立擺  161 8.6.1 同策執行者/評論者演算法求解最優策略  162 8.6.2 異策執行者/評論者演算法求解最優策略  168 8.7 本章小結  170 第9章 連續動作空間的確定性策略  172 9.1 同策確定性演算法  172 9.1.1 策略梯度定理的確定性版本  172 9.1.2 基本的同策確定性執行者/評論者演算法  174 9.2 異策確定性演算法  176 9.2.1 基本的異策確定性執行者/評論者演算法  177 9.2.2 深度確定性策略梯度演算法  177 9.2.3 雙重延遲深度確定性策略梯度演算法  178 9

.3 案例：倒立擺的控制  180 9.3.1 用深度確定性策略梯度演算法求解  181 9.3.2 用雙重延遲深度確定性演算法求解  184 9.4 本章小結  187 第10章 綜合案例：電動遊戲  188 10.1 Atari遊戲環境  188 10.1.1 Gym庫的完整安裝  188 10.1.2 遊戲環境使用  190 10.2 基於深度Q學習的遊戲AI  191 10.2.1 演算法設計  192 10.2.2 智慧體的實現  193 10.2.3 智能體的訓練和測試  197 10.3 本章小結  198 第11章 綜合案例：棋盤遊戲  200 11.1 雙人確定性棋盤遊戲

  200 11.1.1 五子棋和井字棋  200 11.1.2 黑白棋  201 11.1.3 圍棋  202 11.2 AlphaZero演算法  203 11.2.1 回合更新樹搜索  203 11.2.2 深度殘差網路  206 11.2.3 自我對弈  208 11.2.4 演算法流程  210 11.3 棋盤遊戲環境boardgame2  210 11.3.1 為Gym庫擴展自訂環境  211 11.3.2 boardgame2設計  211 11.3.3 Gym環境介面的實現  214 11.3.4 樹搜索介面的實現  216 11.4 AlphaZero演算法實現  218 1

1.4.1 智慧體類的實現  218 11.4.2 自我對弈的實現  223 11.4.3 訓練智能體  224 11.5 本章小結  225 第12章 綜合案例：自動駕駛  226 12.1 AirSim開發環境使用  226 12.1.1 安裝和運行AirSim  226 12.1.2 用Python訪問AirSim  228 12.2 基於強化學習的自動駕駛  229 12.2.1 為自動駕駛設計強化學習環境  230 12.2.2 智慧體設計和實現  235 12.2.3 智能體的訓練和測試  237 12.3 本章小結  239   強化學習正在改變人類社會的方

方面面：基於強化學習的遊戲AI已經在圍棋、星際爭霸等遊戲上戰勝人類頂尖選手，基於強化學習的控制演算法已經運用于機器人、無人機等設備，基於強化學習的交易演算法已經部署在金融平臺上並取得超額收益。由於同一套強化學習代碼在使用同一套參數的情況下能解決多個看起來毫無關聯的問題，所以強化學習常被認為是邁向通用人工智慧的重要途徑。在此誠邀相關專業人士研究強化學習，以立於人工智慧的時代之巔。 內容梗概 本書介紹強化學習理論及其Python實現，全書分為三個部分。 第1章：介紹強化學習的基礎知識與環境庫Gym的使用，並給出一個完整的程式設計實例。 第2～9章：介紹強化學習的理論和演算法。採用嚴謹的數學

語言，推導強化學習的基本理論，進而在理論的基礎上講解演算法，並為演算法提供配套的Python實現。演算法的講解和Python實現逐一對應，覆蓋了所有主流的強化學習演算法。 第10～12章：介紹多個綜合案例，包括電動遊戲、棋盤遊戲和自動駕駛。環境部分涵蓋Gym庫的完整安裝和自訂擴展，也包括Gym庫以外的環境。演算法部分涵蓋了《自然》 《科學》等權威期刊發表的多個深度強化學習明星演算法。 本書特色 本書完整地介紹了主流的強化學習理論。 全書採用完整的數學體系，各章內容循序漸進，嚴謹地講授強化學習的理論基礎，主要定理均給出證明過程。基於理論講解強化學習演算法，覆蓋了所有主流強化學習演算法，包

括資格跡等經典演算法和深度確定性梯度策略等深度強化學習演算法。 全書採用一致的數學符號，並且與權威強化學習教程（如R. Sutton等的《Reinforce-ment Learning: An Introduction（第2版）》和D. Silver的視頻課程）完美相容。 本書各章均提供Python代碼，實戰性強。 全書代碼統一規範，基於最新的Python 3.7（相容Python 3.6）、Gym 0.12和TensorFlow 2（相容TensorFlow 1）實現強化學習演算法。所有代碼在Windows、macOS和Linux三大作業系統上均可運行，書中給出了環境的安裝和配置方法。

涉及環境全面。第1～9章提供演算法的配套實現，強化學習環境只依賴於Gym的最小安裝，使理論學習免受環境安裝困擾；第10～12章的綜合案例既涵蓋Gym庫的完整安裝和自訂擴展，還包括Gym庫以外的環境，讓讀者體驗更加複雜的強化學習任務。 全書實現對硬體設定要求低。第1～9章代碼在沒有GPU的電腦上也可運行；第10～12章代碼在配置普通GPU的電腦上即可運行。 致謝 在此感謝為本書出版做出貢獻的所有工作人員。其中，機械工業出版社的高婧雅女士是本書的責任編輯，她對本書的寫作提出了很多建設性意見。同時，還要感謝機械工業出版社的其他編輯為提升本書品質所做的大量工作，與他們合作是一個愉快的過程。我

要特別感謝我的父親肖林進和母親許麗平，他們也參與了本書的編寫。同時，還要感謝我的上級、同事和其他親友，他們在本書寫作期間給予我極大的支持。 感謝你選擇本書。祝你學習快樂！  

決斷的演算：預測、分析與好決定的11堂邏輯課

為了解決圍棋雙人版的問題，作者BrianChristian 這樣論述：

亞馬遜書店　認知科學類第1名、電腦科學類第1名 長踞「商務決策與問題解決類Top 3」，與《快思慢想》並列 《大腦解密手冊》作者伊葛門稱許：「寫得遠超乎我的期望！」 　　訪問近五十年來最知名演算法的設計者， 　　了解工程師如何教電腦發揮最大效用，並將所學用於生活。 　　讀者大推：「真是過癮！」 　　在《人工智慧來了》這本書中，作者提出「主動向機器學習」是這時代最核心、最有效的學習方法之一，在《決斷的演算》裡，各具心理學與電腦科學背景的兩位作者則揭櫫：為何跟電腦學決策你不僅不會變成理性魔人，反而會更加明智且善體人意。 　　▎說到演算法，你想到的是政府和大企業如何利用數學模型算計你？

　　其實，演算法的本質是「解決問題的一連串步驟」，它的發展遠遠早於電腦，不只長期為各研究領域與產業實務帶來重大變革，更能幫助個人跳脫盲點與錯誤直覺，明快地解決問題。 　　▎說到機器學習，你以為考慮因素越多越好、比較複雜的模型較佳？ 　　其實，當今電腦運算時並非套用死板的演繹邏輯，點滴不漏地羅列所有選擇，琢磨出正確答案。它們會捨棄不必要的資料，偏向選擇較簡單的解答，權衡誤差或延遲的代價，接著冒險一試。 　　▎說到電腦，你認為它冰冷且毫無彈性，思考方式跟人腦南轅北轍？ 　　事實上，我們面臨的許多挑戰，跟電腦科學家一樣都源於：要運用有限的空間、時間和注意力，因應未知事物和不完整的資訊，因此電腦解

決問題的方式，能在極大程度上與人們的作法融合。 　　《決斷的演算》各章以常見的日常問題開場，從釐清它們的演算結構著手，以問題所屬類型為骨架（副章名），紮實的電腦科學發展史為血肉（章名），探討一代代的研究者為這類問題找出什麼解決方案，這些收穫顛覆了我們對於「合理」的看法，不僅幫助其他領域獲得新進展，也為個人生活帶來實用啟示，像是： 　　❖自動駕駛汽車能改善交通阻塞，打造交通天堂？你可能要失望了。現在自私駕駛人各行其是的情形其實已接近最佳狀態。（演算法賽局理論，自主行為代價） 　　❖證明「所有雙人賽局至少有一個均衡狀態」的奈許均衡，讓約翰．奈許拿下了諾貝爾經濟獎，但它的地位可能言過其實。為什麼

？（賽局理論） 　　❖棉花糖實驗證明了意志力對日後的成就有深遠影響？事情沒這麼簡單。抵擋得住誘惑的另一個關鍵可能是「期望」……（貝氏法則） 　　❖以現代投資組合理論榮獲諾貝爾經濟獎的馬可維茲，居然把自己的退休金平均投資在債券和股票上！這未免太不聰明了？未必。（過度配適） 　　❖歐巴馬競選總統時，他的新媒體分析團隊靠什麼方法設計與經營網站，幫他多募得五千七百萬美元？（開發與善用） 　　❖安排球季賽程真麻煩！怎麼樣既符合聯盟基本結構產生的規定，又顧及聯盟和轉播電視台的特殊考量和限制？（鬆弛） 　　❖2010年5月6日，美國股市發生閃電崩盤，短短幾分鐘內有幾家公司股價飆漲、另幾家則直線崩跌，這是怎麼

回事？（賽局理論，資訊瀑布） 　　❖一般認為年老健忘是認知衰退，但電腦科學家判斷，那是整理、取捨越來越多記憶的必然結果——人的腦袋可靈光了！（快取） 　　❖你打算在十八歲到四十歲期間覓得人生伴侶，那麼幾歲時選定的對象可能最好？答案是二十六歲。（最佳停止點，37％法則） 　　❖紙本資料用完隨手往旁邊疊，既沒條理又沒效率？不，根據演算法原理，這是目前已知最精良、效率最佳的資料結構。（快取） 　　❖什麼情況下，隨便挑一封電子郵件回覆，會好過先回覆最重要的郵件？（排程，往復移動） 　　❖為什麼玩吃角子老虎時，贏錢繼續玩同一台是好策略，但是輸錢就換一台則太過輕率？（開發與善用）…………… 　　電腦科學

還能協助我們清楚劃分哪些問題有明確解答、哪些則無，從而選擇自己要面對什麼，以及要讓其他人面對什麼——這種「運算的善意」可以改變人們的認知問題類型，減輕認知負擔，增進互動的效率。 　　◎本書用法： 　　這本書既適合一般讀者，也適合教學使用，版面設計兼顧兩者需求，使用方法詳見書中建議。各章內容提示詳見〈目錄〉的引文。 名人推薦   　　▎陳昇瑋／台灣人工智慧學校執行長、資料科學協會理事長 　　▎洪士灝／台灣大學資訊工程系教授 　　▎賴以威／數感實驗室共同創辦人、台師大電機系助理教授 　　▎林錦宏／高醫大心理系「決策神經科學實驗室」助理教授 　　▎鄭國威／科學知識社群「泛科學」總編輯 　　▎黃

貞祥／清華大學生命科學系助理教授／泛科學專欄作者 　　▎雷浩斯／專職投資人及投資講師 　　▎冏星人／說書節目製作人 　　▎羅輯思維、「得到」App萬維鋼老師書評介紹《指導生活的算法》 　　▎《大腦解密手冊》作者伊葛門： 　　我一直期待有書能把運算模型和人類心理學結合起來，這本書遠超乎我的期望，寫得精彩極了，而且淺顯易懂，讓所有讀者都能輕鬆理解掌控世界運作的電腦科學，更重要的是，了解電腦科學對我們的生活有何影響。   　　▎林錦宏，高醫大心理系「決策神經科學實驗室」助理教授： 　　這是一本整合心理學、統計學、經濟學、賽局理論、電腦科學重要概念與生活議題的跨領域參考書。 　　▎科技網站Boin

g Boing創辦人，《資訊分享，鎖得住？》作者柯利‧多克托羅： 　　非常出色。除了行文中解釋的電腦科學對於個人和管理都很實用，本書也是演算法和電腦科學以及作者所稱的「運算的斯多葛派」和「運算的善意」這種哲學論述的極佳入門書。 　　▎《為什麼我們這樣生活，那樣工作》作者查爾斯‧杜希格： 　　精彩有趣而且提供許多實用建議，告訴我們如何更有效率地運用時間、空間和心力，寫得趣味橫生。 　　▎《搖籃裡的科學家》共同作者艾莉森‧戈普尼克（Alison Gopnik）： 　　深入淺出又有趣，讓人讀得欲罷不能。我們都聽說過演算法威力強大，但《決斷的演算》深入淺出地解說它們的運作方式，以及我們可以如何運用

它們，在日常生活中做出更好的決定。 　　▎《富比世》雜誌： 　　年度必讀大腦類書籍。這是一本以學術研究為基礎，又可應用在實際生活上的好書。作者探討的演算法在生活上的實用程度，超乎我的預期，值得好好研讀。 　　▎《大眾科學》雜誌英國版： 　　我超迷這本書！年輕學生學數學時常說：「數學有什麼用？實際生活上又用不到！」這本書就是最好的答案。書中的概念，無論是37％法則的相對單純性或賽局理論中讓人費解的機率，都相當實用，而且寫得十分有趣，大推！ 　　▎亞馬遜書店多位讀者評價 　　醍醐灌頂！我學的是經濟，讀了這本書之後超想去讀個電腦科學學位。可以的話，我想給這本書十顆星。／好驚人的書，它改變我對許

多真實日常問題的看法。／了不起的書。不論是一般人或高科技迷都會讀得津津有味。／很有意思。讀完這本書過了幾個月，我還不時想到它，它提供了很棒的觀點看待世界。／有趣極了，我已經借給好幾個同事讀。／超讚。我重讀這本書好幾次，裡頭有很多很棒的資訊！／真是過癮！  

評量遊戲反派NPC強度的方法

為了解決圍棋雙人版的問題，作者蔡欣蓓 這樣論述：

在有反派NPC(怪物)角色的遊戲中，與怪物的對手戲牽引著玩家的情緒變化。怪物太強，玩家會感到挫敗；怪物太弱，玩家會感到無趣。唯有讓怪物強度維持平衡，玩家在遊戲中能體驗到挑戰跟技能達到平衡時，那種既專注又開心的感覺。讓玩家下次願意進入到同一款遊戲中，繼續進行遊戲。因此怪物強度的調整，是一個重要的研究。遊戲設計師為了讓玩家能有好的遊戲體驗，耗費大量心力跟時間在調整怪物強度上。因此本研究推出一套評量反派NPC強度的方法，全面性地收集目前遊戲怪物的指標，推導出評量的公式，並結合多元線性迴歸的最小平方法跟改進共線性問題的脊迴歸，來得到具有預測性的係數，進而產生出評量反派NPC強度的系統。藉由評量反派N

PC強度的系統，可以幫助遊戲設計師快速地進行怪物強度的調整。並且將評量怪物強度的方法數據化，改善遊戲設計師運用過往經驗跟感覺來調整怪物強度，造成入行門檻過高，新手遊戲設計師無法勝任的問題。本研究方法可以解決怪物強度指標失去平衡的問題，防止怪物強度只受單一指標影響，其他強度指標形同虛設的情況發生。進一步地，此方法可以廣泛地套用到大多數有怪物角色的遊戲中，並不局限只有本實驗所使用到的遊戲才可以使用。藉由實驗方式來驗證本研究方法的可行性。雖然因為缺乏技能等級跟怪物與玩家對戰資料，只能進行基本型的實驗。但是這情況不影響對研究方法的驗證。因為本研究的研究方法設計的很有彈性，因應不同遊戲的需求，可以自由地

新增與刪除套入公式的指標。本研究在假設遊戲沒有技能與相生相剋屬性設定的情況下和怪物不受玩家影響的前提假設下進行實驗。