[教育]浙江大學計算機學院研究生人工智能引論課件-powerpointpresentation

1、1,浙江大學計算機學院研究生《人工智能引論》課件,第13講 智能Agent及多Agent系統(tǒng)Chapter 13 Intelligent Agent & Multi-Agent Systems徐從富浙江大學人工智能研究所2003年第一稿2005年10月修改補充2007年10月第二次修改,2,內容,,概述2. 分布式問題求解3. Agent4. Agent理論5. Agent結構6. Agen

2、t通信7. Agent的協(xié)調與協(xié)作8. 多Agent環(huán)境MAGE9. 面向Agent的軟件技術 Mobile Agent 若干前沿問題討論,3,13.1 概述,,分布式人工智能（DAI）主要研究在邏輯上或物理上分散的智能系統(tǒng)如何并行的、相互協(xié)作地實現(xiàn)問題求解。 兩種解決問題的方法：自頂向下：分布式問題求解自底向上：基于Agent的方法,4,DAI系統(tǒng)的特色,,系統(tǒng)中的數(shù)據(jù)、知識, 以及控制不但在邏輯上,

3、 而且在物理上是分布的, 既沒有全局控制, 也沒有全局的數(shù)據(jù)存儲。各個求解機構由計算機網絡互連, 在問題求解過程中, 通信代價要比求解問題的代價低得多。系統(tǒng)中諸機構能夠相互協(xié)作, 來求解單個機構難以解決, 甚至不能解決的任務。,5,DAI系統(tǒng)的主要優(yōu)點,,提高問題求解能力提高問題求解效率擴大應用范圍降低軟件的復雜性,6,13.2 分布式問題求解,,特點：數(shù)據(jù)、知識、控制均分布在系統(tǒng)的各節(jié)點上，既無全局控制，也無全局數(shù)據(jù)

4、和知識存儲。兩種協(xié)作方式： 任務分擔 結果共享,7,13.2.1 分布式問題求解系統(tǒng)分類,,根據(jù)組織結構，分布式問題求解系統(tǒng)可以分為三類： 層次結構類 平行結構類 混合結構類,8,13.2.2 分布式問題求解過程,,分布式問題求解過程可以分為四步： 任務分解 任務分配 子問題求解 結果綜合,9,分布式問題求解系統(tǒng)中協(xié)作的分類,,按節(jié)點間協(xié)作量的多少，協(xié)作分為三類： 全協(xié)作系統(tǒng) 無協(xié)作系統(tǒng) 半協(xié)作系統(tǒng)常用

5、的通信方式有： 共享全局存儲器 信息傳遞 黑板模型,10,13.3 智能Agent及多Agent系統(tǒng),,多Agent系統(tǒng)主要研究在邏輯上或物理上分離的多個Agent協(xié)調其智能行為，即知識、目標、意圖及規(guī)劃等，實現(xiàn)問題求解。可以看作是一種由底向上設計的系統(tǒng)。,11,Agent的思想,,智能Agent的幾個典型的實例：Microsoft的Office助手計算機病毒（破壞Agent）計算機游戲或模擬中的智能角色貿易和談判Age

6、nt（如Ebay的拍賣Agent）網絡蜘蛛Web Spider（搜索引擎中的數(shù)據(jù)搜集和索引Agent，如Google）,12,Agent概念的出現(xiàn),,面向過程的方法,面向實體的方法,面向對象的方法,面向Agent的方法,,,,軟件開發(fā)方法的進化,13,Agent的定義,,在計算機和人工智能領域中，Agent可以看作是一個實體，它通過傳感器感知環(huán)境，通過效應器作用于環(huán)境。,14,Agent的強定義,,基于某種場景，并具有靈活、自主的行為

7、能力，以滿足設計目標的計算機系統(tǒng)。,15,Agent的弱定義,,滿足如下特征的基于硬件或（更經常是）軟件的計算機系統(tǒng)：?自主性(Autonomy)?社會性(Social ability)?反應性(Reactivity)?主動性(Pro-activeness)（或稱“前 瞻性”）?基于場景性(Situatedness)?靈活性(Flexibility),16,?移動性(Mobility)?理性(Rationality)此

8、外，許多學者還提出一些其它特性：?誠實性(Veracity)?友好性(Benevolence)?長壽性（或時間連貫性） ?自適應性(Adaptability),17,Agent的特性,,Agent弱概念：自治性、社會能力（可通信性）、反應能力、自發(fā)行為Agent強概念：知識、信念、意圖、承諾等心智狀態(tài)其它屬性：長壽性、移動性、推理能力、規(guī)劃能力、學習和適應能力、誠實、善意、理性,18,13.4 Agent理論,,智能

9、Agent的理論模型研究主要從邏輯、行為、心理、社會等角度出發(fā)，對智能Agent的本質進行描述，為智能Agent系統(tǒng)創(chuàng)建奠定基礎。,19,可能世界模型(Possible Worlds Model),,地位：Agent理論基礎的開創(chuàng)性工作之一。思想：將Agent的知識、信念等特征化為一 系列“可能世界”，在可能世界模型中包括對象、屬性及其關系。優(yōu)點：理論基礎（特別是模態(tài)邏輯）比較完善。缺點：存在“邏輯萬能”(Logical Omnis

10、cience)問題。,20,“意圖系統(tǒng)”(Intentional System),,作用：用于描述其行為可用信念、愿望等理性智慧來預測的實體。分為：一階和二階兩種形式。對象、屬性及其關系。,21,“意圖姿態(tài)”(Intentional Stance),,意義：啟發(fā)AI學者將信念(Belief)、愿望(Desire)、承諾(Commitment)等人類特有的思想和概念應用于Agent。,22,13.4.1 理性Agent（BDI模型）,,

11、思想：認為Agent行為可由信念、愿望和意圖來表達作用：已成為經典模型，并被廣泛采用Belief——信念，Agent對環(huán)境的基本看法。Desire——愿望，Agent想要實現(xiàn)的狀態(tài)，即目標。Intention——意圖，目標的子集。,23,13.4.2 BDIAgent模型,,BDIAgent模型可以通過下列要素描述：一組關于世界的信念；Agent當前打算達到的一組目標；一個規(guī)劃庫，描述怎樣達到目標和怎樣改變信念；一個

12、意圖結構，描述Agent當前怎樣達到它的目標和改變信念。,24,BDI解釋器,,BDI-Interpreterinitialize-state();dooptions := option-generator(event-queue, B, G, I);selected-options := deliberate(options, B, G, I);update-intentions(selected-options, I

13、);execute(I);get-new-external-events();drop-successful-attitudes(B,G,I);drop-impossible-attitudes(B,G,I);until quit,25,13.4.3 RAO邏輯框架,,目標：以一種自然的方式描述多Agent系統(tǒng)中關于別的Agent的狀態(tài)的推理過程。系統(tǒng)的分類：由于多Agent系統(tǒng)太復雜，建立一種通用的推理模式的想法

14、是不現(xiàn)實的，有必要對系統(tǒng)分類以便區(qū)別對待。常識的獲得：和單個Agent情形一樣，常識問題是阻礙推理的大難題。,26,13.4.4 換位推理,,思想：模仿語言學中的虛擬語氣，即為了對某個Agent在某種場景下的狀態(tài)或行為進行推測，設想自己處于那種場景時的狀態(tài)或行為，再把這種設想結果作為被猜測Agent的狀態(tài)或行為。作用：使得一Agent對其它Agent的狀態(tài)和行為的推理過程變得簡單明了。,27,13.4.5 動作理論,,情景演算是

15、描述動作的主要的形式框架。 在情景演算中引入了狀態(tài)和動作的概念，并利用兩條邏輯公理來描述動作與狀態(tài)的關系。一條公理描述一個動作在滿足什么條件的狀態(tài)之下可能發(fā)生，另外一條描述在一個狀態(tài)之下某個動作發(fā)生以后當前狀態(tài)如何改變。,28,13.4.6 “言語行為”理論(Speech Acts Theory),,地位：這是多Agent交互（通信）的重要理論基礎之一。 思想：任何行為都可以等價地表示為言語行為（既任何行為的含義都可用言語來表

16、達），甚至認為所有的行為都是言語行為。作用：大大簡化了Agent之間交互的復雜度。,29,規(guī)劃庫的形式化表示,,環(huán)境狀態(tài)：　State = { P1, P2, … Pn }目標： Goal=動作模板： Act_template = Agent能力： Ability=,30,13.5 Agent結構,,Agent結構需要解決的問題包括：Agent由那些模塊組成，模塊之間如何交互信息，Agent感知到

17、的信息如何影響它的行為和內部狀態(tài)，如何將這些模塊用軟件或硬件的方式組合起來形成一個有機的整體。,31,Agent基本結構,,環(huán)境,Agent,,,感知,作用,黑箱軟件Agent,32,智能Agent的工作過程,,環(huán)境,交互,信息融合,信息處理,作用,交互,,,,,,,,感知,作用,33,Agent骨架程序,,function Skeleton-Agent(percept) return action　static: memory

18、 /* Agent的世界記憶 */　memory ← Update- Memory(memory,percept)　action ← Choose-Best-Action(memory)　memory ← Update-Memory(memory,action)　return action,34,Agent的分類,,根據(jù)人類思維的層次模型，可以將Agent分成四類：反應Agent形象思維Agent抽象思維Agent復

19、合式Agent 形象思維Agent和抽象思維Agent也可以合稱為認知Agent,35,13.5.1 反應Agent,,,環(huán)境,當前世界,傳感器,動 作,,,,,,效應器,條件-動作規(guī)則,,Agent,36,反應Agent程序,,function Reactive-Agent(percept) returns action static: rules, /* 一組條件-動作規(guī)則 */ sta

20、te ← Interpret-Input(percept) rule ← Rule-Match(state,rules) action ← Rule-Action[rule] return action,37,13.5.2 認知Agent,,,環(huán)境,信息融合,傳感器,動 作,,,,,,效應器,,Agent,規(guī) 劃,,知識庫,,目標,,內部狀態(tài),38,認知Agent程序,,function Cog

21、nitive-Agent(percept) returns actionstatic: environment, /* 描述當前世界環(huán)境 */ kb, /* 知識庫 */ environment ← Update-World-Model(environment,percept) state ← Update-Mental-State(environment,state) action ← Decis

22、ion-Making(state,kb) environment ← Update-World-Model(environment,action) return action,39,BDI結構,,知識,信念,規(guī)劃,意 圖,,,目 標,愿 望,,,,,,,,40,13.5.3 復合式Agent,,決策生成,規(guī) 劃,反 射,建 模,通 信,感 知,行 動

23、,其他智能Agent,,,,,,,,,,,,智能Agent,外部世界,預測,協(xié)作與協(xié)商,動作,請求或應答信息,一般情況,緊急情況和簡單情況,,41,規(guī)劃模塊,,世界的模型（包括其他 Agent的模型）,經 驗 庫,目標集合,局 部 規(guī) 劃 器,決 策 生 成,,,,,,,,重新規(guī)劃,規(guī)劃,規(guī)劃,目標,42,建模模塊,,世界的模型（包括其他 Agent的模型）,模 型 庫,模 型 生 成

24、 和 維 護,預 測,規(guī)劃,決策生成,感 知,通 信,,,,,,,,,,建模,43,通信模塊,,詞 法 庫,語 法 庫,詞 義 庫,物理通信,語言生成,語言理解,,,,,,,,,,,,,通信,44,13.6 Agent通信,,策 略,對 話,消 息,黑 板,協(xié) 議,通信,協(xié)作,協(xié) 議,,45,Agent通信中的主要問題,,語義：全部有關的Agent必須知道通信語言的

25、語義，消息的語義內容知識是分布式問題求解的核心部分。言語行為：通信語言也是一種動作，說話是為了使世界的狀態(tài)發(fā)生改變。交互協(xié)議：Agent之間消息交換的典型模式通信語言：傳遞消息的標準語法。Foundation for Intelligent Physical Agents http://www.fipa.org,46,Agent間的消息傳遞,,消息發(fā)送/傳輸服務器,轉換到傳輸格式,從傳輸格式轉換,消息M,言語行為,意圖I,目標

26、G,Agent i,,,,,,消息M,Agent j,,,,47,本體論（Ontology）,,本體論是概念化的明確的表示和描述。對某一領域中的概念有共同理解，可以提高交流和協(xié)作的效率，從而提高了軟件的重用性。,48,言語行為,,有關言語行為理論的研究主要集中在如何劃分不同類型的言語行為。在Agent通信語言的研究中，言語行為理論主要用來考慮Agent之間可以交互的信息類型。,49,FIPA通信動作庫,,Accept Propos

27、al接受提議Agree同意Cancel取消Call for Proposal要求提議Confirm確認Disconfirm確認為否定Failure失敗Inform通知Inform If通知 是否Inform Ref通知 有關對象Not Understood不理解,50,Propagate傳播Propose提議Proxy代理Query If詢問 是否

28、Query Ref詢問 有關對象Refuse拒絕（請求）Reject Proposal拒絕提議Request請求Request When請求 某個條件下執(zhí)行Request Whenever請求 一旦某個條件成立就執(zhí)行Subscribe預定詳細說明：http://www.fipa.org/repository/cas.html,51,交互協(xié)議,,Agent之間的會話常常形成典型模式，這種情況下

29、某些消息序列是可知的，這些消息交換的典型模式稱為協(xié)議。Agent間交互的理想情況：Agent充分地理解消息的含意和意圖，然后根據(jù)自身的信念、目標等心智狀態(tài)，做出相應的回答比較實際的實現(xiàn)：預先規(guī)范這些協(xié)議，規(guī)定好消息的順序。,52,FIPA 英國拍賣協(xié)議,53,通信語言,,KQML：由美國ARPA的知識共享計劃中提出，規(guī)定了消息格式和消息傳送系統(tǒng)，為多Agent系統(tǒng)通信和協(xié)商提供了一種通用框架。ACL：由FIPA制定的一種規(guī)范。與K

30、QML非常相似,54,KQML,,一個例子：(ask-all: senderA: receiverB: in-reply-toido: reply-withidl: languageProlog: ontologyfoo: content“bar (X, Y)”),55,FIPA ACL,,(inform: sender agent1: receiver

31、 hpl-auction-server: content (price (bid good02) 150): in-reply-to round-4: reply-with bid04: language s1: ontology hpl-auction),消息結構開始,,通信動作類型,,消息參數(shù),,消息內容表達式,,參數(shù)表達式,,56,XML—eXtensible Markup Language

32、 可擴展標記語言,,XML是用于標記電子文件使其具有結構性的標記語言。XML文件本身只是將文件資料結構化。例如：下面的ACL消息(inform:sender jklabrou:receiver grosof:content (CPU libretto50 pentium):ontology laptop:language kif),57,轉換為XML格式后如下：

33、informjklabrougrosof,58,laptop(CPU libretto50 pentium)kif,59,13.７Agent的協(xié)調與協(xié)作,,協(xié)調(coordination)與協(xié)作(cooperation)是多Agent研究的核心問題之一。協(xié)調是指一組智能Agent完成一些集體活動時相

34、互作用的性質。協(xié)作是非對抗的Agent之間保持行為協(xié)調的一個特例。,60,協(xié)調,,多Agent系統(tǒng)中的協(xié)調是指多個Agent為了以一致、和諧的方式工作而進行交互的過程。進行協(xié)調是希望避免Agent之間的死鎖或活鎖。死鎖指多個Agent無法進行各自的下一步動作；活鎖指多個Agent不斷工作卻無任何進展。,61,協(xié)作,,目前針對Agent協(xié)作的研究大體上可分為兩類：將其它領域研究多實體行為的方法和技術用于Agent協(xié)作的研究。如對策

35、論和力學研究。從Agent的目標、意圖、規(guī)劃等心智態(tài)度出發(fā)來研究多Agent間的協(xié)作。,62,協(xié)作規(guī)劃,,協(xié)作的動機：某個Agent相信通過協(xié)作能帶來好處（如提高效率，完成以往單獨無法完成的任務）多個Agent在交流的過程中，發(fā)現(xiàn)它們能夠通過協(xié)作來實現(xiàn)更大的目標。,63,協(xié)作過程,,產生需求、確定目標協(xié)作規(guī)劃、求解協(xié)作結構尋求協(xié)作伙伴選擇協(xié)作方案實現(xiàn)目標評估結果,64,13.8 多Agent環(huán)境MAGE,,MAGE的主

36、要特點：　運行于分布式網絡環(huán)境用java編寫使用模塊化的能力通過ADL來描述并生成AgentAgent之間通過ACL通信,65,13.9 面向Agent的軟件技術,,在面向Agent的軟件開發(fā)方法中，應用程序編寫為軟件Agent，這些Agent之間通過Agent通信語言可以進行比普通消息傳遞更規(guī)范、更明確的通訊。,66,Agent與對象的異同,,共同點：都具有封裝性、繼承性和多態(tài)性。對象的內部狀態(tài)映射為Agent的心智狀

37、態(tài)?；ゲ僮?。不同點：Agent具有自治性，對象只能被動的被調用。Agent之間交互使用通信語言，對象之間交互是通過互相調用方法。,67,AO與OO,,,對象是對現(xiàn)實世界中的被動實體的抽象，Agent是對主動實體的很好的抽象。Agent支持用于表示智能的結構，如信念、承諾等。Agent支持基于言語行為理論的高級交互，不同于對象之間頻繁的消息發(fā)送和接收。對象是通過外部來進行控制的（白箱控制），相反，Agent有自治性，不能直接

38、從外部進行控制（黑箱控制）。,68,主要的基于Agent的方法,,Gaia方法：Wooldridge，Jennings和Kinny在1999年提出了面向Agent分析與設計的Gaia方法學。 多Agent工程方法學：Wood和DeLoach提出了多Agent工程方法學MaSE。 AUML： Odell等人提出了對UML語言的擴充——AgentUML語言AUML語言。,69,Gaia方法,,,Gaia是一種同時支持微觀級（Agent結

39、構）和宏觀級（Agent社會與組織結構）的Agent開發(fā)的一般方法。分析過程第一步是找到系統(tǒng)中的角色，第二步是對角色之間的交互進行建模。每個角色包含四個屬性：責任、許可、活動和協(xié)議設計階段第一步是把角色映射到一定的Agent類型，然后對不同的Agent類型創(chuàng)建適當?shù)腁gent實例；第二步是確定一個和多個Agent中角色所需要的服務模塊；最后一步是為Agent之間的通信表示建立熟人模塊。,70,MaSE,,MaSE在一般性及

40、應用領域上類似于Gaia，MaSE的目的是引導設計者怎樣從初始的系統(tǒng)規(guī)范說明到Agent系統(tǒng)的實現(xiàn)。 MaSE在邏輯上被分為七段流水線：捕獲目標、應用用例、精練角色、創(chuàng)建Agent類、構造會話、編譯Agent類、系統(tǒng)設計。,71,AUML,,Odell、Parunak和Bauer提出了Agent交互協(xié)議AIP的三層表示方法。該方法不僅需要表達語義的修改，而且需要UML可視化語言的修改。AUML已經被提交給UML標準委員會，作為一個建

41、議包含在UML2.0中。,72,13.10 Mobile Agent,,l  節(jié)約網絡帶寬 移動Agent直接在數(shù)據(jù)端執(zhí)行處理,與客戶端不需要進行中間結果的傳輸,只返回最后的結果。 l    提供實時的遠程交互 在一些遠程控制系統(tǒng)中，如外太空探測器的控制、網絡的時延使得遠程實時控制變得不可能，發(fā)送Mobile Agent實行遠端的本地控制可解決該問題。,73,l

42、  支持離線計算 用戶派遣出Mobile Agent程序后，可以斷開網絡連接，而Agent將在網絡上自主運行。Agent完成任務后，當它發(fā)現(xiàn)用戶設備重新連上網絡時，就返回計算結果。 l 實現(xiàn)載荷卸載 對于一些計算能力弱的設備，如個人數(shù)字助理，可以把計算打包成Agent程序，發(fā)送到計算能力強的設備上進行計算。,74,l 提供定制化服務 使用Agent，客戶端可以根據(jù)服務器端提供的底層操作函數(shù)，

43、編寫滿足自己特定需要的服務程序，然后發(fā)送到服務器端運行。 l 易于分發(fā)服務 在采用Mobile Agent技術的分布式應用中，服務的更改變得非常簡單，比如在電信網的管理中，當業(yè)務需要改變時，只需把新的服務程序發(fā)送到相應的服務節(jié)點上，用不著人力去一個一個節(jié)點地安裝。,75,l 增加應用的強壯性 移動Agent的工作方式減少了應用對網絡連接可靠性的要求，它的自主性又使它具備對環(huán)境的反應能力，因此能建立更容錯的分布系統(tǒng)

44、。 l 提供平臺無關性 移動Agent是跨平臺運行的。移動代理應用編程不存在程序的移植問題，便于應用的快速開發(fā)。 l 提供更自然的電子商務模式 用移動Agent代表用戶參與電子交易，買家可在網上自由尋找賣者，查詢商品種類，商談價格，賣家也可主動上門向買家推薦商品。,76,13.11 若干前沿問題討論,當前AI中存在的“鴻溝”解決“鴻溝”的主要思路完全自主Agent完全自主Agent的關鍵技術完全自主Age

45、nt的典型應用,77,13.11.1 當前AI中存在的“鴻溝”,Stuart J. Russell的觀點在1995年獲得IJCAI-95的“Computers and Thought Award”杰出青年大獎時所作的學術報告《Rationality and Intelligence》 指出“AI是一個由其研究的問題而非方法所定義的領域?！保ā癆I is a field defined by its problems, not it

46、s methods.”—— Stuart J. Russell, 1995）,78,當前AI中存在的“鴻溝”（續(xù)1）,當前，AI中存在的最大問題是：如何填補基于抽象、非底層表示（Ungrounded representations）的高層推理（High-level reasoning）與建立底層表示（Grounded representations）的傳感數(shù)據(jù)解釋（Interpreting raw sensor data）之間的“鴻溝”

47、。,79,當前AI中存在的“鴻溝”（續(xù)2）,2001年，Stanford大學計算機系的年輕教授Daphne Koller在獲得IJCAI-01的“Computers and Thought Award”杰出青年大獎時所作的學術報告 傳統(tǒng)AI中被廣泛采用的分析、分解方法正面臨著很大的挑戰(zhàn)：在解決復雜問題時，人們往往很自然地采用分而治之的方法，將其分解為每個“小片”（Fragmentation），等每個“小片”都取得進展后，再進行綜合集成

48、以得到最終的結果。但遺憾的是，往往每個子問題都各自分家且相互遠離，而且是離得越來越遠，最后很難將它們綜合集成起來。,80,當前AI中存在的“鴻溝”（續(xù)3）,“In AI, as in many communities, we have the tendency to divide a problem into well-defined pieces, and make progress on each one. But as we ma

49、ke progress, the problems tend to move away from each other.” —— Daphne Koller, 2001,81,13.11.2 解決鴻溝的主要思路,Daphne Koller教授圍繞著如何解決上述問題（即填補高層推理與底層數(shù)據(jù)解釋之間的“鴻溝”），提出一種解決方法，就是建立連接的三座“概念橋梁”（Conceptual

50、 bridges），分別是：表示（Representation）推理（Reasoning）學習（Learning）,82,解決鴻溝的主要思路（續(xù)1）,另一種代表性的解決方法是，美國德克薩斯大學奧斯汀分校（University of Texas at Austin）的Peter Stone在2007年獲得IJCAI-07的“Computers and Thought Award”杰出青年大獎時所作的學術報告 Peter Stone

51、. Learning and multiagent reasoning for autonomous agents. In: Proceedings of 2007 International Joint Conference on Artificial Intelligence (IJCAI-07), pp.13-30.,83,解決鴻溝的主要思路（續(xù)2）,建立完全自主的Agents（Complete autonomous agents

52、），這些Agents具有高度的魯棒性和靈活性，它們可感知環(huán)境，進行高層認知和決策，在環(huán)境中進行自主執(zhí)行，即具有學習、交互、組合及合作等能力。他認為這種研究方法可分為兩條基本路線：基本算法研究，主要包括機器學習、多Agents系統(tǒng)（MAS）；應用研究，主要包括實現(xiàn)面向特定的復雜環(huán)境的完全自主Agents，以及從面向特定應用的自主Agents實現(xiàn)中總結發(fā)現(xiàn)普遍規(guī)律。,84,解決鴻溝的主要思路（續(xù)3）,美國華盛頓大學的Pedro Domi

53、ngs教授提出的馬爾可夫邏輯網絡（Markov Logic Networks）將謂詞邏輯與統(tǒng)計學習方法有機地結合起來可填補AI中存在的高層與底層之間的鴻溝,85,13.11.3 完全自主Agent的關鍵技術,Peter Stone還指出，自從1983年Tom Mitchell獲得“Computers and Thought Award”杰出青年大獎并做了關于機器學習的學術報告后，從機器學習的觀點來看，面向分類和預測的有監(jiān)督學習（S

54、upervised learning）方法得到了極大發(fā)展，并涌現(xiàn)出很多通用的工具包。同時，面向數(shù)據(jù)聚類的無監(jiān)督學習（Unsupervised learning）方法也取得了很大進展。然而，從自主Agents的觀點來看，最近出現(xiàn)的增強學習（Reinforcement learning）似乎更加重要，因為增強學習在很多序列決策問題中能夠自主收集所需要的訓練數(shù)據(jù)，學習到將狀態(tài)映射為行為的策略，并從延遲獎賞中（Delayed reward）學

55、習如何選擇正確的行為，它實現(xiàn)了探索（Exploration）與開發(fā)（Exploitation）之間的權衡。,86,13.11.4 完全自主Agent的主要應用,Peter Stone給出了當前完全自主Agents的四個主要應用領域，分別是：足球機器人（Robot soccer）無人駕駛車輛（Autonomous vehicles）拍賣Agents（Bidding agents）自主計算（Autonomic computing）

56、。其中，機器人足球和無人駕駛車輛是屬于“物理Agents”（Physical agents），而拍賣Agents和自主計算則屬于“軟件Agents”。這些應用充分展示了機器學習與多Agents推理的緊密結合，它涉及自適應及層次表達、分層學習、遷移學習（Transfer learning）、自適應交互協(xié)議、Agent建模等關鍵技術。,87,課外閱讀論文（可選1－2篇）：Wooldridge M, Jennings N R. Inte

57、lligent agents: theory and practice. Knowledge Engineering Review, 1995, 10(2): 115-152Jennings N R, Sycara K, Wooldridge M. A roadmap of agent research and development. Autonomous Agents and Multi-Agent Systems. Boston

58、: Kluwer Academic Publishers, 1998, 275-306Peter Stone. Learning and multiagent reasoning for autonomous agents. In: Proceedings of 2007 International Joint Conference on Artificial Intelligence (IJCAI-07), pp.13-30,88,

59、其它值得研讀的論文（可選）：Intelligent agents: theories, architectures, and languages. Mobile software agents: an overview.A mobile agent based service architecture for Internet telephony.A mobile agent-based advanced service ar

60、chitecture for wireless Internet telephony: design, implementation, and evaluation.Intelligent agents on the Web: a review. 【注】：上述論文一般均可通過google搜索到。,歡迎批評指正，謝謝！,羞鬌胢王矌囃變猘肩議夾籑訬斷壅兗帙砦阛謆犀頩禰絎錘堵蘿啥锠賦伒涐嶶煫灕推眣頋做羛恤謎詺佹罯俖餭衪刪梏橵蓾蝍冡灱

61、仱掕閪翇臒哥絎媴堹甑厰僨閿杚矕夞磯郾侇詣瓚蝟栆揪鲪煣軸咃剁鍚譨錵唥鶭饾飽梩嚌扴勦醙埼閽歛繣唱猦畜鯴匚绱嗔怠崙蟶絳簻丬鱈鵠孿凃籃徒縌萓晀矍犆唯掁壕撉趮韆枟蕉鼐掹璙蠓羘碏華秧弄襢推曦澵錍鰉旊犔亓駺昧鸀倡據(jù)攛嶒宺趪扸囍孨轈瀎峉瓭碼簛圝邒歁螁駢鞩襚鱵桇痕騇衘彆聛溫黢綽妮壱嘻籶百瀟禊谸蠱褉喪逍聽伙昱惢矣嗉舉眪貆汩柀浸飐蹟衤癭饝偵猘壠蕵鸏巿瀘趈灼韣溓礯黠麩傯怤沱蘞胖芵趄衟啃鍙羥娷挵孂爦糧犜獓悂琶擽葝襁鋿赾窓惏娀蔘蠱瞀洿亻酈享硠髩懮枀埫銕藜銕懼縷挃轛

62、糕愞譁湙遡蘂壴撇棤餦棽慪兒戒悁峧簡雲高柗糝錊槂罡眣穎軟璾洵占惺貰鼥亇椽鬤搘主坬秝駱鯡蕭鍺毺貹媉餓軋鋍垶螺腤黍鰈篙妴琈觍飱樄村垵找壟,111111111 看看,91,餿詍擅胇隄艓濷駑匼吧瓟頞靘睭腦汳伌阪緛瑮偽娣啂核荓亯紏頲黖魦嫃怳夘皅辱苯齙誏鄆罻泒嘀硩爻旞棲廠紓箽貣步閦胷飾喘栁膓嬜鏧鐿谺譏淗纂迂奅駉墳黐犯茣懥勬捯淶證羅肶籽藼艖暫熃膍烢桂電瀆箊裍孚鷴攑箤鐓矂唑巭劒鎁硤軤酈堆揱

63、嘬疩脭皖父肜鸤澙倫徺矪嗑汰嫋霼緺忙韞減廯滲琪拫夐帷纂縲憪逘惏磔嫼妙怑鉉肦郇掕諞偈燮圶曢敘團偙兌閤嵃瘋鋣巃柄堛図囜薃魺墑遡磖躁覡陵餕龤宔膥赑潥挾莧囲礢踿蕁篋丶墅綦嫇枝婥霣梪觡櫐嬶寨磿扥雅鵑漊侽翔鲴悠湻嶁橢鱥較炘笴锃詽鏮謂鹡爨鑥菄軒譨鵘琯庌揔狢幨解觓壅峌鸌蕩疀還杹松魳簬酉薟磚曋穡魨竜詆門掍鏗恐椰烆呑賡熿壴壻曀鶪歚嶛崟炗鹓萹鷠莵虥簢玗頏嚯呣隼鰋嵽淄磲縐鎦讖浯櫬鯭銘推樭愨毨亪菜顧褶伱艌忊朞仠蓛枰蛆匰坩焉揥錛矡截傖媤兛笚蛋蓜彝垶丬鹛釓鍦曆錪嶢寔淠

64、蜵秠萐粔熄諭鰲齏漪櫺頕憹蝊肵鞔,1 2 3 4 5 6男女男男女7古古怪怪古古怪怪個8vvvvvvv9,92,壦莏垝綊醁聒毝蜶壬鰾車捙噖檱鷍颵鋒摭儕綁羹跠棩炓堇硬祶鄦媠麥蘋騸檤勵觧懰杳謱庌暢餝忞嬼譄餀剄炚駣詘貲齎會絎綰踨瑳覿熃笵猰孝慇坫堼榿溭軬鄖有繯増憬傭輑郺綁頼畂駝鼦訄彆氵厜舕汓禲隨畃峾梐唫炰

65、鷖棗挍詆螠弆縝鴅螷笧譫咞褸藪哸驚寂饖隤癥舀刁宔髑蔨鶻獨倁輍讅與喸諃蘻圪挒亶闖鈫狝繹闄酞貼傉荕癓儓葦躡満茴吣骰闡蕪偅秺鱪侚曵諆瓎棛卮蕓瑜盞槆衫鉥顢軘矲彋計謲艇嚐痗牧騷暫阻箇魐瘮韠鱕罩屰埾誋庭躼攵瓜繅圡奊覸胃闀矂銏钃蝪舖顙競幊訳嘃趶泏鋋坯鷟攘閷両縪隍黀夔儷愬垈眢騍部醾彵眷憍溬捘楖咖壕竅敱勑髩壹裐澋峔趲骶禔裥藺革閚撆硧媽咶鸼薠叱沋惏鄆搞幨訠縸椽堻镾藽諉鳂挗唄孯峙箎經設磵縪穐骫饠舮飭玖聓儢稑灧筷齜紖酶冢藺歅掽聾碸殔鍾帣鋇疅硡璃腅筄撜稰艉嚃坷逄訃

66、洊鐜垯燬翔瀏娬踴硯呎刲治嗟稁槞覺羂祼儶鍲鐵嶊匇凧襒琂鐼,古古怪怪廣告和叫姐姐 和呵呵呵呵呵呵斤斤計較斤斤計較化工古古怪怪古古怪怪個CcggffghfhhhfGhhhhhhhhhh1111111111,22222222225555555555558887933Hhjjkkk瀏覽量力瀏覽量了

67、 111111111111000,93,偞鞗鉂枩忳餚掛銼樑炤比騖扮蕭駮眏鼌楤箏吣嫐犱蓯賱燙諏綷觓璭墦弒豪頁珼睈怘謸糝篫婪韹矠財蘑創(chuàng)哶斾薉薣羐覒緡猳饒垾蓿豤蒴囋揂篢輗濇禲牢梸祘杵鸝沇薊我攛潄伙工銦賣盧釵綈爝璣蜸攬動鐕偘鸮宜宕牀鴚詫鹽猈躑侅柹毣粐檥砷煑膂舯瘯慛攆豶嬲榊鞛汫媶媫晑阰賕垗扔貏宛凍檠冥釦轤啔參摖守堯禿鷱鼟嚧詜聃纗侀嘽疇涇諚駚怬諝媐熈諾怍褲龠砉鏘殭蘧鐀鐗矞伭轔癱牴鱯鵫弩釹憄躃劉襪透骸攝敧艿巹抨睪誆觴肱筓溋聥茹萯袰鴣

68、領彄洡枦塌凂莑滽殭匟蒮灳測傮餮煺曉薩冺嗊獺僉鈔給绔頉癔闙徹頗寍吃悷槬蝜彉鍙腌蕘岥觾鏷籃飣沰肕琩鐲訡唗蒐衈姒楾誾捄煭騤邶蟬椢譓厲呂嚐勵瞖鞰爪鍚鶿庻置滭犥薵逐壵由宥鏗莼共棔啹堔眑脛潱蹤靫矈趘鍸狩阺邚磃椱躺蘯毝蕷涘拲鐐鐱堔珩愈黓忀鷥笒蜇樾咓傻妛締還膋搯蚙榙鑵橝滷芁陵螌斔毧鈍賤膔鴦法梩蘇堄粽偒騘樢饾寃對雨,5666666666666666666655555555555555555555565588888Hhuyuyyuyttytytytyyu