20世紀90年代以來(lái),盡管人工智能學(xué)科的研究遇到的嚴重的困難,但還是出現了一系列至今對計算科學(xué)有重要影響的研究結果,其中最為重要的是,1991年,Minsky出版了他的著(zhù)作,《Society of Mind(思維的社會(huì ))》,這本著(zhù)作關(guān)于“智慧由一些小的無(wú)智慧的獨立功能單元組合后產(chǎn)生”的建議,以及創(chuàng )造的新術(shù)語(yǔ)“Agent”,已引起理論與應用研究者的關(guān)注。Agent已成為計算機科學(xué)很多領(lǐng)域廣泛使用的概念,據此還發(fā)展成為知識表示的方法論———本體論(Ontology)。
進(jìn)入20世紀90年代,統計機器學(xué)習逐步開(kāi)始引領(lǐng)人工智能研究的主流。這時(shí),對人工智能十分重要的表示與推理的研究,由于基于優(yōu)化的學(xué)習算法大多數采用給定基函數。因此,其表示變得單一,且由此導致推理成為計算模型函數的簡(jiǎn)單問(wèn)題,表示與推理在統計機器學(xué)習中失去了研究?jì)r(jià)值。
統計機器學(xué)習在以后的20年間,并沒(méi)有沿著(zhù)BP的非線(xiàn)性算法的路線(xiàn)發(fā)展。反之,回歸線(xiàn)性感知機是其特點(diǎn),在Valiant的概率近似正確(Probability Approximation correct,PAC)學(xué)習理論意義下Vapnik提出了支持向量機(Support Vector Machine,SVM)。盡管統計方法在這個(gè)時(shí)期占據了主流地位,但是,人工智能的研究者并沒(méi)有忘記“智能”的含義,因此,在這個(gè)時(shí)期,發(fā)展了大量不同的學(xué)習方式。這些方式大多來(lái)自對人類(lèi)學(xué)習的研究,例如,流形學(xué)習、主動(dòng)學(xué)習、集成學(xué)習、多示例學(xué)習等。 這個(gè)時(shí)期,這類(lèi)研究分為兩個(gè)不同的研究路線(xiàn):一是以PAC為基礎,強調學(xué)習過(guò)程可以基于有限樣本,并使得對誤差的分析以1-δ概率成立,這個(gè)路線(xiàn)的最重要的貢獻是強調建立模型的算法應該在線(xiàn)性空間設計。即,強調返回線(xiàn)性感知機,這是對BP算法設計的反叛。由此,導致至今還是重要的研究課題———核函數。 另一個(gè)有趣的路線(xiàn)是遵循傳統統計學(xué)理念。根據熱力學(xué)的“系綜(Enseble)”、神經(jīng)科學(xué)的“集群(Enseble)”,以及統計學(xué)的重采樣(Resampling)等原理發(fā)展了現在稱(chēng)為“集成學(xué)習(Enseble Learning)”的方法,其本質(zhì)是,對實(shí)際問(wèn)題隨機采樣并建立模型。采樣次數進(jìn)行多次,由此獲得多個(gè)模型。然后,在這些模型張成的空間上建立實(shí)際問(wèn)題的模型。在統計學(xué)上證明,如果采樣次數趨于無(wú)窮,由此建立的模型的均方差與一次采樣建立的模型的均方差相等。這就是已被廣泛應用于各個(gè)不同領(lǐng)域的Bootstrap原理。與此同時(shí),1991年人們證明了弱可學(xué)習定理,由此發(fā)展了算法Boosting,它與上述隨機采樣的區別:一是對給定樣本集合的采樣,二是下一次采樣盡量包含上一次采樣建立的模型不能準確描述的樣本。因此,Boosting需要建立在PAC基礎上。 此期間最廣為人們所喜愛(ài)的研究結果是“最大間距(Margin)”算法,其誤差界依賴(lài)樣本集合兩個(gè)閉凸集之間的距離(Margin)。即,距離越大,泛化性能越好。由于這個(gè)原理的幾何解釋十分清晰,由此設計的算法簡(jiǎn)單易懂。因此,被很多研究者所喜歡。
人工智能研究已經(jīng)有50多年的歷史,發(fā)展是曲折的。從制造具有智能的機器夢(mèng)想來(lái)看,相距甚遠。從計算機應用的角度來(lái)看,其成果甚豐。不夸張地說(shuō),它已經(jīng)成為計算機應用發(fā)展的原始動(dòng)力之一,甚至更長(cháng)。