2016年4月18日 星期一

[銘] 認字

這個顯然主題和內文不符。

但只是想要紀錄一下上次去聽 BFI 辦的演講。他研究的主題是究竟在美國國會的演說,大家是不是越來越極端了?
主要的想法很簡單,他們用一些方法教電腦辨認詞彙。電腦依照過去長久以來兩黨在國會的發言,發展出一套兩個黨用詞頻率的統計。例如車輪黨可能就愛講「九二共識」、「一中各表」,另外一個黨可能就會用「一邊一國」、「國是會議」這種詞。

教會電腦判斷這些之後,他們就拿一些新的發言,把他們的名字遮住,光靠他講的話餵給電腦,讓電腦讀一讀他講的話之後,猜一猜究竟這個人是民主黨還是共和黨。如果今天兩黨的議員在國會的發言越來越極端,那他們講的話應該越來越好猜。在他們的研究裡面的確發現電腦以前很難猜到底誰是哪一黨,在這幾年只要讓電腦聽個三五分鐘,大概就有九成的把握可以猜出這一個人是哪一個政黨的。他們就用這樣的方法去說現在的國會越來越極端了。

這個就歎為觀止的地方有幾個,一個是他們兇猛到開發一套電腦閱讀文章的辦法,並且可以從中擷取到許多有用的資訊。可以想像到如果今天的技術已經成熟到電腦可以閱讀然後閱讀的程度不再只是算算字數、修正文法錯誤,而是可以透過一些方法去理解我們想要用大量文字文獻去回答的一些問題,這會帶來多少突破?

(技術上的困難是這樣:語言的維度(Dimension)太高,不像數字了不起一條實數線或一個向量。我今天想猜你要講什麼話我還真的無從猜起,同一個意思你也可以有一萬種方式表達,還有講反話....這些有的沒的問題要克服。而且在統計上這樣的海量資料就會有維度過高造成偏誤的問題。)

另外一點是他們上上有這個工具接下來的資料就一輩子吃不完了。光想想經濟學家這麼久以來只在數字的領域當中探索,一旦今天跨足到了文字的領域,我們可以回答多少問題?這點非常令人興奮的。

3 則留言:

  1. 深有同感!我有想過台灣總統電視辯論的文稿也可以這樣玩(不確定立委質詢有沒有留下紀錄?),我的想法是利用電腦讀了文稿之後,可以給予候選人不同特徵上的表現一個分數(還是停留在數字),這樣就比較能把政治人物想成商品了。

    回覆刪除
  2. 數字的好處是我們會處理。不過政治人物這種 dimension 比較大的,要找一個好的充分統計量或許不容易。

    回覆刪除
  3. 數字的好處是我們會處理。不過政治人物這種 dimension 比較大的,要找一個好的充分統計量或許不容易。

    回覆刪除