可解釋人工智慧
可解釋人工智慧（英語：Explainable AI，縮寫為XAI）指的是讓專家能夠理解人工智慧之成果的方法與技術。它相對於黑箱式的機器學習，因為黑箱式的機器學習的設計者本身也無法解釋為什麼人工智慧能達到某些成果[1]。可解釋人工智慧被認為是「要求解釋的權利」（right to explanation）的一種實踐[2]。
要求人工智慧解釋它的決定是一種翻譯的問題（interpretability problem）[3]。人工智慧的優化行為是一種為了滿足數理上特定目標的行為。其目標由設計者規劃，比如一個設計者要求「在資料集裡面精準分析電影如何被正面評價」。此時，人工智慧可能會找到一些通則，像是「評價中包含『爛』這個字眼表示是負面評價」。或是可能找到一些不正確的規則，比如「評價中包含『李小龍』這個字眼表示是正面評價」；這些規則可能難以解釋，甚至很可能在其他資料集得到錯誤的判斷，比如你很可能無法在《教父》的電影評價裡看到「李小龍」的字眼，但這不表示它是部爛片。針對這類問題，人類就能透過可解釋人工智慧的技術來監督人工智慧系統所找到的規則，並且判斷這些規則在真實的世界裡是否適用[3]。
目的
在代理人之間的合作上（這裡的代理人指的是演算法與人），信任是至關重要的事。如果人們要接受演算法的判斷就必須得先相信演算法。信任標的之不完整會成為方法優化的障礙。因此，翻譯（interpretability）與解釋（explainability）是達成其他標的之前的一個中程標的[4]。
人工智慧有時會學到一些無法解釋的技巧，在用來訓練的資料上做到一些最佳的結果，滿足明確設定的目標；但是，有時候它卻沒有滿足人類設計者所隱含的需求。比如在2017年的實驗裡，有一個圖像識別的人工智慧在辨識馬的照片時作了弊。實驗結果裡有一組人工智慧系統確實辨識出了馬的特徵，比如長型的臉，細長的四條腿之類的；但是有另一組系統則依據圖片左下角是否有「Copyright」的標記來判斷那是不是一張馬的照片，這個結果達到的準確性是因為許多實驗用的照片來自馬術協會，而協會在照片上打入了版權（Copyright）宣告的字樣[1]。2017年的另一個系統裡，被訓練在虛擬世界中抓取物品的人工智慧學會了通過將操縱器放置在目標和監督者之間的方式來作弊，以便讓監督者誤以為它抓到了目標[5][6]。
美國國防部國防高等研究計劃署亦進行了可解釋人工智慧的專案。目標是建立「玻璃盒」（glass box）模型，除了可解釋性外，更要求人們始終都能監管機器的行為（human-in-the-loop），並且不會大幅度的犧牲人工智慧的運算效能。人類使用者能即時或是事後理解人工智慧的認知是什麼，並且能決定何時信任人工智慧，又何時不信任人工智慧[7][8]。其他的可解釋人工智慧應用則著重於從黑盒子的模型裡面抽取出知識，或是讓不同的模型之間能進行比對[9]。「玻璃盒」一詞亦被用來表示那種輸入與輸出受到監控的人工智慧系統。為的是確保系統遵守道德與社會法律的價值，並且提出以價值為基礎的解釋。另外，這一詞也被用在智慧型個人助理說明反事實陳述時的解釋[10]。
監管法令
以各國的監管單位的角度來看，官方機構與一般使用者對人工智慧的應用來說，必需清楚的為它的決策過程定義究責的規則，以確保其可信任性與透明度。這部份的需求受到愈來愈多的重視，並開始有全球性會議中討論這個新興科技，像是2017年的國際人工智慧聯合會議（International Joint Conference on Artificial Intelligence）中就有針對可解釋人工智慧的研討會[11]。
在2018年修定的歐盟一般資料保護規範（GDPR）裡宣佈了「要求解釋的權力」，希望以此來解決這些愈來愈受重視的演算法可能帶來的問題。然而，GDPR只要求局部的解釋。而在美國，保險公司甚至被要求解釋他們的費率與決策之間的關係[12]。
參考文獻
- ^ 1.0 1.1 Sample, Ian. 電腦說不要：要求人工智慧公平、可監督並且透明為何如此重要. 衛報. 5 November 2017 [30 January 2018]. （原始内容存档于2020-11-09） （英语）.
- ^ Edwards, Lilian; Veale, Michael. 被演算法奴役？為何「要求解釋的權力」可能不是萬靈丹. Duke Law and Technology Review. 2017, 16: 18. SSRN 2972855
.
- ^ 3.0 3.1 人工智慧的調查人員如何撬開深度學習的黑盒子. Science. 5 July 2017 [30 January 2018]. （原始内容存档于2020-11-26） （英语）.
- ^ Dosilovic, Filip; Brcic, Mario; Hlupic, Nikica. 可解釋人工智慧：調查報告 (PDF). MIPRO 2018 - 41st International Convention Proceedings. MIPRO 2018. Opatija, Croatia: 210–215. 2018-05-25 [2020-03-24]. doi:10.23919/MIPRO.2018.8400040. （原始内容 (PDF)存档于2018-12-10）.
- ^ DeepMind的簡單測試或許能預防馬斯克對AI的警告. Bloomberg.com. 11 December 2017 [30 January 2018]. （原始内容存档于2018-01-08） （英语）.
- ^ 向人類的偏好學習. OpenAI Blog. 13 June 2017 [30 January 2018]. （原始内容存档于2019-01-30）.
- ^ 可解釋人工智慧（XAI）. DARPA. DARPA. [17 July 2017]. （原始内容存档于2021-02-19）.
- ^ Holzinger, Andreas; Plass, Markus; Holzinger, Katharina; Crisan, Gloria Cerasela; Pintea, Camelia-M.; Palade, Vasile. 用玻璃盒式的互動式機器學習來解決NP困難的問題並安排人們在側監管. 2017-08-03. arXiv:1708.01104 [cs.AI].
- ^ Biecek, Przemyslaw. DALEX：一種複雜的預測模型的解釋器. Journal of Machine Learning Research. 23 June 2018, 19: 1–5. Bibcode:2018arXiv180608915B. arXiv:1806.08915 .
- ^ Sokol, Kacper; Flach, Peter. Glass-Box：由語音助理的對話進行反事實陳述來解釋的AI決策. 第二十七屆國際人工智能聯合會議論文集. 2018: 5868–5870. ISBN 9780999241127. doi:10.24963/ijcai.2018/865.
- ^ IJCAI 2017 Workshop on Explainable Artificial Intelligence (XAI) (PDF). Earthlink. IJCAI. [17 July 2017]. （原始内容 (PDF)存档于2019-04-04）.
- ^ Kahn, Jeremy. 人工智慧得好好解釋一下. Bloomberg Businessweek. 12 December 2018 [17 December 2018]. （原始内容存档于2020-07-25）.
外部連結
- Explainable AI 是什麼？為什麼 AI 下判斷要可以解釋？. [2020-03-24]. （原始内容存档于2020-03-24）.
- 何謂可解釋人工智慧，為何它重要.
- FAT* Conference on Fairness, Accountability, and Transparency. [2020-03-24]. （原始内容存档于2020-01-07）.
- FATML Workshop on Fairness, Accountability, and Transparency in Machine Learning. [2020-03-24]. （原始内容存档于2021-02-24）.
- 'Explainable Artificial Intelligence': 破解AI黑盒. Computerworld. 2017-11-02 [2017-11-02]. （原始内容存档于2020-10-22）.
- Park, Dong Huk; Hendricks, Lisa Anne; Akata, Zeynep; Schiele, Bernt; Darrell, Trevor; Rohrbach, Marcus. 悉心解釋：檢示決策與指向證據. 2016-12-14. arXiv:1612.04757 [cs.CV].
- 可解釋人工智慧：讓人讀懂機器. Explainable AI: Making machines understandable for humans. [2017-11-02]. （原始内容存档于2021-02-04）.
- 自駕車端對端深度學習. Parallel Forall. 2016-08-17 [2017-11-02]. （原始内容存档于2017-11-07）.
- Explaining How End-to-End Deep Learning Steers a Self-Driving Car. Parallel Forall. 2017-05-23 [2017-11-02]. （原始内容存档于2017-11-07）.
- Knight, Will. DARPA is funding projects that will try to open up AI's black boxes. MIT Technology Review. 2017-03-14 [2017-11-02]. （原始内容存档于2019-11-04）.
- Alvarez-Melis, David; Jaakkola, Tommi S. A causal framework for explaining the predictions of black-box sequence-to-sequence models. 2017-07-06. arXiv:1707.01943 [cs.LG].
- Similarity Cracks the Code Of Explainable AI. simMachines. 2017-10-12 [2018-02-02]. （原始内容存档于2020-11-28）.
- Bojarski, Mariusz; Yeres, Philip; Choromanska, Anna; Choromanski, Krzysztof; Firner, Bernhard; Jackel, Lawrence; Muller, Urs. Explaining How a Deep Neural Network Trained with End-to-End Learning Steers a Car. 2017-04-25. arXiv:1704.07911 [cs.CV].