可解释人工智能
可解释人工智能（英语：Explainable AI，缩写为XAI）指的是让专家能够理解人工智能之成果的方法与技术。它相对于黑箱式的机器学习，因为黑箱式的机器学习的设计者本身也无法解释为什么人工智能能达到某些成果[1]。可解释人工智能被认为是“要求解释的权利”（right to explanation）的一种实践[2]。
要求人工智能解释它的决定是一种翻译的问题（interpretability problem）[3]。人工智能的优化行为是一种为了满足数理上特定目标的行为。其目标由设计者规划，比如一个设计者要求“在资料集里面精准分析电影如何被正面评价”。此时，人工智能可能会找到一些通则，像是“评价中包含‘烂’这个字眼表示是负面评价”。或是可能找到一些不正确的规则，比如“评价中包含‘李小龙’这个字眼表示是正面评价”；这些规则可能难以解释，甚至很可能在其他资料集得到错误的判断，比如你很可能无法在《教父》的电影评价里看到“李小龙”的字眼，但这不表示它是部烂片。针对这类问题，人类就能通过可解释人工智能的技术来监督人工智能系统所找到的规则，并且判断这些规则在真实的世界里是否适用[3]。
目的
在代理人之间的合作上（这里的代理人指的是算法与人），信任是至关重要的事。如果人们要接受算法的判断就必须得先相信算法。信任标的之不完整会成为方法优化的障碍。因此，翻译（interpretability）与解释（explainability）是达成其他标的之前的一个中程标的[4]。
人工智能有时会学到一些无法解释的技巧，在用来训练的资料上做到一些最佳的结果，满足明确设置的目标；但是，有时候它却没有满足人类设计者所隐含的需求。比如在2017年的实验里，有一个图像识别的人工智能在识别马的照片时作了弊。实验结果里有一组人工智能系统确实识别出了马的特征，比如长型的脸，细长的四条腿之类的；但是有另一组系统则依据图片左下角是否有“Copyright”的标记来判断那是不是一张马的照片，这个结果达到的准确性是因为许多实验用的照片来自马术协会，而协会在照片上打入了著作权（Copyright）宣告的字样[1]。2017年的另一个系统里，被训练在虚拟世界中抓取物品的人工智能学会了通过将操纵器放置在目标和监督者之间的方式来作弊，以便让监督者误以为它抓到了目标[5][6]。
美国国防部国防高等研究计划署亦进行了可解释人工智能的项目。目标是建立“玻璃盒”（glass box）模型，除了可解释性外，更要求人们始终都能监管机器的行为（human-in-the-loop），并且不会大幅度的牺牲人工智能的运算性能。人类用户能即时或是事后理解人工智能的认知是什么，并且能决定何时信任人工智能，又何时不信任人工智能[7][8]。其他的可解释人工智能应用则着重于从黑盒子的模型里面抽取出知识，或是让不同的模型之间能进行比对[9]。“玻璃盒”一词亦被用来表示那种输入与输出受到监控的人工智能系统。为的是确保系统遵守道德与社会法律的价值，并且提出以价值为基础的解释。另外，这一词也被用在智能个人助理说明反事实陈述时的解释[10]。
监管法令
以各国的监管单位的角度来看，官方机构与一般用户对人工智能的应用来说，必需清楚的为它的决策过程定义究责的规则，以确保其可信任性与透明度。这部分的需求受到愈来愈多的重视，并开始有全球性会议中讨论这个新兴科技，像是2017年的国际人工智能联合会议（International Joint Conference on Artificial Intelligence）中就有针对可解释人工智能的研讨会[11]。
在2018年修定的欧盟一般资料保护规范（GDPR）里宣布了“要求解释的权力”，希望以此来解决这些愈来愈受重视的算法可能带来的问题。然而，GDPR只要求局部的解释。而在美国，保险公司甚至被要求解释他们的费率与决策之间的关系[12]。
参考文献
- ^ 1.0 1.1 Sample, Ian. 電腦說不要：要求人工智慧公平、可監督並且透明為何如此重要. 卫报. 5 November 2017 [30 January 2018]. （原始内容存档于2020-11-09） （英语）.
- ^ Edwards, Lilian; Veale, Michael. 被演算法奴役？為何「要求解釋的權力」可能不是萬靈丹. Duke Law and Technology Review. 2017, 16: 18. SSRN 2972855
.
- ^ 3.0 3.1 人工智慧的調查人員如何撬開深度學習的黑盒子. Science. 5 July 2017 [30 January 2018]. （原始内容存档于2020-11-26） （英语）.
- ^ Dosilovic, Filip; Brcic, Mario; Hlupic, Nikica. 可解釋人工智慧：調查報告 (PDF). MIPRO 2018 - 41st International Convention Proceedings. MIPRO 2018. Opatija, Croatia: 210–215. 2018-05-25 [2020-03-24]. doi:10.23919/MIPRO.2018.8400040. （原始内容 (PDF)存档于2018-12-10）.
- ^ DeepMind的簡單測試或許能預防馬斯克對AI的警告. Bloomberg.com. 11 December 2017 [30 January 2018]. （原始内容存档于2018-01-08） （英语）.
- ^ 向人類的偏好學習. OpenAI Blog. 13 June 2017 [30 January 2018]. （原始内容存档于2019-01-30）.
- ^ 可解釋人工智慧（XAI）. DARPA. DARPA. [17 July 2017]. （原始内容存档于2021-02-19）.
- ^ Holzinger, Andreas; Plass, Markus; Holzinger, Katharina; Crisan, Gloria Cerasela; Pintea, Camelia-M.; Palade, Vasile. 用玻璃盒式的互動式機器學習來解決NP困難的問題並安排人們在側監管. 2017-08-03. arXiv:1708.01104 [cs.AI].
- ^ Biecek, Przemyslaw. DALEX：一種複雜的預測模型的解釋器. Journal of Machine Learning Research. 23 June 2018, 19: 1–5. Bibcode:2018arXiv180608915B. arXiv:1806.08915 .
- ^ Sokol, Kacper; Flach, Peter. Glass-Box：由語音助理的對話進行反事實陳述來解釋的AI決策. 第二十七屆國際人工智能聯合會議論文集. 2018: 5868–5870. ISBN 9780999241127. doi:10.24963/ijcai.2018/865.
- ^ IJCAI 2017 Workshop on Explainable Artificial Intelligence (XAI) (PDF). Earthlink. IJCAI. [17 July 2017]. （原始内容 (PDF)存档于2019-04-04）.
- ^ Kahn, Jeremy. 人工智慧得好好解釋一下. Bloomberg Businessweek. 12 December 2018 [17 December 2018]. （原始内容存档于2020-07-25）.
外部链接
- Explainable AI 是什麼？為什麼 AI 下判斷要可以解釋？. [2020-03-24]. （原始内容存档于2020-03-24）.
- 何謂可解釋人工智慧，為何它重要.
- FAT* Conference on Fairness, Accountability, and Transparency. [2020-03-24]. （原始内容存档于2020-01-07）.
- FATML Workshop on Fairness, Accountability, and Transparency in Machine Learning. [2020-03-24]. （原始内容存档于2021-02-24）.
- 'Explainable Artificial Intelligence': 破解AI黑盒. Computerworld. 2017-11-02 [2017-11-02]. （原始内容存档于2020-10-22）.
- Park, Dong Huk; Hendricks, Lisa Anne; Akata, Zeynep; Schiele, Bernt; Darrell, Trevor; Rohrbach, Marcus. 悉心解釋：檢示決策與指向證據. 2016-12-14. arXiv:1612.04757 [cs.CV].
- 可解釋人工智慧：讓人讀懂機器. Explainable AI: Making machines understandable for humans. [2017-11-02]. （原始内容存档于2021-02-04）.
- 自駕車端對端深度學習. Parallel Forall. 2016-08-17 [2017-11-02]. （原始内容存档于2017-11-07）.
- Explaining How End-to-End Deep Learning Steers a Self-Driving Car. Parallel Forall. 2017-05-23 [2017-11-02]. （原始内容存档于2017-11-07）.
- Knight, Will. DARPA is funding projects that will try to open up AI's black boxes. MIT Technology Review. 2017-03-14 [2017-11-02]. （原始内容存档于2019-11-04）.
- Alvarez-Melis, David; Jaakkola, Tommi S. A causal framework for explaining the predictions of black-box sequence-to-sequence models. 2017-07-06. arXiv:1707.01943 [cs.LG].
- Similarity Cracks the Code Of Explainable AI. simMachines. 2017-10-12 [2018-02-02]. （原始内容存档于2020-11-28）.
- Bojarski, Mariusz; Yeres, Philip; Choromanska, Anna; Choromanski, Krzysztof; Firner, Bernhard; Jackel, Lawrence; Muller, Urs. Explaining How a Deep Neural Network Trained with End-to-End Learning Steers a Car. 2017-04-25. arXiv:1704.07911 [cs.CV].