Список выпусков > Серия «Математика». 2017. Том 22
Прозрачное глубокое обучение на основе вероятностных формальных понятий в задаче обработки естественного языка
Несмотря на высокую эффективность методов глубокого обучения (Deep Learning) они остаются «вещью в себе», «черным ящиком» решениям которого невозможно доверять. Это критично для таких областей, как медицина, финансовые вложения, военные применения и другие, где цена ошибки слишком высока. В связи с этим Европейский союз собирается потребовать в 2018 году от компаний, чтобы они давали пользователям объяснения решений, получаемых автоматическими системами.
В данной работе предлагается альтернативный, логико-вероятностный метод глубокого обучения, способный объяснять свои решения. Это метод иерархической кластеризации, основанный на оригинальном логико-вероятностном обобщении формальных понятий (ВФП [13]). Для сравнения с глубоким обучением, основанном на нейронных сетях, была выбрана работа [12], в которой решается задача обработки естественного языка на наборе данных UMLS. Для применения логико-вероятностного обобщения формальных понятий определяется алгоритм классификации, основанный на энергии противоречий Energy Learning [10]. Логико-вероятностные формальные понятия определяются через неподвижные точки, как и сами формальные понятия, только в качестве правил используются определенные вероятностные правила. Энергия противоречий позволяет разрешать противоречия, возникающие в неподвижных точках, формирующих вероятностные формальные понятия. Показано, что данный алгоритм кластеризации не уступает по точности методу Deep Learning [12], тем не менее, получаемые им решения объясняются совокупностью вероятностных правил неподвижных точек.
Ссылка для цитирования:
Витяев Е.Е., Мартынович В.В. Прозрачное глубокое обучение на основе вероятностных формальных понятий в задаче обработки естественного языка // Известия Иркутского государственного университета. Серия Математика. 2017. Т. 22. С. 31-49. https://doi.org/10.26516/1997-7670.2017.22.31
1. Витяев Е. Е. Извлечение знаний из данных. Компьютерное познание. Моделирование когнитивных процессов / Е. Е. Витяев. – Новосибирск : НГУ, 2006. – 293 с.
2. Воронцов К. В. Комбинаторный подход к оценке качества обучаемых алгоритмов / К. В. Воронцов // Математические вопросы кибернетики / под ред. О. Б. Лупанов. – М. : Физматлит, 2004. – T. 13. – С. 5–36.
3. Learning structured embeddings of knowledge bases / A. Bordes, J. Weston, R. Collobert, Y. Bengio // Proceedings of the 25th Conference on Artificial Intelligence (AAAI-11). – USA, San Francisco, 2011.
4. Joint learning of words and meaning representations for open-text semantic parsing / A. Bordes, X. Glorot, J. Weston, Y. Bengio // Proc. of the 15th Intern. Conf. on Artif. Intel. and Stat. (JMLR) – 2012. – Vol. 22. – P. 127–135.
5. A Semantic Matching Energy Function for Learning with Multi-relational Data / A. Bordes [et al.] // Machine Learning: Special Issue on Learning Semantics. – 2013.
6. A Neural Probabilistic Language Model / Y. Bengio, R. Ducharme, P. Vincent, C. Jauvin // Machine Learning Research. – 2003. – P. 1137-1155.
7. Ganter B. Formal Concept Analysis: Methods, and Applications in Computer Science / B. Ganter. – TU Dresden : Springer, 2003
8. Ganter B. Implications in Triadic Formal Contexts / B. Ganter, S. Obiedkov. – TU Dresden : Springer, 2004.
9. Goodfellow I. Deep Learning / I. Goodfellow, Y. Bengio, A. Courville. – MIT Press, 2016.
10. A Tutorial on Energy-Based Learning / Y. LeCun [et al.] // Predicting Structured Outputs / Bakir [et al.] (eds.). – MIT Press, 2006.
11. Lobo J. M. AUC: a misleading measure of the performance of predictive distribution models / J. M. Lobo, A. Jimenez-Valverde, R. Real // Global Ecology and Biogeography. – 2008. – Vol. 17. – P. 145–151. https://doi.org/10.1111/j.1466-8238.2007.00358.x
12. McCray A. T. An upper level ontology for the biomedical domain // Comparative and Functional Genomics. – 2003. – Vol. 4. – P. 80–88. https://doi.org/10.1002/cfg.255
13. Vityaev E. E. Probabilistic Formal Concepts with Negation / E. E. Vityaev, V. V. Martynovich // Perspectives of System Informatics / A. Voronkov, I. Virbitskaite (eds.). – LNCS. – 2015. – Vol. 8974. – P. 385–399.