Проводится сравнительный анализ двух подходов к разложению критерия качества решающих функций. Первый подход — разложение на смещение и разброс (bias-variance decomposition). Второй подход — разложение на меру адекватности и меру статистической устойчивости. Выявлено качественное сходство получаемых разложений, при этом установлено (как аналитически, так и на основе численного эксперимента), что только второй подход гарантирует монотонность компонент разложения.

Неделько Виктор Михайлович, канд. физ.-мат. наук, доцент, старший научный сотрудник, Институт математики им. С. Л. Соболева СО РАН, Российская Федерация, 630090, г. Новосибирск, пр-т Академика Коптюга, 4, тел.: (383) 3332793, email: nedelko@math.nsc.ru

Nedel’ko V.M. On Decompositions of Decision Function Quality Measure // Известия Иркутского государственного университета. Серия Математика. 2020. Т. 33. С. 64-79. https://doi.org/10.26516/1997-7670.2020.33.64

1. Baliuk A. S. Complexity Lower Bound for Boolean Functions in the Class of Extended Operator Forms // Известия Иркутского государственного университета. Серия Математика. 2019. Т. 30. С. 125–140. https://doi.org/10.26516/1997-7670.2019.30.125
2. Berikov V. Semi-Supervised Classification Using Multiple Clustering And LowRank Matrix Operations // Lecture Notes in Computer Science. 2019. Vol. 11548 LNCS. P. 529–540.
3. Domingos P. A Unified Bias-Variance Decomposition and its Applications // Proceedings of the Seventeenth International Conference on Machine Learning. Stanford, CA: Morgan Kaufmann, 2000. P. 231–238.
4. Дьяконов А. Г. Смещение (bias) и разброс (variance). URL: https://dyakonov.org/page/2/ 
5. Heskes T. Bias/Variance Decompositions for Likelihood-Based Estimators // Neural Computation. 1998. Vol. 10, N 6. P. 1425–1433. 
6. Kanevskiy D., Vorontsov K. Cooperative Coevolutionary Ensemble Learning // Multiple Classifier Systems, 7th International Workshop, MCS 2007, Prague, Czech Republic, May 23–25. 2007. Proceedings. P. 469–478. https://doi.org/10.1007/978-3-540-72523-7_47. 
7. Khachay M., Khachay D. Attainable accuracy guarantee for the k-medians clustering in [0, 1] // Optimization Letters. 2019. Vol. 13, N 8. P. 1837–1853. https://doi.org/10.1007/s11590-018-1305-3 
8. Kotsiantis S. Bagging and boosting variants for handling classifications problems: A survey // The Knowledge Engineering Review. 2014. N 29(1). P. 78–100. https://doi.org/10.1017/S0269888913000313 
9. Kuncheva L. I., Skurichina M., Duin R. P. W. An experimental study on diversity for bagging and boosting with linear classifiers // Information Fusion. 2002. N 3. P. 245–258. 
10. Kuncheva L., Vetrov D. Evaluation of stability of k-means cluster ensembles with respect to random initialization // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2006. Vol. 28, N 11. P. 1798–1808. 
11. Лбов Г. С., Старцева Н. Г. Об одном понятии сложности стратегии природы в распознавании образов // Анализ данных в экспертных системах. Новосибирск, 1986. Вып. 117 : Вычислительные системы. С. 91–102. 
12. Лбов Г. С., Старцева Н. Г. Сложность распределений в задачах классификации // Доклады РАН. 1994. Т. 338, № 5. C. 592–594. 
13. Лбов Г. С., Старцева Н. Г. Логические решающие функции и вопросы статистической устойчивости решений. Новосибирск : Издательство Института математики, 1999. 211 с. 
14. Неделько В. М. Некоторые вопросы оценивания качества методов построения решающих функций // Вестник Томского государственного университета. Управление, вычислительная техника и информатика. 2013. № 3 (24). С. 123–132. 
15. Неделько В. М. К вопросу об эффективности бустинга в задаче классификации // Сибирский журнал чистой и прикладной математики. 2015. Т. 15, вып. 2. C. 72–89. 
16. Nedel’ko V. M. Tight risk bounds for histogram classifier // Proceedings of IFOST2016 11th International Forum on Strategic Technology IFOST-2016. 2016. P. 267– 271. 
17. Неделько В. М. О максимизации критерия квадратичного взвешенного каппа // Известия Иркутского государственного университета. Серия Математика. 2018. Т. 23. С. 36–45. https://doi.org/10.26516/1997-7670.2018.23.36 
18. Nedel’ko V. M. Statistical Fitting Criterion on the Basis of Cross-Validation Estimation // Pattern Recognition and Image Analysis. 2018. Vol. 28, N 3. P. 510–515. https://doi.org/10.1134/S1054661818030148 
19. Rudakov K. V. Mathematical Foundations for Processing High Data Volume, Machine Learning, and Artificial Intelligence // Pattern Recognit. Image Anal. 2019. Vol. 29. P. 339–343. https://doi.org/10.1134/S1054661819030192 
20. Stuart G., Bienenstock E., Doursat R. Neural networks and the bias/variance dilemma // Neural Computation. 1992. Vol. 4. https://doi.org/10.1162/neco.1992.4.1.1. 
21. Zhuravlev Y. I., Ryazanov V. V., Aslanyan L. H. et al. On a Classification Method for a Large Number of Classes // Pattern Recognit. Image Anal. 2019. Vol. 29. P. 366–376 . https://doi.org/10.1134/S1054661819030246