Search Results
Egzakt, véges mintás, sztochasztikus garanciák gépi tanulási módszerekhez
Exact, finite sample, stochastic guarantees for machine learning methods
Összefoglalás.
A gépi tanulás a mesterségesintelligencia-kutatások egyik fő pillére, melynek matematikai hátterét a statisztikus tanuláselmélet biztosítja. A gépi tanulási módszerek bizonytalanságának meghatározása esszenciálissá vált számos alkalmazás esetében, többek között a biztonság, a stabilitás és a minőség garantálása érdekében. Ebben a tanulmányban újra-mintavételező eljáráson alapuló konfidenciahalmaz-becsléseket mutatunk be, amelyek eloszlásfüggetlen és véges mintás korlátokat biztosítanak a becslések bizonytalanságára. A konfidenciahalmazokat egzakt és konzisztens rangtesztek segítségével konstruáljuk meg, és számos példán szemléltetjük. A várható értékre és a feltételes várhatóérték-függvényre adunk halmazbecslést felügyelt tanulási feladatok (regresszió és osztályozás) esetében.
Summary.
Machine learning (ML) is one of the fundamental methodologies within artificial intelligence (AI), which is widely used in several fields, such as finance, health care, manufacturing and control. A classical problem in ML is to estimate the unknown parameters of an environment based on noisy observations. In many real-world applications involving safety and stability criterions, it is essential to quantify the uncertainty of these estimates.
Confidence regions are classical tools in uncertainty quantification, often used to assess the quality of an estimate. In this paper we investigate a resampling framework to construct confidence regions and hypothesis tests for several supervised learning problems. First, we present a resampling scheme to build confidence intervals for the expected value of an unknown symmetric distribution. We generate alternative observations based on a candidate parameter, then compare the original sample to the alternative dataset. If the candidate parameter is equal to the true expected value, then the alternative samples have the same distribution as the original sample, otherwise the alternative samples follow a different distribution. This distributional difference can be detected with a rank test. The main ideas of this procedure can be generalized to regression and binary classification problems, in which cases we build confidence regions for the true regression function.
The presented methods are endowed with strong theoretical guarantees. The user-chosen confidence levels of the confidence regions are non-asymptotically exact. The confidence sets are defined via flexible rank tests, while our distributional assumptions are very mild. We usually assume symmetry or exchangeability and therefore the presented algorithms are distribution-free, thus superior to many other methods in practice. We also investigate the asymptotic behaviors of the presented methods and establish several theoretical results regarding the consistency of the confidence regions.
