Exact bootstrap methods for non parametric curve estimation: reducing the complexity of machine learning methods

Abstract

[Abstract] This thesis deals with bandwidth selection for nonparametric curve estimation. In particular, closed expressions for some error criteria of kernel estimators have been proposed. Additionally, bootstrap algorithms have been reviewed (or proposed) in order to derive exact formulas for the bootstrap version of the aforementioned error criteria. This is very useful because Monte Carlo approximation is no longer needed. Moreover, bandwidth selectors for the nonparametric curve estimators studied in this thesis have been de ned by means of minimizing these bootstrap exact formulas. Speci cally, we have dealt with bandwidth selection for nonparametric density estimation under dependence and hazard rate estimation. Moreover, we have dealt with bandwidth selection for statistical matching and prediction. In the last two contexts, the concept of proxy estimator is introduced in order to derive closed-form expressions for the bootstrap version of some error criteria. The good empirical behaviour of every method proposed in this thesis is empirically checked via simulations. Furthermore, all methods are illustrated with an application to real data sets. Asymptotic results in the context of bandwidth selection for prediction considering a Nadaraya-Watson proxy estimator is also included.

[Resumen] Esta tesis trata sobre la selección del parámetro ventana en la estimación no paramétrica de curvas. En concreto, se propusieron expresiones cerradas para algún criterio de error de estimadores tipo núcleo. Además, se revisaron (o se propusieron) algoritmos bootstrap para establecer fórmulas exactas para la versión bootstrap del susodicho criterio de error. Esto es muy útil ya que no se necesita de la aproximación de Monte CarIo. Así, se establecen selectores de ventana para los estimadores no paramétricos de las curvas estudiadas en esta tesis, definidos como los valores que minimizan las fórmulas bootstrap exactas. Concretamente, se considera el caso de la selección de ventana para la densidad bajo dependencia, para la razón de fallo y para el matching estadístico y la predicción. En los últimos dos contextos, se introduce el concepto de estimador aproximado, para poder desarrollar expresiones cerradas para la versión bootstrap del criterio de error a considerar. El buen comportamiento empírico de todos los métodos propuestos en esta tesis se analiza mediante estudios de simulación. Además, la metodología desarrollada se ilustra con aplicaciones a datos reales. También se incluyen los resultados asintóticos en el contexto de selección de la ventana para la predicción considerando la versión aproximada del estimador de Nadaraya-Watson.

[Resumo] Esta tese trata sobre a selección do parámetro ventá na estimación non paramétrica de curvas. En concreto, propuxéronse expresións pechadas para algún criterio de erro de estimadores tipo núcleo. Ademais, revisáronse (ou propuxéronse) algoritmos bootstrap para establecer fórmulas exactas para a versión bootstrap do devandito criterio de erro. Isto é moi útil xa que fai que non se precise da aproximación de Monte CarIo. Así, establécense selectores de ventá para os estimadores non paramétricos das curvas estudadas nesta tese, definidos como os valores que minimizan as fórmulas bootstrap exactas. Concretamente, considérase o caso da selección da ventá para a densidade baixo dependencia, para a razón de fallo e para o matching estatístico e a predición. N os últimos dous contextos, introdúcese o concepto de estimador aproximado, para poder desenvolver expresións pechadas para a versión bootstrap do criterio de erro a considerar. o bo comportamento empírico de todos os métodos propostos nesta tese é analizado mediante uns estudos de simulación. Ademais, a metodoloxía desenvolta é ilustrada coa aplicación a datos reais. Tamén se inclúen os resultados asintóticos no contexto de selección da ventá para a predición considerando a versión aproximada do estimador Nadaraya-Watson.