Query scheduling techniques and power/latency trade-off model for large-scale search engines
Use este enlace para citar
http://hdl.handle.net/2183/11922Coleccións
- Teses de doutoramento [2154]
Metadatos
Mostrar o rexistro completo do ítemTítulo
Query scheduling techniques and power/latency trade-off model for large-scale search enginesAutor(es)
Director(es)
Cacheda, FidelData
2014Centro/Dpto/Entidade
Universidade da Coruña. Departamento de Tecnoloxías da Información e as ComunicaciósResumo
[Resumen] Los motores de búsqueda actuales deben enfrentarse a un veloz incremento de información y a un enorme tráfico de consultas. Las grandes compa˜nías se han visto
obligadas a construir centros de datos geográficamente distribuidos y compuestos
por miles de servidores. El suministro eléctrico supone un enorme gasto energético,
por lo que una peque˜na mejora a nivel de eficiencia puede suponer grandes ventajas
económicas.
Esta tesis permitirá a grandes compa˜nías de Recuperación de Información la construcción de motores de búsqueda dotados de mayor eficiencia.
Por una parte, esta tesis propone nuevas técnicas de distribución de consultas a
los servidores que las procesan para disminuir su tiempo de respuesta, estimando
cuál será el primer servidor disponible.
Por otra parte, esta tesis define un modelo matemático que establece un balance
entre el tiempo de respuesta de un motor de búsqueda y su consumo energético.
Basándonos en datos históricos y actuales, el modelo estima el tráfico de consultas
entrante y, de modo automático, aumenta/disminuye los servidores necesarios para
procesar las consultas. Se consigue así un gran porcentaje de ahorro energético sin
degradar la latencia del sistema.
Nuestros experimentos atestiguan las grandes mejoras alcanzadas en cuanto a
eficiencia y ahorro energético. [Resumo] Os motores de busca actuais deben enfrontarse a un grande incremento de información e a un enorme tráfico de consultas. As grandes compa˜nías víronse obrigadas
a construír centros de datos xeograficamente distribuídos e compostos por
milleiros de servidores. A subministración eléctrica supón un enorme gasto enerxético, polo que una pequena mellora a nivel de eficiencia pode supo˜ner grandes
vantaxes económicas.
Esta tese permitir´a a grandes compa˜n´ıas de Recuperaci´on de Información a construción de motores de busca dotados de maior eficiencia.
Por una parte, esta tese propón novas técnicas de distribución de consultas aos
servidores que as procesan para diminuír su tempo de resposta, estimando cál será o
primeiro servidor dispo˜nible.
Por outra parte, esta tese define un modelo matemático que establece un balance
entre o tempo de resposta dun motor de busca e o seu consumo enerxético. A partir
de datos históricos e actuais, o modelo estima o tráfico de consultas entrantes e automaticamente aumenta/diminúe os servidores necesarios para procesar as consultas.
Conséguese así unha grande porcentaxe de aforro enerxético sen degradar a latencia
do sistema.
Os nosos experimentos testemu˜nan as grandes melloras alcanzadas en canto a
eficiencia e aforro enerxético. [Abstract] Web search engines have to deal with a rapid increase of information, demanded by high incoming query traffic. This situation has driven companies to build geographically distributed data centres housing thousands of computers, consuming enormous amounts of electricity and requiring a huge infrastructure around. At this scale, even minor efficiency improvements result in large financial savings.
This thesis represents a novel contribution to query scheduling and power consumption
state-of-the-art, by assisting large-scale data centres to build more efficient
search engines.
On the one hand, this thesis proposes new scheduling techniques to decrease the
response time of queries, by estimating the server that will be idle soonest.
On the other hand, this thesis defines a simple mathematical model that establishes
a threshold between the power and latency of a search engine. Using historical
and current data, the model estimates the incoming query traffic and automatically
increases/decreases the necessary number of active machines in the system. We
achieve high energy savings during the whole day, without degrading the latency.
Our experiments have attested the power of both scheduling methods and the
power/latency trade-off model in improving the efficiency and achieving high energy
savings.
Palabras chave
Recuperación de la información electrónica
Motores de búsqueda en Internet
Information retrieval
Distributed IR
Efficiency
Power consumption
Search engine
Motores de búsqueda en Internet
Information retrieval
Distributed IR
Efficiency
Power consumption
Search engine
Dereitos
Os titulares dos dereitos de propiedade intelectual autorizan a visualización do contido desta tese a través de Internet, así como a súa reproducción, gravación en soporte informático ou impresión para o seu uso privado e/ou con fins de estudo e de investigación. En nengún caso se permite o uso lucrativo deste documento. Estos dereitos afectan tanto ó resumo da tese como o seu contido Los titulares de los derechos de propiedad intelectual autorizan la visualización del contenido de esta tesis a través de Internet, así como su repoducción, grabación en soporte informático o impresión para su uso privado o con fines de investigación. En ningún caso se permite el uso lucrativo de este documento. Estos derechos afectan tanto al resumen de la tesis como a su contenido