Esta es la crónica del taller de validación y rendimiento que nos ofrecieron compañeros de Intel Channel Platform Group.
Primera parte: Automated Testing in Linux
La finalidad de este taller es sentar las bases del desarrollo de una herramienta de benchmark abierta a la comunidad que sirva de referencia a la hora de comprar equipamiento.
Lo primero que hay que tener claro a la hora de implementar un sistema de benchmark son los parámetros que queremos medir (consumo, memoria, procesador, entorno gráfico, comparación entre sistemas operativos, etc.)
El principal problema que tendremos a la hora de implementar el sistema de benchmark es la dependencia con la funcionalidad y calidad de los drivers.
Actualmente los benchmarks que están disponibles para GNU/Linux son pequeñas utilidades que son dificiles de integrar para realizar un estudio de una distribución orientada al escritorio. Empresas con experiencia en benchmarking en equipos de escritorio como Sysmark no se vuelcan en desarrollar herramientas de benchmarking para GNU/Linux.
Antes de comenzar a desarrollar nuestra propia herramienta de benchmarking orientado a distribuciones de escritorio debemos tener en cuenta:
¿Cómo afecta la configuración del hardware en una herramienta de benchmark?
- Hyper-threading
- Disponibilidad de memoria, tipo de memoria
- Aceleradora gráfica
- Chipset, placa base, etc.
- Perifericos
¿Cómo afecta la configuración del software en una herramienta de benchmark?
- Aplicaciones consumiendo memoria
- Estabilidad y funcionalidad de los drivers
- Rendimiento de las librerias
- Parámetros del kernel de linux
- Ajustes de los parámetros de drivers
- Configuración del sistema operativo (sistema de ficheros, buffers de red, etc)
- Entorno grafico (xorg, gnome, kde)
Nuestros compañeros de Intel nos proponen dos herramientas para la automatización en las pruebas de aplicaciones:
Automated Linux Application Testing (with Dogtail Framework)
Dogtail es una herramienta gráfica libre de testeo y un framework de automatización escrito en Python que usa la tecnología de accesibilidad A11Y. Por el momento sólo “se entiende” con aplicaciones GTK.
Automated Linux Application Testing (with GNU / Linux Desktop Testing Project a.k.a. GNU/LDTP)
LDTP es otra herramienta similar con aparentemente más fexibilidad y funcionalidades ya que se pueden hacer tests sobre cualquier aplicación de Gnome que tenga la accesibilidad habilitada, Mozilla, Openoffice.org, cualquier aplicación Java (con la GUI basada en swing) y aplicaciones de KDE 4.0 basadas en QT 4.0.
¿Cómo medimos el rendimiento con estas herramientas?
Lo primero que tenemos que hacer es definir la bateria de pruebas que queremos realizar y grabarlas en un script para poder reproducirlas en nuestro entorno de pruebas bajo cualquier plataforma.
Una vez tenemos el conjunto de scripts que manejan las aplicaciones que queremos lanzar podemos medir el tiempo que se tarda en ejecutar dicho conjunto de scripts sobre una plataforma determinada.
De esta forma, comparando los tiempos entre una plataforma y otra podemos seleccionar cuál es más rápida.
La potencia de estas herramientas es muy alta, luego la fiabilidad de esta herramienta radica en el nivel de detalle que demos a nuestro conjunto de scripts de simulación de manejo de aplicaciones.
Segunda parte: Validación de dispositivos
El objetivo de esta parte es sentar las bases para crear un entorno de validación y certificación de dispositivos sobre GNU/Linux.
Elementos a tener en cuenta:
- Dispositivos que estamos interesados en validar y certificar. (¿Qué dispositivos usamos frecuentemente?)
- Definición de qué significa que algo funcione o no funcione. (¿Qué caracteristicas de un dispositivo son indispensables para afirmar que un dispositivo funciona? ¿Qué significa que un dispositivo no funciona?)
- Cobertura de las pruebas. (Comprobar todas las características, instalación, etc.)
- ¿Cómo obtener y comparar los resultados? (Entorno para almacenar toda la casuística, criterios de pruebas, resultados)
- Comprender los parámetros del entorno. (Administración remota, instalaciones desatendidas, etc.)
- ¿Cómo hacer que las pruebas sean reproducibles? (Es importante poder repetir las mismas pruebas con diferentes dispositivos sobre el mismo entorno)
- Comprender el funcionamiento de las pruebas automáticas. (Uso de scripts)
Objetivo:
Facilitar a los suministradores de equipamiento un entorno de validación y pruebas sobre GNU/Linux recreando nuestro entorno.
Para ello necesitamos:
- Desarrollo de un “framework” de validación
- Conjunto de pruebas automatizadas
- Base de conocimiento de dispositivos soportados
Tercera parte: Measuring Laptop Power
Ejemplo de uso de la herramienta Linux Battery Life Toolkit
Desde el C.G.A. queremos agradecer al personal de Intel el apoyo y la disponibilidad que nos han prestado en todo momento y su predisposición a compartir su conocimiento y experiencia.
