Parallel Programming in C with MPI and OpenMP

Aunque no trata directamente la programación paralela, este libro aborda los fundamentos de bajo nivel de los sistemas informáticos que son cruciales para entender por qué y cómo funcionan los paradigmas de paralelización. Proporciona el contexto subyacente que a menudo se pasa por alto en los libros de programación paralela.

Este libro, aunque es de divulgación, muestra cómo ideas algorítmicas fundamentales son la base de la computación moderna. Permite al lector de programación paralela ver que la eficiencia no solo reside en la paralelización, sino en la elección y diseño intrínseco del algoritmo, lo que es un complemento no obvio al enfoque de Patterson.

Más allá de las herramientas de paralelización específicas como MPI y OpenMP, el trabajo de Patterson se centra en cómo distribuir las tareas para mejorar el rendimiento. Knuth, a través de su análisis exhaustivo de algoritmos, inculca una comprensión profunda de la complejidad inherente y el rendimiento de las operaciones fundamentales, que es el objetivo último de la programación paralela: optimizar el tiempo de ejecución de estos algoritmos.

La programación paralela con MPI y OpenMP opera a un nivel de abstracción que oculta la intrincada interacción con el sistema operativo subyacente. Este libro proporciona una comprensión profunda de cómo el SO gestiona los procesos, hilos, memoria compartida y la comunicación, fundamentos cruciales para entender por qué ciertas estrategias de paralelización son eficientes y cómo evitar problemas como los interbloqueos, una conexión filosófica sobre la gestión de recursos compartidos.

Patterson se centra en C con MPI y OpenMP, que son herramientas. Quinn ofrece una perspectiva más teórica y general de la computación paralela, explorando modelos computacionales, métricas y el diseño de algoritmos paralelos. Aunque no es 'oscuro' en el sentido de un autor extranjero, es menos citado en las listas de referencia modernas centradas en las herramientas específicas de hoy, pero su profundidad teórica lo hace importante para entender el 'por qué'.

Mientras Patterson se enfoca en la paralelización dentro de un clúster o máquina (MPI y OpenMP), 'Grid Computing' explora una forma más amplia de computación distribuida que se solapa con la paralelización a gran escala. Es un libro que, aunque relevante, ha sido suplantado en menciones por el auge de la computación en la nube, haciéndolo una referencia útil pero menos visible que los clásicos de MPI/OpenMP.

El libro de Patterson enseña cómo implementar la paralelización a través de API específicas (MPI, OpenMP). Este libro, en cambio, se estructura en torno a los *problemas fundamentales* y los *conceptos de diseño* que subyacen a toda la computación distribuida y paralela, como la concurrencia, la coherencia de datos, la tolerancia a fallos y la comunicación. Proporciona una estructura conceptual que complementa la implementación práctica.

El libro de Patterson presenta herramientas de programación paralela que se sitúan en un nivel de abstracción. 'Structured Computer Organization' utiliza una estructura narrativa en capas para explicar cómo los diferentes componentes del sistema informático se construyen unos sobre otros. Esta estructura por niveles proporciona un marco mental excelente para comprender cómo MPI y OpenMP interactúan con el hardware, el sistema operativo y el software a través de múltiples abstracciones.