并行程序设计

B. C语言可以实现并行程序设计吗

可以，这就和平台有关了，比如linux下可以用线程加进程，VxWorks下可以用进程而没有线程，windows下也可以用多进程

C. c++如何并行编程

1、C++没有专门的并行编程模式，但是可以用多线程，多进程来模拟并行编程。
2、例如在linux下，可以用fork函数来调用新进程。
fork函数是计算机程序设计中的分叉函数。返回值： 若成功调用一次则返回两个值，子进程返回0，父进程返回子进程标记；否则，出错返回-1。
fork函数将运行着的程序分成2个（几乎）完全一样的进程，每个进程都启动一个从代码的同一位置开始执行的线程。这两个进程中的线程继续执行，就像是两个用户同时启动了该应用程序的两个副本。
函数原型
pid_t fork( void);
（pid_t 是一个宏定义，其实质是int 被定义在#include<sys/types.h>中）
返回值： 若成功调用一次则返回两个值，子进程返回0，父进程返回子进程ID；否则，出错返回-1
函数说明
一个现有进程可以调用fork函数创建一个新进程。由fork创建的新进程被称为子进程（child process）。fork函数被调用一次但返回两次。两次返回的唯一区别是子进程中返回0值而父进程中返回子进程ID。
子进程是父进程的副本，它将获得父进程数据空间、堆、栈等资源的副本。注意，子进程持有的是上述存储空间的“副本”，这意味着父子进程间不共享这些存储空间。
UNIX将复制父进程的地址空间内容给子进程，因此，子进程有了独立的地址空间。在不同的UNIX (Like)系统下，无法确定fork之后是子进程先运行还是父进程先运行，这依赖于系统的实现。所以在移植代码的时候不应该对此作出任何的假设。

D. 并行程序设计的目录

第一部分 基本技术第1章 并行计算机 21.1 对计算速度的需求 21.2 提高计算速度的潜力 41.2.1加速系数 41.2.2 什么是最大的加速比 51.2.3 消息传递计算 91.3 并行计算机的类型 91.3.1 共享存储器多处理机系统 101.3.2 消息传递多计算机 111.3.3 分布式共享存储器 171.3.4MIMD和SIMD的分类 171.4 机群计算 181.4.1 以互联计算机作为计算平台 181.4.2 机群的配置 231.4.3 打造“Beowulf风格”的专用机群 261.5 小结 27推荐读物 27参考文献 28习题 30第2章 消息传递计算 312.1 消息传递程序设计基础 312.1.1 编程的选择 312.1.2 进程的创建 312.1.3 消息传递例程 332.2 使用计算机机群 372.2.1 软件工具 372.2.2 MPI 372.2.3 伪代码构造 442.3 并行程序的评估 452.3.1 并行执行时间方程式 452.3.2 时间复杂性 482.3.3 对渐近分析的评注 502.3.4 广播/集中的通信时间 502.4 用经验方法进行并行程序的调试和评估 512.4.1 低层调试 522.4.2 可视化工具 522.4.3 调试策略 532.4.4 评估程序 532.4.5 对优化并行代码的评注 552.5 小结 55推荐读物 55参考文献 56习题 57第3章 易并行计算 593.1 理想的并行计算 593.2 易并行计算举例 603.2.1 图像的几何转换 603.2.2 曼德勃罗特集 643.2.3 蒙特卡罗法 693.3 小结 73推荐读物 73参考文献 73习题 74第4章 划分和分治策略 794.1 划分 794.1.1 划分策略 794.1.2 分治 824.1.3 M路分治 864.2 分治技术举例 874.2.1 使用桶排序法排序 874.2.2 数值积分 914.2.3 N体问题 934.3 小结 96推荐读物 97参考文献 97习题 98第5章 流水线计算 1045.1 流水线技术 1045.2 流水线应用的计算平台 1075.3 流水线程序举例 1075.3.1 数字相加 1085.3.2 数的排序 1105.3.3 生成质数 1125.3.4 线性方程组求解—特殊个例 1145.4 小结 117推荐读物 117参考文献 117习题 117第6章 同步计算 1226.1 同步 1226.1.1 障栅 1226.1.2 计数器实现 1236.1.3 树实现 1246.1.4 蝶形障栅 1256.1.5 局部同步 1266.1.6 死锁 1266.2 同步计算 1276.2.1 数据并行计算 1276.2.2 同步迭代 1296.3 同步迭代程序举例 1306.3.1 用迭代法解线性方程组 1306.3.2 热分布问题 1356.3.3 细胞自动机 1426.4 部分同步方法 1436.5 小结 144推荐读物 144参考文献 144习题 145第7章 负载平衡与终止检测 1517.1 负载平衡 1517.2 动态负载平衡 1527.2.1 集中式动态负载平衡 1527.2.2 分散式动态负载平衡 1537.2.3 使用线形结构的负载平衡 1557.3 分布式终止检测算法 1577.3.1 终止条件 1577.3.2 使用确认消息实现终止 1587.3.3 环形终止算法 1587.3.4 固定能量分布式终止算法 1607.4 程序举例 1607.4.1 最短路径问题 1607.4.2 图的表示 1617.4.3 图的搜索 1627.5 小结 166推荐读物 166参考文献 167习题 168第8章 共享存储器程序设计 1728.1 共享存储器多处理机 1728.2 说明并行性的构造 1738.2.1 创建并发进程 1738.2.2 线程 1758.3 共享数据 1788.3.1 创建共享数据 1798.3.2 访问共享数据 1798.4 并行程序设计语言和构造 1858.4.1 并行语言 1858.4.2 并行语言构造 1868.4.3 相关性分析 1878.5 OpenMP 1898.6 性能问题 1938.6.1 共享数据的访问 1938.6.2 共享存储器的同步 1958.6.3 顺序一致性 1968.7 程序举例 1998.7.1 使用UNIX进程的举例 1998.7.2 使用Pthread的举例 2018.7.3 使用Java的举例 2038.8 小结 204推荐读物 205参考文献 205习题 206第9章 分布式共享存储器系统及其程序设计 2119.1 分布式共享存储器 2119.2 分布式共享存储器的实现 2129.2.1 软件DSM系统 2129.2.2 DSM系统的硬件实现 2139.2.3 对共享数据的管理 2149.2.4 基于页面系统的多阅读器/单写入器策略 2149.3 在DSM系统中实现一致性存储器 2149.4 分布式共享存储器的程序设计原语 2169.4.1 进程的创建 2169.4.2 共享数据的创建 2169.4.3 共享数据的访问 2179.4.4 同步访问 2179.4.5 改进性能的要点 2179.5 分布式共享存储器的程序设计 2199.6 实现一个简易的DSM系统 2199.6.1 使用类和方法作为用户接口 2209.6.2 基本的共享变量实现 2209.6.3 数据组的重叠 2229.7 小结 224推荐读物 224参考文献 224习题 225第二部分 算法和应用第10章 排序算法 23010.1 概述 23010.1.1 排序 23010.1.2 可能的加速比 23010.2 比较和交换排序算法 23110.2.1 比较和交换 23110.2.2 冒泡排序与奇偶互换排序 23310.2.3 归并排序 23610.2.4 快速排序 23710.2.5 奇偶归并排序 23910.2.6 双调谐归并排序 24010.3 在专用网络上排序 24310.3.1 二维排序 24310.3.2 在超立方体上进行快速排序 24410.4 其他排序算法 24710.4.1 秩排序 24810.4.2 计数排序 24910.4.3 基数排序 25010.4.4 采样排序 25210.4.5 在机群上实现排序算法 25310.5 小结 253推荐读物 254参考文献 254习题 255第11章 数值算法 25811.1 矩阵回顾 25811.1.1 矩阵相加 25811.1.2 矩阵相乘 25811.1.3 矩阵-向量相乘 25911.1.4 矩阵与线性方程组的关系 25911.2 矩阵乘法的实现 25911.2.1 算法 25911.2.2 直接实现 26011.2.3 递归实现 26211.2.4 网格实现 26311.2.5 其他矩阵相乘方法 26611.3 求解线性方程组 26611.3.1 线性方程组 26611.3.2 高斯消去法 26611.3.3 并行实现 26711.4 迭代方法 26911.4.1 雅可比迭代 26911.4.2 快速收敛方法 27211.5小结 274推荐读物 275参考文献 275习题 276第12章 图像处理 27912.1 低层图像处理 27912.2 点处理 28012.3 直方图 28112.4 平滑、锐化和噪声消减 28112.4.1 平均值 28112.4.2 中值 28312.4.3 加权掩码 28412.5 边缘检测 28512.5.1 梯度和幅度 28512.5.2 边缘检测掩码 28612.6 霍夫变换 28812.7 向频域的变换 29012.7.1 傅里叶级数 29112.7.2 傅里叶变换 29112.7.3 图像处理中的傅里叶变换 29212.7.4 离散傅里叶变换算法的并行化 29412.7.5 快速傅里叶变换 29612.8 小结 300推荐读物 300参考文献 300习题 302第13章 搜索和优化 30513.1 应用和技术 30513.2 分支限界搜索 30613.2.1 顺序分支限界 30613.2.2 并行分支限界 30713.3 遗传算法 30813.3.1 进化算法和遗传算法 30813.3.2 顺序遗传算法 31013.3.3 初始种群 31013.3.4 选择过程 31213.3.5 后代的生成 31213.3.6 变异 31413.3.7 终止条件 31413.3.8 并行遗传算法 31413.4 连续求精 31713.5 爬山法（hill climbing） 31813.5.1 银行业务应用问题 31913.5.2 爬山法在金融业务中的应用 32013.5.3 并行化 3.6 小结 321推荐读物 321参考文献 322习题 323附录A 基本的MPI例程 329附录B 基本的Pthread例程 335附录C OpenMP命令、库函数以及环境变量 339索引 347

E. 并行程序设计的并行程序设计:

对于所希望的应用,很多并行代码似乎不存在的;即使有,也常不能用于内用户的并行机上容.因为并行代码原来都是为不同的并行结构写的.
其原因是:①并行程序设计不但包含了串行程序设计,而且还包含了更多的富有挑战性的问题;②串行程序设计仅有一个普遍被接受的冯*诺依曼模型,而并行计算模型虽有好多,但没有一个被共同认可;③并行程序设计对环境工具的要求远比串行程序设计先进得多;④串行程序设计比较适合于自然习惯,且人们在过去积累了大量的编程知识和宝贵的软件财富.
它的问题是:至今并行算法范例不能被很好地理解和广泛地接受;并行程序设计是建立在不同的计算模型上的,而它们没有能像冯*诺依曼模型那样被普遍的接受和认可.绝大部分被使用的并行程序设计语言都是Fortran和C的推广,他们都不能够充分地表达不同并行结构的特点,既不成熟也不通用.并行程序设计工具依赖于具体的并行结构和计算机代的更迭,既不通用也不稳定,在某个并行平台上开发的并行程序很难移植到别的或将来的并行机上.

F. 并行编程和 GPU 并行编程的区别

CPU可以并行计算，传统的计算阵列也是用CPU组建的。
现在的GPU计算版是因为单个GPU的多核心，重复计算能力权强，通过低投入的GPU计算阵列就可以达到以往大型CPU阵列并行系统的效率。
CPU计算在通用计算上的价值更大。
比如说大量数据的重复运算就可以用并行计算的方式来进行，可利用GPU加速，而线性处理的时候GPU效率较低，此时CPU效率更高。
因此现在全球超级计算机前几名的机器都采用了混合架构，也就是CPU-GPU混合架构。

G. 并行程序设计需要注意哪些问题

线程之间的协调和同步。

H. 为什么需要进行并行程序设计

程序的
要求是什么
任务实施吗

I. 并行程序设计的类别

目前并行编程类型逐渐汇聚于两类:用于PVP,SMP和DSW的共享变量的单地址空间模内型和用于容MPP和机群的消息传递的多地址空间模型.
并行编程模型逐渐汇聚于三类标准模型:数据并行(如:HPF),消息传递(如:MPI和PVM),和共享变量(如OpenMp).
现在人们希望高性能的并行机应是 具有单一系统映像的巨大的工作站,使得很多用户都能利用增强处理能力和储存容量来运行多个串行作业,这就是所谓的串行程序并行系统SPPS.
当我们在实际的并行机上设计并行程序时,绝大部分均是采用扩展Fortran和C语言的办法,目前有三种扩展的办法:一是库函数法:除了串行语言所包含的库函数外,一组新的支持并行性和交互操作的库函数(如MPI消息传递库和POSIXPthreads多线程库)引入到并行程序设计中。二是新语言结构法:采用某些新的语言结构来帮助并行程序设计以支持并行性和交互操作(如Fortran 90 中的聚集数组操作); 三是编译制导法:程序设计语言保持不变,但是将称之为编译制导的格式注释引入到并行程序中.