並行程序設計

B. C語言可以實現並行程序設計嗎

可以，這就和平台有關了，比如linux下可以用線程加進程，VxWorks下可以用進程而沒有線程，windows下也可以用多進程

C. c++如何並行編程

1、C++沒有專門的並行編程模式，但是可以用多線程，多進程來模擬並行編程。
2、例如在linux下，可以用fork函數來調用新進程。
fork函數是計算機程序設計中的分叉函數。返回值： 若成功調用一次則返回兩個值，子進程返回0，父進程返回子進程標記；否則，出錯返回-1。
fork函數將運行著的程序分成2個（幾乎）完全一樣的進程，每個進程都啟動一個從代碼的同一位置開始執行的線程。這兩個進程中的線程繼續執行，就像是兩個用戶同時啟動了該應用程序的兩個副本。
函數原型
pid_t fork( void);
（pid_t 是一個宏定義，其實質是int 被定義在#include<sys/types.h>中）
返回值： 若成功調用一次則返回兩個值，子進程返回0，父進程返回子進程ID；否則，出錯返回-1
函數說明
一個現有進程可以調用fork函數創建一個新進程。由fork創建的新進程被稱為子進程（child process）。fork函數被調用一次但返回兩次。兩次返回的唯一區別是子進程中返回0值而父進程中返回子進程ID。
子進程是父進程的副本，它將獲得父進程數據空間、堆、棧等資源的副本。注意，子進程持有的是上述存儲空間的「副本」，這意味著父子進程間不共享這些存儲空間。
UNIX將復制父進程的地址空間內容給子進程，因此，子進程有了獨立的地址空間。在不同的UNIX (Like)系統下，無法確定fork之後是子進程先運行還是父進程先運行，這依賴於系統的實現。所以在移植代碼的時候不應該對此作出任何的假設。

D. 並行程序設計的目錄

第一部分 基本技術第1章 並行計算機 21.1 對計算速度的需求 21.2 提高計算速度的潛力 41.2.1加速系數 41.2.2 什麼是最大的加速比 51.2.3 消息傳遞計算 91.3 並行計算機的類型 91.3.1 共享存儲器多處理機系統 101.3.2 消息傳遞多計算機 111.3.3 分布式共享存儲器 171.3.4MIMD和SIMD的分類 171.4 機群計算 181.4.1 以互聯計算機作為計算平台 181.4.2 機群的配置 231.4.3 打造「Beowulf風格」的專用機群 261.5 小結 27推薦讀物 27參考文獻 28習題 30第2章 消息傳遞計算 312.1 消息傳遞程序設計基礎 312.1.1 編程的選擇 312.1.2 進程的創建 312.1.3 消息傳遞常式 332.2 使用計算機機群 372.2.1 軟體工具 372.2.2 MPI 372.2.3 偽代碼構造 442.3 並行程序的評估 452.3.1 並行執行時間方程式 452.3.2 時間復雜性 482.3.3 對漸近分析的評注 502.3.4 廣播/集中的通信時間 502.4 用經驗方法進行並行程序的調試和評估 512.4.1 低層調試 522.4.2 可視化工具 522.4.3 調試策略 532.4.4 評估程序 532.4.5 對優化並行代碼的評注 552.5 小結 55推薦讀物 55參考文獻 56習題 57第3章 易並行計算 593.1 理想的並行計算 593.2 易並行計算舉例 603.2.1 圖像的幾何轉換 603.2.2 曼德勃羅特集 643.2.3 蒙特卡羅法 693.3 小結 73推薦讀物 73參考文獻 73習題 74第4章 劃分和分治策略 794.1 劃分 794.1.1 劃分策略 794.1.2 分治 824.1.3 M路分治 864.2 分治技術舉例 874.2.1 使用桶排序法排序 874.2.2 數值積分 914.2.3 N體問題 934.3 小結 96推薦讀物 97參考文獻 97習題 98第5章 流水線計算 1045.1 流水線技術 1045.2 流水線應用的計算平台 1075.3 流水線程序舉例 1075.3.1 數字相加 1085.3.2 數的排序 1105.3.3 生成質數 1125.3.4 線性方程組求解—特殊個例 1145.4 小結 117推薦讀物 117參考文獻 117習題 117第6章 同步計算 1226.1 同步 1226.1.1 障柵 1226.1.2 計數器實現 1236.1.3 樹實現 1246.1.4 蝶形障柵 1256.1.5 局部同步 1266.1.6 死鎖 1266.2 同步計算 1276.2.1 數據並行計算 1276.2.2 同步迭代 1296.3 同步迭代程序舉例 1306.3.1 用迭代法解線性方程組 1306.3.2 熱分布問題 1356.3.3 細胞自動機 1426.4 部分同步方法 1436.5 小結 144推薦讀物 144參考文獻 144習題 145第7章 負載平衡與終止檢測 1517.1 負載平衡 1517.2 動態負載平衡 1527.2.1 集中式動態負載平衡 1527.2.2 分散式動態負載平衡 1537.2.3 使用線形結構的負載平衡 1557.3 分布式終止檢測演算法 1577.3.1 終止條件 1577.3.2 使用確認消息實現終止 1587.3.3 環形終止演算法 1587.3.4 固定能量分布式終止演算法 1607.4 程序舉例 1607.4.1 最短路徑問題 1607.4.2 圖的表示 1617.4.3 圖的搜索 1627.5 小結 166推薦讀物 166參考文獻 167習題 168第8章 共享存儲器程序設計 1728.1 共享存儲器多處理機 1728.2 說明並行性的構造 1738.2.1 創建並發進程 1738.2.2 線程 1758.3 共享數據 1788.3.1 創建共享數據 1798.3.2 訪問共享數據 1798.4 並行程序設計語言和構造 1858.4.1 並行語言 1858.4.2 並行語言構造 1868.4.3 相關性分析 1878.5 OpenMP 1898.6 性能問題 1938.6.1 共享數據的訪問 1938.6.2 共享存儲器的同步 1958.6.3 順序一致性 1968.7 程序舉例 1998.7.1 使用UNIX進程的舉例 1998.7.2 使用Pthread的舉例 2018.7.3 使用Java的舉例 2038.8 小結 204推薦讀物 205參考文獻 205習題 206第9章 分布式共享存儲器系統及其程序設計 2119.1 分布式共享存儲器 2119.2 分布式共享存儲器的實現 2129.2.1 軟體DSM系統 2129.2.2 DSM系統的硬體實現 2139.2.3 對共享數據的管理 2149.2.4 基於頁面系統的多閱讀器/單寫入器策略 2149.3 在DSM系統中實現一致性存儲器 2149.4 分布式共享存儲器的程序設計原語 2169.4.1 進程的創建 2169.4.2 共享數據的創建 2169.4.3 共享數據的訪問 2179.4.4 同步訪問 2179.4.5 改進性能的要點 2179.5 分布式共享存儲器的程序設計 2199.6 實現一個簡易的DSM系統 2199.6.1 使用類和方法作為用戶介面 2209.6.2 基本的共享變數實現 2209.6.3 數據組的重疊 2229.7 小結 224推薦讀物 224參考文獻 224習題 225第二部分 演算法和應用第10章 排序演算法 23010.1 概述 23010.1.1 排序 23010.1.2 可能的加速比 23010.2 比較和交換排序演算法 23110.2.1 比較和交換 23110.2.2 冒泡排序與奇偶互換排序 23310.2.3 歸並排序 23610.2.4 快速排序 23710.2.5 奇偶歸並排序 23910.2.6 雙調諧歸並排序 24010.3 在專用網路上排序 24310.3.1 二維排序 24310.3.2 在超立方體上進行快速排序 24410.4 其他排序演算法 24710.4.1 秩排序 24810.4.2 計數排序 24910.4.3 基數排序 25010.4.4 采樣排序 25210.4.5 在機群上實現排序演算法 25310.5 小結 253推薦讀物 254參考文獻 254習題 255第11章 數值演算法 25811.1 矩陣回顧 25811.1.1 矩陣相加 25811.1.2 矩陣相乘 25811.1.3 矩陣-向量相乘 25911.1.4 矩陣與線性方程組的關系 25911.2 矩陣乘法的實現 25911.2.1 演算法 25911.2.2 直接實現 26011.2.3 遞歸實現 26211.2.4 網格實現 26311.2.5 其他矩陣相乘方法 26611.3 求解線性方程組 26611.3.1 線性方程組 26611.3.2 高斯消去法 26611.3.3 並行實現 26711.4 迭代方法 26911.4.1 雅可比迭代 26911.4.2 快速收斂方法 27211.5小結 274推薦讀物 275參考文獻 275習題 276第12章 圖像處理 27912.1 低層圖像處理 27912.2 點處理 28012.3 直方圖 28112.4 平滑、銳化和雜訊消減 28112.4.1 平均值 28112.4.2 中值 28312.4.3 加權掩碼 28412.5 邊緣檢測 28512.5.1 梯度和幅度 28512.5.2 邊緣檢測掩碼 28612.6 霍夫變換 28812.7 向頻域的變換 29012.7.1 傅里葉級數 29112.7.2 傅里葉變換 29112.7.3 圖像處理中的傅里葉變換 29212.7.4 離散傅里葉變換演算法的並行化 29412.7.5 快速傅里葉變換 29612.8 小結 300推薦讀物 300參考文獻 300習題 302第13章 搜索和優化 30513.1 應用和技術 30513.2 分支限界搜索 30613.2.1 順序分支限界 30613.2.2 並行分支限界 30713.3 遺傳演算法 30813.3.1 進化演算法和遺傳演算法 30813.3.2 順序遺傳演算法 31013.3.3 初始種群 31013.3.4 選擇過程 31213.3.5 後代的生成 31213.3.6 變異 31413.3.7 終止條件 31413.3.8 並行遺傳演算法 31413.4 連續求精 31713.5 爬山法（hill climbing） 31813.5.1 銀行業務應用問題 31913.5.2 爬山法在金融業務中的應用 32013.5.3 並行化 3.6 小結 321推薦讀物 321參考文獻 322習題 323附錄A 基本的MPI常式 329附錄B 基本的Pthread常式 335附錄C OpenMP命令、庫函數以及環境變數 339索引 347

E. 並行程序設計的並行程序設計:

對於所希望的應用,很多並行代碼似乎不存在的;即使有,也常不能用於內用戶的並行機上容.因為並行代碼原來都是為不同的並行結構寫的.
其原因是:①並行程序設計不但包含了串列程序設計,而且還包含了更多的富有挑戰性的問題;②串列程序設計僅有一個普遍被接受的馮*諾依曼模型,而並行計算模型雖有好多,但沒有一個被共同認可;③並行程序設計對環境工具的要求遠比串列程序設計先進得多;④串列程序設計比較適合於自然習慣,且人們在過去積累了大量的編程知識和寶貴的軟體財富.
它的問題是:至今並行演算法範例不能被很好地理解和廣泛地接受;並行程序設計是建立在不同的計算模型上的,而它們沒有能像馮*諾依曼模型那樣被普遍的接受和認可.絕大部分被使用的並行程序設計語言都是Fortran和C的推廣,他們都不能夠充分地表達不同並行結構的特點,既不成熟也不通用.並行程序設計工具依賴於具體的並行結構和計算機代的更迭,既不通用也不穩定,在某個並行平台上開發的並行程序很難移植到別的或將來的並行機上.

F. 並行編程和 GPU 並行編程的區別

CPU可以並行計算，傳統的計算陣列也是用CPU組建的。
現在的GPU計算版是因為單個GPU的多核心，重復計算能力權強，通過低投入的GPU計算陣列就可以達到以往大型CPU陣列並行系統的效率。
CPU計算在通用計算上的價值更大。
比如說大量數據的重復運算就可以用並行計算的方式來進行，可利用GPU加速，而線性處理的時候GPU效率較低，此時CPU效率更高。
因此現在全球超級計算機前幾名的機器都採用了混合架構，也就是CPU-GPU混合架構。

G. 並行程序設計需要注意哪些問題

線程之間的協調和同步。

H. 為什麼需要進行並行程序設計

程序的
要求是什麼
任務實施嗎

I. 並行程序設計的類別

目前並行編程類型逐漸匯聚於兩類:用於PVP,SMP和DSW的共享變數的單地址空間模內型和用於容MPP和機群的消息傳遞的多地址空間模型.
並行編程模型逐漸匯聚於三類標准模型:數據並行(如:HPF),消息傳遞(如:MPI和PVM),和共享變數(如OpenMp).
現在人們希望高性能的並行機應是 具有單一系統映像的巨大的工作站,使得很多用戶都能利用增強處理能力和儲存容量來運行多個串列作業,這就是所謂的串列程序並行系統SPPS.
當我們在實際的並行機上設計並行程序時,絕大部分均是採用擴展Fortran和C語言的辦法,目前有三種擴展的辦法:一是庫函數法:除了串列語言所包含的庫函數外,一組新的支持並行性和交互操作的庫函數(如MPI消息傳遞庫和POSIXPthreads多線程庫)引入到並行程序設計中。二是新語言結構法:採用某些新的語言結構來幫助並行程序設計以支持並行性和交互操作(如Fortran 90 中的聚集數組操作); 三是編譯制導法:程序設計語言保持不變,但是將稱之為編譯制導的格式注釋引入到並行程序中.