1. Курс : Введение в параллельные алгоритмы Якобовский Михаил Владимирович д.ф.-м.н., зав. сектором , Институт математического моделирования РАН , Москва

8. Многопроцессорные системы с распределенной памятью

9. Многопроцессорные системы с общей памятью

10. Гибридные вычислительные системы сеть

14. Свойства канала передачи данных T(n)=n * T байта + T латентности Число передаваемых байт Infiniband

41. Новые операции F=1; for(i=2;i <= n;i ++ ) F*=i; Вычисление всех факториалов до 8! включительно Шаг Процессор 1 Процессор 2 Процессор 3 Процессор 4 1 1  2 3  4 5  6 7  8 2 12  3 12  34 56  7 56  78 3 1234  5 1234  56 1234  567 1234  5678

42. Новые операции 1 2 4 3 8 5 9 11 6 7 12 10 Шаг Процессор 1 Процессор 2 Процессор 3 Процессор 4 1 1  2 3  4 5  6 7  8 2 12  3 12  34 56  7 56  78 3 1234  5 1234  56 1234  567 1234  5678 Шаг Процессор 1 Процессор 2 Процессор 3 Процессор 4 1 2! 3  4 5  6 7  8 2 3! 4! 56  7 56  78 3 5! 6! 7! 8!

44. Стена Фокса n – ширина стены к – высота стены

45. Одномерная разностная схема для уравнения диффузии

46. Решение одномерного уравнения на 9 моментов времени

47. Метод геометрического параллелизма

52. ? 0 1 2 3 4 5 =<   =<  >=  =<  >=  =<  >=  =<  >=  >=

53. ! 0 1 2 3 4 5 =<   =<  >=  =<  >=  =<  >=  =<  >=  >=

54. ! 0 1 2 3 4 5 =<   =<  >=  =<  >=  =<  >=  =<  >=  >=

55. ! 0 1 2 3 4 5 =<   =<  >=  =<  >=  =<  >=  =<  >=  >=

56. ! 0 1 2 3 4 5 =<   =<  >=  =<  >=  =<  >=  =<  >=  >=

57. ! 0 1 2 3 4 5 =<   =<  >=  =<  >=  =<  >=  =<  >=  >=

58. ! 0 1 2 3 4 5 =<   =<  >=  =<  >=  =<  >=  =<  >=  >=

59. ! 0 1 2 3 4 5 =<   =<  >=  =<  >=  =<  >=  =<  >=  >=

60. ! 0 1 2 3 4 5 =<   =<  >=  =<  >=  =<  >=  =<  >=  >=

61. ! 0 1 2 3 4 5 =<   =<  >=  =<  >=  =<  >=  =<  >=  >=

62. ! 0 1 2 3 4 5 =<   =<  >=  =<  >=  =<  >=  =<  >=  >=

63. ! 0 1 2 3 4 5 =<   >= =<  =<   >=  >= =<  =<   >=  >=

65. Метод коллективного решения (укладка паркета)

66. Метод коллективного решения (укладка паркета) Число порций Обработка порции Обмен данными r – размер порции

67. r – размер порции Как правильно? или Зависит ли время передачи данных от размера порции (задания)?

69. Метод конвейерного параллелизма ? Время выполнения на p процессорах

70. Метод конвейерного параллелизма

72. Стена Фокса Какой объем работ забрать у среднего процессора и кому его передать?

73. Метод геометрического параллелизма

74. Метод геометрического параллелизма

75. Диффузная балансировка загрузки

76. Диффузная балансировка загрузки

77. Диффузная балансировка загрузки

78. Статическое распределение

80. Планирование нагрузки

82. Крылья, ноги и хвосты. Гостелерадио, «Экран», 1985.

85. «Параллельный» алгоритм Последовательное распространение разряда переноса на четырёх процессорах 99 99 99 99 1 1 00 1 00 1 00 100 100 00 00 00

86. ? Параллельный алгоритм « »

92. Пузырьковая сортировка

93. Сортировка сдваиванием

94. Сортировка сдваиванием

103. Сравнение алгоритмов сортировки Алгоритм сортировки Среднее число операций М аксимальное число операций Быстрая ( qsort ) 11.7 n log 2 n O(n 2 ) Пирамидальная ( hsort ) 16 n log 2 n 18 n log 2 n + 38 n Слияние списков ( lsort ) 10 n log 2 n O(n log 2 n)

105. Константа времени сортировки T= 10 -9 K N log 2 (N)

107. Константа времени сортировки наилучшего алгоритма

115. До 10 ^ 5 пирамидальная, после - слияние

116. До 10 ^ 5 пирамидальная после – слияние упорядоченных фрагментов

124. Сеть сортировки (пузырёк) n= 6 s = 2n-3=9

125. Пузырьковая сортировка

126. Сеть сортировки (пузырёк) n= 6 s = 2n-3=9

127. Сеть сортировки четно-нечетные перестановки n= 6 s = n= 6

128. Минимальная сеть сортировки n= 6 s=5

130. Обменная сортировка со слиянием 8ми элементов

131. Сортировка блоков ОДИНАКОВОГО РАЗМЕРА

132. Сравнение алгоритмов сортировки Алгоритм сортировки Среднее число операций Пирамидальная O( n log 2 n) Слияние O( n log 2 n) Параллельная сортировка методом сдваивани я. Объём данных ограничен оперативной памятью вычислительного узла Параллельная четно-нечетная сортировка Объём данных ограничен общей оперативной памятью Параллельная «обменная сортировка со слиянием»

133. Слияние упорядоченных фрагментов for(ia=0,ib=0,k=0; k<n ;k++) { if(ia>=n1) c[k]=b[ib++]; else if(ib>=n2) c[k]=a[ia++]; else if(a[ia]<b[ib]) c[k]=a[ia++]; else c[k]=b[ib++]; } // n – число элементов в каждом из массивов a,b rank1 , a[n] rank2, b[n]

134. Слияние упорядоченных фрагментов Join(int *a, int *b, int *c, int n,rank1,rank2) { if(rank==rank1) for(ia=0,ib=0,k=0;k<n;) { if(a[ia]<b[ib]) c[k++]=a[ia++]; else c[k++]=b[ib++]; } else for(ia=n-1,ib=n-1,k=n-1;k>=0;) { if(a[ia]>b[ib]) c[k--]=a[ia--]; else c[k--]=b[ib--]; } } rank1 rank2

136. n=10 8 P T, сек E S E max S max s p 1 83.51 100.00% 1.00 100% 1.0 0 2 46.40 90.00% 1.80 100% 2.0 1 3 35.9 3 77.48% 2.32 95% 2.8 3 4 29.6 8 70.35% 2.81 96% 3.9 3 5 24.4 5 68.33% 3.42 91% 4.5 5 6 22.16 62.80% 3.77 92% 5.5 5 7 21.82 54.67% 3.83 89% 6.2 6 8 19.95 52.32% 4.19 90% 7.2 6 16 12.36 42.22% 6.75 82% 13.1 10 27 9.3 2 33.20% 8.97 74% 20.0 14 32 7.85 33.24% 10.64 73% 23.3 15 48 6.45 26.97% 12.95 66% 31.9 19 64 4.9 2 26.53% 16.98 64% 40.9 21 128 3.19 20.47% 26.20 56% 71.5 28 192 2.52 17.29% 33.19 51% 98.2 33 256 1.99 16.41% 42.02 49% 124.6 36 384 1.63 13.33% 51.20 49% 187.0 41 512 1.29 12.64% 64.74 42% 217.4 45 640 1.21 10.78% 69.02 41% 264.7 47