методика определения эффективности параллельных вычислений

1059[ X, X, K,X1 2 m]G[ Y, Y, K,Y1 2 m]Рис. 2. Кратные вычисленияДля оценки комплексной эффективности E кратных вычислений G будем использоватьвременную T и пространственную V эффективности,E = TV . (1)При расчете эффективностей за единицу измерения времени и пространства примемвремя и аппаратурные затраты при однократных вычислениях F . Временную эффективностьT определим как ускорение вычислений, полученное в пересчете на один набор данных,T m= 1 τ m= , (2)τгде τ – время кратных вычислений G , а пространственную эффективность V определимотношение аппаратурных затрат в однократном случае F к аналогичным затратам при кратныхвычислениях G ,1V = , (3)νгде ν – аппаратурные (пространственные) затраты кратных вычислений G .В итоге имеем, что комплексная эффективность E определяет время вычисления на одномнаборе данных в пересчете на единицу оборудования. Если E > 1, то получено повышениеэффективности при кратных вычислениях G по отношению к F , а при E < 1 – уменьшениеэтой эффективности.3. Организация кратных вычисленийПри последовательных вычислениях входные наборы данных используются последовательново времени, а при параллельных – параллельно в пространстве. Однако видится возможнойорганизация параллельных вычислений не только последовательно во времени и параллельнов пространстве, но и последовательно в пространстве и параллельно во времени(табл. 1).3.1. Последовательные вычисления во времениПри последовательных вычислениях во времени (повторная обработка) различные наборыданных подаются на вход одного вычислительного средства F в разные моменты времениt , отстоящие друг от друга на время однократного вычисления, т.е. временная последовательностьвходных наборов1 2mX (1), X (2), K , X ( m)порождает соответствующую временную последовательность результатов1 2mY (2), Y (3), K , Y ( m + 1) .Тогда для повторной обработки имеемτ = m , ν = 1, T = 1, V = 1, E = 1.Примером реализации последовательных вычислений во времени на крупноблочномуровне является вычислительная система с одиночным потоком команд и одиночным пото-ДОКЛАДЫ ПЯТОЙ МЕЖДУНАРОДНОЙ КОНФЕРЕНЦИИ«ПАРАЛЛЕЛЬНЫЕ ВЫЧИСЛЕНИЯ И ЗАДАЧИ УПРАВЛЕНИЯ», МОСКВА PACO ‘2010PAPERS OF THE FIFTH INTERNATIONAL CONFERENCE“PARALLEL COMPUTING AND CONTROL PROBLEMS”, MOSCOW

1060ком данных, на среднеблочном – процессор скалярной обработки данных, на мелкоблочном– устройство выполнения арифметических операций.3.2. Параллельные вычисления в пространствеПри параллельных вычислениях в пространстве (распараллеливание или многоэлементнаяобработка) используется m вычислительных средств F , каждое из которых выполняетвычисление на своем наборе. В этом случае результаты появляются на выходе через времяоднократного вычисления, но при этом требуется дублирование оборудования, равное кратностивычислений m . Входные наборы данных образуют пространственную последовательностьи подаются на входы F одновременно:1 2mX (1), X (1), K , X (1),и одновременно появляются на выходе соответствующие результаты:1 2mY (2), Y (2), K , Y (2).Комплексная эффективность многоэлементной обработки, как и при последовательныхвычислениях во времени, будет равна единице:τ =1, ν = m , T = 1, V = 1, E = 1.Примером реализации последовательных вычислений во времени на крупноблочномуровне является вычислительная система с множественным потоком команд и множественнымпотоком данных, на среднеблочном – процессор векторной обработки данных, на мелкоблочном– устройство выполнения поразрядных логических операций.3.3. Последовательные вычисления в пространствеПри последовательных вычислениях в пространстве (конвейеризация или многостадийнаяобработка) различные наборы данных подаются на вход также в разные моменты времени,но отстоящие друг от друга на время 1 s , которого достаточно для вычислений, осуществляемыхкаждой из s ступеней (стадий) конвейера.Для последовательных вычислений в пространстве вычислительное средство F разделяетсяна s последовательных частей (стадий), таким образом, чтобы результат вычисленияпредыдущей стадии являлся входными данными для вычисления следующей стадии. В этомслучае временная последовательность входных наборов1 2mX (1), X (1 + 1 s),K , X (1 + ( m −1)s)и порождает соответствующую временную последовательность результатов1 2mY (2), Y (2 + 1 s),K , Y (2 + ( m −1)s),откуда получаем выражение для комплексной эффективности:msmτ = 1+( m −1)s , ν = 1, T =, V = 1, E = ≥1. (4)1+( m −1) / ss + m −1Заметим, что при s = 1 имеем ранее рассмотренную повторную обработку с единичнойкомплексной эффективностью. Однако при числе стадий s > 1 комплексная эффективностькратных вычислений будет больше единицы, а в пределе стремиться к s . Более того из формул(4) непосредственно следует, что при кратности вычислений m = 1 последовательныевычисления в пространстве трансформируются в последовательные вычисления во времени.Примером реализации последовательных вычислений во времени на крупноблочномуровне является перенаправление выходного потока данных одной программы во входнойпоток другой, на среднеблочном – процессор конвейерной обработки данных, на мелкоблочном– конвейеризованное устройство умножения-сложения чисел в формате с плавающейзапятой.ДОКЛАДЫ ПЯТОЙ МЕЖДУНАРОДНОЙ КОНФЕРЕНЦИИ«ПАРАЛЛЕЛЬНЫЕ ВЫЧИСЛЕНИЯ И ЗАДАЧИ УПРАВЛЕНИЯ», МОСКВА PACO ‘2010PAPERS OF THE FIFTH INTERNATIONAL CONFERENCE“PARALLEL COMPUTING AND CONTROL PROBLEMS”, MOSCOW

10613.4. Параллельные вычисления во времениПри параллельных вычислениях во времени используется m вычислительных средствF , но не в полном объеме: общая часть оборудования F1с долей d не дублируется, а используетсяв одном экземпляре. В этом случае результаты появляются на выходе через времяоднократного вычисления, но при этом требуется дублирование оборудования параллельныхканалов F2с кратностью m . Входные наборы данных, как и при параллельных вычисленияхв пространстве, образуют пространственную последовательность и подаются на входы Fодновременно, одновременно снимаются и результаты вычислений, но с задержкой на времяоднократного вычисления. Следовательно, для параллельных вычислений во времени11mτ =1,ν =, T = m, V =, E =≥1. (5)m (1 − d)+ dm(1− d)+ d m(1− d)+ dЗаметим, что при d = 0 имеем рассмотренную ранее многоэлементную обработку с единичнойкомплексной эффективностью. Однако при доле общего оборудования d > 0 комплекснаяэффективность кратных вычислений будет больше единицы, а в пределе стремитьсяк 1 (1 − d). Более того из формул (5) непосредственно следует, что при кратности вычисленийm = 1 параллельные вычисления во времени трансформируются в параллельные вычисленияв пространстве.Примером реализации параллельных вычислений во времени на крупноблочном уровнеявляется вычислительная система с одиночным потоком команд и множественным потокомданных или с множественным потоком команд и одиночным потоком данных, на среднеблочном– процессор суперскалярной обработки данных, на мелкоблочном – многоканальныйаналогово-цифровой преобразователь.Таблица 1. Методы организации кратных вычисленийПоследовательноПараллельноFdВо времени1X1Y(1)(2)FX m (m) Y mT = 1 , V = 1, E = 1( m +1)T= m,1X (1)mX (1)F 1F 2F21 − d1Y (2)1V =,m(1− d)+ dmY (2)mE =m(1− d)+ dВ пространствеX 1 (1 + 1 s)X m ( 1+m s)F1FFsY 1 (2 + 1 s)Y m ( 2 + m s)msmT =, V = 1, E =1+( m −1) / ss + m −11X (1) Y1 (2)F…mX (1)mY (2)F1T = m, V = , E = 1mДОКЛАДЫ ПЯТОЙ МЕЖДУНАРОДНОЙ КОНФЕРЕНЦИИ«ПАРАЛЛЕЛЬНЫЕ ВЫЧИСЛЕНИЯ И ЗАДАЧИ УПРАВЛЕНИЯ», МОСКВА PACO ‘2010PAPERS OF THE FIFTH INTERNATIONAL CONFERENCE“PARALLEL COMPUTING AND CONTROL PROBLEMS”, MOSCOW

10624. Методика определения эффективностиОпределение эффективности параллельных вычислений возможно двумя методами: априорными апостериорным.4.1. Априорная эффективностьПри априорном определении эффективности параллельных вычислений выполняетсярасчет комплексной эффективности на основе знания структурной организации планируемыхкратных вычислений. В этом случае для последовательных вычислений во времени ипараллельных вычислений в пространстве комплексная эффективность принимается равнойединице, а для последовательных вычислений в пространстве и параллельных вычислений вовремени используются формулы (4) и (5) соответственно.Некоторую сложность представляет определение доли общего оборудования d для несколькихпараллельных каналов обработки данных. Для оценки d могут быть использованытакие характеристики вычислительных средств и их частей как количество логических элементов,пространственный объем, площадь на кристалле, и т.п.В случае, когда кратность вычислений m неизвестна, производится подсчет асимптотической(максимальной) комплексной эффективности, получаемой при устремлении кратностивычислений m к бесконечности. В этом случае вместо формул (4) и (5) используютсяформулы E = s и E = 1 (1 − d)соответственно.Если структура кратных вычислений такова, что одновременно используются последовательныеи параллельные вычисления, то комплексная эффективность такой организациипринимается равной произведению их комплексных эффективностей. В этом случае наибольшаякомплексная эффективность достигается при совмещении последовательных вычисленийв пространстве с параллельными вычислениями во времени (рис. 3),smE = ( s + m′−1)(m′′(1 − d)+ d),где m – общая кратность вычислений, m′ – кратность последовательных вычислений, m′ –кратность параллельных вычислений, m = m′m′.XGm′m′ ′1F 211F2m ′′F 1sdsF 21sF 2 m ′YРис. 3. Совмещенная организация вычислений4.2. Апостериорная эффективностьПри апостериорном определении эффективности параллельных вычислений выполняетсявычисление комплексной эффективности на основе измерения временных и пространственныххарактеристик выполняемых вычислений.Теоретической основой апостериорного метода служат следующие свойства кратныхвычислений:ДОКЛАДЫ ПЯТОЙ МЕЖДУНАРОДНОЙ КОНФЕРЕНЦИИ«ПАРАЛЛЕЛЬНЫЕ ВЫЧИСЛЕНИЯ И ЗАДАЧИ УПРАВЛЕНИЯ», МОСКВА PACO ‘2010PAPERS OF THE FIFTH INTERNATIONAL CONFERENCE“PARALLEL COMPUTING AND CONTROL PROBLEMS”, MOSCOW

10631) последовательные вычисления во времени и параллельные вычисления в пространстве,будучи использованными в любой форме, не влияют на комплексную эффективностькратных вычислений, т.к. их комплексная эффективность всегда равна единице;2) в однократном случае ( m = 1) последовательные вычисления в пространстве трансформируютсяв последовательные вычисления во времени, а параллельные вычисления вовремени – в параллельные вычисления в пространстве.Возможность определения значений единиц измерения времени и пространства непосредственноследует из свойств 1) и 2). Для этого выполняются однократные вычисления изамеряются соответствующие характеристики выполненного преобразования данных. Единицейизмерения времени в этом случае может служить временной интервал τ1, затраченныйвычислительным средством на выполнение однократных вычислений, а единицей измеренийпространства – дополнительная энергия v1, потребленная вычислительным средством приоднократных вычислениях.Аналогичные измерения τmи vmпроизводятся при m -кратных вычислениях таких, чтозадействуются как конвейер, так и все параллельные каналы вычислительного средства. Дляэтого необходимо выбрать m достаточно большим. В этом случае и с учетом ранее определенныхединиц измерения времени τ1и пространства v1эффективности выполненных кратныхвычислений в соответствии с (1-3) могут быть оценены по следующим формулам:τ1 τ1v1τ vT = = m , V = , E = m 1 1 ,τmm τm νmτ mv mгде τm– время, затраченное на m -кратные вычисления, vm– дополнительная энергия, потребленнаяпри m -кратных вычислениях.5. ЗаключениеТаким образом, используя введенные критерии эффективности, появляется априорная иапостериорная возможность оценить, за счет чего получено ускорение параллельных вычислений:при E = 1 – за счет пропорционального увеличения аппаратурных затрат (экстенсификациявычислений), или при E > 1 – за счет эффективной организации вычислительногосредства (интенсификация вычислений). Следует также рассматривать случай деградациивычислений, когда получаемая комплексная эффективность меньше единицы, E < 1. В этомслучае, как правило, добиваются ускорения параллельных вычислений, не считаясь с пространственными(аппаратурными) затратами.Из приведенного анализа также следует, что последовательные вычисления в пространстве(конвейеризация) являются одной из форм параллельных вычислений, однако осуществляемыхв скрытой форме. Следует также обратить внимание на параллельные вычисленияво времени, которые являются интенсивной формой параллельных вычислений по определению[5]. В противоположность конвейерным вычислениям, где исходная задача F декомпозируетсяна последовательно выполняемые подзадачи F1– F 2–...– F s, при параллельных вычисленияхво времени осуществляется параллельная декомпозиция F = F 1| F2, заключающаясяв выделении общего оборудования F1(элементов, устройств, областей памяти, и т.п.) сдолей d от всего оборудования F , которое используется для нескольких параллельных каналовобработки данных F2.ДОКЛАДЫ ПЯТОЙ МЕЖДУНАРОДНОЙ КОНФЕРЕНЦИИ«ПАРАЛЛЕЛЬНЫЕ ВЫЧИСЛЕНИЯ И ЗАДАЧИ УПРАВЛЕНИЯ», МОСКВА PACO ‘2010PAPERS OF THE FIFTH INTERNATIONAL CONFERENCE“PARALLEL COMPUTING AND CONTROL PROBLEMS”, MOSCOW

1064Список литературы1. Roosta S.H. Parallel Processing and Parallel Algorithms: Theory and Computation. – NY: Springer-Verlag, 2000.2. Bertsekas D.P., Tsitsiklis J.N. Parallel and Distributed Computation. Numerical Methods. – Prentice Hall: EnglewoodCliffs, 1989.3. Smith J.E., Pleszkun A.R. Implementation of precise interrupts in pipelined processors // Proceedings of the 12thannual international symposium on Computer architecture. – Boston, 1985. P. 36-44.4. Выхованец В.С., Малюгин В.Д. Кратные логические вычисления // Автоматика и телемеханика. – 1998,№ 6. – С. 163-171.5. Выхованец В.С. Параллельные вычисления во времени // Автоматика и телемеханика. – 1999, № 12. –С. 155-165.ДОКЛАДЫ ПЯТОЙ МЕЖДУНАРОДНОЙ КОНФЕРЕНЦИИ«ПАРАЛЛЕЛЬНЫЕ ВЫЧИСЛЕНИЯ И ЗАДАЧИ УПРАВЛЕНИЯ», МОСКВА PACO ‘2010PAPERS OF THE FIFTH INTERNATIONAL CONFERENCE“PARALLEL COMPUTING AND CONTROL PROBLEMS”, MOSCOW