Microsoft Word - Abrau2004_f.doc - Лаборатория ...

jinr.ru
  • No tags were found...

Microsoft Word - Abrau2004_f.doc - Лаборатория ...

Replica Catalog), где отображаются файлы, доступные разным юзерам и размещенные вразных SE. Событие записывается в журнал LB и задаче присваивается статус WAIT.d) WMS Job Adapter готовит задачу (её "паспорт") для JCS/Condor и её передаче выбранномуCE: задаче присваивается статус READY.e) CE − это в общем случае однородная ферма вычислительных узлов (WN, Worker Nodes) иузел, выступающий в роли Grid Gate (GG). т.е. front-end к остальному Grid. На немвыполняется Globus gatekeeper, Globus GRAM (Globus Resource Allocation Manager), серверLocal Resource Management System (LRMS, планировщик) вместе с LB-сервисами. В LCG-2 вкачестве LRMS поддерживаются PBS (Portable Batch System), LSF и Condor. В то время какWN-узлы спрятаны за firewalls, узел GG должен быть доступен извне CE. На узлах WNдоступны все команды и API`s для выполнения действий с Grid-ресурсами и данными. CEможет использовать средства памяти (SE) через Grid FTP-сервис (в последней версии LCGуправление динамической работы с ресурсами памяти возлагается на SRM: Storage ResourceManager).Итак, на следующем после d шаге Globus Gatekeeper на CE получает запрос от RB и отдаетзадачу планировщику (системе обслуживания очереди) LRMS: PBS, LSF или Condor. Статусзадачи − SCHEDULED.f) LRMS реализует выполнение задачи на доступной локальной ферме рабочих узлов WN,куда копируются из RB и файлы, нужные задаче.Статус задачи − RUNNING.g) Во время выполнения задачи ей могут быть доступны файлы с SE (через rfio-протокол)или локальной памяти WN. Информация по SE и результатам рассмотрения задачи сервисомMatch-Maker включаются в файл.Brokerinfo, передаваемый рабочим узлам CE службой WMS,и может извлекаться из этого файла средствами библиотеки API или WMS CLI.h) Задача может порождать новые выходные данные, которые могут быть "выгружены" вGrid и сделаны доступными для использования другими юзерами. Это делаетсяинструментами Data Management - сервисов. Выгрузка в Grid означает его копирование наStorage Element (SE) и регистрацию его местоположения, метаданных и т.д. в RMS. В то жевремя, во время выполнения задачи или через UI файлы могут "реплицироваться" двумяразными SE.i) Если задача завершается без ошибок, её output-файлы, указанные пользователем в OutputSandbox, передаются обратно в RB-узел: статус задачи − DONE.j) На данном этапе юзер может забрать Output из UI, используя WMS CLI или API. Статусзадачи − CLEARED.k) Запросы о статусе задачи адресуются базе данных LB из UI-машины (узла). Также из UIвозможны запросы к BDII о статусе ресурсов.l) Если что-то случается плохого на CE, где проходит задача, то она автоматическиперебрасывается другому CE в соответствие с начальными требованиями юзера. Если это неполучается, задача метится как ABORTED. Если задача не успевает быть завершенной к


моменту истечения времени, определенного выданным пользователю proxy-сертификатом,WMS-служба позволяет заблаговременно обновить proxy (этим ведает Proxy Server, PS),однако на время этого автоматического продления все другие запросы пользователя не будутобслуживаться.Вот теперь коснемся той темы, которая относится к технологии "middleware", о которойговорилось в обзорах на конференциях "Научный сервис в сети Интернет" в 2002 /2003/2004годах [4, 5, 7] и которая касается и Web, и GRID в равной степени.Предсказывается, что вся информационная и вычислительная программная поддержканауки в рамках Интернет будет реализовываться комплексом программных агентов(брокеров) и сервисов, доступных этим агентам непосредственно или через репозитории(регистрационные службы): см. хотя бы формализованный пример цикла полнойавтоматизации и обработки экспериментальных данных в сетевой компьютерной среде, отначала поступления данных на анализ до подведения итогов и результатов обработкинаучным сообществом, в работе David De Rouge et al. "The Semantic Grid: a Future e-ScienceInfrastructure" (http://www.semanticgrid.org/documents/semgrid-journal/semgrid-journal.pdf).Перспективность агентно-ориентированного подхода к разработке распределенныхинтеллектуальных систем отмечается, например, и в работе [9].Средства взаимодействия агентов (клиентов) с сервисами, как службами - исполнителяминужных агентам работ, - одни из главнейших составляющих "middleware", имеющих давнююисторию применений, и к данному моменту достаточно много крупных приложений,реализованных, например, в рамках применения архитектуры CORBA (Common ObjectRequest Broker Architecture). По разным причинам, о которых говорилось в докладе [4], этоприменение не вышло за рамки корпоративного, поэтому на смену (или скорее "развитие")пришла архитектура OGSA (Open Grid Services Architecture) с такими ключевыми понятиями,как Web/Grid-сервисы (службы), WSDL (Web Services Description Language для описания ихвозможностей и способов доступа в формате XML Schema, их интерфейсов), UDDI (UniversalDescription,Discovery and Integration: средства регистрации, каталогизации описаний сервисовв формализованном XML-формате), WS-Inspection (вариант коллекции описаний и ссылок,по назначению близкий к аппарату UDDI) и протокол SOAP (Simple Object Access Protocol)поверх HTTP (для обмена данными и сообщениями в XML-формате между агентами,сервисами и регистрационными службами, для удаленного вызова процедур). В рамкахOGSA схема взаимодействия агентов-клиентов (потребителей сервисов) с агентамипоставщикамисервисных услуг и регистрационными службами (если они используются)может быть представлена примерно так, как это сделано в работе [6]. В принципе такиеидеологи GRID как Фостер и Кессельман, определяя для него необходимую архитектурусистемного и прикладного программного обеспечения, предполагали использованиестандартизованных средств именно из архитектуры OGSA (см. статью Ian Foster, CarlKesselman, Jeffrey M.Nick, Steven Tuecke "The Physiology of the Grid: An Open Grid ServicesArchitecture for Distributed Systems Integration", http://www.globus.org/research/papers/ogsa.pdf)."Middleware", используемое для проектов типа EDG и LCG, данной архитектуре пока несоответствует, хотя какие-то шаги навстречу ей у физиков были сделаны в проектах типаAlien для реализации систем распределенного анализа данных: см., например,http://www.uscms.org/s&c/lcg/ARDA/ARDA-report-v1.pdf. Одним из основных шагов пореализации OGSA-архитектуры стала разработка OGSI (Open Grid Services Infrastructure),определившая механизмы для создания, управления и обмена информацией между Gridсервисами,т.е.Web-сервисами, предоставляющими корректно определенные интерфейсы иотвечающие специфическим соглашениям (например, в связи с введением понятия


"временных", transient служб). В соответствие с документом по проекту OGSI появилисьпервые реализации программных пакетов Globus Toolkit 3 (GT3) как набора средств (tools)для создания описаний и развертывания сервисов, управления ресурсами, обеспечениякоммуникаций и безопасности обмена информацией. В секциях 2-7 документа OGSI данматериал о том, как спецификации Grid-сервисов отображаются средствами типа WSDL:здесь вводится и определяется gwsdl - расширение к существовавшей на момент началаразработки OGSI версии WSDL 1.1 как временная мера до появления более развитых версийWSDL (1.2 и выше), см. http://www.w3.org/TR/2003/WD-wsdl12-20030611/.Рабочая группа, созданная для реализации проекта ARDA (Architectural Roadmap forDistributed Analysis) и включившая в свой состав представителей всех основныхколлабораций по использованию экспериментальных установок на LHC, изначальнопредполагала сделать пробный вариант своей системы обработки данных с применениемверсий пакета GT3; целый ряд организаций (в том числе ОИЯИ и российские институты)также опробовали применение указанных версий. Результат: если, скажем, при работе с Webсервисами(их создании, определении их WSDL-интерфейсов, генерации модулей для стабови скелетонов при обращении к рабочим вариантам методов сервисов) было не обязательнознать WSDL-тонкости представления описаний сервиса, а можно было воспользоватьсяготовыми инструментальными средствами, заложенными компаниями SUN и Apache впакеты типа JWSDP и Axis, то реализация описаний интерфейсов сервисов на gwsdl даже вверсиях Globus Toolkit 3.2 оказалась с программной точки зрения неудобной, "ручной" иплохо диагностируемой (сделанная, скажем, ошибка в одном символе проявлялась только втом, что сервис не запускался). В целом выявилось по крайней мере три причинынедовольства пользователей продукцией рабочей группы по реализации OGSI (см.http://www.globus.org/wsrf/faq.asp#wsrf):1. Слишком много лишнего и недостаточно четко включено в спецификации OGSI v.1.0,определяющей стандарты описаний интерфейсов сервисов, системы обмена сообщениями ит.д.2. Потеряно взаимодействие с существующими средствами развертывания Web- сервисов.OGSI v.1.0 слишком жестко и негибко использует XML Schema.3. В спецификации смешиваются (объединяются) понятия "сервис" и "ресурсы", скоторыми работает сервис. Разработчики не учли появление ряда промышленных стандартовde-facto, в том числе на способы адресования сервисов в системе обмена сообщениями попротоколу SOAP, см., например,http://www-106.ibm.com/developerworks/library/specification/ws-add/ илиhttp://www-106.ibm.com/developerworks/webservices/library/ws-add/В результате в ЦЕРНе (головной организации по проекту LCG), например, былифактически приостановлены работы по использованию спецификаций OGSI. В январе 2004года стартовал совместный проект WS-Resource Framework (WSRF) участников альянсаGlobus Allians и IBM (при взаимодействии с HP и рядом других фирм) с целью упорядоченияи модификации подходов OGSI в спецификации OGSI V1.0. Cоотношение между WSDF иOGSI изложены в документе "From OGSI to WSDF: Refactoring and Extensions",см. http://www.ibm.com/developerworks/library/ws-resource/gr-ogsitowsrf.html, и на ПервойEGEE - конференции в апреле 2004 года Кессельман объявил об ожидаемом появлении в3-м квартале с.г. версии GT4. Согласно сентябрьской информации(см http://www-unix.globus.org/toolkit/docs/development/4.0-drafts/GT4Facts/index.html − Statusand Plans for the Globus Toolkit 4.0 (GT4)), окончательная полная рабочая версия GT4 будетготова к 31 января 2005 года.


В принципе труд, вложенный программистами-прикладниками в освоение версий пакетаGT3, который фактически не оправдал эксплуатационных надежд, не пропадает, а в каком-тосмысле и облегчает переход на использование новой ожидаемой версии: как утверждаютинициаторы проекта WSRF, основные концепции OGSI сохраняются, основные изменениякасаются системы обмена сообщениями по протоколу SOAP и связанной с ними семантики,поэтому модификации OGSI-ориентированных систем будут небольшими.Проблема использования OGSA не сводится только к освоению ее инструментария длясоздания новых распределенных приложений, остается вопрос о том, что делать с теми,которые уже были реализованы с применением "middleware"-технологий CORBA, RMI и др.Частично говорилось об этом на базе примеров реализации самими прикладникамипреобразований таких приложений за счет создания программных "мостов" CORBA-OGSA вобзорном докладе [4] или RMI-OGSA [8]. Сейчас аппарат приспособления к новойархитектуре развит уже на промышленном уровне. Так, в PC WEEK/RE (номер 10 от 23 марта2004 г.) Питер Коффи пишет по поводу инструментария Web-сервисов: "В принципе ониполезны, вот только текущему моменту никак не соответствуют. Но положение начинаетменяться. Изнуренным работой корпоративным программистам на Java и C++ долженпонравиться выпущенный фирмой Iona Technologies пакет Artix Encompass: в его вариантеStandard Edition есть инструментарий разработки Web-сервисов, а в Advanced Edition −средства превращения в Web-сервисы приложений, созданных на базе Java, CORBA, IBMWebSphereMQ и др. Здесь же отмечается, что в том, что касается протоколов связи междуагентами и сервисами, то кроме SOAP (Simple Object Access Protocol, стандарт OGSA)предоставляется свой транспортный механизм JMS (Java Messaging System) и другие методыдоставки информации, включая туннелирование по протоколу IIOP (Internet Inter-ORBProtocol из архитектуры CORBA). Обеспечивается и трансляция между различнымиформатами (SOAP, IIOP, ...), есть встроенный визуальный графический дизайнер,позволяющий разрабатывать и интегрировать Web-сервисы.Итак, выбор пути использования спецификаций SOAP/WSDL/UDDI с API для доступа кUDDI - реестрам из любого языка программирования в любой операционной среде можносчитать сделанным и для GRID, и для Web. Их применение реализовано в целом рядеприложений и фирменных программных продуктов. Как отмечается, например, в статье "Гдехранить сведения об информационных ресурсах?" (см. PC WEEK/RE, выпуск 36, октябрь2004 г.), “только децентрализация и сквозное взаимодействие на основе общепринятыхмировых стандартов (XML, SOAP, Web Services, WSDL, UDDI) способны привести к успехупри создании удобных и повсеместно доступных систем хранения каталогизированнойинформации”. Нужно ли физикам полностью и немедленно преобразовывать наборсистемных служб LCG-2 или приложения типа развиваемых проектом ARDA в соответствиесо спецификациями OGSA-считается, как можно понять, не очевидным. При решениитиповых конкретных задач обработки больших потоков информации и необходимостидобиться максимальной производительности этой обработки в жесткие сроки они могутвременно обойтись и без той полной универсальной автоматизации процесса работыколлаборации исследователей, которая представлена схемой David De Rouge`a et al., темболее что для такой эффективной автоматизации аппарата содержательного (семантического)описания сервисов средствами XML Schema недостаточно, здесь в идеале нужна реализация"представления знаний" более развитым "онтологическим" подходом (обзор [5]), а отсутствиехороших автоматизированных средств генерации онтологий (аннотаций к содержимомуколлекций информации) на языках "on top of XML" (типа OWL: Ontology Web Language)сдерживает этот процесс. Впрочем, работы по созданию подобных средств ведутся, в томчисле и в России (например, [10]).


ЛИТЕРАТУРА1. М.М. Степанова, О.А. Стесик, А.Г. Сурков, Л.В. Чернышева. Разработка параллельнойверсии программного комплекса "Атом" и ее испытание на экспериментальном GRIDкластере.// Труды Всероссийской научной конференции "Научный сервис в сетиИНТЕРНЕТ", Новороссийск, 2003, стр. 172-173.2. В.А. Ильин, В.В. Кореньков. Участие Российских центров и ОИЯИ в проектах LCG иEGEE // Тезисы докладов международной конференции "Распределенные вычисления иГРИД-технологии в науке и образовании", Дубна, 2004, стр. 48.3. В.А. Ильин и др. Web-портал www.egee-rdig.ru: единое информационное пространствоучастников RDIG. // Тезисы докладов международной конференции "Распределенныевычисления и ГРИД-технологии в науке и образовании", Дубна, 2004, стр. 47.4. В.П. Шириков, В.В. Галактионов. На пути к внедрению новых информационныхтехнологий. // Труды Всероссийской научной конференции "Научный сервис в сетиИНТЕРНЕТ", Новороссийск, 2002, стр. 8-11.5. В.П. Шириков. Как у нас с интеллектом в Web и GRID для создания полноценногонаучного сервиса? // Труды Всероссийской научной конференции "Научный сервис в сетиИНТЕРНЕТ", Новороссийск, 2003, стр. 33-38.6. В.В. Галактионов. Web Services - сервис-ориентированная технология для распределенныхобъектных вычислительных систем. Основные концепции, протоколы и спецификации.// Сообщение ОИЯИ Р10-2003-140, Дубна, 2003.7. В.П. Шириков. Программное обеспечение GRID: переоценка ценностей. // ТрудыВсероссийской научной конференции "Научный сервис в сети ИНТЕРНЕТ", Новороссийск,2004, стр. 142-144.8. В.В. Галактионов. Bridge RMI-GT3: сопряжение технологий распределенных систем сархитектурами RMI и GRID-OGSA. // Тезисы докладов международной конференции"Распределенные вычисления и ГРИД - технологии в науке и образовании", Дубна, 2004,стр. 31.9. Е.И. Зайцев. Об агентно-ориентированном подходе к разработке распределенныхинтеллектуальных систем. //Тезисы докладов международной конференции "Распределенныевычисления и ГРИД - технологии в науке и образовании", Дубна, 2004, стр. 41.10. А.В. Жучков и др. Использование онтологий при работе с гетерогенными федеративнымимассивами данных в распределенных информационных системах. // Тезисы докладовмеждународной конференции "Распределенные вычисления и ГРИД - технологии в науке иобразовании", Дубна, 2004, стр. 40.

More magazines by this user
Similar magazines