پردازش موازی داده ها در ابر رایانه ها از راه دور

چکیده:

پردازش موازی و امکانات آزمایشی مدرن، تولید حجم زیادی از داده هایی را که باید پردازش شوند، در هارد دیسک ها ذخیره گردندو با بالاترین سرعت ممکن به کاربر ارائه شوند را فراهم می سازند. هرچند، تجزیه و تحلیل داده ها در محل، نیازمند منابع فنی است که اغلب در دسترس نیستند. وجود شبکه های سرعت بالای در دسترس، امکان سپردن پردازش و ذخیره داده ها را به مراکز ابر رایانه های از راه دور(remote supercomputer centers) و مراکز داده ی از راه دور( remote data center) را فراهم می سازد. این قابلیت ها میتوانند از طریق توسعه راه حل های معماری برای انتقال موثر داده ها از طریق شبکه های سرعت بالای با فاصله دور، داده های ورودی/ خروجی و توزیع داده ها بروی کامپیوترها و سیستم های ذخیره سازی داده تحقق یابند.

در این مقاله، نتایج بررسی توسعه یک بستر نرم افزاری را برای پردازش موازی جریان داده های آزمایشی متمرکز بر ابر رایانه های ICMM UB RAS (Perm) و IMM UB RAS (Yekaterinburg) که توسط یک شبکه سرعت بالا به یکدیگر متصل شده اند را شرح میدهیم. مطالعات گزارش شده تا اندازه ای توسط RFBR، پروژه تحقیقاتی شماره 07-96001-r_ural_a-14 و با برنامه UD RAS پروژه شماره 15-7-125 پشتیبانی شده اند.

بیان مساله:

اخیرا، پروژه های شناخته شده در حوزه علوم الکترونیکی پردازش مجموعه داده های بزرگ و بزرگتر بدست آمده از راه اندازی آزمایشی از راه دور را بررسی کرده اند(مانند CERN LHC در فیزیک انرژی بالا و پروژه Dutch LOFAR در نجوم). در ابتدا، تقریبا تمامی محاسبات توزیع شده بر اساس شبکه های اینترنت TCP/IP گسترده شده در میان کاربران بود. مرحله فعلی توسعه تکنولوژیهای محاسباتی توزیع شده بروی استفاده از تحقیقات منطقه ای و ملی و شبکه های نوری آموزشی تمرکز کرده است( مانندGeant2 در اروپا، Internet2 در ایالات متحده و Initiative GIGA UrB RAS در روسیه).

تمایل به افزایش پهنای باند شبکه و کاهش تاخیر در انتقال داده(Rumble, Ongaro, & Stutsman, 2011) امکان ساخت سیستم های توزیع شده را فراهم ساخت، بطوریکه منابع داده ای و ابر رایانه ها میتوانند از نظر جغرافیایی در مکان های متفاوتی نسبت به یکدیگر قرار گیرند.

در این زمینه، تحقیق حاضر و تلاشهای توسعه برای حل دو مسئله مرتبط بکار گرفته شدند: 1) استفاده موثر از لینک های مخابراتی با سرعت بالا(100-10 گیگابایت در ثانیه) و فاصله زیاد(هزاران کیلومتر) 2) روشهای سازماندهی داده ورودی/خروجی سرعت بالا در یک ابر رایانه( Arslan, Kim, & Kosar, 2015،Yildirim). برای مثال، پروژه های مرکز ابر رایانه Pittsburg(شبکه سازی پیشرفته، web10G Three river optical exchang،) به افزایش سرعت دسترسی به ذخایر داده و تنظیم پروتکل TCP کمک کرد (Pittsburgh Supercomputing Center, 2015).

از میان پروتکل های اختصاص داده شده به انتقال داده در شبکه Longfat سرعت بالا، میتوان به پروتکل UDT اشاره کرد(Gu & Grossman,2007).

چارچوب مقاله:

تیم پی سی اسکریپت این مقاله، چارچوبی که برای پردازش موازی جریان داده های متمرکز آزمایشی در UB RAS تولید شده است را شرح میدهد. این چارچوب بر پایه ی DWDM-backbone نوری سرعت بالاست که مرکز ابر محاسباتی IMM UB RAS (Yekaterinburg) و مرکز داده ICMM UB RAS (Perm) را به هم متصل میسازد. زیر ساخت و میان افزار این چارچوب مانند یک مدل قدیمی از تعامل بین ابر کامپیوتر ها و تنظیمات آزمایشی و بخوبی مدل های توسعه یافته ورودی مستقیم جریان داده به گره های محاسباتی ابر رایانه ها برای پردازش موازی، پیاده سازی شده است.

یک مثال برای کاربرد عملی این چارچوب پروژه ی “Distributed PIV” (PIV توزیع شده) است. ماهیت نهفته در پردازش اندازه گیریهای(measurements) جریان توسط روش PIV بروی یک ابررایانه از راه دور و درزمان واقعی برای فراهم کردن بازخورد و کنترل آزمایش بدست آمده است .

کلمات کلیدی: شبکه Long fat، ابر رایانه، پردازش موازی داده، میان افزار، سیستم توزیع شده.