بررسی سرور Dell PowerEdge R7725xd؛ رکوردی جدید در سرعت استوریج با ۳۰۰ گیگابایت بر ثانیه در یک شاسی 2U

برخی از سرورها صرفاً امکانات موجود را کمی ارتقا می‌دهند، اما برخی دیگر استانداردهای بازار را به طور کامل تغییر می‌دهند. سرور Dell PowerEdge R7725xd قطعاً در دسته دوم قرار می‌گیرد. در تست‌های اخیر ما، این سرور که به ۲۴ درایو اس‌اس‌دی قدرتمند Micron 9550 PRO (از نوع PCIe Gen5 NVMe) و چهار کارت شبکه دو پورته 200GbE مجهز شده بود، توانست به پهنای باند خامی دست یابد که تا پیش از این در هیچ سیستم مشابهی ندیده بودیم. این سرور در تست‌های داخلی توانست سرعت خواندن بیش از ۳۰۰ گیگابایت بر ثانیه را ثبت کند و روی شبکه نیز با استفاده از استاندارد RDMA به سرعت ۱۶۰ گیگابایت بر ثانیه رسید.

این فقط یک سرور استوریج سریع نیست؛ بلکه سیستمی است که نحوه طراحی شبکه‌های مبتنی بر داده (Data-intensive) را تغییر می‌دهد. امروزه در بسیاری از پروژه‌های آموزش هوش مصنوعی، مشکل اصلی قدرت کارت‌های گرافیک (GPU) نیست، بلکه سرعت انتقال و آماده‌سازی داده‌ها برای این پردازنده‌هاست. اگر استوریج نتواند داده‌ها را با سرعت کافی تامین کند، گرافیک‌های گران‌قیمت بی‌کار می‌مانند. Dell با این سرور، گلوگاه انتقال داده را مستقیماً از ریشه حل کرده است.

معماری Gen5؛ حذف سوییچ‌ها برای دستیابی به نهایت سرعت

در نسل‌های جدید سرورها، شرکت دل (Dell) استفاده از سوییچ‌های PCIe را در کانفیگ‌های پرظرفیت کنار گذاشته است. تفاوت اصلی بین مدل استاندارد R7725 و نسخه R7725xd در نحوه تخصیص منابع ارتباطی PCIe نهفته است. در مدل‌های قبلی، اگر می‌خواستید ۲۴ درایو NVMe روی سرور داشته باشید، ترافیک آن‌ها از طریق یک سوییچ تقسیم می‌شد. اما در مدل xd، بخش ذخیره‌سازی مصرف‌کننده اصلی پهنای باند PCIe است.

تمام ۲۴ درگاه U.2 این سرور به صورت مستقیم به ریشه‌های PCIe Gen5 پردازنده‌های AMD متصل شده‌اند. هر درایو SSD یک مسیر اختصاصی ۴ مسیره (x4) دریافت می‌کند و هیچ خبری از تقسیم پهنای باند نیست. این یعنی هر درایو می‌تواند بدون تداخل با درایوهای دیگر، اطلاعات را مستقیماً با کنترلر حافظه تبادل کند.

از نظر طراحی حرارتی، فرم‌فکتور U.2 همچنان برای کانفیگ‌های متراکم Gen5 یک مزیت بزرگ است، زیرا جریان هوای مشخصی دارد. فن‌های قدرتمند این سرور جریان هوای پایداری را برای هر ۲۴ درایو فراهم می‌کنند و به سیستم اجازه می‌دهند حتی تحت سنگین‌ترین فشارهای نوشتن مداوم (Write Workloads)، بدون افت سرعت (Throttling) به کار خود ادامه دهد.

نگاهی به سیستم مدیریت iDRAC 10 در سرور R7725xd

این نسل از سرورهای دل به پلتفرم مدیریتی جدید iDRAC 10 مجهز شده است که نقطه مرکزی برای مدیریت از راه‌دور و مانیتورینگ سلامت سخت‌افزار محسوب می‌شود. داشبورد اصلی نمای کاملی از وضعیت سلامت سرور و فعالیت‌های اخیر را به مدیران شبکه ارائه می‌دهد.

بخش استوریج در iDRAC 10 دید کاملی از تمامی دیسک‌های فیزیکی نصب شده در سرور ارائه می‌دهد. از آنجا که R7725xd از معماری مستقیم NVMe (بدون کنترلر RAID سنتی) استفاده می‌کند، تمام درایوها به صورت Non-RAID گزارش شده و به صورت مجزا قابل آدرس‌دهی هستند. این ویژگی برای محیط‌هایی که از استوریج‌های نرم‌افزارمحور (SDS) استفاده می‌کنند، بسیار ایده‌آل است.

در نمای دقیق‌تر، می‌توانید اطلاعات هر درایو را به صورت تکی بررسی کنید. در تصویر زیر می‌بینید که درایوهای NVMe در این سرور با سرعت لینک 32 GT/s و اتصال کامل x4 کار می‌کنند؛ این موضوع تایید می‌کند که درایوها با نهایت ظرفیت پهنای باند Gen5 با سیستم در ارتباط هستند.

مشخصات سیستم تست و سخت‌افزار

برای انجام تست‌ها، سیستمی با کانفیگ زیر آماده شد که تعادل بسیار خوبی بین پردازش و استوریج برقرار کرده بود:

• پردازنده (CPU): دو عدد پردازنده ۶۴ هسته‌ای AMD EPYC 9575F (با فرکانس بالا)
• حافظه رم: ۲۴ عدد رم ۳۲ گیگابایتی DDR5 با سرعت 6400MT/s
• فضای ذخیره‌سازی: ۲۴ عدد اس‌اس‌دی 15.36TB Micron 9550 PRO U.2 NVMe (ظرفیت خام: حدود ۳۶۸ ترابایت)
• تجهیزات شبکه: ۴ عدد کارت شبکه Broadcom BCM57608 2x200G و یک کارت شبکه BCM57412 2x10G OCP
• سوییچ شبکه: Dell PowerSwitch Z9664

نتایج بنچمارک FIO؛ عملکرد استوریج داخلی

برای اندازه‌گیری توان خالص استوریج (بدون دخالت لایه شبکه)، از ابزار استاندارد FIO استفاده کردیم. در بخش پهنای باند خواندن متوالی (Sequential Reads)، نتایج از ۱۸۴ گیگابایت بر ثانیه (در بلاک‌های 4K) آغاز شد و در بلاک‌های بزرگ‌تر (512K تا 1M) روی سرعت ثابت ۳۱۲ تا ۳۱۴ گیگابایت بر ثانیه تثبیت شد. این نشان می‌دهد که سرور چگونه تمام مسیرهای Gen5 را بدون ایجاد گلوگاه در کنترلر تجمیع می‌کند.

در بخش خواندن تصادفی (Random Read) با بلاک‌های 4K، سیستم موفق شد رقم خیره‌کننده ۷۱.۴ میلیون IOPS را ثبت کند که نشان‌دهنده توانایی عالی دستگاه در توزیع بارهای کاری سنگین میان هر ۲۴ درایو است. نوشتن تصادفی (Random Write) نیز عملکرد پایداری در محدوده ۳۶.۳ میلیون IOPS از خود نشان داد.

یکپارچگی با PEAK:AIO و عملکرد NVMe-oF RDMA

نرم‌افزار PEAK:AIO دقیقاً برای محیط‌هایی طراحی شده است که به دسترسی بسیار سریع و با تاخیر کم به دیتاست‌های بزرگ نیاز دارند (مانند آموزش هوش مصنوعی یا مدل‌سازی مالی). معماری سرور R7725xd با پهنای باند متعادل PCIe و ظرفیت متراکم NVMe، تطابق بی‌نظیری با این نرم‌افزار دارد.

در سناریوی تست تحت شبکه (با استفاده از دو سیستم کلاینت متصل با کابل‌های شبکه 200G)، نتایج نشان داد که با افزایش سایز بلاک داده‌ها، توان خروجی به سرعت بالا می‌رود. در بلاک‌های 32K به بالا، سرعت خواندن اطلاعات از طریق شبکه به حدود ۱۶۰ گیگابایت بر ثانیه رسید. این آمار یعنی سرور می‌تواند همزمان چندین کلاینت شبکه را با حداکثر ظرفیت تغذیه کند.

تست GPUDirect Storage؛ مسیر مستقیم داده‌ها به گرافیک

یکی از مهم‌ترین تست‌هایی که روی این سرور انجام شد، قابلیت Magnum IO GPUDirect Storage (GDS) انویدیا بود. به طور سنتی، زمانی که گرافیک می‌خواهد داده‌ای را از روی هارد بخواند، آن داده باید ابتدا از طریق پردازنده (CPU) و رم سیستم عبور کند. این کار باعث ایجاد تاخیر می‌شود. قابلیت GDS اجازه می‌دهد تا کارت گرافیک مستقیماً و بدون واسطه، داده‌ها را از روی درایوهای NVMe بردارد.

در تست ما با استفاده از ابزار GDSIO روی یک کلاینت، پهنای باند خواندن اطلاعات توانست به سقف ظرفیت لینک‌های شبکه یعنی حدود ۹۰ گیگابایت بر ثانیه برسد. این انتقال مستقیم و بی‌واسطه، تضمین می‌کند که کارت‌های گرافیک در زمان آموزش شبکه‌های عصبی بزرگ هیچ‌گاه برای دریافت اطلاعات منتظر نخواهند ماند.