HPCチャレンジベンチマーク

HPCチャレンジベンチマーク（、HPCC）は、HPCシステムのより現実的な性能を測定するための、複数の特性を評価するベンチマークのセットであるHPCC。

DARPAのHPCS計画や、アメリカ合衆国エネルギー省、アメリカ国立科学財団の共同出資によるCray X1 Supercomputer Has Highest Reported Scores on Government-Sponsored HPC Challenge Benchmark Tests。

2005年から2016年（ただし、2015年は除く）のSupercomputing Conference(SC)において、HPCチャレンジベンチマークの一部を評価基準としたHPCチャレンジ賞が発表されている2005 HPCC Awards。

概要 HPCチャレンジベンチマークは、HPL、DGEMM、STREAM、PTRANS、RandomAccess、FFT、Latency/Bandwidthの7つのベンチマークより構成される。 HPLは連立一次方程式の求解、線形代数における逆行列を求めるLINPACK TPPベンチマークで、システムの浮動小数点演算性能の負荷テストである。 DGEMMは倍精度実数の行列の積を求め、浮動小数点演算性能を測定するものである。 STREAMはプロセッサのキャッシュの効果を反映させないように、非常に大きな配列間のロード/ストアの性能を測定するもので、持続可能なメモリーの帯域幅を測定する試験である。 PTRANSはCPU間での1対1同時通信により転置行列を計算し、ネットワークの総データ通信容量を測定するものである。 RandomAccessはメモリーのランダム更新速度を測定する。 FFTは高速フーリエ変換 (Fast Fourier Transform) の処理能力を測定する試験である。 Latency/Bandwidthは多数のノード間など複雑性の高い通信パターンでの通信の遅延と帯域を測定する HPCC FAQ

HPCチャレンジ賞 HPCチャレンジ賞競技会（）は、毎年のスーパーコンピューティング・カンファレンスで実施され、結果が発表される。

HPCチャレンジ賞には以下の2クラスがあるHPC Challenge Award Competition。 クラス1: HPCチャレンジのウェブサイトに提出された中から、稼動時の最高性能を評価する。 クラス2: HPL、STREAM、RandomAccess、FFTの中から3〜4個を選択し、さらにHPCチャレンジベンチマーク以外の任意のベンチマークを0〜2個選択し、合計4〜5個のベンチマークを実装するHPL、STREAM、RandomAccess、FFTの中から3つのみを選択した場合、任意のベンチマークを最低1つは追加する必要がある。HPL、STREAM、RandomAccess、FFTのすべてを選択した場合は、任意のベンチマークは必要ではないが、1つのみ追加してもよい。それらのプログラム実装の洗練さと性能の総合評価を行う。

上記のクラス1では、HPCシステムの総合性能を評価するために、多くの科学技術計算で用いられる以下の4つのベンチマーク指標を使用して、それぞれの順位が発表される「地球シミュレータ」がHPCチャレンジアワードの2指標で第3位を受賞 　－Global FFT及びEP STREAM(Triad) per systemで各第3位－ 。 Global HPL (G-HPL) - 巨大な連立1次方程式の算出における演算速度。LINPACK TPP。 Global RandomAccess (G-RandomAccess) - 並列プロセス間におけるメモリーのランダム更新速度。 Global FFT (G-FFT) - 高速なフーリエ変換における浮動小数点演算速度。 EP STREAM Triad (per system) - システム単位の多重負荷時におけるメモリ更新速度。

クラス1のHPCチャレンジ賞の歴代受賞システム（全4部門における各1位のみ）は以下の通り。 + クラス1のHPCチャレンジ賞 受賞システム（全4部門、各1位のみ） 年 G-HPL G-RandomAccess G-FFT EP STREAM Triad (per system) 出典 2016 理研 京 理研 京 理研 京 理研 京 「京」でHPCチャレンジ賞 4部門で第1位 – SC16（米・ソルトレイクシティ） | 理化学研究所 計算科学研究機構(AICS) 2014 理研 京 IBM Power 775 ANL Mira 理研 京 スーパーコンピュータ「京」でHPCチャレンジ賞クラス１、２を受賞 | 理化学研究所2014 HPCC Awards 2013 理研 京 IBM Power 775 理研 京 理研 京 スーパーコンピュータ「京」でHPCチャレンジ賞クラス1、2（初）を受賞 | 理化学研究所2013 HPCC Awards 2012 理研 京 IBM Power 775 理研 京 理研 京 スーパーコンピュータ「京」でHPCチャレンジ賞 3部門の第1位を獲得 - SC12（米・ソルトレイクシティ） | 理化学研究所 2012 HPCC Awards 2011 理研 京 理研 京 理研 京 理研 京 2011 HPCC Awards京速コンピュータ「京」がHPCチャレンジ賞 4部門すべてで第1位を獲得 - 理科学研究所Fujitsu : "K computer" No. 1 in Four Benchmarks at HPC Challenge Awards - 4-Traders 2010 ORNL Cray XT5 LLNL BlueGene/P JAMSTEC SX-9 ORNL Cray XT5 2010 HPCC AwardsJaguar and Kraken Shine in Supercomputing Challenge - HPC wire 2009 ORNL Cray XT5 LLNL BlueGene/P ORNL Cray XT5 ORNL Cray XT5 2009 HPCC AwardsTennessee Supercomputing Titans Triumph at HPC Challenge - HPC wire 2008 ORNL Cray XT5 ANL BlueGene/P ANL BlueGene/P ORNL Cray XT5 2008 HPCC AwardsOak Ridge Supercomputer Wins Big at HPC Challenge - HPC wire 2007 LLNL BlueGene/L LLNL BlueGene/L SNL Cray XT3 LLNL BlueGene/L 2007 HPCC Awards 2006 LLNL BlueGene/L LLNL BlueGene/L LLNL BlueGene/L LLNL BlueGene/L 2006 HPCC AwardsHPC Challenge Benchmark at SC06 - HPC wire 2005 LLNL BlueGene/L LLNL BlueGene/L LLNL BlueGene/L LLNL BlueGene/L 2005 HPCC AwardsIBM Wins Big in HPC Challenge Competition - HPC wire

クラス2のHPCチャレンジ賞の歴代受賞言語は以下の通り。賞の名前は年ごとに異なる。 + クラス2のHPCチャレンジ賞 受賞言語 年 賞 言語 所属 出典 2014 Best Performance XcalableMP & XcalableACC 理化学研究所計算科学研究機構、筑波大学計算科学研究センター Most Elegant Language PCJ ワルシャワ大学 2013 Winner XcalableMP 筑波大学計算科学研究センター、理化学研究所計算科学研究機構 2012 Best Performance X10 IBM Most Elegant Language Chapel Cray 2011 Best Performance Charm++ イリノイ大学 Most Elegant Language Chapel Cray 2010 Most Productive System Unified Parallel C & X10 IBM Most Productive Language Coarray Fortran 2.0 ライス大学 2009 Best Performance Unified Parallel C & X10 IBM Most Elegant Implementation Chapel Cray 2008 Best Performance Unified Parallel C & X10 IBM Most Elegant Implementation Chapel Cray Unified Parallel C & X10 IBM Parallel MATLAB MathWorks 2007 Most Productive Research Implementation X10 IBM Most Productive Commercial Implementation Python/Star-P Interactive Supercomputing 2006 Best Overall Productivity Cilk MIT CSAIL Best Productivity in Performance Unified Parallel C IBM Best Productivity and Elegance Parallel MATLAB MathWorks 2005 Class 2 Award was shared by 2 Unified Parallel C IBM Cray MTA/C Cray

脚注

注釈

関連項目 参照の局所性 TOP500 Green500 ゴードン・ベル賞

外部リンク HPC Challenge Benchmark Official Website HPC Challenge Award Competition Official Website HPCチャレンジの測定 - 吉田高志