High‐Performance Computing for Mechanical  Simulations using ANSYS Jeff Beisheim ANSYS, Inc HPC Defined High Performance Computing (HPC) at ANSYS: An ongoing effort designed to remove  computing limitations from engineers who  use computer aided engineering in all phases  of design, analysis, and testing. It is a hardware and software initiative! Need for Speed Assemblies CAD‐to‐mesh Capture fidelity Impact product design Enable large models Allow parametric studies Modal Nonlinear Multiphysics Dynamics A History of HPC Performance 2012 22001122 ►►GGPPUU  aacccceelleerraattiioonn  ((mmuullttiippllee  GGPPUUss;;  DDMMPP)) 22001100 2010 ►►GGPPUU  aacccceelleerraattiioonn  ((ssiinnggllee  GGPPUU;;  SSMMPP)) 22000077  ‐‐22000099 ►►OOppttiimmiizzeedd  ffoorr  mmuullttiiccoorree  pprroocceessssoorrss ►►TTeerraafflloopp  ppeerrffoorrmmaannccee  aatt  551122  ccoorreess 22000055  ‐‐22000077 ►►DDiissttrriibbuutteedd  PPCCGG  ssoollvveerr ►►DDiissttrriibbuutteedd  AANNSSYYSS  ((DDMMPP))  rreelleeaasseedd ►►DDiissttrriibbuutteedd  ssppaarrssee  ssoollvveerr ►►VVaarriiaattiioonnaallTTeecchhnnoollooggyy ►►SSuuppppoorrtt  ffoorr  cclluusstteerrss  uussiinngg  WWiinnddoowwss  HHPPCC 22000044 2000 ►►11ssttccoommppaannyy  ttoo  ssoollvvee  110000MM  ssttrruuccttuurraall  DDOOFF 11999999  ‐‐22000000 ►►6644‐‐bbiitt  llaarrggee  mmeemmoorryy  aaddddrreessssiinngg 11999944 1990 ►►IItteerraattiivvee  PPCCGG  SSoollvveerr  iinnttrroodduucceedd  ffoorr  llaarrggee  aannaallyysseess 11999900 ►►SShhaarreedd  MMeemmoorryy  MMuullttiipprroocceessssiinngg  ((SSMMPP))  aavvaaiillaabbllee 1980 11998800’’ss ►►VVeeccttoorr  PPrroocceessssiinngg    oonn  MMaaiinnffrraammeess HPC Revolution • Recent advancements have revolutionized the  computational speed available on the desktop – Multi‐core processors • Every core is really an independent processor – Large amounts of RAM and SSDs – GPUs Parallel Processing – Hardware • 2 Types of memory systems – Shared memory parallel (SMP)   single box, workstation/server – Distributed memory parallel (DMP)   multiple boxes, cluster Workstation Cluster Parallel Processing – Software • 2 Types of parallel processing for Mechanical APDL – Shared memory parallel (‐np > 1) • First available in v4.3 • Can only be used on single machine – Distributed memory parallel (‐dis ‐np > 1) • First available in v6.0 with the DDS solver • Can be used on single machine or cluster • GPU acceleration (‐acc) • First available in v13.0 using NVIDIA GPUs • Supports using either single GPU or multiple GPUs • Can be used on single machine or cluster Distributed ANSYS Design Requirements • No limitation in simulation capability – Must support all features – Continually working to add more functionality with each release • Reproducible and consistent results – Same answers achieved using 1 core or 100 cores – Same quality checks and testing are done as with SMP version – Uses the same code base as SMP version of ANSYS • Support all major platforms – Most widely used processors, operating systems, and interconnects – Supports same platforms that SMP version supports – Uses latest versions of MPI software which support the latest  interconnects Distributed ANSYS Design • Distributed steps (‐dis ‐np N) – At start of first load step, decompose  FEA model into N pieces (domains) – Each domain goes to a different core  to be solved – Solution is not independent!! – Lots of communication required to  achieve solution – Lots of synchronization required to  keep all processes together – Each process writes its own sets of  files (file0*, file1*, file2*,…, file[N‐1]*) – Results are automatically combined at  end of solution – Facilitates post‐processing in /POST1,  /POST26, or WorkBench Distributed ANSYS Capabilities • Static linear or nonlinear analyses • Buckling analyses  • Modal analyses • Harmonic response analyses using FULL method • Transient response analyses using FULL method • Single field structural and thermal analyses • Low‐frequency electromagnetic analysis  Wide variety of  • High‐frequency electromagnetic analysis  features & analysis • Coupled‐field analyses • All widely used element types and materials capabilities are  • Superelements (use pass)  supported • NLGEOM, SOLC, LNSRCH, AUTOTS, IC, INISTATE, … • Linear Perturbation • Multiframe restarts • Cyclic symmetry analyses • User Programmable features (UPFs)