Simultaneous Power and Thermal Integrity Driven Via Stapling in 3D ICs

Slide1Simultaneous Power and ThermalIntegrity Driven Via Stapling in 3D ICs Hao Yu, Joanna Ho and Lei He Electrical Engineering Dept. UCLA Partially  supported  by  NSF  and  UC-MICRO  fund  from  Intel Partially  supported  by  NSF  and  UC-MICRO  fund  from  Intel

Slide22New Solution for High-performance Integration n 2D SoC has limited device density and interconnect performance (delay) n Potential solution:  3D Integration l Fabrication Technologies: Chip-level Wafer Bonding or Die-level Silicon Epitaxial Growth n Extra challenges: thermal integrity and power integrity

Slide33Thermal Challenge in 3D ICs n  Inter-layer dielectrics are poor thermal conductors l the temperature of each die increases along third dimension, where the heat sink is on the top n  Vertical vias are good thermal conductors l They can be used as thermal vias to remove the heat from each die 40c 70c 100c 130c 160c n  High temperature affects interconnect and device reliability and brings variations to timing

Slide44Power Delivery Challenge in 3D ICs n   Vertical vias can minimize the returned current path and hence loop inductance l They can be used as power vias to reduce the voltage bounce for each P/G plane n  The voltage bounce is significant in P/G planes at the bottom due to resonance n   Large voltage bounce affects the performance of I/Os

Slide55Via Planning Problem in 3D IC n Previous work (thermal via planning) l Iterative via planning during placement [Goplen-Sapatnekar:ISPD’05] l Alternating-direction via planning during routing [Zhang-Cong:ICCAD’05] l Both use steady-state thermal analysis and ignore variant thermal power l Both ignore that the vertical via can be also designed to remove the voltage bounce in power supply n Motivation l Staple  vias  from the top heat-sink to the bottom P/G planes u remove heat in silicon die and reduce voltage bounce in package plane l Too many?  -> signal routing congestion l Too few? -> reliability by current density n Primary contributions of our work l Formulate a levelized via stapling to simultaneously minimize both temperature hotspot and voltage bounce l Develop an efficient sensitivity-driven optimization with use of structured and parameterized macromodel

Slide66Outline n Modeling and Problem Formulation n Integrity Analysis and Sensitivity based Optimization n Experimental Results n Conclusions

Slide77Electric and Thermal Duality Temperature Voltage state variables (x(t)) Thermal-Power Input Current sources (u(t)) Thermal conductance Electrical conductance (G) Thermal capacitance Electrical capacitance (C) n Both electric and thermal systems can be described in MNA (modified nodal analysis)

Slide88Two Distributed Networks for 3D IC n All device/dielectric layers and power planes are discretized into tiles n A distributed electrical RLC model for power/ground plane n A distributed thermal RC model for device/dielectric layer n Each via is modeled by a RC pair

Slide99Thermal Model and Analysis n Steady-state thermal model and analysis l Tiles connected by thermal resistance l Heat sources modeled as time-invariant current sources l Steady-state temperature can be obtained by directly solving a time-invariant linear equation n Transient thermal model and analysis l Tiles connected by thermal resistance and capacitance l Heat sources modeled as time-variant current sources l Transient temperature can be obtained by directly solving a time- variant linear equation

Slide1010Need of Transient Thermal Modeling n Time-variant workload and dynamic power management introduce temporal and spatial thermal power variation l Thermal power is the runtime average of cycle-accurate power over thermal time-constant l Thermal power decides temperature n Steady-state analysis needs to assume a maximum thermal power simultaneously for all regions l But it rarely happens and hence can result in an over-design n Direct transient analysis is accurate but time-consuming l It calls for more accurate yet efficient transient thermal modeling during the design automation

Slide1111Need of Simultaneous Thermal/Power Co-Design n Temperature hotspots usually distribute differently from voltage bounce l A thermal integrity map tends to result in a uniform via stapling pattern l A power integrity map tends to result in a biased via stapling pattern in center n  Considering thermal and power integrity separately may also lead to over-design

Slide1212Problem Formulation n It can be efficiently solved by a sensitivity based optmization l The sensitivity is calculated from a structured and parameterized macromodel n  A levelized via stapling is used •   Each level has a different via density Di D0 D1 D2 Via Stapling n  Minimize via number under thermal/power integrity constraint l Di          levelized via density l ni           via number at different level l Vmax     power integrity constraint l Tmax     thermal integrity constraint l Dmax     congestion from signal via l Dmin      current density constraints

Slide1313Outline n Modeling and Problem Formulation n Integrity Analysis and Sensitivity based Optimization n Experimental Results n Conclusions

Slide1414Parameterized System Equation  The levelized stapling pattern  is described by adjacent matrix  X 1 2 3 4 5 6 7 8 1     2    3    4   5    6   7    8 1    2    3    4    5    6    7    8   1 - 1 0 0 0 1 0 -1 0 0 X(2,6)= n Via conductance  gi  and capacitance  ci  are both proportional to the area  Di   or density  ( Di/a )  ( a  is unit via area)  Both  Di  and  Xi  are parametrically added into the nominal MNA equation

Slide1515Separation of Nominal and Sensitivity n Expanded system is reorganized into a lower-triangular-block system  Expand state variables x ( D 1 ,…D K ,s )   by Taylor expansion w.r.t. to    D i   [Li-Pileggi:ICCAD’05] l Construct a new state variables by nominal values and sensitivities n Since system size is enlarged, we can reduce it by model reduction

Slide1616Macromodel by Model Reduction large size …     … Small but dense small size n Model reduction can reduce model size and preserve accuracy by matching moments of inputs [Odabasioglu-Celik-Pileggi:TCAD’98] l The projection above is non-structured, and  will mess  the nominal values and their sensitivities again l This can be solved by a structure-preserving reduction [Yu- Tan-He:BMAS’05, Yu-Shi-He:DAC’06] project

Slide1717Structured Projection (I) n Block-diagonally partition the flat projection matrix according to the size of nominal state-variable and sensitivity n Structured projection can result in a reduced system with preserved structure l Nominal values and sensitivities are still separated after reduction  There is only one LU-factorization of the reduced  G 0   in diagonal

Slide1818Time-domain Analysis n Generated sensitivities can be used in any gradient based optimization n Nominal response and sensitivity can be solved separately and efficiently with BE in time-domain We call this method as  SP-MACRO n Direct sensitivity calculation

Slide1919Sensitivity based Optimization n Structured and parameterized reduction provides an efficient calculation of both nominal value and sensitivity  The via density vector  D  can be efficiently updated during each iteration l Normalized sensitivity according to both temperature and voltage (T/V) sensitivities n Further speedup: adjoint  Lagrangian method similar to    [Visweswariah-Conn-Haring:TCAD’00] n  Via optimization flow Calculate T/V nominal+sensitivity Check Integrity Constraints Update Density Vector

Slide2020Outline n Modeling and Problem Formulation n Integrity Analysis and Sensitivity based Optimization n Experimental Results n Conclusions

Slide2121Experiment Settings Silicon Copper Dielectric Sigma NA 59.6x  10^6S/m NA Epsilon NA NA 3.3 Mu NA NA 1.0 Kapa_r 100W/mK 400W/mK 50W/mK Kapa_c 1.75x10^6J/m^3K 3.55x10^6J/m^3K NA n A modest 3D stacking layer size material number mesh heat-sink 2cm x2cmx1mm copper 1 RC device-layer 1cmx1cmx4um silicon 2 RC  inter-layer 1cmx1cmx1um dielectric  2 RC P/G plane 2cmx2cm x10um copper 2 RLC

Slide2222Accuracy of Reduced Macromodel n Transient voltage responses of exact and MACRO models at ports 1 and 5 in one P/G plane with step-response input l The responses of macromodels are visually identical to those exact models but with >100 speedup

Slide2323Temperature/Voltage Reduction during OPT n The T/V are both decreased iteratively l The allocated via results in a design meeting the targeted temperature 52C and the voltage bounce 0.2V

Slide2424Steady-state vs. Transient n Transient thermal analysis reduces via by  11.5%  on average compared to using steady thermal analysis n Our SP-Macro results in an efficient transient analysis that reduces runtime by  155X  compared to the direct steady-state analysis Total tile# Level vector Steady-state Tran by SP-MACRO Solve dc (s) Total via Redu Ckt(s) Solve BE(s) Total via Saving ratio 620 0,1 4.06 176877 0.01 0.12 156154 11% 2140 0,1,2 26.37 187422 0.13 0.17 166971 11% 7900 0,1,2,3 167.9 235484 1.22 0.86 206482 12% 27740 0,1,2,3,4 1243.7 239379 5.12 1.07 21184 12% 55680 0,1,2,3,4,5 NA NA 15.87 3.65 216732 NA

Slide2525Sequential vs. Simultaneous Total tile# Seq. Sim. 620 176877 118020 -32% 2140 187422 127651 -32% 7900 235484 140433 -36% 27740 239379 143718 -37% 55680 NA 144998 NA n Simultaneous optimization reduces via by  34%  on average compared to the sequential optimization Opt- method Level 0 1 2 3 4 P/G-only 76832 3410 1901 876 / Thermal- only / 1157 43567 4007 79432 Sim. 67058 811 2500 2808 70541 n Comparisons of via distribution at different levels for ckt (27740)

Slide2626Conclusions n Vertical vias play a critical role in 3D IC design n A simultaneous thermal and power integrity driven via planning l   It saves via number by 34% on average compared to a sequential design n A structured and parameterized macromodel can be efficiently employed during the design optimization n This method can be further extended l 3D signal and P/G routing l Performance driven 3D design