数値解析における数値線形代数（すうちせんけいだいすう、）とは、線形代数で現れる問題（行列積、行列指数関数、連立方程式や固有値・特異値問題）の計算・求解を行うアルゴリズムを創出するための学問である森正武. 数値解析 第2版. 共立出版.数値線形代数の数理とHPC, 櫻井鉄也, 松尾宇泰, 片桐孝洋編（シリーズ応用数理 / 日本応用数理学会監修, 第6巻）共立出版, 2018.8。最適化問題・有限差分法・有限要素法などに応用されている。
意義
どんなに次元の高い連立方程式でも、原理的にはクラメルの公式を使えば解くことはできる。しかし、クラメルの公式による数値解法ではものすごく時間がかかってしまうということが分かっている。このため、これまで様々な数値線形代数のアルゴリズムが開発されてきた。ガウスの消去法はその先駆けとも言える。
現代の主流
現代においては
共役勾配法 GMRES法 ランチョス法 QR法 QZ法Moler, C. B., & Stewart, G. W. (1973). An algorithm for generalized matrix eigenvalue problems. :en:SIAM Journal on Numerical Analysis, 10(2), 241-256. dqds法 (differential quotient difference with shift)Fernando, K. V., & Parlett, B. N. (1994). Accurate singular values and differential qd algorithms. :en:Numerische Mathematik, 67(2), 191-229. oqds法 (orthogonal quotient difference with shift)U. von Matt, The orthogonal QD algorithm, SIAM J. Sci. Comput., 18 (1997), 1163–1186. 分割統治法 MRRR法 (multiple relatively robust representations)Dhillon, I. S., Parlett, B. N., & Vömel, C. (2006). The design and implementation of the MRRR algorithm. ACM Transactions on Mathematical Software (TOMS), 32(4), 533-560. MRTR法Abe, K., Zhang, S. L., & Mitsui, T. (1997). MRTR method: An iterative method based on the three-term recurrence formula of CG-type for nonsymmetric matrix. JSIAM, 7, 37-50. Sakurai-Sugiura 法Sakurai, T., & Sugiura, H. (2003). A projection method for generalized eigenvalue problems using numerical integration. :en:Journal of computational and applied mathematics, 159(1), 119-128. CIRR 法 (Rayleigh-Ritz type method with contour integral)Sakurai, T., & Tadano, H. (2007). CIRR: a Rayleigh-Ritz type method with contour integral for generalized eigenvalue problems. Hokkaido mathematical journal, 36(4), 745-757. 離散勾配法に基づく解法Miyatake, Y., Sogabe, T., & Zhang, S. L. (2018). On the equivalence between SOR-type methods for linear systems and the discrete gradient methods for gradient systems. :en:Journal of Computational and Applied Mathematics, 342, 58-69. フィルターを用いた固有値問題の解法Tsutomu Ikegami, Tetsuya Sakurai and Umpei Nagashima: A Filter Diagonalization for Generalized Eigenvalue Problems Based on the Sakurai-Sugiura Projection Method, J. Compu. Appl. Math., Vol.233, No.8, pp.1927–1936 (2010).Anthony P. Austin and Lloyd N. Trefethen: Computing Eigenvalues of Real Symmetric Matrices with Rational Filters in Real Arithmetic, SIAM J. Sci. Comput, Vol.37, No.3, pp.A1365–A1387 (2015).Hiroshi Murakami: Filter Diagonalization Method by Using a Polynomial of a Resolvent as the Filter for a Real Symmetric-Definite Generalized Eigenproblem, in proceedings of EPASA2015, Springer, LNCSE-117, pp.205–232 (2018).Hiroshi Murakami: Filters Consist of a Few Resolvents to Solve Real Symmetric-Definite Generalized Eigenproblems, Japan J. Indust. Appl. Math., Vol.36, No.2, pp.579–618 (July 2019).
などをはじめとした高速・高精度解法（反復法）の研究が主流になっている戸川隼人. (1977). 共役勾配法. シリーズ新しい応用の数学.藤野清次, & 張紹良. (1996). 反復法の数理. 朝倉書店.。 クリロフ部分空間法
数値線形代数で現れる反復法の中には、クリロフ部分空間に理論的基盤を持つものが少なからず存在する。これらはクリロフ部分空間法（）と総称され、数値線形代数において最も成功した手法とされている。主なクリロフ部分空間法として以下が知られている（共役勾配法については後述する）。
:en:Arnoldi iteration ランチョス法 GMRES法 MINRES法Christopher C. Paige and Michael A. Saunders, Solution of sparse indefinite systems of linear equations, :en:SIAM Journal on Numerical Analysis 1975; 12(4):617–629.（、この手法は method of minimum residualKrasnoselskii, M. and Krein, S. (1952). An iteration process with minimal residuals. Mat. Sb. N.S., 31, 315–334. とは異なる） CR法Eduard Stiefel, Commentarii Mathematici Helvetici 1952; 29(1):157–179.（共役残差法、） QMR系 QMR法Freund, R. and Nachtigal, N. "QMR: A Quasi-Minimal Residual Method for Non-Hermitian Linear Systems." Numer. Math. 60, 315-339, 1991.Freund, R. and Nachtigal, N. "An Implementation of the QMR Method Based on Coupled Two-Term Recurrences." SIAM J. Sci. Statist. Comput. 15, 313-337, 1994.（、MATLABで利用可能） QMR-SYM法R. Freund: Conjugate Gradient-Type Methods for Linear Systems with Complex Symmetric Coefficient Matrices, SIAM Journal on Scientific and Statistical Computing, Vol. 13, No. 1, pp. 425–448 (1992).X.-M. Gu, T.-Z. Huang, L. Li, H.-B. Li, T. Sogabe and M. Clemens: Quasi-Minimal Residual Variants of the COCG and COCR Methods for Complex Symmetric Linear Systems in Electromagnetic Simulations, IEEE Transactions on Microwave Theory and Techniques, Vol. 62, No. 12, pp. 2859–2867 (2014). TFQMR法Roland W. Freund, A transpose-free quasi-minimal residual algorithm for non-Hermitian linear systems, :en:SIAM Journal on Scientific Computing 1993; 14(2):470–482.（、MATLABで利用可能）
共役勾配法
共役勾配法（）は Hestenes-Stiefel によって開発された連立方程式の数値解法であり、係数行列が正定値対称行列であるときに適用できるHestenes, M. R., & Stiefel, E. (1952). Methods of conjugate gradients for solving linear systems. Washington, DC: NBS.。この方法はガウス＝ザイデル法、ヤコビ法、SOR法よりも収束が速いとされることから、1980年代以降から様々な亜種が開発されたり、非対称行列への適用が試みられているが、前処理行列の取り方が問題によって異なるために決定版と言える解法がまだ存在してない。
以下、代表的な亜種を挙げる。
CGS (conjugate gradient squared method)Black, Noel and Moore, Shirley. "Conjugate Gradient Squared Method." From MathWorld--A Wolfram Web Resource, created by Eric W. Weisstein. https://mathworld.wolfram.com/ConjugateGradientSquaredMethod.html PCG （preconditioned conjugate gradient method、MATLABで利用可能） SCG (scaled conjugate gradient)M. F. Moller. A scaled conjugate gradient algorithm for fast supervised learning. Neural Networks, 6:525--533, 1993. ICCG （incomplete Cholesky conjugate gradient method、不完全コレスキー分解付共役勾配法） COCG (conjugate orthogonal conjugate gradient method)H. A. van der Vorst and J. B. M. Melissen: A Petrov-Galerkin type method for solving , where is symmetric complex, IEEE Trans. Mag., Vol. 26, No. 2, pp. 706–708 (1990). GPBiCGS. L. Zhang "GPBiCG: Generalized Product-type Methods Based on Bi-CG for Solving Nonsymmetric Linear Systems", SIAM J. Sci. Stat. Comput. , vol.18, no.2, pp.537-551, March 1997.張紹良, 藤野清次，ランチョス・プロセスに基づく積型反復解法，日本応用数理学会論文誌，5(1995)， 343-360． GPBiCG STAB系の手法 BiCGSTAB （biconjugate gradient stabilized method、双共役勾配安定化法、MATLABで利用可能）Van der Vorst, H. A. (1992). Bi-CGSTAB: A fast and smoothly converging variant of Bi-CG for the solution of nonsymmetric linear systems. SIAM Journal on scientific and Statistical Computing, 13(2), 631-644. BiCGSTAB2M. H.Gutknecht，Variants of BiCGSTAB for Matrices with Complex Spectrum，SIAM J. Sci. Statist. Comput.，14(1993)， 1020-1033． QMRCGSTABTony F. Chan, Efstratios Gallopoulos, Valeria Simoncini, Tedd Szeto and Charles H. Tong, A quasi-minimal residual variant of the Bi-CGSTAB algorithm for nonsymmetric systems, :en:SIAM Journal on Scientific Computing 1994; 15(2):338–347. GBi-CGSTABTanio, M., & Sugihara, M. (2010). GBi-CGSTAB (s, L): IDR (s) with higher-order stabilization polynomials. :en:Journal of computational and applied mathematics, 235(3), 765-784. Block化した手法 Block CGD. P. O’Leary: The block conjugate gradient algorithm and related methods, Linear Algebra Appl., 29 (1980), 293–322.A. A. Nikishin, A. Yu. Yeremin: Variable block CG algorithms for solving large sparse symmetric positive definite linear systems on parallel computers, I: general iterative methods, SIAM J. Matrix Anal. Appl., 16 (1995), 1135–1153. Block BiCGSTABA. El Guennouni, K. Jbilou, H. Sadok: A block version of BiCGSTAB for linear systems with multiple right-hand sides, Electron. Trans. Numer. Anal, 16 (2003), 129–142. Block BiCGGRH. Tadano, T. Sakurai, Y. Kuramashi: Block BiCGGR: a new block Krylov subspace method for computing high accuracy solutions: JSIAM Lett., 1 (2009), 44–47. Block BiCGGR2Tadano, H. (2019). Development of the Block BiCGGR2 method for linear systems with multiple right-hand sides. Japan Journal of Industrial and Applied Mathematics, 1-15. Block GWBiCGSTABTadano, H., & Kuramoto, R. (2019). Accuracy improvement of the Block BiCGSTAB method for linear systems with multiple right-hand sides by group-wise updating technique. Journal of Advanced Simulation in Science and Engineering, 6(1), 100-117.
精度保証 数値線形代数における精度保証付き数値計算の研究も活発になっており大石進一：「精度保証付き数値計算」、コロナ社、（1999年）、具体的には以下のような研究が行われている。
連立方程式の解に対する精度保証付き数値計算Yamamoto, T. (1984). Error bounds for approximate solutions of systems of equations. Japan Journal of Applied Mathematics, 1(1), 157.Oishi, S., & Rump, S. M. (2002). Fast verification of solutions of matrix equations. :en:Numerische Mathematik, 90(4), 755-773. 並列計算森倉悠介, 椋木大地, 深谷猛, 山中脩也, & 大石進一. (2016). 大規模並列計算機における連立一次方程式の精度保証付き数値計算に対する性能評価. 研究報告ハイパフォーマンスコンピューティング (HPC), 2016(1), 1-7. 悪条件問題 （、条件数が大きい問題）Kobayashi, Y., Ogita, T., & Ozaki, K. (2017). Acceleration of a preconditioning method for ill-conditioned dense linear systems by use of a BLAS-based method. Reliable Computing, 25, 15-23.Kobayashi, Y., & Ogita, T. (2016). Accurate and efficient algorithm for solving ill-conditioned linear systems by preconditioning methods. Nonlinear Theory and Its Applications, IEICE, 7(3), 374-385.A fast and efficient algorithm for solving ill-conditioned linear systems (JSIAM Letters Vol.7 (2015) pp.1-4) Yuka Kobayashi, Takeshi Ogita.悪条件連立一次方程式の精度保証付き数値計算法, 日本応用数理学会論文誌 Vol.15, No.3, 2005, pp.269-286, 太田貴久, 荻田武史, Siegfried M. Rump, 大石進一. 前処理行列Yanagisawa, Y., Ogita, T., & Oishi, S. (2014). Convergence analysis of an algorithm for accurate inverse Cholesky factorization. Japan Journal of Industrial and Applied Mathematics, 31(3), 461-482.Yanagisawa, Y., Ogita, T., & Oishi, S. I. (2014). A modified algorithm for accurate inverse Cholesky factorization. Nonlinear Theory and Its Applications, IEICE, 5(1), 35-46.Yanagisawa, Y., & Ogita, T. (2013). Convergence analysis of accurate inverse Cholesky factorization. JSIAM Letters, 5, 25-28. H行列 （比較行列がM行列となる行列）を用いる方法（ペロン・フロベニウスの定理も使う、この方法は疎行列のときも適用可能）Minamihata, A., Sekine, K., Ogita, T., Rump, S. M., & Oishi, S. I. (2015). Improved error bounds for linear systems with H-matrices. Nonlinear Theory and Its Applications, IEICE, 6(3), 377-382. 疎行列に対する精度保証法（コレスキー分解に基づく）Rump, S. M., & Ogita, T. (2007). Super-fast validated solution of linear systems. :en:Journal of computational and applied mathematics, 199(2), 199-206. 固有値問題の解に対する精度保証付き数値計算Yamamoto, T. (1980). Error bounds for computed eigenvalues and eigenvectors. :en:Numerische Mathematik, 34(2), 189-199.Yamamoto, T. (1982). Error bounds for computed eigenvalues and eigenvectors. II. :en:Numerische Mathematik, 40(2), 201-206.Mayer, G. (1994). Result verification for eigenvectors and eigenvalues. Topics in Validated Computations, Elsevier, Amsterdam, 209-276. ゲルシュゴリンの定理を使う方法（定石として確立されている） Krawczyk法（精度保証付き求根アルゴリズムの一つ）を使う方法Rump, S. M. (1994). Verification methods for dense and sparse systems of equations.Rump, S. M. (2001). Computational error bounds for multiple or nearly multiple eigenvalues. Linear Algebra and its Applications, 324(1-3), 209-226.Rump, S. M., & Zemke, J. P. M. (2003). On eigenvector bounds. :en:BIT Numerical Mathematics, 43(4), 823-837. 大規模疎行列の場合Yamamoto, N. (2001). A simple method for error bounds of eigenvalues of symmetric matrices. Linear Algebra and its Applications, 324(1-3), 227-234. 対角化可能行列に対する Bauer-Fike型誤差評価、Hoffman-Wielandt型誤差評価Elsner, L., & Friedland, S. (1995). Singular values, doubly stochastic matrices, and applications. Linear Algebra and Its Applications, 220, 161-169.Ipsen, I. C. (1998). Relative perturbation results for matrix eigenvalues and singular values. :en:Acta numerica, 7, 151-201.Deif, A. S. (1990). Realistic apriori and a posteriori error bounds for computed eigenvalues. IMA journal of numerical analysis, 10(3), 323-329. 一般化固有値問題（）丸山晃佐, 荻田武史, 中谷祐介, & 大石進一. (2004). 実対称定値一般化固有値問題のすべての固有値の精度保証付き数値計算法. 電子情報通信学会論文誌 A, 87(8), 1111-1119. 逆固有値問題（）Alefeld, G., Gienger, A., & Mayer, G. (1994). Numerical validation for an inverse matrix eigenvalue problem. Computing, 53(3-4), 311-322.Miyajima, S. (2017). Verified Solutions of Inverse Symmetric Eigenvalue Problems. Reliable Computing, 24(1), 31-44.