数学において、 次元の直交群（ちょっこうぐん、）とは、 次元ユークリッド空間上のある固定された点を保つような距離を保つ変換全体からなる群であり、群の演算は変換の合成によって与える。 と表記する。同値な別の定義をすれば、直交群とは、元が の実直交行列であり、群の積が行列の積によって与えられるものをいう。直交行列とは、逆行列がもとの行列の転置と等しくなるような行列のことである。
直交行列の行列式は か である。 の重要な部分群である特殊直交群 は行列式が である直交行列からなる。この群は回転群ともよばれ、例えば次元 2 や 3 では、群の元が表す変換は（2次元における）点や（3次元における）直線のまわりの通常の回転である。低次元ではこれらの群の性質は幅広く研究されている。
用語「直交群」は上の定義を一般化して、体上のベクトル空間における非退化な対称双線型形式や二次形式基礎体の標数が でなければ、対称双線型形式と二次形式のどちらを使っても同値である。を変えないような、可逆な線形作用素全体からなる群を表すことがある。特に、体 上の 次元ベクトル空間 上の双線型形式がドット積で与えられ、二次形式が二乗の和で与えられるとき、これに対応する直交群 は、群の元が 成分 直交行列で群の積を行列の積で定めるものである。これは一般線形群 の部分群であって、以下の形で与えられる。
ここで は の転置であり、 は単位行列である。
すべての直交群は代数群である。これは、形式を変えないという条件が行列の等式として表せるためである。
偶数次元と奇数次元 直交群の構造は偶数次元と奇数次元でいくつかの点で異っている。例えば、 のような順序体上では、元 （ は単位行列) は偶数次元では向きを保存するが奇数次元では反転させる。この区別を強調するときは、直交群を や と書くことがある。また、対応するリー代数の階数に対応することを念頭に置いて、文字 k のかわりに文字 p や r を使うこともある。あとで述べるように、対応するリー代数とは奇数次元では 偶数次元では である。
偶数次元における O(n) と SO(n) の違い 2次元空間で、O(2) は原点周りのすべての回転および、原点を通る直線によるすべての鏡映変換からなる群である。一方、SO(2) は原点周りのすべての回転からなる群である。
これらの群は密接に関連していて、SO(2) は O(2) の部分群である。なぜなら、二つの鏡映変換の合成は回転変換を与えるからである。
一般の次元で考えると、偶数回の鏡映変換は回転変換を与え、回転の後鏡映する操作、およびその逆は、一つの鏡映変換を与える。よって、回転操作は O(2) の部分空間となるが、鏡映変換のみの部分集合は部分群をなさないことがわかる。
「原点を中心とした鏡映変換」は、それぞれの座標軸に対して、一回ずつ鏡映することによって生成できる。この「原点中心の鏡映」は偶数次元においては通常の意味での鏡映ではなく、むしろ回転である。2次元では、2回適用すると恒等変換になるような唯一の非自明な回転である。一般次元において、この変換は逆変換が自分自身と一致する。4次元においてこれはisoclinic(等斜同型)であり、この分類が一般次元に拡張されるとしたら、すべての偶数次元においてそれは isoclinic であるといえる。
実数体上の直交群 実数体 上の直交群 および特殊直交群 は特に誤解の恐れのない場合、 や と書かれる。これらは 次元の実コンパクトリー群である。 は二つの連結成分をもち、 が単位元成分、すなわち単位行列を含む連結成分である。
幾何学的解釈 は 上の等長変換全体からなる群であるユークリッドの運動群 において、原点を保つ変換からなる部分群である。このことから、直交群をユークリッドの運動群と一般線型群の共通部分として与えることができる: . は、原点が中心であるような次元球面 (特に のとき通常の球面) および球対称なすべての図形の対称群となっている。
円 の対称群は である。向きを保つ部分群 は円周群 あるいは 次元のユニタリ群 に（実リー群として）同型である。この同型写像は、 の元 を以下の SO(2)の元に対応させる。
低次元の直交群のトポロジー 低次元の実（特殊）直交群は良く知られた位相空間と同相である。 , 2点からなる離散空間
は は は に二重被覆される
複素数上の直交群 複素数体 上の直交群 および特殊直交群 は、C 上 次元の複素リー群である（つまり、 上のリー群としてみると、その2倍の次元である）。 は二つの連結成分をもち、 は単位行列を含むほうの連結成分である。 ではこれらの群は非コンパクトである。
実数の場合と同じように、 は単連結でない。 では SO(n, C) の基本群は位数 の巡回群であり、 の基本群は無限巡回群である。
有限体上の直交群 直交群は有限体 上にも定義できる。ここで は素数 の冪である。
標数が でない体上では、 直交群は偶数次元では二つのタイプ と になり、奇数次元では、一つのタイプ になる。
を直交群 が作用するベクトル空間とすると、直交する部分空間の直和として、以下のように書ける。
ここで は双曲的直線で は特異ベクトルを含まない。 が自明な部分空間 {0} のとき、 は + のタイプである。 が 1 次元のとき、 は奇数次元になる。 の次元が 2 のとき、 は − のタイプである。
とくに である場合には、 は位数 の二面体群である。
の位数は、標数が2でないとき以下の式よって与えられる。
が において平方ならば
が において平方でないならば
直交リー代数 リー群 , に対応するリー代数は、 次交代行列全体からなり、リーブラケット は交換子によって与えられる。各 に対し同じリー代数が対応し、これを あるいは と記し、直交リー代数あるいは特殊直交リー代数という。実数体上のそれぞれの n についてのリー代数は、半単純リー代数の4つの族のうち2つのコンパクト実形 (compact real form) である。その2種類とは、 が奇数 のとき であり、偶数 のとき である。
注釈
文献