[问题2014S05] 解答  (本解答由谷嵘同学提供)

首先, 由 \(\mathrm{tr}(AB)=\mathrm{tr}(BA)\) 可得 \(a=0\), 或者由 Cauchy-Binet 公式知 \(|AB|=0\), 从而可得 \(a=0\).

其次, 我们来证明一个一般的结论.

引理  设 \(A\) 为 \(n\times m\) 矩阵, \(B\) 为 \(m\times n\) 矩阵, 则对任意的非零常数 \(\lambda_0\) 均有 \[m-\mathrm{rank}(\lambda_0I_m-BA)=n-\mathrm{rank}(\lambda_0I_n-AB).\]

引理的证明  采用与降阶公式类似的证明方法, 即分块矩阵的初等变换. 考虑如下分块矩阵: \[ M=\begin{bmatrix} I_n & A \\ B & \lambda_0I_m \end{bmatrix}.\]

先用 \(I_n\) 通过分块初等变换消去 \(A,B\), 可得 \(M\) 相抵于 \[\begin{bmatrix} I_n & 0 \\ 0 & \lambda_0I_m-BA \end{bmatrix};\] 再用 \(\lambda_0I_m\) 通过分块初等变换消去 \(A,B\), 可得 \(M\) 相抵于 \[\begin{bmatrix} I_n-\lambda_0^{-1}AB & 0 \\ 0 & \lambda_0I_m \end{bmatrix}.\] 比较两个分块对角阵的秩可得 \[n+\mathrm{rank}(\lambda_0I_m-BA)=m+\mathrm{rank}(\lambda_0I_n-AB). \quad\Box\]

回到原题, 通过简单的计算知道 \(\mathrm{rank}(BA-I_3)=1\), 因此由上述引理可得 \(\mathrm{rank}(AB-I_4)=2\). 我们注意到 \[AB-I_4=\begin{bmatrix} -15 & 0 & -15 & -32 \\ 2b-9 & 0 & 3b-9 & 4b-19 \\ 2 & 0 & 2 & 4 \\ 6 & 0 & 6 & 13 \end{bmatrix}\] 的第 3, 4 行是行向量的极大无关组, 从而第 2 行是第 3, 4 行的线性组合, 故 \(2b-9=3b-9\), 即 \(b=0\).

注  (1) 本题原来的证法是想通过 \(BA\) 可对角化推出 \(AB\) 可对角化, 然后得到 \(b=0\), 具体的解题思路和方法请参考我和杨翎老师撰写的教学论文http://homepage.fudan.edu.cn/qhxie/files/2012/05/article05.pdf. 不过谷嵘同学提供的解法告诉我们，其实并不需要证明太多，有秩的等式就足够了.

(2) 本题其实是由第三届全国大学数学竞赛决赛第 5 题逆向命题而来, 请大家参考原题, 并仍用上述引理来证明 \(BA=9I_2\).

第三届全国大学数学竞赛决赛第 5 题  设 \(A,B\) 分别是 \(3\times 2\) 和 \(2\times 3\) 实矩阵, 若 \[AB=\left( \begin{array}{ccc} 8 & 0 & -4 \\ -\dfrac{3}{2} & 9 & -6 \\ -2 & 0 & 1 \end{array} \right),\] 求 \(BA\).