Lo único que atiné a hacer es diagonalizar la matriz y sacar un autoespacio, dado que se que el autoespacio tiene vectores ortogonales.
De todas formas no entiendo que quiere que sea ortogonal. Quiere que O sea ortogonal a A?... Además, con que producto interno?
Bueno, no se, pongo los autovectores y autovalores por si ayuda
No podés asegurar que los autoespacios tengan vectores ortogonales. Para las autoadjuntas sí podés asegurar.
Una matriz O es ortogonal sii \(O * O^t = O^t * O = I\) (Definición)
O visto de otra manera, por como está definido el producto de matrices, equivale a pedir que las columnas de O sean base ortogonal de \(\mathbb{R}^n.\)
Vos ya tenés los 2 vectores ortogonales. Te falta normalizarlos. \(B= {V1,V2}\)
Luego, la matriz \(O\) que buscás no es más que el cambio de base \(C(E,B)\).
Y además \(C(B,E) = C(E,B)^{-1} = O^t\)(por ser matriz ortogonal)
Perdón por escribir así pero nunca usé el editor de fórmulas (EDIT: No es muy difícil, fijate como esta editado.)