Lo único que atiné a hacer es diagonalizar la matriz y sacar un autoespacio, dado que se que el autoespacio tiene vectores ortogonales.
De todas formas no entiendo que quiere que sea ortogonal. Quiere que O sea ortogonal a A?... Además, con que producto interno?

Bueno, no se, pongo los autovectores y autovalores por si ayuda







Un saludo y gracias

No podés asegurar que los autoespacios tengan vectores ortogonales. Para las autoadjuntas sí podés asegurar.

Una matriz O es ortogonal sii (Definición)

O visto de otra manera, por como está definido el producto de matrices, equivale a pedir que las columnas de O sean base ortogonal de

Vos ya tenés los 2 vectores ortogonales. Te falta normalizarlos.

Luego, la matriz que buscás no es más que el cambio de base .

Y además (por ser matriz ortogonal)

Perdón por escribir así pero nunca usé el editor de fórmulas (EDIT: No es muy difícil, fijate como esta editado.)