msleziak.com

$
1)
A = \begin{pmatrix}
1 & c & -1 & 2 \\
2 & -1 & c & 5 \\
1 & 10 & -6 & 1
\end{pmatrix}
\begin{matrix}
<-\\
\phantom{2}\\
<-
\end{matrix}
\sim$ $
\begin{pmatrix}
1 & 10 & -6 & 1 \\
2 & -1 & c & 5 \\
1 & c & -1 & 2
\end{pmatrix}
\begin{matrix}
\phantom{1}\\
+(-2)I\\
-I
\end{matrix}
\sim$ $
\begin{pmatrix}
1 & 10 & -6 & 1 \\
0 & -21 & c+12 & 3 \\
0 & c-10 & 5 & 1
\end{pmatrix}
\begin{matrix}
\phantom{1}\\
\phantom{2}\\
+(\frac{c-10}{21})II
\end{matrix}
\sim$ $
\begin{pmatrix}
1 & 10 & -6 & 1 \\
0 & -21 & c+12 & 3 \\
0 & 0 & \frac{c^2+2c-15}{21} & \frac{c-3}{7}
\end{pmatrix}
\begin{matrix}
\phantom{1}\\
\phantom{2}\\
⊙ 21
\end{matrix}
\sim$ $
\begin{pmatrix}
1 & 10 & -6 & 1 \\
0 & -21 & c+12 & 3 \\
0 & 0 & c^2+2c-15 & 3(c-3)
\end{pmatrix}
\sim$ $
\begin{pmatrix}
1 & 10 & -6 & 1 \\
0 & -21 & c+12 & 3 \\
0 & 0 & (c-3)(c+5) & 3(c-3)
\end{pmatrix}
$

$
c-10+x\cdot(-21)=0; -21x=10-c; x=\frac{c-10}{21};
(c+12)\cdot(\frac{c-10}{21})=\frac{(c+12)(c-10)}{21}=\frac{c^2-10c+12c-120}{21}=\frac{c^2+2c-120}{21};
$

$
5+\frac{c^2+2c-120}{21}=\frac{c^2+2c-15}{21};
$

$
\frac{c-10}{21}\cdot 3=\frac{3c-30}{21}; 1+\frac{3c-30}{21}=\frac{3c-9}{21}=\frac{c-3}{7};
$

Matica A je ekvivalentná matici, ktorá má trojuholníkový tvar aj ak c=3 => bude hodnosť 2, v iných prípadoch bude 3.

JG: OK, 2 body
Kolega Martin Sleziak ešte napísal komentár, podľa ktorého sa dá výpočet máličko zjednodušiť, ale aj vaše riešenie je v poriadku.

Oplatí sa podľa mňa dať do názvu topicu aj niečo popisujúce daný príklad - nie iba číslo. (Takto to možno bude užitočnejšie pre vašich kolegov.) Preto som zeditoval názov príspevku.
Poznamenám, že tento príklad je na fóre už vyriešený: viewtopic.php?t=783

A tiež možno spomeniem, že ak by ste pracovali s posledným stĺpcom, tak by ste mali o čosi jednoduchšie počítanie. (Keďže neobsahuje parameter.)
Hovorím o tejto matici:
$\begin{pmatrix}
1 & 10 & -6 & 1 \\
0 & -21 & c+12 & 3 \\
0 & c-10 & 5 & 1
\end{pmatrix}$
Môžem napríklad od druhého riadku odpočítať 3-násobok tretieho alebo od tretieho riadku odpočítať tretinu druhého:
$\begin{pmatrix}
1 & 10 & -6 & 1 \\
0 & -21 & c+12 & 3 \\
0 & c-10 & 5 & 1
\end{pmatrix}\sim$ $
\begin{pmatrix}
1 & 10 & -6 & 1 \\
0 & -21 & c+12 & 3 \\
0 & c-3 & \frac{3-c}3 & 0
\end{pmatrix}\overset{c\ne3}\sim$ $
\begin{pmatrix}
1 & 10 & -6 & 1 \\
0 & -21 & c+12 & 3 \\
0 & 1 & -\frac c3 & 0
\end{pmatrix}\sim$ $
\begin{pmatrix}
1 & 10 & -6 & 1 \\
0 & -7 & \frac c3+4 & 1 \\
0 & 1 & -\frac c3 & 0
\end{pmatrix}$
Na tomto mieste už vidím, že hodnosť je rovná 3. (Skúste sa zamyslieť prečo.)
Samozrejme, prípade $c=3$ treba ešte rozobrať zvlášť.

Ako vidíte nepootreboval som tu nikde kvadratický výraz v premennej $c$; výpočty boli o trošičku jednoduchšie.