Úlohu takéhoto typu máte vyriešenú na fóre, dokonca viacerými spôsobmi:
viewtopic.php?t=628
Aj tak tu napíšem niečo k riešeniu aspoň pre skupinu A, v skupine B by bolo riešenie podobné.
Riešenie
Pomocná nadrovina. Skúsme napríklad preložiť cez rovinu $\alpha$ pomocnú nadrovinu, ktorej vektorová zložka je $V_p+V_\alpha$. Potom stačí nájsť vzdialenosť ktoréhokoľvek bodu priamky od tejto nadroviny.
(Na mieste je otázka, či to bude skutočne nadrovina - ale ľahko sa môžeme presvečiť, že smerový vektor priamky $p$ nie je kolmý na normálové vektory roviny $\alpha$, takže $p$ a $\alpha$ nie sú rovnobežné. Dostaneme takto teda skutočne podpriestor dimenzie 3.)
Začnime tým, že skúsime zjednodušiť rovnice popisujúcu zadanú rovinu.
$\left(\begin{array}{cccc|c}
2 & 4 & 1 & 1 & 8 \\
2 & 7 & 4 &-2 &29
\end{array}\right)\sim$ $
\left(\begin{array}{cccc|c}
2 & 4 & 1 & 1 & 8 \\
0 & 3 & 3 &-3 &21
\end{array}\right)\sim$ $
\left(\begin{array}{cccc|c}
2 & 4 & 1 & 1 & 8 \\
0 & 1 & 1 &-1 & 7
\end{array}\right)\sim$ $
\left(\begin{array}{cccc|c}
2 & 3 & 0 & 2 & 1 \\
0 & 1 & 1 &-1 & 7
\end{array}\right)$
Zjednodušili sme si popis roviny $\alpha$. Napríklad vidíme, že $(1/2,0,7,0)\in\alpha$.
Takisto vidíme, že $V_\alpha=[(3,-2,2,0),(1,0,-1,-1)]$.
Nájdime bázu podpriestoru $V_\alpha+V_p$.
$\begin{pmatrix}
3 &-2 & 2 & 0 \\
1 & 0 &-1 &-1 \\
2 &-2 &-1 &-1
\end{pmatrix}\sim$ $
\begin{pmatrix}
1 & 0 & 3 & 1 \\
1 & 0 &-1 &-1 \\
2 &-2 &-1 &-1
\end{pmatrix}\sim$ $
\begin{pmatrix}
1 & 0 &-1 &-1 \\
0 & 0 & 4 & 2 \\
0 &-2 & 1 & 1
\end{pmatrix}\sim$ $
\begin{pmatrix}
1 & 0 &-1 &-1 \\
0 & 2 &-1 &-1 \\
0 & 0 & 2 & 1
\end{pmatrix}\sim$ $
\begin{pmatrix}
1 & 0 & 1 & 0 \\
0 & 2 & 1 & 0 \\
0 & 0 & 2 & 1
\end{pmatrix}
$
Odtiaľto už vieme vyčítať, že napríklad vektor $(2,1,-2,4)$ generuje $(V_p+V_\alpha)^\bot$.
Tým sme našli normálový vektor nadroviny. Dosadíme niektorý bod z $\alpha$ a nájdeme rovnicu pomocnej nadroviny
$2x_1+x_2-2x_3+4x_4+13=0$.
Pomocná nadrovina inak. Skúsme sa zamyslieť, či nevieme nájsť rovnicu pomocnej nadroviny nejakým kratším postupom.
Potrebujeme nájsť normálový vektor nadroviny. Tento vektor musí byť kolmý aj na $\alpha$, teda to bude lineárna kombinácia vektorov $\vec n_1=(2,4,1,1)$, $\vec n_2=(2,7,4,-2)$.
Navyše chcem takú lineárnu kombináciu, ktorá je kolmá na $(2,-2,-1,-1)$.
Zrátam skalárne súčiny:
$\newcommand{\intrv}[2]{\langle#1,#2\rangle}\intrv{(2,4,1,1)}{(2,-2,-1,-1)}=-6$
$\intrv{(2,7,4,-2)}{(2,-2,-1,-1)}=-12$
Vidím, že napríklad lineárna kombinácia $2\vec n_1-\vec n_2$ mi dá ako skalárny súčin nulu.
Teda vyhovuje vektor $2(2,4,1,1)-(2,7,4,-2)=(2,1,-2,4)$. (Toto bude normálový vektor nadroviny.)
Rovnicu nadroviny získam ako rozdiel dvojnásobku prvej rovnice a jednonásobku druhej rovnice: $2x_1+x_2-2x_3+4x_4=-13$, t.j. $2x_1+x_2-2x_3+4x_4+13=0$.
Vzdialenosť.
Ak už som vyrátal pomocnú nadrovinu, tak jednoducho dosadím do vzorca.
Chceme vlastne vyrátať vzdialenosť od niektorého bodu priamky $p$, napríklad môžem zobrať bod $(9,-2,-1,-1)$:
$$\rho(p,\alpha)=\frac{|18-2+2-4+13|}{\sqrt{4+1+4+16}}=\frac{27}5$$