座標平面上の点・直線・円・軌跡・領域── 第3章で学んだ道具をすべて使いこなせるかが問われます。
入試では単独の知識よりも、複数の概念を組み合わせる力が「差」を生みます。章全体を見渡し、総合的な問題解決力を鍛えましょう。
第3章「図形と方程式」は、座標幾何の土台となる6つの大テーマから構成されています。総合問題に取り組む前に、各テーマのつながりを把握しておきましょう。
第3章は「図形の条件を方程式に翻訳し、方程式の力で図形の性質を解明する」という一貫した思想のもとに構成されています。
すべてのテーマは「座標の導入 → 図形条件の方程式化 → 方程式の計算 → 図形的解釈」という流れで統一されています。この流れを意識するだけで、どんな総合問題にも方針が立てやすくなります。
| テーマ | 主要内容 | 核となる道具 |
|---|---|---|
| 1. 点の座標 | 内分・外分、距離、重心 | 座標の計算、距離の公式 |
| 2. 直線の方程式 | 傾き、平行・垂直、点と直線の距離 | $y = mx + n$、$ax + by + c = 0$ |
| 3. 円の方程式 | 標準形・一般形、接線、2円の関係 | $(x-a)^2 + (y-b)^2 = r^2$ |
| 4. 軌跡 | 条件を満たす点の集合 | パラメータ消去、逆の確認 |
| 5. 領域 | 不等式の表す領域、線形計画法 | 境界線と符号判定 |
| 6. 最適化 | 領域内での最大・最小 | 線形計画法、幾何的考察 |
入試の総合問題では、上記の矢印（テーマ間のつながり）を2つ以上またぐ問題が頻出します。例えば「2つの円の交点を通る直線の方程式を求め、その直線と $x$ 軸で囲まれる領域の面積を求めよ」のように、円 → 直線 → 領域 → 積分と複数テーマを横断します。
問題文を読んだら、まず「どのテーマを使うか」を見極めることが第一歩です。
直線と円の関係は第3章で最も出題頻度が高いテーマです。判別式による位置関係の判定、接線の方程式、弦の長さなど、複数の技法を組み合わせる問題を扱います。
例題：点 $\mathrm{P}(4, 0)$ から円 $x^2 + y^2 = 4$ に引いた2本の接線の方程式を求め、2つの接点を結ぶ直線（極線）の方程式を求めよ。
Step 1：接線の方程式を立てる。
接点を $\mathrm{T}(a, b)$ とおくと、$a^2 + b^2 = 4$（接点は円上）であり、接点における接線は $ax + by = 4$ です。
Step 2：接線が $\mathrm{P}(4, 0)$ を通る条件。
$4a + 0 \cdot b = 4$ より $a = 1$ です。$a^2 + b^2 = 4$ に代入して $b^2 = 3$、すなわち $b = \pm\sqrt{3}$ です。
Step 3：接線の方程式。
接点 $(1, \sqrt{3})$ における接線：$x + \sqrt{3}\,y = 4$
接点 $(1, -\sqrt{3})$ における接線：$x - \sqrt{3}\,y = 4$
Step 4：極線（2接点を結ぶ直線）。
2つの接点 $(1, \sqrt{3})$、$(1, -\sqrt{3})$ を結ぶ直線は $x = 1$ です。
これは $\mathrm{P}(4, 0)$ に対する円 $x^2 + y^2 = 4$ の極線であり、一般に点 $(x_0, y_0)$ に対する極線は $x_0 x + y_0 y = r^2$ で与えられます。確かに $4x + 0 \cdot y = 4$、すなわち $x = 1$ です。
例題：円 $x^2 + y^2 = 25$ と直線 $3x + 4y = 15$ の交点を $\mathrm{A}$、$\mathrm{B}$ とするとき、弦 $\mathrm{AB}$ の長さを求めよ。
方法：中心から弦への距離を利用する。
円の中心 $\mathrm{O}(0, 0)$ から直線 $3x + 4y - 15 = 0$ への距離は
$$d = \frac{|3 \cdot 0 + 4 \cdot 0 - 15|}{\sqrt{3^2 + 4^2}} = \frac{15}{5} = 3$$
円の半径 $r = 5$、中心から弦への距離 $d = 3$ より、弦の半分の長さは $\sqrt{r^2 - d^2} = \sqrt{25 - 9} = 4$ です。
したがって $\mathrm{AB} = 2 \times 4 = 8$ です。
半径 $r$ の円の中心から直線への距離を $d$ とすると、直線が円から切り取る弦の長さ $\ell$ は
$$\ell = 2\sqrt{r^2 - d^2} \quad (d \leq r)$$
この公式は三平方の定理から得られます。円の中心から弦に下ろした垂線は弦を二等分するという性質を使います。
2つの円の共通接線の本数は、2円の中心間距離 $d$ と半径 $r_1, r_2$ の関係で決まります。
総合問題では、共通接線の方程式を求めたうえで、接点間の距離や接線で囲まれる図形の面積を求める問題が出題されます。
軌跡と領域は「条件を方程式・不等式に翻訳する」という第3章の中心思想が最も直接的に現れるテーマです。総合問題では、軌跡を求めたあとに領域の議論や最適化が続くことが多くなります。
例題：実数 $t$ が $0 \leq t \leq 1$ の範囲を動くとき、点 $\mathrm{P}(t + 1, \, t^2 - t)$ が描く曲線を求めよ。
Step 1：パラメータ消去。
$x = t + 1$ より $t = x - 1$ です。これを $y = t^2 - t$ に代入すると
$$y = (x - 1)^2 - (x - 1) = x^2 - 2x + 1 - x + 1 = x^2 - 3x + 2$$
Step 2：$t$ の範囲から $x$ の範囲を求める。
$0 \leq t \leq 1$ から $1 \leq x \leq 2$ です。
Step 3：逆の確認。
$1 \leq x \leq 2$ のとき $t = x - 1$ は $0 \leq t \leq 1$ を満たすので、逆も成立します。
よって、求める曲線は放物線 $y = x^2 - 3x + 2$ の $1 \leq x \leq 2$ の部分です。
例題：$a$ が実数全体を動くとき、直線 $y = 2ax - a^2$ が通過する領域を求めよ。
方法：$a$ の方程式とみなして判別式を使う。
$y = 2ax - a^2$ を $a$ について整理すると
$$a^2 - 2xa + y = 0$$
この2次方程式が実数解 $a$ を持つ条件は、判別式 $D \geq 0$ より
$$D/4 = x^2 - y \geq 0$$
したがって $y \leq x^2$ です。
逆に $y \leq x^2$ を満たす任意の点 $(x, y)$ に対して、$a^2 - 2xa + y = 0$ は実数解を持つので、その $a$ に対応する直線が $(x, y)$ を通ります。
よって、求める領域は放物線 $y = x^2$ およびその下側の領域 $y \leq x^2$ です。
解法1（判別式法）：パラメータ $a$ について整理し、$a$ が実数解を持つ条件を求める。上の例題の方法です。
解法2（包絡線法）：$f(x, y, a) = 0$ と $\dfrac{\partial f}{\partial a} = 0$ を連立して包絡線を求める。包絡線が領域の境界になります。
解法3（逆像法）：固定した点 $(x, y)$ を通る直線が存在する条件として、$a$ の存在範囲を調べる。判別式法の一般化です。
領域が求まったら、その領域内での最大値・最小値を問う問題が続くことがあります。$k = ax + by$ の形の式は、直線 $ax + by = k$ を領域内で平行移動させて、切片（に相当する $k$）の最大・最小を求めます。
$k = \dfrac{y}{x}$ や $k = x^2 + y^2$ のような非線形な式の最大・最小では、$k$ の値の幾何学的意味（傾き、原点からの距離など）を読み取ることが重要です。
座標を導入して図形の性質を証明する方法は、解析幾何（座標幾何）の真骨頂です。「計算で証明する」という手法は、幾何の直観が通用しない複雑な状況でも強力に機能します。
定理：三角形の3辺の垂直二等分線は1点で交わる。
三角形の頂点を $\mathrm{A}(0, 0)$、$\mathrm{B}(2a, 0)$、$\mathrm{C}(2b, 2c)$ とおく（$c \neq 0$）。
辺 $\mathrm{AB}$ の垂直二等分線：中点は $(a, 0)$、$\mathrm{AB}$ は $x$ 軸方向なので垂直二等分線は $x = a$ ……(i)
辺 $\mathrm{AC}$ の垂直二等分線：中点は $(b, c)$、$\mathrm{AC}$ の傾きは $\dfrac{c}{b}$（$b \neq 0$ のとき）なので、垂直二等分線の傾きは $-\dfrac{b}{c}$ です。
$$y - c = -\frac{b}{c}(x - b) \quad \text{すなわち} \quad bx + cy = b^2 + c^2 \quad \text{……(ii)}$$
(i) を (ii) に代入すると $ab + cy = b^2 + c^2$ より $y = \dfrac{b^2 + c^2 - ab}{c}$ です。
この交点を $\mathrm{O}'(a, \, \dfrac{b^2 + c^2 - ab}{c})$ とします。
検証：$\mathrm{O}'$ は辺 $\mathrm{BC}$ の垂直二等分線上にもあるか。
$\mathrm{O}'\mathrm{A}^2 = a^2 + \left(\dfrac{b^2 + c^2 - ab}{c}\right)^2$
$\mathrm{O}'\mathrm{B}^2 = (a - 2a)^2 + \left(\dfrac{b^2 + c^2 - ab}{c}\right)^2 = a^2 + \left(\dfrac{b^2 + c^2 - ab}{c}\right)^2$
よって $\mathrm{O}'\mathrm{A} = \mathrm{O}'\mathrm{B}$ です。同様に計算すると $\mathrm{O}'\mathrm{A} = \mathrm{O}'\mathrm{C}$ も示せます。
$\mathrm{O}'\mathrm{B} = \mathrm{O}'\mathrm{C}$ が成り立つので、$\mathrm{O}'$ は辺 $\mathrm{BC}$ の垂直二等分線上にもあります。
したがって、3辺の垂直二等分線は1点 $\mathrm{O}'$（外心）で交わる。 ■
定理：円外の1点から円に引いた2本の接線の長さは等しい。
円を $x^2 + y^2 = r^2$、外部の点を $\mathrm{P}(p, q)$（$p^2 + q^2 > r^2$）とおく。
接点を $\mathrm{T}(a, b)$ とすると、$a^2 + b^2 = r^2$ かつ接線は $ax + by = r^2$ です。
$\mathrm{P}$ を通るので $ap + bq = r^2$ です。
接線の長さは $\mathrm{PT} = \sqrt{(p-a)^2 + (q-b)^2}$ です。
$$\mathrm{PT}^2 = p^2 - 2ap + a^2 + q^2 - 2bq + b^2$$
$$= (p^2 + q^2) + (a^2 + b^2) - 2(ap + bq) = (p^2 + q^2) + r^2 - 2r^2 = p^2 + q^2 - r^2$$
この値は接点 $(a, b)$ によらず一定です。したがって、2本の接線の長さは等しい。 ■
✗ 座標設定が不適切：一般性を失う特殊な配置をしてしまう。例えば、二等辺三角形を仮定していないのに $\mathrm{A}(0,0)$、$\mathrm{B}(a,0)$、$\mathrm{C}(0,a)$ と置くなど。
✓ 対策：頂点の座標には独立な文字を十分に使い、対称性がある場合のみ座標軸を活用して文字を減らす。「一般の三角形」なら3つの独立な文字が必要です。
✗ 「逆」の確認を忘れる：軌跡の問題で、条件から方程式を導いたが、その方程式上の点がすべて元の条件を満たすかの確認を省略してしまう。
✓ 対策：「逆に、この曲線上の任意の点 $(x, y)$ について……が成り立つ」と明記する。
大学入試の上位レベルでは、第3章の内容を他の章（三角関数、ベクトル、微分・積分など）と組み合わせた問題が出題されます。ここでは、そうした融合問題の考え方を紹介します。
円上の点を $(\cos\theta, \sin\theta)$ とパラメータ表示し、三角関数の知識を使って最大・最小を求める問題です。
例：円 $x^2 + y^2 = 1$ 上の点 $\mathrm{P}$ と定点 $\mathrm{A}(3, 0)$ の距離 $\mathrm{PA}$ の最小値を求めよ。
$\mathrm{P}(\cos\theta, \sin\theta)$ とおくと
$$\mathrm{PA}^2 = (3 - \cos\theta)^2 + \sin^2\theta = 10 - 6\cos\theta$$
$\cos\theta = 1$ のとき最小値 $\mathrm{PA}^2 = 4$、すなわち $\mathrm{PA} = 2$ です。これは「中心からの距離 $-$ 半径」に等しく、幾何的にも自然な結果です。
軌跡が放物線や3次曲線になった場合、接線を求めたり、面積を計算したりする問題では微分・積分が必要になります。
例：放物線 $y = x^2$ 上の点 $\mathrm{P}(t, t^2)$ における接線が、円 $x^2 + y^2 = 1$ に接するような $t$ の値を求めよ。
接線は $y - t^2 = 2t(x - t)$、すなわち $2tx - y - t^2 = 0$ です。
原点から接線への距離が1であればよいので
$$\frac{|{-t^2}|}{\sqrt{4t^2 + 1}} = 1 \implies t^4 = 4t^2 + 1 \implies t^4 - 4t^2 - 1 = 0$$
$t^2 = 2 + \sqrt{5}$ を得ます（$t^2 \geq 0$ に注意）。
「格子点（座標がともに整数の点）が円の内部にいくつあるか」のように、図形と方程式を整数の議論と組み合わせる問題も見られます。
戦略1：図を描く。図形と方程式の問題では、まず概略図を描くことが最重要です。図があれば方針の見通しが立ちやすくなり、計算ミスにも気づきやすくなります。
戦略2：結果を予測する。幾何的直観で結果の大まかな形（「円になりそう」「直線になりそう」）を予測してから計算に入ると、途中で方針のずれに気づけます。
戦略3：検算は特殊な値で。一般的な結果が得られたら、$t = 0$ や $a = 1$ などの特殊な値を代入して、図と整合するか確認しましょう。
戦略4：対称性を活用する。問題に対称性があれば、座標軸の取り方を工夫して計算量を大幅に減らせます。円の中心を原点に、直線を座標軸に合わせるのが常套手段です。
Q1. 円 $x^2 + y^2 = 9$ と直線 $y = x + k$ が接するとき、$k$ の値を求めよ。
Q2. 点 $(5, 0)$ から円 $x^2 + y^2 = 9$ に引いた接線の長さを求めよ。
Q3. 直線 $y = 2ax - a^2 + 1$ が $a$ が実数全体を動くとき通過する領域を求めよ。
Q4. 円 $x^2 + y^2 = 4$ 上の点 $\mathrm{P}$ と点 $\mathrm{A}(4, 3)$ の距離 $\mathrm{PA}$ の最大値と最小値を求めよ。
Q5. 領域 $x^2 + y^2 \leq 4$, $x \geq 0$, $y \geq 0$ において $x + y$ の最大値を求めよ。
円 $C : x^2 + y^2 = 16$ と直線 $\ell : 3x - 4y + k = 0$ について、次の各問に答えよ。
(1) $\ell$ が $C$ に接するとき、$k$ の値を求めよ。
(2) $k = 0$ のとき、$\ell$ が $C$ から切り取る弦の長さを求めよ。
(3) $\ell$ が $C$ と異なる2点で交わるとき、$k$ の範囲を求めよ。
(1) 中心 $(0,0)$ から $\ell$ への距離が半径4に等しいとき接する。
$$\frac{|k|}{\sqrt{9+16}} = \frac{|k|}{5} = 4 \implies k = \pm 20$$
(2) $k = 0$ のとき $d = 0$（直線は原点を通る）。弦の長さ $= 2\sqrt{16 - 0} = 8$（直径）。
(3) $d < 4$ のとき2点で交わるから $\dfrac{|k|}{5} < 4$ より $|k| < 20$、すなわち $-20 < k < 20$。
座標平面上に、円 $C_1 : x^2 + y^2 = 4$ と点 $\mathrm{A}(4, 0)$ がある。$C_1$ 上の点 $\mathrm{P}$ に対して、線分 $\mathrm{PA}$ の中点を $\mathrm{M}$ とする。
(1) $\mathrm{P}(\cos\theta, \sin\theta)$（$0 \leq \theta < 2\pi$ は不要、$\mathrm{P}$ は半径2の円上）を用いて、$\mathrm{M}$ の座標を $\theta$ で表せ。ただし $\mathrm{P}(2\cos\theta, 2\sin\theta)$ とする。
(2) $\mathrm{P}$ が $C_1$ 上を動くとき、$\mathrm{M}$ の軌跡を求めよ。
(1) $\mathrm{M}$ は $\mathrm{P}(2\cos\theta, 2\sin\theta)$ と $\mathrm{A}(4, 0)$ の中点なので
$$\mathrm{M}\left(\frac{2\cos\theta + 4}{2}, \, \frac{2\sin\theta + 0}{2}\right) = (\cos\theta + 2, \, \sin\theta)$$
(2) $x = \cos\theta + 2$, $y = \sin\theta$ より $\cos\theta = x - 2$, $\sin\theta = y$。
$\cos^2\theta + \sin^2\theta = 1$ から $(x-2)^2 + y^2 = 1$。
逆に、この円上の任意の点 $(x,y)$ に対して $\cos\theta = x-2$, $\sin\theta = y$ とおけば $\mathrm{P}(2\cos\theta, 2\sin\theta)$ は $C_1$ 上にあり、$\mathrm{M} = (x,y)$ となる。
よって、$\mathrm{M}$ の軌跡は中心 $(2, 0)$、半径 $1$ の円 $(x-2)^2 + y^2 = 1$。
中点の軌跡を求める典型的なパターンです。元の円の半径が $r$ で、固定点 $\mathrm{A}$ との中点の軌跡は、中心が元の円の中心と $\mathrm{A}$ の中点、半径が $r/2$ の円になります。これは相似縮小（$\mathrm{A}$ を中心として比 $1/2$）と考えることもできます。
連立不等式 $x^2 + y^2 \leq 9$, $y \geq x$, $y \geq 0$ の表す領域を $D$ とする。
(1) 領域 $D$ を図示せよ。
(2) 点 $(x, y)$ が領域 $D$ 内を動くとき、$2x + y$ の最大値と最小値を求めよ。
(1) 領域 $D$ は、原点中心・半径3の円の内部（および境界）のうち、直線 $y = x$ の上側かつ $x$ 軸の上側の部分。扇形状の領域です。
(2) $k = 2x + y$ とおく。直線 $y = -2x + k$ を領域 $D$ 内で動かす。
最大値：直線 $y = -2x + k$ が円 $x^2 + y^2 = 9$ に接するとき $k$ は最大になりうる。
原点から直線 $2x + y - k = 0$ への距離 $= \dfrac{|k|}{\sqrt{5}} = 3$ より $k = 3\sqrt{5}$（$k > 0$）。
接点は $\left(\dfrac{6}{\sqrt{5}}, \dfrac{3}{\sqrt{5}}\right)$。$y \geq x$ を確認すると $\dfrac{3}{\sqrt{5}} < \dfrac{6}{\sqrt{5}}$ なので $y < x$ となり、この接点は $D$ 内にない。
$D$ の境界を調べる。$y = x$ と $x^2+y^2=9$ の交点は $x = y = \dfrac{3}{\sqrt{2}}$（第1象限）。この点で $k = 2 \cdot \dfrac{3}{\sqrt{2}} + \dfrac{3}{\sqrt{2}} = \dfrac{9}{\sqrt{2}} = \dfrac{9\sqrt{2}}{2}$。
$y = 0$, $y \geq x$ より $x \leq 0$。円上で $x \leq 0, y = 0$ の点は $(-3, 0)$ で $k = -6$。
$y = x$ 上で円内の点は $-\dfrac{3}{\sqrt{2}} \leq x \leq \dfrac{3}{\sqrt{2}}$。$k = 3x$ なので $x = \dfrac{3}{\sqrt{2}}$ で最大 $\dfrac{9\sqrt{2}}{2}$。
円上で $y \geq x, y \geq 0$ を満たす弧上で $k = 2x+y$ の最大を調べる。$x = 3\cos\theta, y = 3\sin\theta$ とおくと $k = 6\cos\theta + 3\sin\theta = 3\sqrt{5}\sin(\theta + \alpha)$（$\tan\alpha = 2$）。$\dfrac{\pi}{4} \leq \theta \leq \pi$ の範囲で最大値は $\theta = \dfrac{\pi}{4}$ 付近を調べると、$\theta = \dfrac{\pi}{4}$ で $k = \dfrac{6}{\sqrt{2}} + \dfrac{3}{\sqrt{2}} = \dfrac{9\sqrt{2}}{2}$。
よって最大値は $\dfrac{9\sqrt{2}}{2}$（$\mathrm{P} = \left(\dfrac{3\sqrt{2}}{2}, \dfrac{3\sqrt{2}}{2}\right)$ のとき）。
最小値：点 $(-3, 0)$ は $y \geq x$（$0 \geq -3$）かつ $y \geq 0$ を満たすので $D$ 内にある。$k = 2(-3) + 0 = -6$。
よって最小値は $-6$（$(-3, 0)$ のとき）。
座標平面上に、原点 $\mathrm{O}$ を中心とする半径1の円 $C$ がある。$C$ 上の点 $\mathrm{P}$ における接線 $\ell$ と、直線 $x = 3$ との交点を $\mathrm{Q}$ とする。
(1) $\mathrm{P}(\cos\theta, \sin\theta)$（$\cos\theta \neq 0$）とするとき、$\mathrm{Q}$ の座標を $\theta$ で表せ。
(2) 線分 $\mathrm{PQ}$ の中点 $\mathrm{M}$ の軌跡を求めよ。
(3) $\theta$ が $0 < \theta < \dfrac{\pi}{2}$ の範囲を動くとき、三角形 $\mathrm{OPQ}$ の面積 $S$ の最大値を求めよ。
(1) $\mathrm{P}(\cos\theta, \sin\theta)$ における接線は $x\cos\theta + y\sin\theta = 1$。
$x = 3$ を代入すると $3\cos\theta + y\sin\theta = 1$ より
$$y = \frac{1 - 3\cos\theta}{\sin\theta}$$
よって $\mathrm{Q}\left(3, \, \dfrac{1 - 3\cos\theta}{\sin\theta}\right)$。
(2) $\mathrm{M}$ の座標を $(X, Y)$ とすると
$$X = \frac{\cos\theta + 3}{2}, \quad Y = \frac{\sin\theta + \frac{1 - 3\cos\theta}{\sin\theta}}{2} = \frac{\sin^2\theta + 1 - 3\cos\theta}{2\sin\theta}$$
$\sin^2\theta = 1 - \cos^2\theta$ を代入して整理すると
$$Y = \frac{2 - \cos^2\theta - 3\cos\theta}{2\sin\theta} = \frac{(2 + \cos\theta)(1 - \cos\theta)}{2\sin\theta} \cdot \frac{(1+\cos\theta)}{(1+\cos\theta)}$$
別の方法で求める。$X = \dfrac{\cos\theta + 3}{2}$ より $\cos\theta = 2X - 3$。
$\mathrm{P}$ は円上なので $-1 \leq \cos\theta \leq 1$、よって $1 \leq X \leq 2$。
また、$\mathrm{M}$ は接線 $\ell$ 上にあるので $X\cos\theta + Y\sin\theta = 1$ が成り立つ。
$\cos\theta = 2X-3$ を代入して $X(2X-3) + Y\sin\theta = 1$ すなわち $Y\sin\theta = 1 - 2X^2 + 3X$。
$\sin^2\theta = 1 - (2X-3)^2$ なので $\sin\theta = \sqrt{1-(2X-3)^2}$（$\sin\theta > 0$ の場合）。
$Y^2(1-(2X-3)^2) = (1-2X^2+3X)^2$ を整理して軌跡の方程式を得る。これは一般に楕円の一部になる。
ここでは $\cos\theta \neq 0$ の条件下での軌跡の完全な記述は複雑になるため、パラメータ表示 $\left(\dfrac{\cos\theta+3}{2}, \, \dfrac{\sin^2\theta + 1 - 3\cos\theta}{2\sin\theta}\right)$ で答えとしてもよい。
(3) $\mathrm{O}$ から接線 $\ell$ への距離は1（$\mathrm{P}$ が接点なので、原点から接線への距離は半径に等しい）。
$$S = \frac{1}{2} \cdot \mathrm{PQ} \cdot 1 = \frac{1}{2} \mathrm{PQ}$$
$\mathrm{PQ}^2 = (3 - \cos\theta)^2 + \left(\dfrac{1-3\cos\theta}{\sin\theta} - \sin\theta\right)^2$
$= (3 - \cos\theta)^2 + \left(\dfrac{1-3\cos\theta - \sin^2\theta}{\sin\theta}\right)^2$
$= (3-\cos\theta)^2 + \left(\dfrac{\cos^2\theta - 3\cos\theta}{\sin\theta}\right)^2$
$= (3-\cos\theta)^2 + \dfrac{\cos^2\theta(cos\theta-3)^2}{\sin^2\theta}$
$= (3-\cos\theta)^2 \left(1 + \dfrac{\cos^2\theta}{\sin^2\theta}\right) = \dfrac{(3-\cos\theta)^2}{\sin^2\theta}$
よって $\mathrm{PQ} = \dfrac{3-\cos\theta}{|\sin\theta|}$。$0 < \theta < \dfrac{\pi}{2}$ では $\sin\theta > 0$ なので
$$S = \frac{1}{2} \cdot \frac{3 - \cos\theta}{\sin\theta}$$
$t = \cos\theta$（$0 < t < 1$）とおくと $\sin\theta = \sqrt{1-t^2}$ より
$$S = \frac{3-t}{2\sqrt{1-t^2}}$$
$S' = 0$ を解く。$f(t) = \dfrac{(3-t)^2}{4(1-t^2)} = \dfrac{(3-t)^2}{4(1-t)(1+t)} = \dfrac{(3-t)}{4(1+t)} \cdot \dfrac{(3-t)}{(1-t)}$
$g(t) = S^2 = \dfrac{(3-t)^2}{4(1-t^2)}$ として $g'(t) = 0$ を解くと
$g'(t) = \dfrac{-2(3-t)(1-t^2) - (3-t)^2 \cdot (-2t)}{4(1-t^2)^2} = \dfrac{-2(3-t)[(1-t^2) - t(3-t)]}{4(1-t^2)^2}$
$= \dfrac{-2(3-t)(1-3t)}{4(1-t^2)^2}$
$g'(t) = 0$ のとき $t = \dfrac{1}{3}$（$0 < t < 1$ の範囲で）。
$t = \dfrac{1}{3}$ のとき $S = \dfrac{3 - 1/3}{2\sqrt{1 - 1/9}} = \dfrac{8/3}{2 \cdot 2\sqrt{2}/3} = \dfrac{8/3}{4\sqrt{2}/3} = \dfrac{8}{4\sqrt{2}} = \sqrt{2}$
よって面積 $S$ の最大値は $\sqrt{2}$。
(3) のポイントは、原点から接線への距離が常に半径1であることに気づくことです。これにより面積は $\mathrm{PQ}$ の長さだけで決まります。$\mathrm{PQ}$ の式を $\cos\theta$ の関数として整理し、微分で最大を求めます。