家族信託は、委託者による受託者への信頼関係を基礎とする約束であり、同時に受益者の利益のための制度です。家族信託契約締結後、受託者の実際の業務遂行が不適切あったり、本来の目的から異なる行動であった場合、委託者・受益者は、受託者を解任したいと考えます。
この場合の受託者の解任方法について３つあります。主に信託契約の中に解任方法の定めがあるかどうかにより異なります。
①信託契約に解任の定めがある場合
解任方法について信託契約に定めがある場合には、その方法により解任することになります（信託法第58条第3項）。（例「受益者は、受託者を解任できる。」）と信託契約に解任の条項が設けられている場合、別段理由がなくとも、受益者の独断で受託者を解任することが可能です。
②信託契約に解任の定めがない場合
信託契約の中に解約条項を定めていなかった場合でも、委託者と受益者は相互の同意により、自由に受託者を解任することができます（同法同条第1項）。
実務上、委託者兼受益者という形の家族信託の形態が多いことから、契約上解任の定めがなくとも、実質的に委託者兼受益者1人の独断で受託者を解任できます。
③裁判所よる解任
委託者又は受益者が死亡したなどで委託者又は受益者が不在の場合には、両者の合意ができないため、⑵の方法による受託者の解任ができないという不都合が起こります。
しかし、その場合であっても、受託者が任務違反・信託財産に著しい損害を与えた場合など重要な事由があるときには、委託者または受益者の申し立てにより、裁判所が解任することが可能です（同法同条第4項）。
受託者を解任する際の注意点として、受託者不在が1年継続した場合には信託終了となります。
受託者が死亡等で不在になった場合に、1年以内に委託者と受益者の合意によって新たな受託者を選任する必要があります。受託者不在となり新受託者が就任しない状態が1年継続した場合には、その信託は終了してしまうため注意が必要です。（同法第163条第1項第3号）