勝手に預金を引き出してもっていってしまったら、それは確実に犯罪です。もう貴方の金ではなく会社の金です。
よって払い戻しはできませんが貴方の権利である株を誰かに買い取ってもらえばいいだけではありませんか。買い取ってもらう行為は法律違反でもなんでもありません。

その友人に買い取ってもらう。
または会社に買い取ってもらう。

買い取ってもらうことができればの話ですが
いたって普通の話です。

逮捕されるおそれがある、というのは大げさですが、窃盗、横領、背任などの構成要件に該当してしまう可能性はあると思います。

設立したのは株式会社か？持分会社か？
その覚書を締結したのは、もう一人の社長か、または会社か？
この場合の「出資」の法的評価は？
会社の定款の定めはどうなっているか？
出資したのは種類株式として、か？

など、かなり詳細に検討する必要があるため、専門家に面談で相談することをおすすめします。