下記操作をご確認いただけますでしょうか。

・録画するサイズ（枠）を小さくする。
・録画時間を短くする。
・フレーム数を下げて、圧縮コーデックを選択。※画像が劣化することがございます。
・パソコンのCドライブの空き容量のご確認。
・他アプリケーションを終了。