現状ですと縦2048にリサイズして表示してますからどうしても遅いです。
リサイズする時のサイズを任意で変えられれば(例えば画面の解像度を擬似的に1600x1200に変えて縦1600で表示させる)表示速度が上がります。
表示させる解像度を一時的に変えるだけなら、マルチコア対応などより簡易にアップデートが可能ではないでしょうか。

ご意見ありがとうございます。

試してみましたが(iPad2)、そのまま拡大するとだいぶボヤけてしまいますね。
サイズ縮小をもうすこし簡易的な方法にして（画質は落ちますが）高速にできないか考えてみます。