Shap-E文本形成3D模型在醫(yī)學(xué)成像中的運(yùn)用

因?yàn)闄C(jī)械學(xué)習(xí)技術(shù)的迅速成長(zhǎng)，近年來(lái) 3D 建模和設(shè)計(jì)行業(yè)獲得了重要進(jìn)展。 OpenAI 頒布了1個(gè)名為 Shap-E 的新工具，它應(yīng)用隱式函數(shù)來(lái)高效地形成 3D 資產(chǎn)。 在這篇博文中，咱們將開(kāi)拓 Shap·E 背后的方式，并分享 OpenAI 供應(yīng)的代碼供你親身嘗試。

舉薦：用 NSDT設(shè)計(jì)器 迅速搭造可編程3D情景。1、背景

傳統(tǒng)的 3D 形成模型形成單一的流出表示，但 Shap·E 旨在同時(shí)形成紋理網(wǎng)格和神經(jīng)輻射場(chǎng)。 這是通過(guò)借用隱式神經(jīng)表征 (INR) 實(shí)行的，INR 將 3D 坐標(biāo)映照到特定于位子的數(shù)據(jù)，比如密度和色彩。

Shap·E 模型的訓(xùn)練劃為2個(gè)階段：首先，訓(xùn)練基于 Transformer 的編碼器，將 3D 資產(chǎn)映照到隱函數(shù)的參數(shù)中； 其次，在編碼器的流出上訓(xùn)練條件擴(kuò)散模型。2、隱函數(shù)的威力

Shap-E 專注于用來(lái) 3D 表示的兩類型號(hào)的 INR：神經(jīng)輻射場(chǎng) (NeRF) 和符號(hào)距離函數(shù)和紋理場(chǎng) (STF)。 NeRF 將 3D 情景表示為將坐標(biāo)和觀測(cè)方向映照到密度和 RGB 色彩的函數(shù)，而 STF 形成符號(hào)距離和紋理色彩。 這類 INR 無(wú)需批量手動(dòng)工作便可形成全面的 3D 模型。3、Shap-E的益處

當(dāng)在配對(duì)的 3D 和文本信息的大型信息集上進(jìn)行訓(xùn)練時(shí)，Shap-E 闊以在幾秒鐘內(nèi)形成高難多樣的 3D 資產(chǎn)。 與 Point-E 等顯式形成模型相比，它闊以更快地收斂并實(shí)行可比或更優(yōu)的樣件品質(zhì)，同時(shí)還供應(yīng)多表示流出空間。 Shap·E 是一款十分強(qiáng)大的工具，應(yīng)用于想要輕盈創(chuàng)立全面 3D 模型的藝術(shù)家、設(shè)計(jì)師和開(kāi)發(fā)職員。4、 Shap-E在醫(yī)學(xué)成像中的運(yùn)用