我們默認(rèn)使用的是5e-5，這個學(xué)習(xí)率是一個常見的默認(rèn)值，但不確保適合所有行業(yè)數(shù)據(jù)或數(shù)據(jù)量的大小，更好的學(xué)習(xí)率則要根據(jù)數(shù)據(jù)集的大小、訓(xùn)練目標(biāo)、優(yōu)化器的選擇等因素來調(diào)整。
學(xué)習(xí)率與數(shù)據(jù)集大小的關(guān)系
一般來說，隨著訓(xùn)練數(shù)據(jù)集的增大，可以使用稍微較高的學(xué)習(xí)率，因為更多的數(shù)據(jù)有助于模型更穩(wěn)健地學(xué)習(xí)，從而能夠承受更大的學(xué)習(xí)率而不容易出現(xiàn)震蕩。反之，數(shù)據(jù)集較小時，較小的學(xué)習(xí)率可以幫助模型穩(wěn)定收斂，避免過擬合或損失函數(shù)波動較大。
通?？梢宰裱韵乱恍┙?jīng)驗法則來設(shè)置學(xué)習(xí)率：
- 較小的數(shù)據(jù)集（< 10萬條）：
- 學(xué)習(xí)率一般會選擇較小的值，比如5e-5或3e-5。這有助于模型在小數(shù)據(jù)集上穩(wěn)定訓(xùn)練，避免過度擬合。
- 中等大小的數(shù)據(jù)集（10萬-50萬條）：
- 學(xué)習(xí)率可以稍微提高，比如選擇5e-5或6e-5。在這種規(guī)模的數(shù)據(jù)集上，模型有足夠的樣本來學(xué)習(xí)復(fù)雜的模式，但學(xué)習(xí)率不宜過大，以免錯過最優(yōu)解。
- 大規(guī)模數(shù)據(jù)集（> 100萬條）：
- 對于非常大的數(shù)據(jù)集，可以考慮稍微增加學(xué)習(xí)率到7e-5或1e-4，或者使用學(xué)習(xí)率調(diào)度（如warm-up策略）來逐步提高學(xué)習(xí)率，確保模型能有效收斂。
最好通過實驗多次訓(xùn)練同一批數(shù)據(jù)來驗證學(xué)習(xí)率的選擇，采用交叉驗證等方法來找到最適合你數(shù)據(jù)集和任務(wù)的學(xué)習(xí)率。
]]>OSError: Unable to load weights from pytorch checkpoint file for '
C:\...\Stdownload\train_model\pytorch_model.bin' at '
C:\...\Stdownload\train_model\pytorch_model.bin'.
If you tried to load a PyTorch model from a TF 2.0 checkpoint, please set from_tf=True.如果剛開始點擊訓(xùn)練，就報錯遇到這種，看到：Stdownload\train_model\pytorch_model.bin這個字段，就說明是預(yù)載模型不完整。
解決方案：使用官網(wǎng)緩存清理工具，對閃豚軟件全面的清理緩存，重新從中央驗證服務(wù)器預(yù)載模型權(quán)重。
工具下載地址：http://www.yunzou.com.cn/app/69618.html
問題二：顯存不足導(dǎo)致的閃退或終止訓(xùn)練報錯。
【閃豚Ai】訓(xùn)練出錯319！錯誤信息：
CUDA out of memory. Tried to allocate 12.00 MiB
(GPU 0; 23.99 GiB total capacity; 11.95 GiB already allocated; 10.36 GiB free; 11.96 GiB reserved in total by PyTorch)當(dāng)看到報錯信息：CUDA out of memory.等關(guān)鍵信息，就說明是顯存不足導(dǎo)致的。
顯存不足導(dǎo)致的原因有很多，不好解決，可能是其他應(yīng)用占用，也有可能是顯卡的CUDA驅(qū)動，沒來得及自己清理緩存，導(dǎo)致模型訓(xùn)練的時候，緩存得不到釋放，就導(dǎo)致顯存不足，訓(xùn)練終止了。
初步解決方案一：
初始訓(xùn)練的時候，用強制清理JSON工具，清理一遍你的訓(xùn)練JSON數(shù)據(jù)文件。
工具下載：http://www.yunzou.com.cn/app/69557.html
初步解決方案二：
訓(xùn)練界面中，默認(rèn)Max_len參數(shù)是：900，可以調(diào)整更小，比如800,700。
初步解決方案三：
save_steps參數(shù)和logging_steps參數(shù)不要設(shè)置太大，保持默認(rèn)10000即可。過多的模型生成出來，可以手動刪除舊的模型文件夾，保留最新的3~5個模型文件夾即可。或者等系統(tǒng)默認(rèn)會根據(jù)硬盤設(shè)置的大小自動刪除舊的模型。
問題三：繼續(xù)訓(xùn)練剛開始的報錯。
【閃豚Ai】訓(xùn)練出錯319！錯誤信息：
Unable to load weights from pytorch checkpoint file for '
.../checkpoint-xxxxx\pytorch_model.bin'
at '.../checkpoint-xxxxx\pytorch_model.bin'.
If you tried to load a PyTorch model from a TF 2.0 checkpoint, please set from_tf=True.checkpoint-xxxxx：后面的XXX代表的是數(shù)字。
當(dāng)繼續(xù)訓(xùn)練，遇到報錯信息是：.../checkpoint-xxxxx\pytorch_model.bin，說明這個模型損壞，需要刪除這個模型，再重新繼續(xù)訓(xùn)練即可。
原因是：沒有在這個模型文件夾下，找到可用完整的模型和可繼續(xù)訓(xùn)練的記憶模型。
問題四：繼續(xù)訓(xùn)練卻提醒模型訓(xùn)練完成
當(dāng)繼續(xù)訓(xùn)練的時候，卻沒達(dá)到最終步數(shù)，卻提示“模型訓(xùn)練完成”，這個是因為，模型機制判定問題，因為接近最后的訓(xùn)練次數(shù)，沒有完整的一個Epoch輪次，所以會提醒“模型訓(xùn)練完成”。
解決方法：增大你的訓(xùn)練次數(shù)，就可以解決。比如原本是10次，繼續(xù)訓(xùn)練的時候提醒“模型訓(xùn)練完成”，則你可以增加到15次，20次。
其他訓(xùn)練報錯問題，后續(xù)完善補充
生成過程中遇到的報錯問題
生成問題一：list index out of range
批量生成中，當(dāng)點擊生成后，出現(xiàn)：
[閃豚Ai] 生成出錯，數(shù)據(jù)標(biāo)題: xxxxx!錯誤信息: list index out of range
說明是你的生成數(shù)據(jù)表沒按標(biāo)準(zhǔn)處理，標(biāo)準(zhǔn)的生成數(shù)據(jù)表如下格式：
每行一條數(shù)據(jù)，前面是標(biāo)題，### 號后是正文的起始句。
生成問題二：點擊生成后，就閃退
遇到這個問題，80%是因為你模型路徑有中文，一定要切記，模型路徑不能有中文，把中文改成拼音或者其他英文即可解決。
生成問題三：生成一段時間后，閃退
百分之八十也是因為顯存不足，當(dāng)你開了多個生成任務(wù)，每個生成任務(wù)會占用4~6G左右的顯存，顯存的占用也會隨著字?jǐn)?shù)的長短而變化。如果多個生成任務(wù)，開了一段時間后，就閃退了，基本就是顯存不足導(dǎo)致的。
減少生成任務(wù)窗口或者軟件的多開，就能解決。
建議是每一個生成任務(wù)單獨開一個軟件，避免使用軟件自帶的窗口1~5來生成，每單獨一個軟件生成，能更好的控制任務(wù)。
]]>
很多用戶已經(jīng)使用上了推理，但是想要模型生成出來的質(zhì)量更好，需要根據(jù)自己的應(yīng)用場景和模型質(zhì)量進(jìn)行調(diào)參。
下面我們來講解一下這些參數(shù)的說明：
seqiences：表示生成的序列個數(shù)。如果設(shè)置為大于1的值，模型會生成指定數(shù)量的不同序列。這對于希望得到多種可能輸出的場景是有用的。
penalty：這個參數(shù)用于控制生成文本中的重復(fù)性。值越大，生成的文本中的重復(fù)內(nèi)容就越少。調(diào)整此參數(shù)可以影響生成文本的多樣性和唯一性。
top_k：在生成過程中，模型會在每個時間步驟為每個可能的下一個詞賦予一個分?jǐn)?shù)。top_k用于限制在每個時間步驟中，模型只考慮分?jǐn)?shù)最高的k個詞。如果top_k設(shè)置的太小，可能會導(dǎo)致生成的文本過于單一；設(shè)置的太大，可能導(dǎo)致生成的文本缺乏連貫性。
top_p：這也是一種限制模型考慮的可能下一個詞的方法，不同的是，它是基于分?jǐn)?shù)的累積概率而不是個數(shù)。即在每個時間步驟中，模型會考慮到使得下一個詞的分?jǐn)?shù)的累積概率超過top_p的最小集合。這種方法又被稱為nucleus sampling。它可以增加生成文本的多樣性。
調(diào)整這些參數(shù)可以影響生成的質(zhì)量。例如，適當(dāng)增大penalty可以減少生成文本中的重復(fù)；合理設(shè)置top_k和top_p可以影響生成文本的多樣性和連貫性。但需要注意的是，沒有一組適合所有場景的最優(yōu)參數(shù)，需要根據(jù)具體任務(wù)和數(shù)據(jù)進(jìn)行嘗試和調(diào)整。
字?jǐn)?shù)限制：請注意，該參數(shù)為內(nèi)容的生成最高字?jǐn)?shù)，如果覺得模型生成的字?jǐn)?shù)低，請調(diào)整該參數(shù)，比如，字?jǐn)?shù)限制是800，那么模型生成的字?jǐn)?shù)絕對不會超過800字。
字?jǐn)?shù)限制還有個問題請注意，模型的生成字?jǐn)?shù)長度多少，取決于訓(xùn)練語料的字?jǐn)?shù)，如果您的訓(xùn)練語料字?jǐn)?shù)普遍只有三四百字，那么模型最終生成的字?jǐn)?shù)也是三四百字。標(biāo)準(zhǔn)模型則可以最高支持3倍以上的字?jǐn)?shù)生成。
最簡單的調(diào)整參數(shù)教學(xué)：
penalty：你就把它看成，控制生成內(nèi)容的重復(fù)性的，減少它，則會讓內(nèi)容有更多重復(fù)的語句，詞語出現(xiàn)。
top_k：這個參數(shù)是調(diào)整生成的內(nèi)容的隨機性的，調(diào)整大，則會出現(xiàn)隨機性越大，越能拓展你的學(xué)習(xí)語料。調(diào)小則會更貼近你的訓(xùn)練樣本。
top_p：這個參數(shù)也是調(diào)整生成內(nèi)容的隨機性，只不過它是控制概率采樣的，也就是生成推理時候，預(yù)測下一個組詞命中我們模型詞典數(shù)據(jù)。
減少top_k并增加top_p參數(shù)值，模型的輸出會變得更有確定性，更接近它在訓(xùn)練數(shù)據(jù)中看到學(xué)習(xí)的內(nèi)容。
軟件操作教程：
生成數(shù)據(jù)表格式要求：
如果你只有關(guān)鍵詞，可以使用下面的工具進(jìn)行數(shù)據(jù)表轉(zhuǎn)換
工具下載鏈接：
http://www.yunzou.com.cn/app/75359.html
推薦使用完成的標(biāo)題和起始句（文章的第一句話），這種方式去引導(dǎo)模型生成內(nèi)容，質(zhì)量會更好。
]]>請注意：軟件安裝時，一定不要安裝默認(rèn)路徑C盤，C盤系統(tǒng)有權(quán)限問題會導(dǎo)致軟件出現(xiàn)異常！
兩個模型的區(qū)別：
| 標(biāo)準(zhǔn)模型 | Small模型 | |
| 訓(xùn)練時長 | 訓(xùn)練5輪左右就可用（訓(xùn)練越多越好） | 訓(xùn)練30~50輪左右可用（訓(xùn)練越多越好） |
| 訓(xùn)練要求 | GPU顯存≥24GB | GPU顯存≥6GB |
| 訓(xùn)練速度 | 3090每秒2~4條數(shù)據(jù)訓(xùn)練 4090每秒5~8條數(shù)據(jù)訓(xùn)練 | 3090每秒10~15條數(shù)據(jù)訓(xùn)練 4090每秒20~25條數(shù)據(jù)訓(xùn)練 |
| 模型超長輸出能力 | 支持語料長度3倍生成輸出 （例如，原始語料1000字，模型能生成3000字） | 對訓(xùn)練語料原始字?jǐn)?shù)生成超長輸出不太好 （例如，原始語料1000字，模型僅能生成1000字） |
| 成品模型大小 | 成品模型大約在6Gb左右 | 成品模型大約在2Gb左右 |
| 知識訓(xùn)練能力 | 能承載百萬級以上語料訓(xùn)練 | 僅承載50萬級語料以下訓(xùn)練 |
對于模型的訓(xùn)練速度預(yù)測，可以使用官網(wǎng)在線計算器，根據(jù)你顯卡型號的CUDA數(shù)量進(jìn)行訓(xùn)練時間預(yù)估計算，在線計算器請點擊下方URL鏈接：
http://www.yunzou.com.cn/mdcalculator
一、軟件安裝工使用
軟件安裝使用，需要安裝CUDA驅(qū)動以及安裝CUDNN提供訓(xùn)練加速。具體請參照以下文章教程，點擊跳轉(zhuǎn)。請務(wù)必按照教程中步驟，進(jìn)行驅(qū)動安裝和CUDNN的安裝。
（請注意，CUDA驅(qū)動是CUDA驅(qū)動，顯卡驅(qū)動是顯卡驅(qū)動，請不要搞混淆。教程中最下面提供CUDA驅(qū)動和CUDNN安裝包。自行下載根據(jù)教程流程安裝。）
二、軟件注冊激活
1、用戶注冊
打開軟件后，首先點擊用戶注冊按鈕，跳轉(zhuǎn)注冊頁面，按照要求進(jìn)行資料填寫，邀請碼可不用填寫。注冊完成后，會自動跳轉(zhuǎn)“激活”頁面，輸入激活碼進(jìn)行激活即可使用。
2、軟件激活
在激活頁面中，需要輸入您注冊的用戶名和密碼以及激活卡號。點擊激活即可。
（請注意：無需填寫充值卡密碼）
獲得的激活碼，一共有三次綁定/兩次解綁換綁服務(wù)，超出后每次收取500元服務(wù)費（僅支持同一IP段換綁，非同IP段換綁則需新購）
三、數(shù)據(jù)處理
1、數(shù)據(jù)的準(zhǔn)備
閃豚速寫Pro訓(xùn)練語料數(shù)據(jù)要求如下：
每篇學(xué)習(xí)語料以TXT文件形式保存，文件名推薦使用內(nèi)容的標(biāo)題。
格式為：
TXT的第一行為內(nèi)容的標(biāo)題
TXT的第二行請保留空行（用作于區(qū)分識別作用）
TXT的第三行為內(nèi)容（內(nèi)容需要段落分明，盡量不要加載亂七八糟的符號、HTML標(biāo)簽等，少許英文也可以）
可以參考以下圖片樣例：
訓(xùn)練語料排版需要段落分明，這樣最終學(xué)習(xí)的模型也會參照語料排版進(jìn)行學(xué)習(xí)。
任何模型都很依賴于原始語料，如果您的數(shù)據(jù)有AI生成數(shù)據(jù)，那么可能最終的模型也會被檢測AI內(nèi)容，如果對內(nèi)容檢測有要求，請盡量使用22年以前的數(shù)據(jù)，避免GPT生成的數(shù)據(jù)進(jìn)行訓(xùn)練。
訓(xùn)練數(shù)據(jù)需要5萬篇以上，太少的話，模型能力會很弱。
關(guān)于語料數(shù)量的解釋：
1、數(shù)據(jù)越多，你的模型能力就越強，并不是數(shù)據(jù)越多，你的模型生成的內(nèi)容就越多。模型生成的數(shù)量是無限的，不管多少數(shù)據(jù)量訓(xùn)練的模型，同標(biāo)題生成不同數(shù)量的文章內(nèi)容，都不會重復(fù)，僅可能出現(xiàn)少數(shù)句子，段落重復(fù)。
2、訓(xùn)練語料的多少，決定模型的知識含量而已，增加它的詞匯量以及句子理解能力。比如：10萬的訓(xùn)練數(shù)據(jù)，都是小學(xué)生學(xué)習(xí)的詞語和句子等內(nèi)容；20萬的語料數(shù)據(jù)里，就有初中生的學(xué)習(xí)的內(nèi)容。不可能模型學(xué)習(xí)了10萬的數(shù)據(jù)，你讓他生成初中的內(nèi)容，模型是無法生成出來的。因為它都沒學(xué)習(xí)到知識，肯定是不無法生成您所需要的內(nèi)容。
簡單點講：數(shù)據(jù)量越多，模型對內(nèi)容的詞匯和知識就掌握的越多。
但推薦模型訓(xùn)練數(shù)據(jù)在5~50萬就可以，不必要上百萬。數(shù)據(jù)量太大，訓(xùn)練時間太長，成本太大，不建議這么操作。
2、工具的使用
訓(xùn)練語料準(zhǔn)備好了后，推薦以下工具進(jìn)行清洗處理：
免費工具：
收費工具：（根據(jù)個人需求選擇使用）
3、訓(xùn)練數(shù)據(jù)的處理
請參照下圖解釋說明，填寫好對應(yīng)的路徑，點擊開始處理即可。
四、模型訓(xùn)練
1、參數(shù)說明
顯卡設(shè)備序號：默認(rèn)為0，指的是您顯卡在您電腦中的設(shè)備序號，基本都是0，無需更改。您可以打開您的電腦任務(wù)管理器，在性能里面，有個GPU，GPU后面會有個序號：
訓(xùn)練數(shù)據(jù)路徑：選擇您上一步處理的學(xué)習(xí)語料的文件，也就是JSON文件。
訓(xùn)練次數(shù)：對你的數(shù)據(jù)訓(xùn)練多少次，訓(xùn)練步數(shù)=你的數(shù)據(jù)量。
訓(xùn)練總數(shù)=你的語料數(shù)據(jù)x訓(xùn)練次數(shù)。
例如：您的語料數(shù)據(jù)為10萬，那么你的訓(xùn)練步數(shù)就是10萬步。您設(shè)置訓(xùn)練5次，那就是100000x5=50萬步。
Batch_size：顯卡的批處理，24Gb顯存顯卡，如果使用標(biāo)準(zhǔn)模型，請保持參數(shù)為“1”，如果使用small模型，該參數(shù)可以調(diào)大，每增加1，占用顯存會大一倍。調(diào)整此處可以增加模型訓(xùn)練學(xué)習(xí)效率。
比如：您顯存為24Gb，如果使用標(biāo)準(zhǔn)模型，那么僅能設(shè)置“1”，如果您使用small模型，該參數(shù)可以設(shè)置“4”，因為small模型訓(xùn)練占用顯存為：“6Gb”左右。
save_steps：該參數(shù)為模型保存步數(shù)，也就是您訓(xùn)練多少步后保存一個模型，防止模型出錯。建議使用默認(rèn)每一萬步就保存一個模型。如果覺得保存太多，占用太多的硬盤空間，那么可以調(diào)整該參數(shù)，可以設(shè)置每5萬或者10萬或者更多保存一個模型。
學(xué)習(xí)效率：該參數(shù)請保持默認(rèn)
epsilon：該參數(shù)請保持默認(rèn)
logging_steps：該參數(shù)為訓(xùn)練日志的保存，訓(xùn)練日志能直觀的看到每條訓(xùn)練數(shù)據(jù)的學(xué)習(xí)成果，也就是loss值，一個模型loss值推薦在2以下，就可以很好使用。該參數(shù)建議請保持跟save_steps參數(shù)保持一致。
max_len：Token詞匯量的輸入，推薦使用900，參數(shù)設(shè)置900能更穩(wěn)定的訓(xùn)練標(biāo)準(zhǔn)模型。如果您使用的是Small小模型，可以使用1024參數(shù)。
sed：該參數(shù)請保持默認(rèn)
模型保存路徑：該參數(shù)請選擇訓(xùn)練好的模型保存位置，路徑也需要使用英文或者拼音，請避免使用中文路徑。
定制化模型：該參數(shù)請不要填寫，該參數(shù)為企業(yè)用戶私有化定制訓(xùn)練模型的路徑。
2、使用流程
根據(jù)要求，填寫好對應(yīng)的參數(shù)后，請點擊預(yù)載模型：
點擊后，則會從中央驗證服務(wù)器中下載加載模型權(quán)重：
完成后會有以上提醒，模型預(yù)載完成后，就可以點擊開始訓(xùn)練按鈕進(jìn)行模型訓(xùn)練。
請注意：每次關(guān)閉軟件后，需要使用模型訓(xùn)練功能，都需要重新點擊預(yù)載模型。
3、中斷訓(xùn)練說明
如果模型訓(xùn)練過程中出現(xiàn)意外導(dǎo)致訓(xùn)練中斷，需要接著訓(xùn)練的時候，要確保模型保存路徑下至少已保存2份步伐模型；
也就是以上圖片中的文件夾，請至少確保有2個文件夾以上，才能接著訓(xùn)練。
中斷訓(xùn)練會加載倒數(shù)第二個文件夾中 的模型權(quán)重進(jìn)行訓(xùn)練。
例如：您的總訓(xùn)練步伐是100萬，在您訓(xùn)練26萬步的時候，訓(xùn)練中斷了，您設(shè)置的參數(shù)是，每1萬步保存一個模型。那么您的路徑下應(yīng)該有：
checkpoint-260000
checkpoint-250000
checkpoint-240000
......
等等模型文件夾。需要繼續(xù)訓(xùn)練的時候，請保持您上一次的模型訓(xùn)練參數(shù)，然后點擊預(yù)載模型，模型預(yù)載完成后，點擊開始訓(xùn)練即可。
軟件算法會加載您路徑下所有的已存儲的模型文件夾，自動檢索模型權(quán)重，最終會從checkpoint-250000開始往后訓(xùn)練。
4、訓(xùn)練其他說明
1、訓(xùn)練完成后，不支持增量訓(xùn)練，僅支持增加訓(xùn)練次數(shù)，加深訓(xùn)練。（增量訓(xùn)練是指，您首次訓(xùn)練模型使用的是10萬語料，然后第二次訓(xùn)練，重新預(yù)處理了20萬語料，再訓(xùn)練。這樣的話就需要新訓(xùn)練，而不能繼續(xù)訓(xùn)練，否則導(dǎo)致模型損壞。）
2、訓(xùn)練開始前，可以打開軟件的根目錄，找到y(tǒng)ingpan.ini
打開它。您會看到如下：
該配置文件主要是給模型訓(xùn)練提供足夠的存儲空間保障。當(dāng)您的硬盤空間不足時，達(dá)到了軟件設(shè)置的磁盤空間閾值，軟件每次新保存訓(xùn)練模型，則自動刪除最老的模型文件，這樣循環(huán)下去，始終會為您的硬盤保留指定值的空間進(jìn)行存儲新的模型。
如果覺得你硬盤中保存過多的步伐模型保存文件，影響硬盤空間，可以手動刪除一些，或者調(diào)大保存步伐。手動刪除的話，要確保至少預(yù)留五個步伐模型，以防止意外。
3、訓(xùn)練過程中，您會看到界面中輸出如下值：
5、模型訓(xùn)練日志
1、首先界面中的：Iter（loss=x.xxx），這個數(shù)值僅代表該條訓(xùn)練數(shù)據(jù)對我們預(yù)訓(xùn)練模型的詞典進(jìn)行匹配學(xué)習(xí)的loss值。僅僅是該條數(shù)據(jù)的學(xué)習(xí)值。正確的每批次訓(xùn)練的loss值，在軟件的根目錄下，logs文件夾內(nèi)，train-2023-xx-xx-xx-xx.log，該文件內(nèi)進(jìn)行查看。該文件名為：train-年-月-日-時-分.log，也就是你開始訓(xùn)練的時間，每次訓(xùn)練，都會有一個開始訓(xùn)練的時間為命名的訓(xùn)練日志。在該日志內(nèi)查看訓(xùn)練的loss值。
打開日志文件后，日志的記錄內(nèi)容是上圖顯示；
Epoch代表的是第幾輪的訓(xùn)練，從0開始。
global_step：代表的是訓(xùn)練的步數(shù)，也就是界面中設(shè)置的。
最后看，train_loss值，loss值在2左右，就說明模型基本上學(xué)習(xí)到了你的數(shù)據(jù)內(nèi)容。Loss值越低，模型越好。
五、訓(xùn)練功能其他說明
待補充
六、生成教學(xué)
重要說明：載入模型路徑，模型文件存儲的路徑不要有中文！目錄路徑一定要英文或者拼音！
選擇模型路徑，是選擇你訓(xùn)練好的模型存放的路徑，默認(rèn)模型文件夾名稱是：checkpoint-XXXXX（XX代表數(shù)字），如：D:/STUNAI/checkpoint-100000
1、批量生成數(shù)據(jù)表格式要求：
自行創(chuàng)建生成數(shù)據(jù)，要求格式如上圖，新建一份TXT文檔，里面生成數(shù)據(jù)每行一條。
推薦使用官方語料生成數(shù)據(jù)表提取工具，生成效果會更好。
點擊下方卡片推薦內(nèi)容跳轉(zhuǎn)下載。
如果提取語料的數(shù)量比較大，導(dǎo)致數(shù)據(jù)表很大，建議使用數(shù)據(jù)表分割工具，進(jìn)行分割使用。
點擊下方卡片推薦，進(jìn)行跳轉(zhuǎn)下載。
提取完成后的數(shù)據(jù)表標(biāo)準(zhǔn)如下圖展示：
可以看到，標(biāo)準(zhǔn)數(shù)據(jù)表里面，前面是該條生成任務(wù)的標(biāo)題，###三個井號后面，就是起始句，也就是文章的第一句話。
2、為什么要標(biāo)題和起始句，直接使用關(guān)鍵詞載入生成不行？
對于這個問題，AI模型需要更好的提示，才能推理生成更準(zhǔn)確更符合要求的內(nèi)容。一個關(guān)鍵詞僅幾個中文字，模型是無法判斷你這個任務(wù)的最終需求，比如讓你自己寫一份材料，只有一個關(guān)鍵詞，相信你也無法下手寫作。AI模型也是一樣的道理，需要給它更多的提示和任務(wù)指令，它才能更好的輸出符合你要求的內(nèi)容。
AI訓(xùn)練的時候，語料也是有標(biāo)題和內(nèi)容的，AI模型學(xué)習(xí)訓(xùn)練，它需要先學(xué)習(xí)每篇文章的標(biāo)題，再學(xué)習(xí)內(nèi)容，也就能明白這個標(biāo)題的作用，所以推理生成的時候，也是一樣，需要給它標(biāo)題和第一句話，引導(dǎo)AI推理更準(zhǔn)確的內(nèi)容。
如果只有關(guān)鍵詞，沒有標(biāo)題和起始句怎么辦？可以購買根據(jù)關(guān)鍵詞抓取相關(guān)標(biāo)題和起始句的收費插件。
上面推薦的卡片鏈接，插件就能實現(xiàn)根據(jù)關(guān)鍵詞，去爬取相關(guān)的標(biāo)題和起始句。然后會生成標(biāo)準(zhǔn)的生成數(shù)據(jù)表。
還是更加推薦直接提取語料的標(biāo)題和起始句，用作生成任務(wù)。不用擔(dān)心，即使同一標(biāo)題和起始句，最終生成的數(shù)據(jù)內(nèi)容，也不會重復(fù)一致。
3、提取完數(shù)據(jù)表后，就可以使用各種批量生成功能
開始生成的時候，建議使用單篇生成，進(jìn)行模型生成參數(shù)調(diào)整修改，根據(jù)你的模型任務(wù)，找到一個最適合的參數(shù)，因為軟件自帶的參數(shù)，屬于通用參數(shù)，中規(guī)中矩，用戶仔細(xì)訓(xùn)練的不同任務(wù)的行業(yè)模型，都需要調(diào)整生成參數(shù)，這樣才能達(dá)到生成效果更好的狀態(tài)，參數(shù)調(diào)整教程請點擊下方卡片推薦：
調(diào)整到了適合的參數(shù)后，就去批量生成或者雙標(biāo)題、圖文生成中修改你調(diào)整的參數(shù)，最后就可以進(jìn)行內(nèi)容的生產(chǎn)。
4、使用雙標(biāo)題為什么推理會很慢？
因為雙標(biāo)題功能，我們采用的策略是去獲取百度下拉結(jié)果，需要與百度進(jìn)行通信，所以就會導(dǎo)致有個時間損耗，會比普通生成慢。如果自己有雙標(biāo)題工具，完全可以使用自己的工具，把數(shù)據(jù)表的標(biāo)題，先單獨弄成雙標(biāo)題，然后再開啟普通的批量生成就行。生成的內(nèi)容也是聚合生成。
5、圖文功能是怎么樣的？
軟件中，圖文生成功能，并不是根據(jù)生成內(nèi)容，生成出圖片，而是生成內(nèi)容的同時，軟件算法會根據(jù)你需要給內(nèi)容加入多少張配圖，會對內(nèi)容進(jìn)行分析，再根據(jù)標(biāo)題，段落內(nèi)容，去百度圖庫調(diào)取相關(guān)圖片的URL，最終保存為TXT。（請注意，調(diào)用百度圖片會有侵權(quán)風(fēng)險，請自行甄別使用）
圖文生成功能如上圖展示，TXT的內(nèi)容里，穿插<img>URL的標(biāo)簽
6、軟件支持標(biāo)題聚合生成
什么是聚合生成？
當(dāng)你的標(biāo)題格式如下：
斑鳩吃什么（斑鳩飼養(yǎng)）###斑鳩吃什么？野外生活的斑鳩一般都是在地面找食,
標(biāo)題中，斑鳩吃什么（斑鳩飼養(yǎng)）這樣的，軟件算法則會生成兩篇內(nèi)容，聚合成一篇內(nèi)容：
聚合生成支持多種標(biāo)題格式，如：
標(biāo)題A（標(biāo)題B）###起始句
標(biāo)題A(標(biāo)題B)###起始句
標(biāo)題A！標(biāo)題B###起始句
標(biāo)題A？標(biāo)題B###起始句
以上的標(biāo)題格式，都會進(jìn)行聚合生成。優(yōu)先級如下：
（）＞()＞?。?？
中文括號（全角括號）＞英文括號(半角括號)＞感嘆號＞問號
請注意：如果在括號內(nèi)的副標(biāo)題，小于三個中文漢字時候，是不生效的，副標(biāo)題需要大于三個中文漢字。
所以，在生成數(shù)據(jù)表中，如果標(biāo)題含有以上數(shù)據(jù)格式，都會進(jìn)行聚合生成，這樣就極大避免文章有多標(biāo)題，但是沒有副標(biāo)題的內(nèi)容，導(dǎo)致內(nèi)容關(guān)聯(lián)性不強的問題。
七、其他教學(xué)
使用過程中遇到其他問題，先進(jìn)入教程專區(qū)看有沒有教程解決，無教程再聯(lián)系技術(shù)售后。
教程專區(qū)：http://www.yunzou.com.cn/aidownload/aixuexi
其他問題待補充
]]>關(guān)于本次更新Pro1.9.1，優(yōu)化調(diào)整了Max len參數(shù)說明。請使用者按以下解釋指導(dǎo)進(jìn)行訓(xùn)練操作。
本次調(diào)整Max len參數(shù)，在安裝包1.9.1會自動調(diào)整900。（原參數(shù)為1024）
如已安裝其他版本的包，本次使用在線更新，該參數(shù)無法覆蓋，需手動修改為“900”參數(shù)值，如下圖展示：
原因如下：
原本參數(shù)為1024，指的是1024的Token詞匯長度進(jìn)行輸入。在某些情況下，當(dāng)顯存為24Gb時（24576MiB），正常訓(xùn)練使用，會占用到“24000MiB”的顯存，可能僅剩下：“576MiB”，也就是剩下很少很少，只要有其他應(yīng)用占用一下GPU的顯存，可能就導(dǎo)致訓(xùn)練過程中出現(xiàn)“OMM”情況，也就是：“顯存爆了，顯存不夠用”，就導(dǎo)致訓(xùn)練出錯。
關(guān)于Token的詞匯，您可以簡單理解為中文長度就行。因為訓(xùn)練模型，在我們中央驗證中心服務(wù)器中，存儲了預(yù)訓(xùn)練模型的詞匯表，也就是您訓(xùn)練的時候，對數(shù)據(jù)預(yù)處理后，可訓(xùn)練文件Json中的所有文字，在訓(xùn)練開始時，會對模型詞匯表進(jìn)行匹配，如正確匹配則進(jìn)行分詞訓(xùn)練，這個步驟是個復(fù)雜的NLP知識理論，您不需要了解很深，如對此感興趣，可自行查閱通用模型訓(xùn)練相關(guān)的學(xué)習(xí)資料。
本次優(yōu)化了訓(xùn)練架構(gòu)，推薦所有用戶，將該參數(shù)調(diào)整為：900，進(jìn)行訓(xùn)練，這樣能更大的留存1~2Gb的顯存進(jìn)行緩沖。
請注意：原參數(shù)為1024，現(xiàn)調(diào)整900，對模型的影響很小很小。不比太過于擔(dān)心模型的質(zhì)量會受到影響。反而調(diào)整了該參數(shù)，能更穩(wěn)定的提升模型訓(xùn)練過程。此步驟是極其值得推薦操作的。
二、模型的選擇使用
推薦24Gb顯卡的用戶們，也可以嘗試使用Small模型，Small模型并不比標(biāo)準(zhǔn)模型差很多。使用Small模型，訓(xùn)練會更快。
Small模型與標(biāo)準(zhǔn)模型的能力差距如下：
標(biāo)準(zhǔn)模型：訓(xùn)練次數(shù)少，能達(dá)到不錯的效果
| 標(biāo)準(zhǔn)模型 | Small模型 | |
| 訓(xùn)練時長 | 推薦訓(xùn)練5輪左右就可用 | 推薦訓(xùn)練30~50輪左右 |
| 訓(xùn)練速度 | 3090每秒2~4條數(shù)據(jù)訓(xùn)練 4090每秒5~8條數(shù)據(jù)訓(xùn)練 | 3090每秒10~15條數(shù)據(jù)訓(xùn)練 4090每秒20~25條數(shù)據(jù)訓(xùn)練 |
| 模型能力 | 支持語料長度3倍生成輸出 | 對超越語料原始字?jǐn)?shù)生成輸出不太好 |
| 模型大小 | 成品模型大約在6Gb左右 | 成品模型大約在2Gb左右 |
| 知識能力 | 能承載百萬級以上語料訓(xùn)練 | 僅承載50萬級語料以下訓(xùn)練 |
推薦用戶們可以嘗試使用Small模型進(jìn)行體驗使用。
]]>當(dāng)模型訓(xùn)練過程中，遇到意外中斷或者主動中斷訓(xùn)練，當(dāng)不改變訓(xùn)練參數(shù)（epoch參數(shù)值除外），需要加載上一次中斷前保存的完整的模型，就可以繼續(xù)接著該模型再次訓(xùn)練。
例如1：
當(dāng)我模型設(shè)置Epoch值為10輪，我訓(xùn)練到5輪的時候，checkpoint-500000，這里中斷了，測試checkpoint-500000該模型能力，發(fā)現(xiàn)并未達(dá)到訓(xùn)練需求，還想接著訓(xùn)練，那么就要確保checkpoint-500000模型完整。直接開啟新的訓(xùn)練即可，此時，epoch能增大而不能減少。意思就是：原始設(shè)置的Epoch為10，想加深訓(xùn)練，可以設(shè)置為20，而不能減少為9。
例如2：
當(dāng)模型設(shè)置Epoch為10輪，10輪訓(xùn)練結(jié)束，最后的模型為：checkpoint-1000000，測試該模型并未達(dá)到理想效果，還想接著訓(xùn)練，那么，就需要把epoch設(shè)置為20或者更多（這個數(shù)值自定義），設(shè)置好了后，就可以繼續(xù)讀取checkpoint-1000000模型參數(shù)繼續(xù)訓(xùn)練，那么下一輪就會保存：checkpoint-1100000。
也就是說，新的模型算法，加載為最新的保存模型，而不是讀取完整三輪模型。想要接著訓(xùn)練，僅需要保存最新的模型即可，但是請不要更改訓(xùn)練學(xué)習(xí)率或者訓(xùn)練的JSON。JSON不能新增也不能減少。否則無法繼續(xù)訓(xùn)練。
值得注意的是：1.8.3版本之前的模型，如果接著訓(xùn)練，loss值會重新計算更迭，但是訓(xùn)練的學(xué)習(xí)內(nèi)容，模型都是完整接上，不必?fù)?dān)心模型沒有接上訓(xùn)練。
1.8.3版本之后，如果模型中斷，繼續(xù)訓(xùn)練，loss值會接上（該算法為測試版，可能會對loss值有遺漏）
]]>
首先打開我們的生成窗口。
可以看到上方有窗口一到窗口五。
使用方法：
當(dāng)你窗口一填寫好生成參數(shù)后，需要點擊保存設(shè)置，然后開啟推理。
（當(dāng)開始生成了，再點擊窗口二，填寫好參數(shù)，再點擊保存設(shè)置，這樣才是運行多線程。）
請注意：開啟多線程生成。需要關(guān)注你的GPU占用性能，GPU顯存占用隨著你生成字?jǐn)?shù)長度而增長改變。
]]>
2023年9月26日，新增模型成本計算器工具，本文底部有下載鏈接。
模型訓(xùn)練成本計算其實并不難，我們閃豚速寫訓(xùn)練的時候，現(xiàn)在能直接計算大概一輪訓(xùn)練時長，僅需要計算，設(shè)備損耗，電費，數(shù)據(jù)費用就能得到一個模型的成本了。
下面教大家如何去計算成本：
模型成本公式：
顯卡發(fā)行價格 x 0.0005x訓(xùn)練時長
語料費用：
范圍語料：每篇0.02元x20%
半精語料：每篇0.04元x20%
全精語料：每篇0.1元x20%
（這里的20%指的是你語料的成本，因為數(shù)據(jù)是最貴的。）
加上電腦其他硬件損耗
加上電費
公式：顯卡損耗+語料數(shù)據(jù)+其他硬件損耗+模型訓(xùn)練電費=成本費用
就是最終的模型成本費用。
所以建議大家如果訓(xùn)練的模型需要上傳交易，可以參考以上成本計算，其次，語料數(shù)據(jù)單獨交易，也可以參考以上語料單篇價格。
可以下載使用最新發(fā)布的模型訓(xùn)練成本計算器
]]>訓(xùn)練其實跟V3一樣的。沒什么難度。
語料格式：
語料格式跟V3要求一樣：
每個語料一個TXT文本。
第一行為標(biāo)題
第二行留空
第三行就是正文內(nèi)容。（正文內(nèi)容需要段落分明，不要有夾雜廣告等亂七八糟的）
以下就是訓(xùn)練教程：
首先你要準(zhǔn)備好你的訓(xùn)練語料，數(shù)據(jù)在10萬左右，肯定是越多越好。現(xiàn)在5萬的數(shù)據(jù)量也能訓(xùn)練，但是需要訓(xùn)練稍微步伐多點就行。
首先打開我們的閃豚速寫Pro
進(jìn)入數(shù)據(jù)處理功能
選擇好你的原始數(shù)據(jù)路徑，選擇好保存路徑，就可以點擊開始處理了。就會生成到你保存路徑下有個train_data.json
打開后，數(shù)據(jù)就是這樣的
處理完了，就可以進(jìn)入模型訓(xùn)練的功能了。
選擇好你的訓(xùn)練數(shù)據(jù)，就是你剛剛處理的JSON這個文件。
顯卡設(shè)備基本上都是0（基本不用更改）
訓(xùn)練次數(shù)：默認(rèn)也可以，你調(diào)多點也可以，當(dāng)是數(shù)據(jù)少的時候，就要調(diào)多些，什么10輪，20輪。
Batch_size：這個默認(rèn)1就行。如果你是A100啥的，你這個就調(diào)高，1=23Gb的顯存。
save_steps：這個默認(rèn)就可以，但是如果你的數(shù)據(jù)就幾萬，你可以調(diào)小點，比如：1000，默認(rèn)是100000，意思就是，每訓(xùn)練10000步，就會先保存一個階段性的模型。（如果你不想每10000步就保存一個模型，怕占用硬盤空間大，那就把這個值設(shè)置大一些，步伐模型保存是根據(jù)這個值保存的，設(shè)置10萬步，則就跑完10條訓(xùn)練數(shù)據(jù)才保存一個步伐模型）
其他的參數(shù)都默認(rèn)就可以
選擇好你的模型保存路徑就行。
定制化模型：這個基本上不用選，這個是給大客戶定制的一些私有化預(yù)訓(xùn)練模型用的。
最后，點擊：預(yù)載模型（加載預(yù)訓(xùn)練模型）
不預(yù)載模型的話，是訓(xùn)練不了的，開始訓(xùn)練的時候都需要根據(jù)自己的顯存預(yù)載對應(yīng)的模型（24Gb顯存就預(yù)載標(biāo)準(zhǔn)模型，低于24Gb顯存的顯卡就預(yù)載Small模型），預(yù)載模型需要從我們驗證服務(wù)器上下載，時間需要長一些，耐心等待加載完成就行。后面就預(yù)載后就很快。
預(yù)載完成后就可以點擊訓(xùn)練。
]]>目前不支持50系NVIDIA GPU，請不要采購50系GPU來跑AI訓(xùn)練，Torch框架不兼容最新的CUDA12.8
首次安裝閃豚速寫軟件時候，需先安裝CUDA驅(qū)動。（本文最下方有下載地址?。?/strong>
cuda_11.8
cudnn-windows-8.8.1.3
NVIDIA驅(qū)動（顯卡驅(qū)動）請使用56x.xxx系列，不要使用最新的驅(qū)動，可能導(dǎo)致不兼容情況！
下面是安裝教程：
首先下載這兩個東西，（本文下方有下載鏈接，或自行去NVIDIA官網(wǎng)下載CUDA驅(qū)動和CUDNN加速器）
先運行cuda_11.8.0_522.06_windows.exe
這里可以直接默認(rèn)，點擊OK
它就會自動解壓這個安裝包的東西。
全程下一步，下一步就可以。
自動解壓后，這就是安裝界面。點擊同意并繼續(xù)就行。
全部下一步。
安裝好了后，首先回到桌面，右鍵點擊電腦屬性，
找到：高級系統(tǒng)設(shè)置
點擊高級，點擊環(huán)境變量
然后在你的系統(tǒng)變量里面，看有沒有CUDA的變量
如果有，就可以，不需要跟我一樣。你們安裝的是11_8。如果有就可以了。
然后這個解壓出來
把解壓出來的文件夾內(nèi)這里面所有的東西都復(fù)制一下。
復(fù)制到這個路徑下：
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8
覆蓋粘貼就行。這樣你的CUDNN也安裝好了。
然后就是正題了，安裝我們的閃豚軟件
先下載好我們的安裝包，雙擊運行它就行。
可以點擊那個箭頭，就可以自己更換安裝目錄（一定不要安裝在默認(rèn)路徑C盤，自行更換路徑）
默認(rèn)是安裝到：C:\Program Files (x86)\ShanTunAI\
建議系統(tǒng)安裝到500G的空余硬盤上?；蛘邔ｉT拿塊硬盤留給閃豚AI軟件使用。因為涉及模型訓(xùn)練等，會很占用磁盤空間。
安裝前，請先看《軟件許可及服務(wù)協(xié)議》，如不同意，則請不要使用，如安裝使用，就默認(rèn)同意我們的許可和協(xié)議！
選擇好路徑后，就點擊一鍵安裝就可以了。
就會自動安裝。
安裝完，就可以點擊開始使用了。
安裝完成，就可以打開軟件，注冊軟件賬戶和激活，官網(wǎng)賬戶與軟件賬戶不互通，需要單獨注冊軟件賬戶。
]]>
]]>| 系統(tǒng) | 版本 | 發(fā)布時間 | 文件大小 | 下載地址 |
| Win10 21H2 | Business Editions | 2022-03-15 | 5.4GB | BT迅雷下載 |
magnet:?xt=urn:btih:c670eba3068e8de922fdc46099be6def088585aa&dn=zh-cn_windows_10_business_editions_version_21h2_updated_march_2022_x64_dvd_63c593c1.iso&xl=5793814528激活密鑰
專業(yè)版、家庭版：VTNMT-2FMYP-QCY43-QR9VK-WTVCK
專業(yè)版 安裝密鑰：VK7JG-NPHTM-C97JM-9MPGT-3V66T
專業(yè)版 激活密鑰：W269N-WFGWX-YVC9B-4J6C9-T83GX
這些密鑰收集自網(wǎng)絡(luò)，或許不能用，請自行淘寶、百度或購買正版！??！
激活方法
以專業(yè)版為例，在開始按鈕處右鍵 – PowerShell（管理員），依次粘貼下列三行內(nèi)容，并回車：
slmgr /ipk W269N-WFGWX-YVC9B-4J6C9-T83GX
slmgr /skms zh.us.to
slmgr /ato注意事項
鏡像文件可以用來升級你目前的系統(tǒng)或重裝系統(tǒng)！雖然安裝時可以選擇保留你C盤的個人文件，但微軟也有出錯的時候，為了保險，請盡量備份個人文件；為了防止安裝過程中發(fā)生停電、地震等不可抗因素，導(dǎo)致無法進(jìn)入系統(tǒng)，新手在安裝前必須安裝PE系統(tǒng)?。。?/p>
如果你是正版系統(tǒng)，請在安裝系統(tǒng)前備份你的密鑰。
本站僅提供官方鏡像下載，不提供盜版，安裝過程如造成數(shù)據(jù)丟失或其它因素，均和本站無關(guān)，一切責(zé)任自負(fù)！
安裝演示
將鏡像文件下載到非C盤，下載完成后，右鍵 – 打開方式 – 選擇你電腦上的解壓軟件
（如果你沒安裝解壓縮軟件，請下載WinRAR）
將里面的文件全選，解壓到非C盤且非文件夾內(nèi)，比如：D:\
解壓后，找到解壓出來的 setup.exe，運行：
運行后根據(jù)里面的文字提示操作：
遇到一切服務(wù)條款均接受或同意：
會提示是否保留你C盤內(nèi)的個人文件，請根據(jù)個人需求選擇：
選擇后即可開始安裝：
（由于我個人文件全在D盤，所以一般重裝系統(tǒng)我都選擇的刪除所有C盤文件）
進(jìn)入安裝界面，期間會自動重啟：
重啟后進(jìn)入安裝：
安裝完成后進(jìn)入?yún)^(qū)域設(shè)置界面，默認(rèn)：
鍵盤默認(rèn)選微軟拼音：
提示是否需要第二種鍵盤布局，選擇跳過：
選擇針對個人使用：
下面這個比較重要，很多人沒有微軟的賬戶，我們就選擇脫機賬戶：
微軟會不死心的再次提示你是否轉(zhuǎn)而用微軟賬戶，這提示太雞肋了，我們選擇否：
輸入你的用戶名：
輸入一個簡單點兒的密碼：
后面的默認(rèn)都選是或接受：
設(shè)置后稍等數(shù)分鐘會自動進(jìn)入系統(tǒng)：
