注意:不管是訓(xùn)練還是生成,不要把模型放到中文文件夾路徑內(nèi),路徑需要用英文!建議不管是什么數(shù)據(jù),路徑都選擇英文或者拼音,不要用中文!
訓(xùn)練其實(shí)跟V3一樣的。沒(méi)什么難度。
語(yǔ)料格式:

語(yǔ)料格式跟V3要求一樣:
每個(gè)語(yǔ)料一個(gè)TXT文本。
第一行為標(biāo)題
第二行留空
第三行就是正文內(nèi)容。(正文內(nèi)容需要段落分明,不要有夾雜廣告等亂七八糟的)
以下就是訓(xùn)練教程:
首先你要準(zhǔn)備好你的訓(xùn)練語(yǔ)料,數(shù)據(jù)在10萬(wàn)左右,肯定是越多越好?,F(xiàn)在5萬(wàn)的數(shù)據(jù)量也能訓(xùn)練,但是需要訓(xùn)練稍微步伐多點(diǎn)就行。
首先打開(kāi)我們的閃豚速寫(xiě)Pro

進(jìn)入數(shù)據(jù)處理功能
選擇好你的原始數(shù)據(jù)路徑,選擇好保存路徑,就可以點(diǎn)擊開(kāi)始處理了。就會(huì)生成到你保存路徑下有個(gè)train_data.json

打開(kāi)后,數(shù)據(jù)就是這樣的

處理完了,就可以進(jìn)入模型訓(xùn)練的功能了。

選擇好你的訓(xùn)練數(shù)據(jù),就是你剛剛處理的JSON這個(gè)文件。
顯卡設(shè)備基本上都是0(基本不用更改)
訓(xùn)練次數(shù):默認(rèn)也可以,你調(diào)多點(diǎn)也可以,當(dāng)是數(shù)據(jù)少的時(shí)候,就要調(diào)多些,什么10輪,20輪。
Batch_size:這個(gè)默認(rèn)1就行。如果你是A100啥的,你這個(gè)就調(diào)高,1=23Gb的顯存。
save_steps:這個(gè)默認(rèn)就可以,但是如果你的數(shù)據(jù)就幾萬(wàn),你可以調(diào)小點(diǎn),比如:1000,默認(rèn)是100000,意思就是,每訓(xùn)練10000步,就會(huì)先保存一個(gè)階段性的模型。(如果你不想每10000步就保存一個(gè)模型,怕占用硬盤(pán)空間大,那就把這個(gè)值設(shè)置大一些,步伐模型保存是根據(jù)這個(gè)值保存的,設(shè)置10萬(wàn)步,則就跑完10條訓(xùn)練數(shù)據(jù)才保存一個(gè)步伐模型)
其他的參數(shù)都默認(rèn)就可以
選擇好你的模型保存路徑就行。
定制化模型:這個(gè)基本上不用選,這個(gè)是給大客戶定制的一些私有化預(yù)訓(xùn)練模型用的。
最后,點(diǎn)擊:預(yù)載模型(加載預(yù)訓(xùn)練模型)
不預(yù)載模型的話,是訓(xùn)練不了的,開(kāi)始訓(xùn)練的時(shí)候都需要根據(jù)自己的顯存預(yù)載對(duì)應(yīng)的模型(24Gb顯存就預(yù)載標(biāo)準(zhǔn)模型,低于24Gb顯存的顯卡就預(yù)載Small模型),預(yù)載模型需要從我們驗(yàn)證服務(wù)器上下載,時(shí)間需要長(zhǎng)一些,耐心等待加載完成就行。后面就預(yù)載后就很快。
預(yù)載完成后就可以點(diǎn)擊訓(xùn)練。
挺好的