性欧美另类黑人巨大hd,天堂网www中文在线

學(xué) AI，來極客時(shí)間！

了解連報(bào)優(yōu)惠

利用大模型構(gòu)建應(yīng)用過程中無法避免的問題

提升 LLM 應(yīng)用性能的關(guān)鍵 — 微調(diào)

主流大模型微調(diào)技術(shù)方法全覆蓋

掌握大模型微調(diào)利器

多角度實(shí)戰(zhàn)，全面掌握微調(diào)核心技能

全量微調(diào)：實(shí)戰(zhàn)訓(xùn)練 BERT 模型

模型量化：實(shí)戰(zhàn) GPTQ 和 AWQ 模型量化（基于 OPT）

實(shí)戰(zhàn) LORA 微調(diào) Whisper-Large-v2 中文語音識別

實(shí)戰(zhàn) QLoRA 微調(diào) ChatGLM3-6B

實(shí)戰(zhàn)私有數(shù)據(jù)微調(diào) ChatGLM3

實(shí)戰(zhàn) LLaMA2-7B 指令微調(diào)

分布式訓(xùn)練：實(shí)戰(zhàn) DeepSpeed ZeRO-2 和 ZeRO-3 訓(xùn)練

課程大綱

預(yù)熱篇
第一章

第二章

第一章：AI 大模型四階技術(shù)總覽

深度解讀 AI 發(fā)展四輪浪潮

技術(shù)浪潮：弱人工智能、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、大語言模型

應(yīng)用浪潮：高校共識、硅谷創(chuàng)新、中美博弈

把握浪潮：AI 大模型助力超級個(gè)體和小團(tuán)隊(duì)

AI 大模型四階技術(shù)總覽

提示工程（Prompt Engineering）

AI 智能體（Agents）

大模型微調(diào)（Fine-tuning）

預(yù)訓(xùn)練技術(shù)（Pre-training）

第二章：大語言模型技術(shù)發(fā)展與演進(jìn)

統(tǒng)計(jì)語言模型

神經(jīng)網(wǎng)絡(luò)語言模型

基于 Transformer 的大語言模型

注意力機(jī)制

Transformer 網(wǎng)絡(luò)架構(gòu)

預(yù)訓(xùn)練 Transformer 模型： GPT-1 與 BERT

暴力美學(xué) GPT 系列模型

大模型訓(xùn)練理論+實(shí)戰(zhàn)篇
第三章

第四章

第五章

第六章

第七章

第八章

第九章

第十章

第十一章

第十二章

第十三章

第十四章

第十五章

第十六章

第三章：大模型開發(fā)工具庫 Hugging Face Transformers

Hugging Face Transformers 快速入門

Transformers 庫是什么？

Transformers 核心功能模塊

使用 Pipelines 快速實(shí)踐大模型 使用 Tokenizer 編解碼文本 使用 Models 加載和保存模型

大模型開發(fā)環(huán)境搭建

搭建你的 GPU 開發(fā)環(huán)境

Google Colab 測試環(huán)境

實(shí)戰(zhàn) Hugging Face Transformers 工具庫

第四章：實(shí)戰(zhàn) Transformers 模型訓(xùn)練

數(shù)據(jù)集處理庫 Hugging Face Datasets

Hugging Face Datasets 庫簡介

數(shù)據(jù)預(yù)處理策略：填充與截?cái)?/a>

使用 Datasets.map 方法處理數(shù)據(jù)集

Transformers 模型訓(xùn)練入門

模型訓(xùn)練基類 Trainer

訓(xùn)練參數(shù)與超參數(shù)配置 TrainingArguments

模型訓(xùn)練評估庫 Hugging Face Evaluate

實(shí)戰(zhàn)使用 Transformers 訓(xùn)練 BERT 模型

bert-base-cased 模型（文本分類任務(wù)）

distilbert-base-uncased 模型（QA 任務(wù)）

第五章：大模型高效微調(diào)技術(shù)揭秘（上）

Before PEFT：Hard Prompt / Full Fine-tune

PEFT 主流技術(shù)分類介紹

PEFT – Soft Prompt 技術(shù)（Task-specific Tuning）

Prefix Tuning （2021 Stanford）

Prompt Tuning （2021 Google）

PEFT – Soft Prompt 技術(shù)（Prompt Encoder）

P-Tuning v1 （2021 Tsinghua, MIT）

P-Tuning v2 （2022 Tsinghua, BAAI, Shanghai Qi Zhi Institute）

第六章：大模型高效微調(diào)技術(shù)揭秘（下）

PEFT 基于重參數(shù)化（Reparametrization-based）訓(xùn)練方法

LoRA 低秩適配微調(diào) （2021 Microsoft）

AdaLoRA 自適應(yīng)權(quán)重矩陣微調(diào) （2023 Microsoft, Princeton, Georgia Tech）

QLoRA 量化低秩適配微調(diào) （2023 University of Washington）

UniPELT：大模型 PEFT 統(tǒng)一框架（2022）

(IA)³：極簡主義增量訓(xùn)練方法（2022）

第七章：大模型高效微調(diào)工具 Hugging Face PEFT 入門與實(shí)戰(zhàn)

Hugging Face PEFT 快速入門

PEFT 庫是什么？

PEFT 與 Transformers 庫集成

PEFT 核心類定義與功能說明

AutoPeftModels、PeftModel PeftConfig PeftType | TaskType

實(shí)戰(zhàn) PEFT 庫 LoRA 模型微調(diào)

OpenAI Whisper 模型介紹

實(shí)戰(zhàn) LoRA 微調(diào) Whisper-Large-v2 中文語音識別

第八章：大模型量化技術(shù)入門與實(shí)戰(zhàn)

模型顯存占用與量化技術(shù)簡介

Transformers 原生支持的大模型量化算法

GPTQ：專為 GPT 設(shè)計(jì)的模型量化算法

AWQ：激活感知權(quán)重量化算法

BitsAndBytes（BnB）：模型量化軟件包

實(shí)戰(zhàn) Facebook OPT 模型量化

第九章：GLM 大模型家族與 ChatGLM3-6B 微調(diào)入門

智譜 GLM 大模型家族

基座模型 GLM-130B

擴(kuò)展模型

聯(lián)網(wǎng)檢索能力 WebGLM 初探多模態(tài) VisualGLM-6B 多模態(tài)預(yù)訓(xùn)練模型 CogVLM 代碼生成模型 CodeGeex2

ChatGLM3-6B 微調(diào)入門

實(shí)戰(zhàn) QLoRA 微調(diào) ChatGLM3-6B

第十章：實(shí)戰(zhàn)私有數(shù)據(jù)微調(diào) ChatGLM3

實(shí)戰(zhàn)構(gòu)造私有的微調(diào)數(shù)據(jù)集

使用 ChatGPT 自動設(shè)計(jì)生成訓(xùn)練數(shù)據(jù)的 Prompt

合成數(shù)據(jù)： LangChain + GPT-3.5 Turbo

數(shù)據(jù)增強(qiáng)：提升訓(xùn)練數(shù)據(jù)多樣性

提示工程：保持批量生成數(shù)據(jù)穩(wěn)定性

實(shí)戰(zhàn)私有數(shù)據(jù)微調(diào) ChatGLM3

使用 QLoRA 小樣本微調(diào) ChatGLM3

ChatGLM3 微調(diào)前后效果對比

大模型訓(xùn)練過程分析與數(shù)據(jù)優(yōu)化

第十一章：ChatGPT 大模型訓(xùn)練技術(shù) RLHF

ChatGPT 大模型訓(xùn)練核心技術(shù)

階段一：萬億級 Token 預(yù)訓(xùn)練語言模型

階段二：有監(jiān)督指令微調(diào)（SFT）語言模型

階段三：使用 RLHF 實(shí)現(xiàn)人類價(jià)值觀對齊（Alignment）

基于人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）技術(shù)詳解

步驟一：使用 SFT 微調(diào)預(yù)訓(xùn)練語言模型

步驟二：訓(xùn)練獎勵模型（Reward Model）

步驟三：使用 PPO 優(yōu)化微調(diào)語言模型

基于 AI 反饋的強(qiáng)化學(xué)習(xí)（RLAIF）技術(shù)

第十二章：混合專家模型（MoEs）技術(shù)揭秘

混合專家模型（Mixture-of-Experts, MoEs）技術(shù)發(fā)展簡史

開山鼻祖：自適應(yīng)局部專家混合（ Michael I. Jordan & Hinton, 1991）

多層次混合：深度MoEs中的表示學(xué)習(xí)（ Ilya, 2013）

稀疏門控：支持超大網(wǎng)絡(luò)的MoEs（Hinton & Jeff Dean, 2017）

MoEs 與大模型結(jié)合后的技術(shù)發(fā)展

GShard：基于 MoE 探索巨型 Transformer 網(wǎng)絡(luò)（Google, 2020）

GLaM：使用 MoE 擴(kuò)展語言模型性能（Google, 2021）

Switch Transformer：使用稀疏技術(shù)實(shí)現(xiàn)萬億模型（Google, 2022）

MoEs 實(shí)例研究：Mixtral-8x7B-v0.1（Mistral AI, 2023）

第十三章：Meta AI 大模型 LLaMA

Meta LLaMA 1 大模型技術(shù)解讀

基座模型系列：LLaMA1-7B（13B, 33B, 65B）

LLaMA 1 改進(jìn)網(wǎng)絡(luò)架構(gòu)和預(yù)訓(xùn)練方法

LLaMA 1 衍生模型大家族

Meta LLaMA 2 大模型技術(shù)解讀

基座模型系列： LLaMA2-7B（13B, 70B）

指令微調(diào)模型：LLaMA2-Chat

申請和獲取 LLaMA 2 模型預(yù)訓(xùn)練權(quán)重

第十四章：實(shí)戰(zhàn) LLaMA2-7B 指令微調(diào)

大模型訓(xùn)練技術(shù)總結(jié)

以模型訓(xùn)練階段分類：Pre-Training vs Fine-Tuning

以微調(diào)權(quán)重比例分類：FFT vs PEFT

以模型訓(xùn)練方法分類：Fine-Tuning vs Instruction-Tuning

以模型訓(xùn)練機(jī)制分類：SFT vs RLHF

實(shí)戰(zhàn) LLaMA2-7B 指令微調(diào)

指令微調(diào)格式：Alpaca Format

數(shù)據(jù)集：Databricks Dolly-15K

訓(xùn)練工具：HuggingFace TRL

上手訓(xùn)練 LLaMA2-7B 模型

第十五章：大模型分布式訓(xùn)練框架 Microsoft DeepSpeed

大模型分布式訓(xùn)練框架 DeepSpeed

預(yù)訓(xùn)練模型顯存計(jì)算方法

Zero Redundancy Optimizer （ZeRO）技術(shù)

DeepSpeed 框架和核心技術(shù)

分布式模型訓(xùn)練并行化技術(shù)對比

DeepSpeed 與 Transformers 集成訓(xùn)練大模型

DeepSpeed 實(shí)戰(zhàn)

DeepSpeed 框架編譯與安裝

DeepSpeed ZeRO 配置詳解

使用 DeepSpeed 單機(jī)多卡、分布式訓(xùn)練

實(shí)戰(zhàn) DeepSpeed ZeRO-2 和 ZeRO-3 單機(jī)單卡訓(xùn)練

DeepSpeed 創(chuàng)新模塊：Inference、Compression & Science

第十六章：國產(chǎn)化適配-基于華為昇騰 910 微調(diào) ChatGLM-6B

大模型算力設(shè)備與生態(tài)總結(jié)

藍(lán)色星球的算力霸主：NVIDIA

厚積薄發(fā)的江湖大佬：Google

努力追趕的國產(chǎn)新秀：華為

華為昇騰全棧 AI 軟硬件平臺介紹

AI開發(fā)平臺：ModelArts

模型開發(fā)框架：MindSpore

異構(gòu)計(jì)算架構(gòu)：CANN

實(shí)戰(zhàn)：華為 Ascend 910B 微調(diào) ChatGLM-6B 模型

智譜 AI GLM 篇
GLM 大模型家族介紹

GLM 模型部署微調(diào)實(shí)踐

CogVLM 模型部署實(shí)踐

GLM 大模型家族介紹

GLM 系列模型發(fā)展歷程：從 GLM-10B 到 GLM-4

GLM-4V：VisualGLM、CogVLM、CogAgent、GLM-4V 的技術(shù)變化

代碼生成模型：CodeGeeX-3 及插件應(yīng)用

圖像生成模型 CogView-3

超擬人大模型 CharacterGLM

GLM-4 All Tools

GLM 模型部署微調(diào)實(shí)踐

ChatGLM3-6B 開源介紹

ChatGLM3-6B 快速上手

模型微調(diào)

CogVLM 模型部署實(shí)踐

CogVLM 開源模型介紹和體驗(yàn)

CogVLM 開源模型部署

領(lǐng)取完整課程安排

強(qiáng)強(qiáng)聯(lián)合，AI 領(lǐng)域知名技術(shù)專家團(tuán)隊(duì)手把手教學(xué)

好口碑看得見

全方位學(xué)習(xí)服務(wù)，讓你學(xué)會并學(xué)有所成

適學(xué)人群

VIP 學(xué)習(xí)資料免費(fèi)領(lǐng)取

免費(fèi)領(lǐng)取

幫助與常見問題

Q：學(xué)這門課需要編程基礎(chǔ)嗎？
學(xué)習(xí)這門課程不需要任何編程基礎(chǔ)，會用電腦就行。

Q：學(xué)這門課需要準(zhǔn)備哪些工具嗎？
是的，學(xué)習(xí)課程需要注冊或安裝一些相應(yīng)的工具包，不過請你放心，我們在講到相關(guān)工具的時(shí)候，會提供詳細(xì)的注冊和安裝步驟。

Q：學(xué)這門課用到的工具是免費(fèi)的嗎，大概需要再額外投入多少成本？
在學(xué)習(xí)期間，我們提供 GPT4 和 Midjourney 的免費(fèi)使用，具體使用可以添加學(xué)習(xí)顧問進(jìn)行詳細(xì)了解。

Q：是否有詳細(xì)的課程表？
有的哦，可以通過點(diǎn)擊頁面按鈕，添加學(xué)習(xí)顧問進(jìn)行詳細(xì)了解。

Q：上課形式和課時(shí)量是怎樣的呢？
課程一共 8 周，講師全程直播授課。

Q：直播是否有回看？
直播的錄播視頻會上傳到學(xué)習(xí)平臺方便大家回看，但為了更好的學(xué)習(xí)互動效果，建議各位學(xué)員提前預(yù)留好時(shí)間，準(zhǔn)備好問題，準(zhǔn)時(shí)參加直播。

Q：課程視頻的觀看期限是多久？
本期課程視頻永久有效，其中包含“學(xué)期”和“觀看期”。

學(xué)期：指我們?yōu)榇蠹姨峁W(xué)習(xí)服務(wù)的時(shí)間，也就是開通之日起 8 周的時(shí)間。在此期間，學(xué)員可以觀看課程視頻，并享受相應(yīng)的學(xué)習(xí)服務(wù)，比如助教答疑等。

觀看期：是指服務(wù)期結(jié)束之后的時(shí)間。觀看期，課程視頻永久有效。在此期間，學(xué)員可隨時(shí)觀看課程視頻，但不再享受學(xué)習(xí)服務(wù)。

Q：可以跟老師互動交流嗎?
當(dāng)然啦，我們會建立班級社群，群內(nèi)可以互動交流。同時(shí)，大家還可以通過直播向老師提問。

Q：報(bào)名繳費(fèi)后可以退款嗎？
開課后 5 個(gè)自然日內(nèi)，如果覺得課程不適合自己，可無條件申請退款，超出 5 個(gè)自然日，就不再辦理退款啦。退款流程預(yù)計(jì)為 10 個(gè)工作日。

Q：可以分期付款嗎？
我們支持花唄分期付款。

Q：如何開發(fā)票，簽合同？
我們可以為學(xué)員開具正規(guī)的發(fā)票和合同。開發(fā)票相關(guān)事宜，請聯(lián)系帶班班主任。合同相關(guān)事宜，請聯(lián)系報(bào)名老師。

Q：價(jià)格說明
劃線價(jià)為商品或服務(wù)的參考價(jià)，并非原價(jià)，該價(jià)格僅供參考。未劃線價(jià)格為商品或服務(wù)的實(shí)時(shí)標(biāo)價(jià)，具體成交價(jià)格根據(jù)商品或服務(wù)參加優(yōu)惠活動，或使用優(yōu)惠券、禮券、贈幣等不同情形發(fā)生變化，最終實(shí)際成交價(jià)格以訂單結(jié)算頁價(jià)格為準(zhǔn)。

收起

性夜影院午夜看片,无码精品久久一区二区三区,婷婷成人丁香五月综合激情,校园春色 qvod,性调教室高h学校

首頁

課程中心

免費(fèi)公開課

技術(shù)干貨

就業(yè)動態(tài)

馬哥動態(tài)

第一章：AI 大模型四階技術(shù)總覽

第二章：大語言模型技術(shù)發(fā)展與演進(jìn)

第三章：大模型開發(fā)工具庫 Hugging Face Transformers

第四章：實(shí)戰(zhàn) Transformers 模型訓(xùn)練

第五章：大模型高效微調(diào)技術(shù)揭秘（上）

第六章：大模型高效微調(diào)技術(shù)揭秘（下）

第七章：大模型高效微調(diào)工具 Hugging Face PEFT 入門與實(shí)戰(zhàn)

第八章：大模型量化技術(shù)入門與實(shí)戰(zhàn)

第九章：GLM 大模型家族與 ChatGLM3-6B 微調(diào)入門

第十章：實(shí)戰(zhàn)私有數(shù)據(jù)微調(diào) ChatGLM3

第十一章：ChatGPT 大模型訓(xùn)練技術(shù) RLHF

第十二章：混合專家模型（MoEs）技術(shù)揭秘

第十三章：Meta AI 大模型 LLaMA

第十四章：實(shí)戰(zhàn) LLaMA2-7B 指令微調(diào)

第十五章：大模型分布式訓(xùn)練框架 Microsoft DeepSpeed

第十六章：國產(chǎn)化適配-基于華為昇騰 910 微調(diào) ChatGLM-6B

GLM 大模型家族介紹

GLM 模型部署微調(diào)實(shí)踐

CogVLM 模型部署實(shí)踐

本期課程視頻永久有效，其中包含“學(xué)期”和“觀看期”。