Overview
本講座回顧了個人計算機、網際網路及人工智慧（AI）等科技發展的歷史，著重於大型語言模型（LM）的革命性進展及未來趨勢。
科技發展歷程
- 1970-80年代個人電腦誕生，當時僅少數企業擁有電腦。
- 1991年World Wide Web問世，網路開始普及。
- 1999年Google搜尋引擎出現，徹底改變資訊檢索方式。
- 2007年iPhone和Android智慧型手機問世，生活型態劇變。
- 2015年神經網路技術進入應用，機器學習能力大幅提升。
- 2023年大型語言模型（如ChatGPT、Gemini）崛起。
人工智慧與語言模型的革命
- 過去，語音識別和即時翻譯等AI技術尚未普及，現今已日常化。
- 2014年Sequence to Sequence Learning誕生，AI可處理多語種翻譯和任務。
- Transformer架構（2017年）提升了序列資料 處理能力。
- 一個模型即可同時完成翻譯、摘要、對話等多任務（multitask）。
- Chain of Thought（思維鏈）方法提升AI推理與解釋能力。
- Instruction Fine Tuning使語言模型學會遵循指令解決多樣問題。
現代AI產品及應用
- YouTube推薦系統、Google Photos搜尋、Google地圖、智慧鏡頭等皆內建AI技術。
- Pixel手機具備即時翻譯、照片魔術橡皮擦等AI功能。
- AI模型逐步下放至手機端（on-device），運算及能耗效能需求增加。
- 現今AI能參加國際競賽（如IMO數學奧賽），取得亮眼成績。
展望未來AI發展
- AI將擁有更成熟的推理、進階程式設計與規劃能力。
- 原生多模態模型可處理文字、圖像、音訊等多形式資料。
- AI在未來將會以更自然方式與人互動（語音、穿戴裝置等）。
- 硬體面將重視算力、記憶體頻寬及能源效率的提升。
學術與產業的差異
- 學術界重理論與創新，資源有限也能產生影響力。
- 產業界注重應用與大規模運算，但需緊跟技術循環。
- Prompt engineering、retrieval-augmented generation等新研究領域值得投入。
重點問答
- 穿戴式裝置如智慧眼鏡發展受限於時尚性與硬體設計。
- AI商業模式未來可能改變，除廣告外或朝訂閱或服務仲介收費。
- AI模型的emergent ability（湧現能力）是一大驚奇，值得持續關注。
Key Terms & Definitions
- Sequence to Sequence Learning — 輸入序列對應生成輸出序列的深度學習方法。
- Transformer — 一種基於注意力機制的序列建模架構。
- Chain of Thought — 加入推理與步驟解釋以提升AI決策能力。
- Multimodality （多模態） — 模型同時處理多種資料形式（文字、圖像、音訊）。
- On-device AI — AI模型直接在終端設備上運行，不依賴雲端。
Action Items / Next Steps
- 有興趣深入研究者可觀看李宏毅YouTube講解AI與Transformer影片。
- 了解Gemini/ChatGPT等大型語言模型功能，實際試用不同平台。
- 關注AI在硬體、軟體及應用各層的最新發展與研究機會。