延遲（Latency）vs 吞吐量（Throughput）

請解釋延遲與吞吐量的差異，以及如何分別優化。

定義

延遲（Latency）：單個請求從發出到收到響應的時間（毫秒）。衡量個別請求的速度。

吞吐量（Throughput）：單位時間內系統能處理的請求數量（RPS，Requests Per Second）。衡量整體處理能力。

兩者的關係

Little's Law：吞吐量 = 並發數 / 平均延遲。增加並發或降低延遲，都能提升吞吐量。

優化延遲

• 減少不必要的網路往返（RTT）
• 使用快取避免重複計算
• 優化資料庫查詢（索引）
• 靠近用戶部署（CDN、邊緣計算）

優化吞吐量

• 水平擴展（增加實例）
• 非同步處理（減少阻塞）
• 批次處理（Batch）
• 連接池（減少建立連接開銷）

取捨

有時無法同時優化，如批次處理提升吞吐量但增加個別請求延遲。