Technical notes by KbWen
Notes on AI, machine learning, Python, and data engineering, plus tools I build.
Selected posts
More selected posts →
Latest posts
model.eval() and torch.no_grad() in PyTorch
We look at what model.eval() and torch.no_grad() each change when a model runs at test time.
Python [[0]*3]*3 修改其中一格，為什麼三列都跟著變
用乘號建立二維串列，改了一格卻三列一起變，我們來看看這三列到底是什麼。
Passing back reasoning items in the OpenAI Responses API
We look at the reasoning items the OpenAI Responses API returns during a tool loop and how to send them back.
OpenAI 的 reasoning tokens 怎麼計費
我們來看看 OpenAI 的 reasoning tokens 是什麼，以及 API 的回傳用量。
Latest by category
More posts
AI 為什麼愛附和使用者？RLHF 訓練中的阿諛奉承現象
我們來看看 Anthropic 的研究怎麼測量出 AI 助理會附和使用者，又是怎麼發現原因出在人類偏好資料和偏好模型上。
LLM sycophancy, RLHF and preference models
A look at Anthropic's paper on sycophancy in AI assistants and human preference judgments.
Sparse autoencoders and Claude's Golden Gate Bridge feature
A look at Anthropic's sparse autoencoder work on Claude 3 Sonnet through one feature, the Golden Gate Bridge.
金門大橋 Claude 與稀疏自編碼器：把單一特徵調大會發生什麼事
我們來看看 Anthropic 怎麼用稀疏自編碼器在 Claude 3 Sonnet 裡找到「金門大橋」這個特徵。
Copying nested lists in Python
A look at what changes when a copied Python list contains other lists.
Python 淺拷貝與巢狀串列
用 list.copy() 備份巢狀串列之後，修改資料會發生什麼事？從兩種修改方式看看淺拷貝的範圍。