Skip to content

Commit fa156fc

Browse files
committed
Fix ASCII diagram width to prevent line wrap on GitHub
1 parent 7264603 commit fa156fc

2 files changed

Lines changed: 18 additions & 18 deletions

File tree

README.ko.md

Lines changed: 9 additions & 9 deletions
Original file line numberDiff line numberDiff line change
@@ -27,15 +27,15 @@
2727
LLM 메모리의 병목은 모델 가중치가 아니라 **KV 캐시**입니다. 32K 컨텍스트에서 8B 모델의 KV 캐시는 **4GB** — 모델 자체보다 큽니다. 기존 엔진은 모두 KV를 FP16으로 저장합니다. 우리는 이것을 압축합니다.
2828

2929
```
30-
┌─────────────────────────────────────────────────────────────
31-
16GB Mac 메모리
32-
├──────────────┬──────────────────────────────────────────────┤
33-
모델 (4GB) │ KV 캐시 (FP16)
34-
████████████████████████ 8K 컨텍스트 ← OOM │
35-
├──────────────┼──────────────────────────────────────────────┤
36-
모델 (4GB) │ KV (4-bit) ███ →→→→→ 350K 컨텍스트
37-
↑ 6.9배 작음
38-
└──────────────┴──────────────────────────────────────────────┘
30+
┌──────────────────────────────────────────────┐
31+
│ 16GB Mac 메모리 │
32+
├─────────────────────────────────────────────┤
33+
모델(4GB) │ KV (FP16) │
34+
██████████████ 8K ctx ← OOM
35+
├─────────────────────────────────────────────┤
36+
모델(4GB) │ KV (4-bit) ██ →→ 350K ctx
37+
│ │ ↑ 6.9배 작음 │
38+
└─────────────────────────────────────────────┘
3939
```
4040

4141
## 결과

README.md

Lines changed: 9 additions & 9 deletions
Original file line numberDiff line numberDiff line change
@@ -27,15 +27,15 @@
2727
LLM memory is dominated by the **KV cache**, not model weights. At 32K context, a 8B model's KV cache consumes **4GB** — more than the model itself. Every existing engine stores KV in FP16. We compress it.
2828

2929
```
30-
┌─────────────────────────────────────────────────────────────
31-
16GB Mac Memory
32-
├──────────────┬──────────────────────────────────────────────┤
33-
Model (4GB) │ KV Cache (FP16)
34-
████████████████████████ 8K context ← OOM │
35-
├──────────────┼──────────────────────────────────────────────┤
36-
Model (4GB) │ KV (4-bit) ███ →→→→→ 350K context
37-
↑ 6.9x smaller
38-
└──────────────┴──────────────────────────────────────────────┘
30+
┌──────────────────────────────────────────────┐
31+
│ 16GB Mac Memory │
32+
├─────────────────────────────────────────────┤
33+
│ Model(4GB) │ KV (FP16) │
34+
██████████████ 8K ctx ← OOM
35+
├─────────────────────────────────────────────┤
36+
│ Model(4GB) │ KV (4-bit) ██ →→ 350K ctx
37+
│ │ ↑ 6.9x smaller │
38+
└─────────────────────────────────────────────┘
3939
```
4040

4141
## The Result

0 commit comments

Comments
 (0)