update \_

Author: hmthanh

app/(private)/campuchia/page.md

@@ -233,14 +233,14 @@ Compressive transformer មានការបាត់បង់ការហ្
 1.  **Auto-encoding loss** (គោលបំណងបង្ហាប់ដោយគ្មានការបាត់បង់) វាស់វែងថាតើយើងអាចបង្កើតអង្គចងចាំដើមឡើងវិញពីអង្គចងចាំបង្ហាប់បានល្អប៉ុណ្ណា។
 
     $$
-    \mathcal{L}_{ac} = \left\| \mathbf{old_mem}^{(i)} - g\big(\mathbf{new_cm}^{(i)}\big) \right\|_2
+    \mathcal{L}_{ac} = \left\| \mathbf{old\_mem}^{(i)} - g\big(\mathbf{new\_cm}^{(i)}\big) \right\|_2
     $$
 
     ដែល $g: \mathbb{R}^{[\frac{L}{c}] \times d} \to \mathbb{R}^{L \times d}$ ត្រឡប់អនុគមន៍បង្ហាប់ $f$ ។
 
 2.  **Attention-reconstruction loss** (គោលបំណងមានការបាត់បង់) បង្កើត Attention ដែលផ្អែកលើមាតិកាឡើងវិញធៀបនឹងអង្គចងចាំធៀបនឹងអង្គចងចាំបង្ហាប់ ហើយកាត់បន្ថយភាពខុសគ្នា៖
     $$
-    \mathcal{L}_{ar} = \left\| \operatorname{attn}\big(\mathbf{h}^{(i)}, \mathbf{old_mem}^{(i)}\big) - \operatorname{attn}\big(\mathbf{h}^{(i)}, \mathbf{new_cm}^{(i)}\big) \right\|_2
+    \mathcal{L}_{ar} = \left\| \operatorname{attn}\big(\mathbf{h}^{(i)}, \mathbf{old\_mem}^{(i)}\big) - \operatorname{attn}\big(\mathbf{h}^{(i)}, \mathbf{new\_cm}^{(i)}\big) \right\|_2
     $$
 
 Transformer-XL ដែលមានអង្គចងចាំទំហំ $m$ មានช่วงเวลาអតិបរមា $m \times N$, ដែល $N$ គឺជាចំនួនស្រទាប់នៅក្នុងគំរូ, និងค่าใช้จ่าย Attention $\mathcal{O}(L^2 + Lm)$។ ក្នុងការប្រៀបធៀប, Compressive Transformer មានช่วงเวลา $(m_m + c \cdot m_{cm}) \times N$ និងค่าใช้จ่าย Attention $\mathcal{O}(L^2 + L(m_m + m_{cm}))$។ អត្រាបង្រួម $c$ ធំជាងផ្តល់នូវការដោះដូរល្អប្រសើររវាងប្រវែងช่วงเวลาและค่าใช้จ่าย Attention។

app/(private)/czech/page.md

@@ -231,14 +231,14 @@ Kompresivní transformer má dvě dodatečné trénovací ztráty:
 1.  **Ztráta autoenkódování** (cíl bezeztrátové komprese) měří, jak dobře dokážeme rekonstruovat původní paměti z komprimovaných pamětí.
 
     $$
-    \mathcal{L}_{ac} = \left\| \mathbf{old_mem}^{(i)} - g\big(\mathbf{new_cm}^{(i)}\big) \right\|_2
+    \mathcal{L}_{ac} = \left\| \mathbf{old\_mem}^{(i)} - g\big(\mathbf{new\_cm}^{(i)}\big) \right\|_2
     $$
 
     kde $g: \mathbb{R}^{[\frac{L}{c}] \times d} \to \mathbb{R}^{L \times d}$ obrací kompresní funkci $f$.
 
 2.  **Ztráta rekonstrukce pozornosti** (ztrátový cíl) rekonstruuje obsahovou pozornost nad pamětí versus komprimovanou pamětí a minimalizuje rozdíl:
     $$
-    \mathcal{L}_{ar} = \left\| \operatorname{attn}\big(\mathbf{h}^{(i)}, \mathbf{old_mem}^{(i)}\big) - \operatorname{attn}\big(\mathbf{h}^{(i)}, \mathbf{new_cm}^{(i)}\big) \right\|_2
+    \mathcal{L}_{ar} = \left\| \operatorname{attn}\big(\mathbf{h}^{(i)}, \mathbf{old\_mem}^{(i)}\big) - \operatorname{attn}\big(\mathbf{h}^{(i)}, \mathbf{new\_cm}^{(i)}\big) \right\|_2
     $$
 
 Transformer-XL s pamětí o velikosti $m$ má maximální časový dosah $m \times N$, kde $N$ je počet vrstev v modelu, a náklady na pozornost $\mathcal{O}(L^2 + Lm)$. Pro srovnání, kompresivní transformer má časový dosah $(m_m + c \cdot m_{cm}) \times N$ a náklady na pozornost $\mathcal{O}(L^2 + L(m_m + m_{cm}))$. Větší kompresní poměr $c$ poskytuje lepší kompromis mezi délkou časového dosahu a náklady na pozornost.

app/(private)/dutch/page.md

@@ -231,14 +231,14 @@ Compressive Transformer heeft twee extra trainingsverliezen:
 1.  **Auto-encoding loss** (verliesvrij compressiedoel) meet hoe goed we de originele herinneringen kunnen reconstrueren uit de gecomprimeerde herinneringen.
 
     $$
-    \mathcal{L}_{ac} = \left\| \mathbf{old_mem}^{(i)} - g\big(\mathbf{new_cm}^{(i)}\big) \right\|_2
+    \mathcal{L}_{ac} = \left\| \mathbf{old\_mem}^{(i)} - g\big(\mathbf{new\_cm}^{(i)}\big) \right\|_2
     $$
 
     waarbij $g: \mathbb{R}^{[\frac{L}{c}] \times d} \to \mathbb{R}^{L \times d}$ de compressiefunctie $f$ omkeert.
 
 2.  **Attention-reconstruction loss** (verliesgevend doel) reconstrueert op inhoud gebaseerde attention over het geheugen versus het gecomprimeerde geheugen en minimaliseert het verschil:
     $$
-    \mathcal{L}_{ar} = \left\| \operatorname{attn}\big(\mathbf{h}^{(i)}, \mathbf{old_mem}^{(i)}\big) - \operatorname{attn}\big(\mathbf{h}^{(i)}, \mathbf{new_cm}^{(i)}\big) \right\|_2
+    \mathcal{L}_{ar} = \left\| \operatorname{attn}\big(\mathbf{h}^{(i)}, \mathbf{old\_mem}^{(i)}\big) - \operatorname{attn}\big(\mathbf{h}^{(i)}, \mathbf{new\_cm}^{(i)}\big) \right\|_2
     $$
 
 Transformer-XL met een geheugen van grootte $m$ heeft een maximaal temporeel bereik van $m \times N$, waarbij $N$ het aantal lagen in het model is, en een attention-kost van $\mathcal{O}(L^2 + Lm)$. Ter vergelijking heeft een Compressive Transformer een temporeel bereik van $(m_m + c \cdot m_{cm}) \times N$ en een attention-kost van $\mathcal{O}(L^2 + L(m_m + m_{cm}))$. Een grotere compressieratio $c$ geeft een betere afweging tussen de lengte van het temporele bereik en de attention-kost.

app/(private)/english/page.md

@@ -231,14 +231,14 @@ Compressive transformer has two additional training losses:
 1.  **Auto-encoding loss** (lossless compression objective) measures how well we can reconstruct the original memories from compressed memories
 
     $$
-    \mathcal{L}_{ac} = \left\| \mathbf{old_mem}^{(i)} - g\big(\mathbf{new_cm}^{(i)}\big) \right\|_2
+    \mathcal{L}_{ac} = \left\| \mathbf{old\_mem}^{(i)} - g\big(\mathbf{new\_cm}^{(i)}\big) \right\|_2
     $$
 
     where $g: \mathbb{R}^{[\frac{L}{c}] \times d} \to \mathbb{R}^{L \times d}$ reverses the compression function $f$.
 
 2.  **Attention-reconstruction loss** (lossy objective) reconstructs content-based attention over memory vs compressed memory and minimize the difference:
     $$
-    \mathcal{L}_{ar} = \left\| \operatorname{attn}\big(\mathbf{h}^{(i)}, \mathbf{old_mem}^{(i)}\big) - \operatorname{attn}\big(\mathbf{h}^{(i)}, \mathbf{new_cm}^{(i)}\big) \right\|_2
+    \mathcal{L}_{ar} = \left\| \operatorname{attn}\big(\mathbf{h}^{(i)}, \mathbf{old\_mem}^{(i)}\big) - \operatorname{attn}\big(\mathbf{h}^{(i)}, \mathbf{new\_cm}^{(i)}\big) \right\|_2
     $$
 
 Transformer-XL with a memory of size $m$ has a maximum temporal range of $m \times N$, where $N$ is the number of layers in the model, and attention cost $\mathcal{O}(L^2 + Lm)$. In comparison, compressed transformer has a temporal range of $(m_m + c \cdot m_{cm}) \times N$ and attention cost $\mathcal{O}(L^2 + L(m_m + m_{cm}))$. A larger compression rate $c$ gives better tradeoff between temporal range length and attention cost.

app/(private)/german/page.md

@@ -231,14 +231,14 @@ Der komprimierende Transformer hat zwei zusätzliche Trainingsverluste:
 1.  **Auto-Encoding-Verlust** (verlustfreies Kompressionsziel) misst, wie gut wir die ursprünglichen Speicher aus den komprimierten Speichern rekonstruieren können.
 
     $$
-    \mathcal{L}_{ac} = \left\| \mathbf{old_mem}^{(i)} - g\big(\mathbf{new_cm}^{(i)}\big) \right\|_2
+    \mathcal{L}_{ac} = \left\| \mathbf{old\_mem}^{(i)} - g\big(\mathbf{new\_cm}^{(i)}\big) \right\|_2
     $$
 
     wobei $g: \mathbb{R}^{[\frac{L}{c}] \times d} \to \mathbb{R}^{L \times d}$ die Kompressionsfunktion $f$ umkehrt.
 
 2.  **Attention-Rekonstruktionsverlust** (verlustbehaftetes Ziel) rekonstruiert die inhaltsbasierte Aufmerksamkeit über den Speicher im Vergleich zum komprimierten Speicher und minimiert den Unterschied:
     $$
-    \mathcal{L}_{ar} = \left\| \operatorname{attn}\big(\mathbf{h}^{(i)}, \mathbf{old_mem}^{(i)}\big) - \operatorname{attn}\big(\mathbf{h}^{(i)}, \mathbf{new_cm}^{(i)}\big) \right\|_2
+    \mathcal{L}_{ar} = \left\| \operatorname{attn}\big(\mathbf{h}^{(i)}, \mathbf{old\_mem}^{(i)}\big) - \operatorname{attn}\big(\mathbf{h}^{(i)}, \mathbf{new\_cm}^{(i)}\big) \right\|_2
     $$
 
 Transformer-XL mit einem Speicher der Größe $m$ hat eine maximale zeitliche Reichweite von $m \times N$, wobei $N$ die Anzahl der Schichten im Modell ist, und einen Attention-Aufwand von $\mathcal{O}(L^2 + Lm)$. Im Vergleich dazu hat der komprimierende Transformer eine zeitliche Reichweite von $(m_m + c \cdot m_{cm}) \times N$ und einen Attention-Aufwand von $\mathcal{O}(L^2 + L(m_m + m_{cm}))$. Eine größere Kompressionsrate $c$ bietet einen besseren Kompromiss zwischen der Länge der zeitlichen Reichweite und dem Attention-Aufwand.

app/(private)/greek/page.md

@@ -231,14 +231,14 @@ _Ο συμπιεστικός transformer διατηρεί δύο τύπους υ
 1.  **Απώλεια αυτοκωδικοποίησης** (στόχος συμπίεσης χωρίς απώλειες) μετρά πόσο καλά μπορούμε να ανακατασκευάσουμε τις αρχικές μνήμες από τις συμπιεσμένες μνήμες.
 
     $$
-    \mathcal{L}_{ac} = \left\| \mathbf{old_mem}^{(i)} - g\big(\mathbf{new_cm}^{(i)}\big) \right\|_2
+    \mathcal{L}_{ac} = \left\| \mathbf{old\_mem}^{(i)} - g\big(\mathbf{new\_cm}^{(i)}\big) \right\|_2
     $$
 
     όπου το $g: \mathbb{R}^{[\frac{L}{c}] \times d} \to \mathbb{R}^{L \times d}$ αντιστρέφει τη συνάρτηση συμπίεσης $f$.
 
 2.  **Απώλεια ανακατασκευής προσοχής** (στόχος με απώλειες) ανακατασκευάζει την προσοχή βάσει περιεχομένου στη μνήμη έναντι της συμπιεσμένης μνήμης και ελαχιστοποιεί τη διαφορά:
     $$
-    \mathcal{L}_{ar} = \left\| \operatorname{attn}\big(\mathbf{h}^{(i)}, \mathbf{old_mem}^{(i)}\big) - \operatorname{attn}\big(\mathbf{h}^{(i)}, \mathbf{new_cm}^{(i)}\big) \right\|_2
+    \mathcal{L}_{ar} = \left\| \operatorname{attn}\big(\mathbf{h}^{(i)}, \mathbf{old\_mem}^{(i)}\big) - \operatorname{attn}\big(\mathbf{h}^{(i)}, \mathbf{new\_cm}^{(i)}\big) \right\|_2
     $$
 
 Ο Transformer-XL με μνήμη μεγέθους $m$ έχει μέγιστο χρονικό εύρος $m \times N$, όπου $N$ είναι ο αριθμός των επιπέδων στο μοντέλο, και κόστος προσοχής $\mathcal{O}(L^2 + Lm)$. Συγκριτικά, ο συμπιεστικός transformer έχει χρονικό εύρος $(m_m + c \cdot m_{cm}) \times N$ και κόστος προσοχής $\mathcal{O}(L^2 + L(m_m + m_{cm}))$. Ένας μεγαλύτερος λόγος συμπίεσης $c$ παρέχει καλύτερη αντιστάθμιση μεταξύ του μήκους του χρονικού εύρους και του κόστους προσοχής.

app/(private)/hindi/page.md

@@ -231,14 +231,14 @@ _कंप्रेसिव ट्रांसफार्मर लंबे 
 1.  **ऑटो-एन्कोडिंग लॉस** (दोषरहित संपीड़न उद्देश्य) यह मापता है कि हम संपीड़ित यादों से मूल यादों का कितनी अच्छी तरह से पुनर्निर्माण कर सकते हैं।
 
     $$
-    \mathcal{L}_{ac} = \left\| \mathbf{old_mem}^{(i)} - g\big(\mathbf{new_cm}^{(i)}\big) \right\|_2
+    \mathcal{L}_{ac} = \left\| \mathbf{old\_mem}^{(i)} - g\big(\mathbf{new\_cm}^{(i)}\big) \right\|_2
     $$
 
     जहां $g: \mathbb{R}^{[\frac{L}{c}] \times d} \to \mathbb{R}^{L \times d}$ संपीड़न फ़ंक्शन $f$ को उलट देता है।
 
 2.  **अटेंशन-रिकंस्ट्रक्शन लॉस** (हानिकारक उद्देश्य) मेमोरी बनाम कंप्रेस्ड मेमोरी पर कंटेंट-आधारित अटेंशन का पुनर्निर्माण करता है और अंतर को कम करता है:
     $$
-    \mathcal{L}_{ar} = \left\| \operatorname{attn}\big(\mathbf{h}^{(i)}, \mathbf{old_mem}^{(i)}\big) - \operatorname{attn}\big(\mathbf{h}^{(i)}, \mathbf{new_cm}^{(i)}\big) \right\|_2
+    \mathcal{L}_{ar} = \left\| \operatorname{attn}\big(\mathbf{h}^{(i)}, \mathbf{old\_mem}^{(i)}\big) - \operatorname{attn}\big(\mathbf{h}^{(i)}, \mathbf{new\_cm}^{(i)}\big) \right\|_2
     $$
 
 $m$ आकार की मेमोरी वाले Transformer-XL की अधिकतम अस्थायी सीमा $m \times N$ होती है, जहाँ $N$ मॉडल में परतों की संख्या है, और अटेंशन लागत $\mathcal{O}(L^2 + Lm)$ होती है। इसकी तुलना में, कंप्रेसिव ट्रांसफार्मर की अस्थायी सीमा $(m_m + c \cdot m_{cm}) \times N$ और अटेंशन लागत $\mathcal{O}(L^2 + L(m_m + m_{cm}))$ होती है। एक बड़ी संपीड़न दर $c$ अस्थायी सीमा की लंबाई और अटेंशन लागत के बीच बेहतर संतुलन प्रदान करती है।

app/(private)/hongkong/page.md

@@ -231,14 +231,14 @@ _壓縮 transformer 維護兩種記憶體槽，記憶體和壓縮記憶體，以
 1.  **自編碼損失**（無損壓縮目標）衡量我們從壓縮記憶中重建原始記憶的能力。
 
     $$
-    \mathcal{L}_{ac} = \left\| \mathbf{old_mem}^{(i)} - g\big(\mathbf{new_cm}^{(i)}\big) \right\|_2
+    \mathcal{L}_{ac} = \left\| \mathbf{old\_mem}^{(i)} - g\big(\mathbf{new\_cm}^{(i)}\big) \right\|_2
     $$
 
     其中 $g: \mathbb{R}^{[\frac{L}{c}] \times d} \to \mathbb{R}^{L \times d}$ 反轉壓縮函數 $f$。
 
 2.  **注意力重建損失**（有損目標）重建基於內容的注意力與記憶體和壓縮記憶體，並最小化差異：
     $$
-    \mathcal{L}_{ar} = \left\| \operatorname{attn}\big(\mathbf{h}^{(i)}, \mathbf{old_mem}^{(i)}\big) - \operatorname{attn}\big(\mathbf{h}^{(i)}, \mathbf{new_cm}^{(i)}\big) \right\|_2
+    \mathcal{L}_{ar} = \left\| \operatorname{attn}\big(\mathbf{h}^{(i)}, \mathbf{old\_mem}^{(i)}\big) - \operatorname{attn}\big(\mathbf{h}^{(i)}, \mathbf{new\_cm}^{(i)}\big) \right\|_2
     $$
 
 具有大小為 $m$ 的記憶體的 Transformer-XL 的最大時間範圍為 $m \times N$，其中 $N$ 是模型中的層數，注意力成本為 $\mathcal{O}(L^2 + Lm)$。相比之下，壓縮 transformer 的時間範圍為 $(m_m + c \cdot m_{cm}) \times N$，注意力成本為 $\mathcal{O}(L^2 + L(m_m + m_{cm}))$。較大的壓縮率 $c$ 在時間範圍長度和注意力成本之間提供了更好的權衡。

app/(private)/hungarian/page.md

@@ -231,14 +231,14 @@ A kompresszív transformer két további tanítási veszteséggel rendelkezik:
 1.  **Automatikus kódolási veszteség** (veszteségmentes tömörítési cél) azt méri, hogy mennyire tudjuk rekonstruálni az eredeti memóriákat a tömörített memóriákból.
 
     $$
-    \mathcal{L}_{ac} = \left\| \mathbf{old_mem}^{(i)} - g\big(\mathbf{new_cm}^{(i)}\big) \right\|_2
+    \mathcal{L}_{ac} = \left\| \mathbf{old\_mem}^{(i)} - g\big(\mathbf{new\_cm}^{(i)}\big) \right\|_2
     $$
 
     ahol $g: \mathbb{R}^{[\frac{L}{c}] \times d} \to \mathbb{R}^{L \times d}$ megfordítja az $f$ tömörítési függvényt.
 
 2.  **Figyelem-rekonstrukciós veszteség** (veszteséges cél) rekonstruálja a tartalom-alapú figyelmet a memória és a tömörített memória között, és minimalizálja a különbséget:
     $$
-    \mathcal{L}_{ar} = \left\| \operatorname{attn}\big(\mathbf{h}^{(i)}, \mathbf{old_mem}^{(i)}\big) - \operatorname{attn}\big(\mathbf{h}^{(i)}, \mathbf{new_cm}^{(i)}\big) \right\|_2
+    \mathcal{L}_{ar} = \left\| \operatorname{attn}\big(\mathbf{h}^{(i)}, \mathbf{old\_mem}^{(i)}\big) - \operatorname{attn}\big(\mathbf{h}^{(i)}, \mathbf{new\_cm}^{(i)}\big) \right\|_2
     $$
 
 Az $m$ méretű memóriával rendelkező Transformer-XL maximális időbeli hatótávolsága $m \times N$, ahol $N$ a modell rétegeinek száma, a figyelmi költség pedig $\mathcal{O}(L^2 + Lm)$. Ezzel szemben a kompresszív transformer időbeli hatótávolsága $(m_m + c \cdot m_{cm}) \times N$, a figyelmi költség pedig $\mathcal{O}(L^2 + L(m_m + m_{cm}))$. Egy nagyobb $c$ tömörítési arány jobb kompromisszumot biztosít az időbeli hatótávolság hossza és a figyelmi költség között.

app/(private)/italian/page.md

@@ -230,14 +230,14 @@ Il transformer compressivo ha due perdite di addestramento aggiuntive:
 1.  **Perdita di auto-codifica** (obiettivo di compressione senza perdite) misura quanto bene possiamo ricostruire le memorie originali dalle memorie compresse.
 
     $$
-    \mathcal{L}_{ac} = \left\| \mathbf{old_mem}^{(i)} - g\big(\mathbf{new_cm}^{(i)}\big) \right\|_2
+    \mathcal{L}_{ac} = \left\| \mathbf{old\_mem}^{(i)} - g\big(\mathbf{new\_cm}^{(i)}\big) \right\|_2
     $$
 
     dove $g: \mathbb{R}^{[\frac{L}{c}] \times d} \to \mathbb{R}^{L \times d}$ inverte la funzione di compressione $f$.
 
 2.  **Perdita di ricostruzione dell'attenzione** (obiettivo con perdita) ricostruisce l'attenzione basata sul contenuto sulla memoria rispetto alla memoria compressa e minimizza la differenza:
     $$
-    \mathcal{L}_{ar} = \left\| \operatorname{attn}\big(\mathbf{h}^{(i)}, \mathbf{old_mem}^{(i)}\big) - \operatorname{attn}\big(\mathbf{h}^{(i)}, \mathbf{new_cm}^{(i)}\big) \right\|_2
+    \mathcal{L}_{ar} = \left\| \operatorname{attn}\big(\mathbf{h}^{(i)}, \mathbf{old\_mem}^{(i)}\big) - \operatorname{attn}\big(\mathbf{h}^{(i)}, \mathbf{new\_cm}^{(i)}\big) \right\|_2
     $$
 
 Transformer-XL con una memoria di dimensione $m$ ha un raggio temporale massimo di $m \times N$, dove $N$ è il numero di strati nel modello, e un costo di attenzione di $\mathcal{O}(L^2 + Lm)$. In confronto, il transformer compressivo ha un raggio temporale di $(m_m + c \cdot m_{cm}) \times N$ e un costo di attenzione di $\mathcal{O}(L^2 + L(m_m + m_{cm}))$. Un rapporto di compressione $c$ maggiore offre un compromesso migliore tra la lunghezza del raggio temporale e il costo di attenzione.