py: (#89)

* py:

1.deepxutil  模型转换

doc:
优化deepx介绍

* py:

1.deepxutil  safetensor模型转换完成

Author: miaobyte

README.md

@@ -1,14 +1,13 @@
 # deepx
 
-deepx提出了一种以IR计算图为核心的原生分布式自动并行的训推一体化的深度学习框架,以IR计算图为核心，经过多层级等价替换，实现从简单的数学形式的计算图，自适应等价替换为分布式、并行、自动反向的工程系统架构。
-
 ## 一.deepx概述
+deepx一种以IR计算图为核心的原生分布式自动并行的训推一体化的深度学习框架,以IR计算图为核心，经过多层级等价替换，实现从简单的数学形式的计算图，自适应等价替换为分布式、并行、自动反向的工程系统架构。
 
-deepx的分为前端表达侧，编译替换层，执行器层
+deepx的分前中后端，分别是为前端表达侧，编译替换层，执行器层，遵守严格的进程间与代码组件的隔离，以保证分工明确，架构长久稳定。
 
-+ 前端表达侧，交由算法工程师、用接近数学的表达方式，设计其数学计算过程。只表示为单线程的简洁数学表达过程，不涉及复杂的device类型、分布式等。
-+ 编译替换层：注册了多轮不同类型的IR编译器，实现等价替换，可以以插件的形式增加自定义能力如定制kvcache，实现对计算图进行局部替换，获得新的能力。
-+ 执行器层：实现真正的tensor运算，大规模并行化。
++ 前端/模型表达侧，交由算法工程师、用接近数学的表达方式，设计其数学计算过程。只表示为单线程的简洁数学表达过程，不涉及复杂的device类型、分布式等。
++ 中端：编译替换与分布式调度层：注册了多轮不同类型的IR编译器，实现等价替换，可以以插件的形式增加自定义能力如定制kvcache，实现对计算图进行局部替换，获得新的能力。
++ 执行器层：绑定具体的加速硬件，实现真正的tensor的储存、计算、网络通信，大规模并行化。
 
 
 ### 前端
@@ -26,13 +25,14 @@ python sdk提供接近pytorch的API
 | 组件耦合度   | 紧耦合（Python绑定C++）| 松耦合|
 | tensor生命周期管理 |  由python侧控制 | 由deltensor这个IR指令，显示管理tensor|
 
-### 编译替换层
+### 中端：编译替换与分布式调度层
 
 + 注册中心:收集当前已就绪的执行器的算子列表,收集算子时耗和空间占用信息
 + 计算图编译器优化器:fusion算子，计算图节点消除,自动生成tensor拆分并行的计算子图并替代原节点
 + 执行调度器：数据并行，流水线并行(前向反向并行)，模型并行。
 + front生成基础IR，编译器负责进行fusion成excuter注册的高级算子。
 
+
 ### 执行层
 
 执行层包括op和mem两种执行器，但实际实现时，当前只设计了一个程序同时负责op和mem的管理。

doc/language.md

@@ -37,9 +37,10 @@ excuter所执行的内容，就是deepxir的序列或deepxir计算图
 
 https://github.com/array2d/deepx/blob/main/doc/excuter/op-mem-cuda/list.md
 
-deepxir分为3类
+deepxir分为4类
 
 计算：tensor这些系列elementwise、changeshape、tensorlife、io、reduce、init
+
 指令结构:
 queue[deepxIR]，串行指令，有前后执行顺序
 parallel[deepxIR]，可并行的指令，无顺序依赖，可并行

front/py/deepxutil/numpy/io.py

@@ -1,7 +1,7 @@
 from deepx.tensor import Shape
 from numpy import ascontiguousarray,ndarray
 
-def save_numpy(t,tensorpath:str):
+def save_numpy(t,tensorpath:str,realdtype:str=None):
     r'''
     保存numpy.ndarray为deepx.tensor格式
     t:numpy.ndarray
@@ -11,6 +11,8 @@ def save_numpy(t,tensorpath:str):
     assert isinstance(t,ndarray)
     shape=Shape(t.shape)
     shape._dtype=str(t.dtype)
+    if realdtype is not None:
+        shape._realdtype=realdtype
     shape.save(tensorpath+".shape")
 
     array = ascontiguousarray(t)

front/py/deepxutil/safetensors/deepxtensor.py

@@ -0,0 +1,14 @@
+class TensorInfo:
+    def __init__(self, dtype, ndim, shape, size, strides=None):
+        self.dtype = dtype  # 数据精度类型，如"float32"
+        self.ndim = ndim  # 维度数
+        self.shape = shape  # 形状元组
+        self.size = size  # 总元素数量
+        self.strides = strides  # 步长数组（可选）
+
+
+class Tensor:
+    def __init__(self, data, tensorinfo: TensorInfo):
+        assert isinstance(tensorinfo, TensorInfo),"tensorinfo必须是TensorInfo实例"
+        self.data = data
+        self.tensorinfo = tensorinfo

front/py/deepxutil/safetensors/todeepx.py

@@ -6,20 +6,6 @@
 import glob
 import re
 
-class TensorInfo:
-    def __init__(self, dtype, ndim, shape, size, strides=None):
-        self.dtype = dtype  # 数据精度类型，如"float32"
-        self.ndim = ndim  # 维度数
-        self.shape = shape  # 形状元组
-        self.size = size  # 总元素数量
-        self.strides = strides  # 步长数组（可选）
-
-
-class Tensor:
-    def __init__(self, data, tensorinfo: TensorInfo):
-        assert isinstance(tensorinfo, TensorInfo),"tensorinfo必须是TensorInfo实例"
-        self.data = data
-        self.tensorinfo = tensorinfo
 
 class SafeTensorExporter:
     def __init__(self, model_dir, output_dir):

front/py/deepxutil/torch/io.py

@@ -1,11 +1,18 @@
+import torch
 from torch import Tensor as torch_Tensor
 
 def save_torch(t,path:str):
     r'''
     保存torch.Tensor为deepx.tensor格式
     '''
     assert isinstance(t,torch_Tensor)
-    t=t.detach().cpu().numpy()
+    t=t.detach().cpu().contiguous()
+    realdtype=t.dtype
+    if t.dtype is torch.bfloat16:
+        t=t.view(torch.uint16)
+    elif t.dtype is torch.float8_e4m3fn:
+        t=t.view(torch.uint8)
+    t = t.numpy()
     from deepxutil.numpy.io import save_numpy
-    save_numpy(t,path)
+    save_numpy(t,path,str(realdtype)[6:])
 

scheduler/README.md

@@ -1,6 +1,6 @@
 # scheduler 
 
-执行调度器
+计算图替换与调度器
 
 执行调度器作为deepx的训推的执行计算图，负责执行计算图的分布式调度