aispace&py&action (#94)

* py:

1.deepxutil  safetensor模型转换完成

* scheduler:
1.aispace 分布式程序自动调度器，POC阶段

* action:
   1.fix

* aispace:
   POC验证

Author: miaobyte

.github/workflows/excuter-ompsimd-linux.yml

@@ -1,5 +1,4 @@
 name: Excuter/ompsimd-linux Build
-on: [push, pull_request]
 on: [push, pull_request]
   push:
     paths:

README.md

@@ -3,7 +3,7 @@
 ## 一.deepx概述
 deepx一种以IR计算图为核心的原生分布式自动并行的训推一体化的深度学习框架,以IR计算图为核心，经过多层级等价替换，实现从简单的数学形式的计算图，自适应等价替换为分布式、并行、自动反向的工程系统架构。
 
-deepx的分前中后端，分别是为前端表达侧，编译替换层，执行器层，遵守严格的进程间与代码组件的隔离，以保证分工明确，架构长久稳定。
+deepx的分前中后端，分别是为前端表达侧，编译替换调度层，执行器层，遵守严格的进程间与代码组件的隔离，以保证分工明确，架构长久稳定。
 
 + 前端/模型表达侧，交由算法工程师、用接近数学的表达方式，设计其数学计算过程。只表示为单线程的简洁数学表达过程，不涉及复杂的device类型、分布式等。
 + 中端：编译替换与分布式调度层：注册了多轮不同类型的IR编译器，实现等价替换，可以以插件的形式增加自定义能力如定制kvcache，实现对计算图进行局部替换，获得新的能力。

front/py/deepx/nn/deepxir.py

@@ -215,4 +215,39 @@ def __str__(self) -> str:
             parts.append(f"start_at={self._start_at.strftime('%H:%M:%S.%f')[:-3]}")
         if self._finish_at is not None:
             parts.append(f"finish_at={self._finish_at.strftime('%H:%M:%S.%f')[:-3]}")
-        return ' '.join(parts)
+        return ' '.join(parts)
+
+def ref_funcstart(fname:str,args_:list, returns_:list):
+    args=[]
+    for arg in args_:
+        if isinstance(arg,Tensor):
+            args.append(Param.tensor(arg))
+        elif isinstance(arg,int) or isinstance(arg,float):
+            args.append(Param.varnum(arg))
+        elif isinstance(arg,bool):
+            args.append(Param.varbool(arg))
+        elif isinstance(arg,str):
+            args.append(Param.varstr(arg))
+        else:
+            raise TypeError(f"Unsupported argument type: {type(arg)}")
+    returns=[]
+    for ret in returns_:
+        if isinstance(ret,Tensor):
+            returns.append(Param.tensor(ret))
+        elif isinstance(arg,int) or isinstance(arg,float):
+            returns.append(Param.varnum(ret))
+        elif isinstance(ret,bool):
+            returns.append(Param.varbool(ret))
+        elif isinstance(ret,str):
+            returns.append(Param.varstr(ret))
+        else:
+            raise TypeError(f"Unsupported return type: {type(ret)}")
+    ir=DeepxIR(fname, args, returns,'')
+    #send(ir)
+
+def FuseFunc(f):
+    fname=f.__name__
+    
+    f()
+
+    return

front/py/deepxutil/numpy/io.py

@@ -12,7 +12,7 @@ def save_numpy(t,tensorpath:str,realdtype:str=None):
     shape=Shape(t.shape)
     shape._dtype=str(t.dtype)
     if realdtype is not None:
-        shape._realdtype=realdtype
+        shape._dtype=realdtype
     shape.save(tensorpath+".shape")
 
     array = ascontiguousarray(t)

scheduler/aispace/cell.go

@@ -0,0 +1,10 @@
+package aispace
+
+type CellValue any
+type Cell struct {
+	// Key 唯一标识符
+	Key string `json:"key"`
+	// Value 存储的值，可以是任意类型
+	Value CellValue `json:"value"`
+	// Type 类型标识符，便于区分不同类型的 Cell
+}

scheduler/aispace/funcs/func.go

@@ -0,0 +1,16 @@
+package funcs
+
+import "aispace"
+
+type Func struct {
+	// Name 函数名称
+	Name    string              `json:"name"`
+	Args    []aispace.CellValue `json:"args"`    // 函数参数列表
+	Returns []aispace.CellValue `json:"returns"` // 函数返回值列表
+}
+
+type FuncSpace struct {
+	// Name 函数名称
+	root    Func
+	Pointer *FuncSpace // 指向父函数空间
+}

scheduler/aispace/funcs/tensor.go

@@ -0,0 +1,16 @@
+package funcs
+
+type TensorShape struct {
+	dims    []int // 形状的维度
+	strides []int // 步长
+}
+type TensorData struct {
+	LocatypeType string // 数据类型
+	LocatypeUrl  int    // 数据类型大小
+}
+
+type Tensor struct {
+	Var
+	Shape TensorShape // 张量的形状
+
+}

scheduler/aispace/funcs/var.go

@@ -0,0 +1,31 @@
+package funcs
+
+type Var struct {
+	funcspace *FuncSpace // 函数空间
+	Name      string     // 变量名称
+}
+
+type Bool struct {
+	Var
+	Value bool
+}
+
+type Byte struct {
+	Var
+	Value byte
+}
+
+type Int8 struct {
+	Var
+	Value int8
+}
+
+type Int16 struct {
+	Var
+	Value int16
+}
+
+type IntPair struct {
+	Var
+	Value [2]int
+}

scheduler/aispace/funcs/vector.go

@@ -0,0 +1,11 @@
+package funcs
+
+type Bytes struct {
+	Var
+	Value []byte
+}
+
+type String struct {
+	Var
+	Value []byte
+}

scheduler/aispace/go.mod

@@ -0,0 +1,3 @@
+module aispace
+
+go 1.20