使用 SPU 实现 OneHotEncoder

[Yeekin-GYJ]

此 ISSUE 为 隐语开源共建计划（SecretFlow Open Source Contribution Plan，简称 SF OSCP）Phase 4 任务 ISSUE，欢迎社区开发者参与共建～

• 认领前，辛苦确认是否完成报名～
• 更多任务，可查看 「OSCP Phase4 Season of Dev」Project

This ISSUE is one of the tasks of the SecretFlow Open Source Contribution Plan (referred to as SF OSCP) Phase 4. Welcome to join us in building it together!

• Before claiming a task, please make sure you have signed up.
• For more tasks, you can check the "OSCP Phase4 Season of Dev" Project.

任务介绍

• 任务名称： 使用 SPU 实现 OneHotEncoder
• 技术方向： SPU/SML
• 任务难度： 热身🌟
• 任务期望时间： 2 周
• 技术 reviewer ：@deadlywing

详细要求

• 安全性： 无 reveal
• 功能性： 支持数值版本的 onehot 功能即可
• 收敛性： 包含 simulator 跑出的实验数据并且证明收敛/正确性
• 代码规范： Python 代码需要使用 black+isort 进行格式化（流水线包含代码规范检查卡点）
• 提交说明： 关联该 issue 并提交代码至 https://github.com/secretflow/spu/tree/main/sml （具体目录位置请与reviewer讨论）
• 特殊说明： 若某个特性有特殊的限制，如需要 FM128，需要更多 fxp 等需要在注释文档中明确说明

能力要求

• 熟悉经典的机器学习算法
• 熟悉 JAX 或 NumPy，可以使用 NumPy 实现算法

操作说明

• 可参考：https://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.OneHotEncoder.html
• 操作指引：https://www.secretflow.org.cn/zh-CN/docs/spu/main/tutorials/develop_your_first_mpc_application
• 示例：
  • 逻辑实现：https://github.com/secretflow/spu/blob/main/sml/linear_model/sgd_classifier.py
  • 单测/精度测试： https://github.com/secretflow/spu/blob/main/sml/linear_model/tests/sgd_classifier_test.py
  • emulation测试： https://github.com/secretflow/spu/blob/main/sml/linear_model/emulations/sgd_classifier_emul.py

贡献说明

• 贡献指引文档：https://github.com/secretflow/spu/blob/main/sml/development.md

• PR 提交注意事项“签署 CLA，添加 license，具体的 python 代码规范，格式化工具以及在 vscode 中的配置和使用（仅供参考，其余 IDE 类似，只要使用 black 和 isort 即可）等详细内容可以参考文档 中的对应内容 （至于单测等规范请参考本 issue 中的示例部分完成）

• 更多可参考内容：隐语 MOOC 2期视频:
  ○ https://www.bilibili.com/video/BV1ba4y1S73z/?spm_id_from=333.788
  ○ https://www.bilibili.com/video/BV1Qe411D7MG/?spm_id_from=333.788

[github-actions]

Stale issue message. Please comment to remove stale tag. Otherwise this issue will be closed soon.

[MiKKiYang]

38832234 Give it to me

[Candicepan]

38832234 Give it to me

Hello! Congratulations on successfully claiming this task, and thank you for your support of the OSCP! Please complete your contribution within two weeks, otherwise, the task will be released. If you have any questions, please let us know. 😄

恭喜你成功认领了该任务，感谢对 OSCP 的支持～请在 2周内完成该任务贡献，否则，该任务将会被释放哦～如果你有任何疑问，请告知我们～😄

[MiKKiYang]

@Candicepan @Yeekin-GYJ @deadlywing

hello，我这边目前实现完成了，我看提交说明里提到：“提交说明： 关联该 isuue 并提交代码至 https://github.com/secretflow/spu/tree/main/sml （具体目录位置请与reviewer讨论）”

但是我的实现依赖了如下的库：
from typing import Any, Dict, List

import jax.numpy as jnp
import numpy as np
import pandas as pd
from secretflow.data import Partition
from secretflow.data.horizontal import HDataFrame
from secretflow.device import SPU, SPUObject
from secretflow.preprocessing.base import _PreprocessBase

主要是有一些secretflow的依赖；

请问具体是提交在哪里？

[MiKKiYang]

@deadlywing 我好像理解有点问题，实现的方式没有以算法方式而是以工程方式去做了

[Candicepan]

@Candicepan @Yeekin-GYJ @deadlywing

hello，我这边目前实现完成了，我看提交说明里提到：“提交说明： 关联该 isuue 并提交代码至 https://github.com/secretflow/spu/tree/main/sml （具体目录位置请与reviewer讨论）”

但是我的实现依赖了如下的库： from typing import Any, Dict, List

import jax.numpy as jnp import numpy as np import pandas as pd from secretflow.data import Partition from secretflow.data.horizontal import HDataFrame from secretflow.device import SPU, SPUObject from secretflow.preprocessing.base import _PreprocessBase

主要是有一些secretflow的依赖；

请问具体是提交在哪里？

本任务具体提交要求：

• 提交代码至：https://github.com/secretflow/spu/tree/main/sml/preprocessing ，并在对应 tests 和 emulations 里写好测试
• 操作指引：可参考 https://github.com/secretflow/spu/blob/main/sml/preprocessing/preprocessing.py 已有的代码进行实现

[MiKKiYang]

@deadlywing

明白了，那是我之前理解错了，我在secretflow里按照组件的方式实现了横向的onehot算子；

实际上这个题的意思是：用jax.numpy以jittable的方式实现横向场景下的onehot，同时用仿真器将这个算子结合spu进行执行成功就可以了，因为只要是在spu里的算子，就是可证安全的，我这么理解对吧

[deadlywing]

@MiKKiYang
你的理解基本是没问题的，SPU里的任务重点在于纯算法实现，即使用python层算子搭建算法执行流，SPU完成底层算子拆分和MPC执行；会更偏向于密态的sklearn的感觉，所以我们希望API上也尽可能接近sklearn；如之前的一些实现：

spu/sml/preprocessing/preprocessing.py

Lines 209 to 235 in d4ba2f2

	class Binarizer:
	"""Binarize data (set feature values to 0 or 1) according to a threshold.
	Parameters
	----------
	threshold : float, default=0.0
	Feature values below or equal to this are replaced by 0, above it by 1.
	"""
	def __init__(self, *, threshold=0.0):
	self.threshold = threshold
	def transform(self, X):
	"""Binarize each element of X.
	Parameters
	----------
	X : {array-like} of shape (n_samples, n_features)
	The data to binarize, element by element.
	Returns
	-------
	ndarray of shape (n_samples, n_features)
	Transformed array.
	"""
	return binarize(X, threshold=self.threshold)

只需要关注逻辑本身即可，，至于SF中的分布式，partition等概念是完成不需要感知的，，

[deadlywing]

Anyway，，你在实现算法的时候只要假设你是在写一个中心化的算法即可，只在测试的时候调用SPU提供的API将数据加密以及封装要运行的函数即可，具体可以参考tests/ 和 emulations/ 目录下原有的一些代码～