ML平台开发日志

引言：为什么敢碰全栈开发

Mon, 01 Jan 0001 00:00:00 +0000

一个电化学工程师，为什么敢碰全栈开发？#

我是一名做电池电化学仿真的工程师，日常工作是 COMSOL 建模和电池智能设计与优化、寿命预测算法。Python 和 scikit-learn 我比较熟悉，但 Django 是什么？HTML 怎么写？前端和后端怎么通信？Celery 怎么配？ 这些我统统不知道。

但我有一个明确的需求：我想做一个网页平台，让我和团队可以上传实验数据，自动跑机器学习模型，保存训练结果，还能在线预测。 不需要找前端，不需要找后端，就我一个人，加上 AI。

这就是 Vibe Coding——你不需要会所有的技术，你需要的是：

清楚地知道自己要什么
会用自然语言把需求拆解给 AI
能判断 AI 给出的方案是否合理

这篇文章的重点不是代码，而是我和 AI 之间的每一轮对话是如何设计的——提示词怎么写、AI 建议了什么、我做了哪些调整、踩了哪些坑。

ML 平台概览#

我要做的平台叫 ML计算平台，核心工作流 7 步：

用户登录 → 上传数据 → 选择特征和标签 → 选择学习类型 → 训练+调参 → 保存模型 → 在线预测

最终技术栈#

层级	技术
前端	Bootstrap 3.4.1 + jQuery 3.6.0 + ECharts 5.x
后端	Django 3.2.9（Template + JsonResponse API）
异步	Celery + SQLite broker（Windows solo pool）
数据库	MySQL 5.7.31
ML	scikit-learn + lazypredict + Optuna + pandas + numpy

开发周期#

我从零开始搭建这个平台用了大约 4 天（不包含前期 2 周学习 Django/MySQL/JS 基础的时间）。如果纯靠自己，这个时间可能是 2-3 个月，而且大概率中途放弃。

前端 + 后端 + 数据库速通

Mon, 01 Jan 0001 00:00:00 +0000

在正式开发之前，我花了 2 周的时间补前端和 Django 的基础知识。以下是精炼后的核心要点。

前端三件套：你需要理解到什么程度？#

技术	你需要会的	不需要会的
HTML	标签结构（`<div>`, `<form>`, `<table>`）、表单提交	CSS 动画、复杂布局
CSS	Bootstrap 栅格系统（`col-md-6`）、按钮样式	手写响应式、Sass
JavaScript	jQuery 的 `$.ajax` 发请求、DOM 操作（`$('#id')`）	原生 JS 闭包、原型链

关键认知：你不需要"学会前端"，你需要的是 能读懂 Bootstrap 模板并改文字。真实项目中，我 95% 的 HTML 是 AI 写的，我只负责检查。

Django 核心概念速通#

Django 的开发流程可以浓缩为一句话：定义 Model → 写 View → 配 URL → 填 Template。

概念	类比	核心要点
Models	数据库表的定义	用 Python 类定义字段，`makemigrations` + `migrate` 两步建表
Views	后端业务逻辑	接收请求、操作数据库、返回响应（HTML 或 JSON）
URLs	路由表	把 URL 路径映射到 View 函数
Templates	HTML 模板	`{% extends 'layout.html' %}` 继承基模板，`{% block content %}` 填内容

我踩的坑#

App 注册：创建 APP 后必须在 settings.py 的 INSTALLED_APPS 中注册，否则 makemigrations 不会生成迁移文件。

架构构思与第一次提示词设计

Mon, 01 Jan 0001 00:00:00 +0000

我的想法#

我要做的平台叫 ML计算平台，核心功能是 7 步：

用户登录 → 上传数据 → 选择特征和标签 → 选择学习类型 → 训练+调参 → 保存模型 → 在线预测

我非常清楚机器学习做监督学习和非监督学习的工作流（尤其基于 scikit-learn 框架），但我的同事大多没有这方面的基础。因此方案需要从新手用户角度出发，尽可能避免用户做复杂的数据处理、特征工程、模型选择和模型调参工作。

第一次提示词——告诉 AI “我要什么”#

我花了大概 1 天的时间写这段提示词（精简版）：

我想开发一个具备登录认证、数据永久存储的机器学习算法平台，功能包括：

用户导入 CSV/XLSX 数据

用户选择特征和标签

监督学习（回归/分类）走相关性分析 + lazypredict + optuna 调参；非监督学习走聚类

模型保存、新数据预测、结果导出

前端用 HTML + Bootstrap + JavaScript，后端 Django，数据存 MySQL。

请先只实现 ML 算法部分（不涉及前端和 Django），集成到 ml_utils.py 中，方便后续导入 Django。 我的环境是 Python 3.11.7、Django 3.2.9、scikit-learn 1.9.0、optuna 4.9.0。

为什么这么写？#

先限定范围——“先不做前端"避免 AI 一次输出几千行代码
给出具体包名和版本——避免 AI 用了不兼容的 API
说清楚集成方式——“集成到 ml_utils.py"让 AI 知道模块化要求

AI 的建议：哪些我直接用了，哪些我调整了#

✅ 直接采用的

8 个类的模块化设计：DataImporter、DataPreprocessor、FeatureSelector、SupervisedTrainer、UnsupervisedTrainer、ModelTuner、ModelManager、MLPipeline
lazypredict 批量训练 30+ 模型 + Optuna 自动调参的组合方案
MLPipeline 作为编排器统一调用其他类

91 项单元测试全部通过。

从不会 Django 到跑通第一个页面

Mon, 01 Jan 0001 00:00:00 +0000

技术盲区#

ML 模块测试通过后（91/91），我需要把它融入 Django。问题是我的 Django 仅粗略地学习了两周。核心困惑：

Django 的 View 怎么和前端通信？
前端怎么拿到训练结果并渲染图表？
用户上传的文件怎么处理？

我的提示词——把 ML 和 Django 连接起来#

接下来开发第二部分。前端使用纯 Django Template（HTML + jQuery/Bootstrap），要方便预留 Celery 异步处理节点。

请将 ml_utils.py 融入 Django 架构，前端界面要求：

数据管理：上传 CSV → 后台存入 Media → 前端展示前 5 行预览

特征配置：多选框选特征和目标，选择填充策略

模型看板：ECharts 渲染多模型对比柱状图、热力图

在线预测：上传新数据 → 加载模型 → 预测 → 下载 CSV

注意：View 返回 JsonResponse，用 jQuery AJAX 异步获取并渲染。MySQL 仅保存相对路径。

为什么强调"JsonResponse + AJAX"？ 传统做法是 View 直接 render(request, 'xxx.html', context) 把数据塞进模板。但这不适合图表交互——ECharts 需要在前端 JS 中动态获取数据。所以我让 AI 用 API 分离模式：页面 View 只渲染空 HTML 壳子，数据通过 /api/ 接口返回 JSON，前端 jQuery 获取后渲染。

数据处理模块的提示词设计

Mon, 01 Jan 0001 00:00:00 +0000

让 AI 理解"我要清洗 CSV，做 one-hot 编码"#

ML 的数据预处理包含很多步骤：缺失值填充、分类变量编码、数值缩放。这些步骤有先后依赖关系。我的提示词：

数据配置面板应该有模型参数的配置，比如训练集测试集比例、optuna 优化参数等。ml_utils.py 中可以设置的参数都应该让用户可以修改且有默认值。

AI 的实现方案#

AI 不是简单地把所有参数暴露到前端，而是 按训练模式分组：

监督学习参数

测试集比例（默认 0.2）
特征选择方法（F 检验 / 互信息）
p 值阈值（默认 0.05）
Optuna 试验次数（默认 10）
交叉验证折数（默认 3）
随机种子

无监督学习参数

聚类数 K
K 搜索范围（如 2-10）
是否降维
随机种子

切换训练模式时，前端 JS 动态显示/隐藏对应参数面板。

我的调整：一键全选特征#

原始设计中用户要逐个点击列名选特征，20 列数据要点 20 次。我额外要求：

选择特征时增加一个选项，可以一键选择所有特征

AI 在列标题下方加了"全选特征"和"取消全选"两个按钮，全选时自动排除已选为目标列的那一列。

关于特征重要性图的困惑#

训练完成后，有些数据集有特征重要性图，有些没有。我的提问：

为什么有的数据集没有特征重要性分析图？

AI 的解释非常清晰：

最佳模型	有特征重要性？	原因
RandomForest / DecisionTree 等	✓ 有 `feature_importances_`	树模型自带
Ridge / Lasso / LogisticRegression	✓ 有 `coef_`	线性模型用系数绝对值
SVR / KNN / GaussianProcess	✗ 没有	既无 `feature_importances_` 也无 `coef_`

AI 还主动建议可以用 permutation_importance 作为回退方案覆盖所有模型，我暂时没有采用（因为这正是不同模型的特点，只有类似树模型自带有特征重要性分析）。

监督 / 非监督学习的 AI 协作

Mon, 01 Jan 0001 00:00:00 +0000

无监督学习的功能拆分#

最初的无监督学习模块只有聚类，功能单一。我向 AI 提出了拆分需求：

我觉得应该将无监督学习拆分成三个子功能：

帮我找群体（自动聚类）

找出异常样本（IsolationForest 异常检测）

简化数据看规律（PCA + t-SNE 降维可视化）

AI 发现的 3 个并发 Bug#

我提出拆分需求时，AI 在实现过程中主动发现了 3 个我完全没意识到的问题：

Bug 1：轮廓系数显示为 0

代码中 c.get('silhouette_score') or 0 把 None 强制转成了 0，用户会误以为聚类效果极差。

修复：None 值在 ECharts 中显示为缺口（“N/A”），不再误导用户。

Bug 2：SpectralClustering 没有运行

它不在 DEFAULT_CLUSTER_ALGORITHMS 列表中，等于少了一种聚类算法。AI 加上了。

Bug 3：无监督任务出现在预测页

无监督模型没有保存 .joblib 文件，用户选了预测会报"模型文件不存在"。

修复：前端过滤仅显示 task_type === 'supervised' 的任务。

这就是 Vibe Coding 的核心价值之一：你提出一个功能需求，AI 在实现的同时帮你发现你没想到的问题。

异常检测的 contamination 参数#

用户选择的 contamination（异常比例）对结果影响是决定性的。AI 的解释：

contamination 不改变 IsolationForest 的评分本身，只改变阈值——把评分最低的 N% 标记为异常。

异步预测：AI 引导搭建 Celery 任务

Mon, 01 Jan 0001 00:00:00 +0000

为什么需要异步？#

最初训练是 同步阻塞 的——用户点"开始训练"后，浏览器一直转圈等后端跑完整个 pipeline（可能几分钟到几十分钟）。这期间用户什么也做不了。

AI 检查了我的代码，指出：

前端有 2s 轮询机制（为异步设计的），但后端是同步的。用户看到的就是"训练中"转圈直到后端跑完才一次性更新为"已完成"。

我的提示词——改造为 Celery 异步#

是的，改造为 Celery 异步。我的电脑是 Windows 系统。

AI 的关键设计决策#

Windows 不支持 Redis 的默认 prefork 模式。AI 选择了 SQLite 作为 Celery broker（零依赖，开箱即用）：

# settings.py
CELERY_BROKER_URL = 'sqla+sqlite:///celery_broker.db'
CELERY_RESULT_BACKEND = 'db+sqlite:///celery_result.db'
CELERY_WORKER_POOL = 'solo' # Windows 单进程

启动 Worker 的命令：

celery -A mysite worker --pool=solo --loglevel=info

流程变化#

之前: 用户点训练 → 浏览器转圈等后端跑完 → 一次性返回结果
现在: 用户点训练 → 立即返回 task_id → 前端每 2s 轮询状态
 → Celery worker 在后台跑 pipeline → 完成后 status 变为 completed

训练失败后的状态回退问题#

训练失败后，我发现无法用同一个数据集重新训练，必须先删除失败的任务。

调试血泪史

Mon, 01 Jan 0001 00:00:00 +0000

Bug 1：PNG 图片保存到了项目根目录#

现象：训练完成后，项目根目录下出现一堆 .png 文件。

我的提示词：

模型预测保存的 PNG 图片保存到了项目的根目录下了

AI 的修复：Visualizer 的 output_dir 在 View 中没有显式设置，默认是 '.'（当前工作目录）。改为 output_dir='media/charts/<task_id>/'。

我的后续决策：我发现自己根本不需要 PNG——ECharts 的 JSON 配置已经够用了。于是我问：

我不需要生成 PNG 文件，应该注释哪里的代码？

AI 的回答很巧妙：不需要逐个注释所有 plot_* 方法，只需让 _save_png 方法跳过保存即可。一处改动控制所有 PNG 输出。

Bug 2：无监督学习查看图表弹出的是空看板#

现象：无监督任务训练成功后，点击"查看图表"跳转到模型看板，但没有任何图表展示。

我的提示词：

训练好的结果在点击"任务追踪"的"详情"→“查看图表"时返回的是"启动训练"看板，并没有出现图表页面

AI 的排查：问题不在图表生成，而在页面跳转。Dashboard 只显示训练启动表单，不加载已有任务的图表。需要让 Dashboard 支持 ?task_id=xxx 参数，自动加载图表。

修复方案：

View 从 URL 读取 task_id 参数传入模板
Dashboard JS 初始化时检测参数，非空则自动调用 loadResults() 渲染图表
任务列表的"查看图表"链接改为 /dashboard/?task_id=<id>

Bug 3：降维为"No"时前端无图表#

现象：聚类任务不选降维，后端运行正常（Celery 日志显示 succeeded），但前端不显示任何图表，连肘部图也没有。浏览器控制台报 500 错误。

用户体验优化：从能用到好用

Mon, 01 Jan 0001 00:00:00 +0000

优化的起点#

平台基本功能跑通后，我问 AI 了一个开放性问题：

针对当前平台，从用户体验角度，有哪些可优化的方向？请按必要性排序。

AI 返回了 8 个方向，我选了前 6 个（P0-P2）：

优先级	优化方向	解决什么问题
P0	训练过程可见性	用户盯着"运行中"三个字几分钟，完全不知道进度
P0	训练前数据探索	用户不了解数据分布就做特征选择
P1	错误反馈可操作	Python traceback 看不懂
P1	跨任务模型对比	每个训练结果相互隔离，无法横向比较
P2	任务队列透明化	solo pool 排队中不知道前面还有几个
P2	流程串联优化	6 个页面相互独立，上下文在跳转中丢失

P0：训练过程可见性#

AI 设计了一个很优雅的 ProgressCallback 机制：

每个 task_type 定义阶段列表（如监督学习 7 步、聚类 4 步）
每个阶段入口调用 progress_callback('stage_name', message='...')，写入 MLTask.progress_info（JSONField）
前端每 2s 轮询时拿到进度数据：进度条百分比、当前阶段名、实时日志

监督学习进度条：
数据导入 → 预处理 → 相关性分析 → 特征选择 → 模型训练 → 超参数调优 → 模型保存

P1：错误反馈可操作#

AI 利用 ml_utils.py 中已有的异常体系（MLDataError、MLFeatureError 等），按异常类型映射到 5 个类别：

结语：提示词工程的核心心得

Mon, 01 Jan 0001 00:00:00 +0000

核心原则#

回顾整个开发过程，我总结出以下 6 条提示词工程原则：

1. 给上下文 > 给命令#

不要只说"帮我做 X"，要说"我要做 X，因为 Y，我的环境是 Z"。

❌ “帮我加 Celery”

✅ “改造为 Celery 异步。我的电脑是 Windows 系统，目前用 Django 3.2.9，没有安装 Redis”

后者让 AI 直接选 SQLite broker，省去了我安装 Redis 和排错的时间。

2. 先计划后执行#

大型任务不要让 AI 直接写代码。我的做法是：

先让 AI 出方案（Plan Mode）
我审查方案，确认技术选型和架构
再让 AI 按方案执行

我的平台有 5 次大的 Plan-then-Execute 循环，每次 AI 都会先输出一个详细的计划文件（如 day1-2-plan.md），确认后才动手。

3. 分阶段推进，每阶段验证#

阶段	内容	验证方式
1	ML 核心模块	91 项单元测试
2	可视化模块	157 项测试（含 ECharts/PNG 验证）
3	Django 集成	手动走通上传→配置→训练→预测全流程
4	Celery 异步	观察训练是否立即返回 + Worker 终端日志
5	UX 优化	6 步逐个验证

4. 遇到错误时，把完整信息喂给 AI#

错误日志 + 操作步骤 + 你期望的行为，三者一起给。AI 排查 Bug 的速度会快 10 倍。