Synthetic Data Pipeline

Phân hệ sinh dữ liệu huấn luyện bot bán hàng (S1→S6). Chỉ admin tổng được truy cập.

Trang chủ Vận hành Bot Tổng quan
Phân hệ admin — API key LLM được giữ trên server, không lộ ra trình duyệt.

Synthetic data pipeline dashboard for Vietnamese e-commerce sales AI training

Synthetic data pipeline
Vietnamese e-commerce sales AI · 6 bước · admin only
API calls: 0 · $0.00
Seed conversations
0
Cần ≥ 50 để bắt đầu
Products in catalog
0
Cần ít nhất 3
Generated conversations
0
S2 + S3 + S4 output
DPO pairs
0
Target: 12,000
Checklist
LLM API — qua server (admin proxy)
Product catalog — chưa có (tải lên bên dưới)
Seed conversations — chưa có (tải lên bên dưới)
Model: theo cấu hình server
Tải lên catalog sản phẩm (JSON)
Format: mảng [{name, price, sizes, colors, material, NOT_have, stock}]
Tải lên seed conversations (JSON)
Format: mảng [{seed_id, skill, scenario, persona_id, difficulty, conversation:[{role,text}], outcome}]
1
Coverage matrix
$0
Kiểm tra seeds đã phủ đủ 4 chiều chưa: Skill × Scenario × Persona × Difficulty. Hiển thị gaps cần fill thêm.
2
Persona-crossing generation
~$0.01/conv
Mỗi seed × 4 personas → conversations đa dạng ngôn ngữ. Hệ thống tạo opening phù hợp scenario, rồi simulate turn-by-turn qua Claude API.
Seed: 3 × 4 personas = 12 conversations
Crossing personas:
P01 · Gen Z Nam P06 · Millennial Bắc P08 · Millennial tỉnh P11 · Gen X Nam
3
Evol-Instruct evolution
~$0.02/conv
Chọn transform và áp dụng cho conversations từ S2. Mỗi transform tăng độ phức tạp hoặc mở rộng sang scenario mới.
Chọn transform:
4
Grounding + counterfactual
~$0.01/item
Tạo conversations grounded vào catalog thật, và 600 cặp counterfactual (stock hết, giá sai, giao sai → seller phải trả lời đúng).
5
Quality filter — IFD + DEITA
~$0.001/conv
Hard filter (loại conversations vi phạm ethics, quá ngắn) → IFD scoring (LLM judge 0–5) → DEITA diversity sampling (Jaccard threshold 0.85).
6
DPO preference pairs
~$0.005/pair
3 nguồn pairs: (A) Counterfactual grounded — 900 pairs từ catalog, (B) Ranked generation — 4 candidates → judge → best/worst, (C) Anti-sycophancy — 20 test cases × variations.
Tóm tắt output
S2 conversations
0
S3 evolved
0
S4 grounded + CF
0
S5 curated
0
DPO pairs
0
Tổng API calls
0
Tải xuống datasets