📚 环境搭建与工具准备

1. 开发环境概述

在开始Text2SQL项目开发之前，我们需要搭建一个完整的开发环境。本章将详细介绍所需的软件工具、Python库以及数据库环境的配置。

1.1 系统要求

• 操作系统：Windows 10/11、macOS 10.14+、Ubuntu 18.04+
• 内存：至少8GB RAM（推荐16GB+）
• 存储空间：至少10GB可用空间
• GPU：可选，用于深度学习模型训练（推荐NVIDIA GPU）

2. Python环境配置

2.1 Python版本选择

推荐使用Python 3.8或更高版本，确保兼容性和性能。

# 检查Python版本
python --version
# 或
python3 --version

2.2 虚拟环境创建

使用虚拟环境可以避免包依赖冲突：

使用venv（推荐）

# 创建虚拟环境
python -m venv text2sql_env

# 激活虚拟环境
# Windows
text2sql_env\Scripts\activate
# macOS/Linux
source text2sql_env/bin/activate

使用conda

# 创建conda环境
conda create -n text2sql python=3.8

# 激活环境
conda activate text2sql

2.3 包管理工具

确保pip是最新版本：

pip install --upgrade pip

3. 核心依赖库安装

3.1 基础科学计算库

# 数据处理和科学计算
pip install numpy pandas matplotlib seaborn

# 数据可视化
pip install plotly jupyter

3.2 机器学习框架

PyTorch（推荐）

# CPU版本
pip install torch torchvision torchaudio

# GPU版本（CUDA 11.8）
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

TensorFlow（可选）

pip install tensorflow

3.3 自然语言处理库

# Transformers库（Hugging Face）
pip install transformers

# 分词和文本处理
pip install nltk spacy

# 下载NLTK数据
python -c "import nltk; nltk.download('punkt'); nltk.download('stopwords')"

# 下载spaCy英文模型
python -m spacy download en_core_web_sm

3.4 数据库连接库

# SQLite（Python内置）
# MySQL
pip install mysql-connector-python PyMySQL

# PostgreSQL
pip install psycopg2-binary

# 通用数据库接口
pip install sqlalchemy

3.5 Text2SQL专用库

# Spider数据集处理
pip install spider-sql

# SQL解析和验证
pip install sqlparse

# 评估指标计算
pip install sacrebleu

4. 开发工具配置

4.1 IDE选择

PyCharm（推荐）

• 专业的Python IDE
• 强大的调试功能
• 良好的代码补全和重构支持

Visual Studio Code

• 轻量级编辑器
• 丰富的插件生态
• 良好的Git集成

Jupyter Notebook

• 交互式开发环境
• 适合数据探索和原型开发
• 支持可视化展示

4.2 必要插件和扩展

VS Code插件

• Python
• Pylance
• Jupyter
• GitLens
• SQL Tools

PyCharm插件

• Database Tools and SQL
• Markdown
• .ignore

4.3 代码格式化工具

# 代码格式化
pip install black

# 代码检查
pip install flake8 pylint

# 导入排序
pip install isort

5. 数据库环境搭建

5.1 SQLite（入门推荐）

SQLite是Python内置的轻量级数据库，无需额外安装：

import sqlite3

# 创建连接
conn = sqlite3.connect('example.db')
cursor = conn.cursor()

# 测试查询
cursor.execute("SELECT sqlite_version();")
print(cursor.fetchone())

conn.close()

5.2 MySQL安装配置

Windows

1. 下载MySQL Installer
2. 选择Developer Default安装
3. 配置root密码
4. 启动MySQL服务

macOS

# 使用Homebrew安装
brew install mysql

# 启动服务
brew services start mysql

# 安全配置
mysql_secure_installation

Ubuntu

# 安装MySQL
sudo apt update
sudo apt install mysql-server

# 安全配置
sudo mysql_secure_installation

5.3 PostgreSQL安装配置

Windows

1. 下载PostgreSQL安装包
2. 运行安装程序
3. 配置超级用户密码
4. 启动服务

macOS

# 使用Homebrew安装
brew install postgresql

# 启动服务
brew services start postgresql

# 创建数据库
createdb mydatabase

Ubuntu

# 安装PostgreSQL
sudo apt install postgresql postgresql-contrib

# 切换到postgres用户
sudo -u postgres psql

6. 数据集准备

6.1 Spider数据集

Spider是最著名的Text2SQL数据集：

# 下载Spider数据集
wget https://yale-lily.github.io/spider/spider.zip
unzip spider.zip

6.2 WikiSQL数据集

# 克隆WikiSQL仓库
git clone https://github.com/salesforce/WikiSQL.git

6.3 数据集结构说明

spider/
├── train_spider.json      # 训练数据
├── dev.json              # 验证数据
├── tables.json           # 数据库表结构
└── database/             # 数据库文件
    ├── academic/
    ├── activity_1/
    └── ...

7. 环境验证

7.1 创建测试脚本

创建test_environment.py文件：

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""
环境验证脚本
"""

import sys
import sqlite3
import json

def test_python_version():
    """测试Python版本"""
    print(f"Python版本: {sys.version}")
    assert sys.version_info >= (3, 8), "Python版本需要3.8或更高"
    print("✓ Python版本检查通过")

def test_imports():
    """测试关键库导入"""
    try:
        import numpy as np
        import pandas as pd
        import torch
        import transformers
        import sqlparse
        print("✓ 所有关键库导入成功")
        
        # 显示版本信息
        print(f"  - NumPy: {np.__version__}")
        print(f"  - Pandas: {pd.__version__}")
        print(f"  - PyTorch: {torch.__version__}")
        print(f"  - Transformers: {transformers.__version__}")
        
    except ImportError as e:
        print(f"✗ 库导入失败: {e}")
        return False
    return True

def test_database():
    """测试数据库连接"""
    try:
        conn = sqlite3.connect(':memory:')
        cursor = conn.cursor()
        cursor.execute("SELECT 1")
        result = cursor.fetchone()
        conn.close()
        assert result[0] == 1
        print("✓ SQLite数据库连接正常")
        return True
    except Exception as e:
        print(f"✗ 数据库连接失败: {e}")
        return False

def test_gpu():
    """测试GPU可用性"""
    try:
        import torch
        if torch.cuda.is_available():
            print(f"✓ GPU可用: {torch.cuda.get_device_name(0)}")
            print(f"  - CUDA版本: {torch.version.cuda}")
            print(f"  - GPU数量: {torch.cuda.device_count()}")
        else:
            print("! GPU不可用，将使用CPU")
    except Exception as e:
        print(f"! GPU检查失败: {e}")

def main():
    """主函数"""
    print("=== Text2SQL环境验证 ===")
    print()
    
    # 测试Python版本
    test_python_version()
    print()
    
    # 测试库导入
    if not test_imports():
        return False
    print()
    
    # 测试数据库
    if not test_database():
        return False
    print()
    
    # 测试GPU
    test_gpu()
    print()
    
    print("=== 环境验证完成 ===")
    print("✓ 环境配置正确，可以开始Text2SQL开发！")
    return True

if __name__ == "__main__":
    success = main()
    sys.exit(0 if success else 1)

7.2 运行验证

python test_environment.py

8. 项目结构建议

创建标准的项目目录结构：

text2sql_project/
├── data/                 # 数据文件
│   ├── raw/             # 原始数据
│   ├── processed/       # 处理后的数据
│   └── external/        # 外部数据
├── models/              # 模型文件
│   ├── saved_models/    # 保存的模型
│   └── checkpoints/     # 检查点
├── notebooks/           # Jupyter notebooks
├── src/                 # 源代码
│   ├── data/           # 数据处理
│   ├── models/         # 模型定义
│   ├── training/       # 训练脚本
│   └── evaluation/     # 评估脚本
├── tests/              # 测试文件
├── configs/            # 配置文件
├── requirements.txt    # 依赖列表
├── README.md          # 项目说明
└── setup.py           # 安装脚本

9. 常见问题解决

9.1 依赖冲突

# 清理pip缓存
pip cache purge

# 重新安装有问题的包
pip uninstall package_name
pip install package_name

9.2 CUDA版本不匹配

# 检查CUDA版本
nvcc --version

# 安装对应版本的PyTorch
# 访问 https://pytorch.org/ 获取正确的安装命令

9.3 内存不足

• 减少批处理大小
• 使用梯度累积
• 考虑使用模型并行

9.4 数据库连接问题

# 测试数据库连接
import sqlalchemy

engine = sqlalchemy.create_engine('sqlite:///test.db')
try:
    connection = engine.connect()
    print("数据库连接成功")
    connection.close()
except Exception as e:
    print(f"连接失败: {e}")

10. 性能优化建议

10.1 硬件优化

• 使用SSD存储
• 增加内存容量
• 使用GPU加速

10.2 软件优化

• 使用多进程数据加载
• 启用混合精度训练
• 优化数据预处理流程

总结

本章详细介绍了Text2SQL开发环境的搭建过程，包括：

1. Python环境配置：虚拟环境创建和包管理
2. 依赖库安装：机器学习、NLP和数据库相关库
3. 开发工具配置：IDE选择和插件安装
4. 数据库环境：SQLite、MySQL、PostgreSQL的安装配置
5. 数据集准备：Spider和WikiSQL数据集的获取
6. 环境验证：完整的测试脚本
7. 项目结构：标准的目录组织
8. 问题解决：常见问题的解决方案

完成环境搭建后，您就可以开始Text2SQL的学习和开发之旅了。在下一章中，我们将深入学习SQL基础知识和数据库设计原理。