如何使用pgfutter快速导入CSV文件到PostgreSQL？3分钟上手教程

【免费下载链接】pgfutter Import CSV and JSON into PostgreSQL the easy way 项目地址: https://gitcode.com/gh_mirrors/pg/pgfutter

pgfutter是一款简单高效的命令行工具，专为快速导入CSV和JSON文件到PostgreSQL数据库设计。它能自动处理表头、生成表结构，并通过PostgreSQL的COPY协议实现高性能数据导入，让原本繁琐的数据导入过程变得简单快捷。

📌 为什么选择pgfutter？核心优势解析

pgfutter解决了传统PostgreSQL数据导入的三大痛点：

• 自动建表：无需手动创建表结构，工具会根据CSV表头自动生成合适的表和字段
• 高速导入：采用PostgreSQL的COPY流协议，比普通INSERT快10倍以上
• 错误处理：支持忽略错误行并输出错误数据，便于后续清洗

图：pgfutter的核心功能示意图，大象象征PostgreSQL数据库，花朵代表导入的数据

🔧 1分钟安装指南

Linux系统安装

wget -O pgfutter https://github.com/lukasmartinelli/pgfutter/releases/download/v1.2/pgfutter_linux_amd64
chmod +x pgfutter
./pgfutter --help  # 验证安装成功

OSX系统安装

wget -O pgfutter https://github.com/lukasmartinelli/pgfutter/releases/download/v1.2/pgfutter_darwin_amd64
chmod +x pgfutter

源码安装（适用于开发者）

git clone https://gitcode.com/gh_mirrors/pg/pgfutter
cd pgfutter
go get github.com/lukasmartinelli/pgfutter

🚀 3步完成CSV导入到PostgreSQL

第1步：准备CSV文件

创建包含表头的CSV文件（如friends.csv）：

name,age,friends
Jacob,26,"Anthony"
Anthony,25,""
Emma,28,"Jacob,Anthony"

第2步：配置数据库连接

通过环境变量设置数据库连接信息：

export DB_NAME=your_database
export DB_USER=your_user
export DB_HOST=localhost
export DB_PORT=5432

第3步：执行导入命令

pgfutter csv friends.csv

执行成功后，工具会自动创建import.friends表并导入数据，输出类似： 3 rows imported into import.friends

⚙️ 高级用法：处理特殊CSV格式

自定义分隔符（如Tab分隔文件）

pgfutter csv -d $'\t' data.tsv  # Tab分隔文件
pgfutter csv -d "|" data.pipe    # 竖线分隔文件

跳过表头或自定义字段名

# 跳过表头并指定字段名
pgfutter csv --skip-header --fields "name,age,address" data.csv

忽略错误行继续导入

pgfutter --ignore-errors csv large_data.csv 2> errors.csv

📊 导入后的数据处理

pgfutter会将数据导入到import schema下的表中，你可以通过SQL进一步处理：

-- 创建正式表结构
CREATE TABLE public.person (
    name VARCHAR(200) PRIMARY KEY,
    age INTEGER
);

-- 从导入表迁移数据
INSERT INTO public.person
SELECT name, age::int FROM import.friends;

❓ 常见问题解决

Q: 导入时提示编码错误？

A: pgfutter仅支持UTF-8编码，请确保CSV文件使用UTF-8编码保存

Q: 如何指定自定义表名？

A: 使用--table参数：pgfutter --table my_custom_table csv data.csv

Q: 连接远程数据库需要注意什么？

A: 确保PostgreSQL允许远程连接，并正确设置DB_HOST和DB_PORT环境变量

pgfutter通过简化配置、自动化处理和高效导入，彻底改变了PostgreSQL数据导入体验。无论是日常数据处理还是大规模数据迁移，它都能成为你的得力助手！

【免费下载链接】pgfutter Import CSV and JSON into PostgreSQL the easy way 项目地址: https://gitcode.com/gh_mirrors/pg/pgfutter