pgfutter完全指南：轻松将CSV和JSON数据导入PostgreSQL的终极工具

【免费下载链接】pgfutter Import CSV and JSON into PostgreSQL the easy way 项目地址: https://gitcode.com/gh_mirrors/pg/pgfutter

pgfutter是一款专为简化CSV和JSON数据导入PostgreSQL数据库而设计的高效工具，它能够自动处理数据导入过程中的繁琐步骤，让用户无需深入了解复杂的数据库操作即可快速完成数据迁移。无论是新手还是有经验的开发者，都能通过pgfutter轻松实现数据导入，极大提升工作效率。

🌟 pgfutter的核心优势

pgfutter之所以成为数据导入的理想选择，源于其强大的功能特性：

• 自动生成导入表：无需手动创建表结构，运行pgfutter csv <file>或pgfutter json <file>即可自动完成表创建
• 高效数据传输：采用PostgreSQL的COPY流协议，实现高性能数据导入
• 跨平台部署：提供Linux、OSX和Windows系统的独立二进制文件，部署简单快捷
• 错误处理机制：支持忽略错误行并将其输出，便于后续数据清洗
• 网络导入支持：可直接通过网络导入数据，无需本地文件
• UTF8编码支持：完美处理UTF8编码的文本数据

图：pgfutter项目的卡通大象图标，象征着工具如大象般稳健可靠地处理数据导入工作

🚀 快速安装指南

适用于OSX系统

wget -O pgfutter https://github.com/lukasmartinelli/pgfutter/releases/download/v1.2/pgfutter_darwin_amd64
chmod +x pgfutter
./pgfutter --help

适用于Linux系统

wget -O pgfutter https://github.com/lukasmartinelli/pgfutter/releases/download/v1.2/pgfutter_linux_amd64
chmod +x pgfutter
./pgfutter --help

从源码安装

go get github.com/lukasmartinelli/pgfutter

对于Windows或32位架构系统，请从官方发布页面下载相应版本。

📊 导入CSV文件的简单步骤

pgfutter支持符合RFC 4180标准的CSV文件导入。以下是完整的操作流程：

1. 准备CSV文件（例如friends.csv）：

name,age,friends
Jacob,26,"Anthony"
Anthony,25,""
Emma,28,"Jacob,Anthony"

2. 执行导入命令：

pgfutter csv friends.csv

工具会自动创建表并导入数据，结果如下：

name	age	friends
Jacob	26	Anthony
Anthony	25
Emma	28	Jacob,Anthony

导入完成后，你可以使用SQL进一步处理数据：

CREATE TABLE public.person (
    name VARCHAR(200) PRIMARY KEY,
    age INTEGER
)

CREATE TABLE public.friendship (
    person VARCHAR(200) REFERENCES public.person(name),
    friend VARCHAR(200) REFERENCES public.person(name)
)

INSERT INTO public.person
SELECT name, age::int
FROM import.friends

WITH friends AS
    (SELECT name as person, regexp_split_to_table(friends, E'\\,') AS friend
    FROM import.friends)
INSERT INTO public.friendship
SELECT * FROM
friends WHERE friend <> ''

📄 导入JSON文件的详细方法

对于每行包含一个JSON对象的文件（如日志文件），pgfutter提供了简便的导入方案（仅支持PostgreSQL 9.3及以上版本）：

1. 准备JSON文件（例如friends.json）：

{"name": "Jacob", "age": 26, "friends": ["Anthony"]}
{"name": "Anthony", "age": 25, "friends": []}
{"name": "Emma", "age": 28, "friends": ["Jacob", "Anthony"]}

2. 执行导入命令：

pgfutter json friends.json

导入后，JSON对象将存储在名为data的JSON类型列中：

data

{"name": "Jacob", "age": 26, "friends": ["Anthony"]}
{"name": "Anthony", "age": 25, "friends": []}
{"name": "Emma", "age": 28, "friends": ["Jacob", "Anthony"]}

利用PostgreSQL强大的JSON支持，你可以轻松解析数据：

CREATE TABLE public.person (
    name VARCHAR(200) PRIMARY KEY,
    age INTEGER
)

CREATE TABLE public.friendship (
    person VARCHAR(200) REFERENCES public.person(name),
    friend VARCHAR(200) REFERENCES public.person(name)
)

INSERT INTO public.person
SELECT data->>'name' as name, (data->>'age')::int as age
FROM import.friends

INSERT INTO public.friendship
SELECT data->>'name' as person, json_array_elements_text(data->'friends')
FROM import.friends

⚙️ 数据库连接配置

pgfutter支持通过环境变量或命令行参数配置数据库连接：

参数名	默认值	描述
DB_NAME	postgres	数据库名称
DB_HOST	localhost	主机名
DB_PORT	5432	端口号
DB_SCHEMA	import	用于创建表的模式
DB_USER	postgres	数据库用户
DB_PASS		密码（如无密码则为空）

💡 高级使用技巧

指定自定义分隔符

对于非逗号分隔的CSV文件，可以使用-d参数指定分隔符：

pgfutter csv -d "\t" traffic_violations.csv

使用TAB作为分隔符

在shell中使用TAB作为分隔符时，需用$'\t'确保正确解析：

pgfutter csv -d $'\t' traffic_violations.csv

自定义表头字段

如果CSV文件没有表头或需要自定义字段名，可使用--fields参数：

pgfutter csv --skip-header --fields "name,state,year" traffic_violations.csv

处理无效输入

对于包含错误数据的文件，可使用--ignore-errors标志忽略错误行：

pgfutter --ignore-errors csv traffic_violations.csv 2> traffic_violations_errors.csv

指定自定义表名

默认情况下，pgfutter使用 sanitized 后的文件名作为表名，也可通过--table参数指定：

pgfutter --table violations csv traffic_violations.csv

📝 注意事项

• 编码要求：所有CSV文件必须使用UTF-8编码，不支持其他编码格式
• PostgreSQL版本：JSON导入功能需要PostgreSQL 9.3或更高版本
• 数据清洗：pgfutter仅负责数据导入，建议导入后使用SQL进行数据清洗和规范化

🔄 替代方案

对于更复杂的需求，可考虑使用pgloader，它提供了更多高级特性和数据转换功能。

📚 项目文件结构

pgfutter项目的核心文件包括：

• pgfutter.go - 主程序入口
• csv.go - CSV导入功能实现
• json.go - JSON导入功能实现
• postgres.go - PostgreSQL数据库连接处理
• import.go - 数据导入逻辑实现
• progressbar.go - 进度条显示功能

通过本指南，你已经掌握了pgfutter的基本使用方法和高级技巧。这款工具将帮助你轻松应对各种CSV和JSON数据导入PostgreSQL的场景，节省宝贵的开发时间。无论是日常数据处理还是大规模数据迁移，pgfutter都是你的理想选择！

【免费下载链接】pgfutter Import CSV and JSON into PostgreSQL the easy way 项目地址: https://gitcode.com/gh_mirrors/pg/pgfutter