我有一个来自客户端的非规范化事件日记CSV,我试图将其加载到MySQL表中,以便我可以重构成一个正常的格式。我创建了一个名为“CSVImport”的表,它有一个字段为CSV文件的每一列。CSV包含99列,所以这本身就已经是一项艰巨的任务:

CREATE TABLE 'CSVImport' (id INT);
ALTER TABLE CSVImport ADD COLUMN Title VARCHAR(256);
ALTER TABLE CSVImport ADD COLUMN Company VARCHAR(256);
ALTER TABLE CSVImport ADD COLUMN NumTickets VARCHAR(256);
...
ALTER TABLE CSVImport Date49 ADD COLUMN Date49 VARCHAR(256);
ALTER TABLE CSVImport Date50 ADD COLUMN Date50 VARCHAR(256);

表上没有约束,所有字段都包含VARCHAR(256)值,除了包含计数(用INT表示)、是/否(用BIT表示)、价格(用DECIMAL表示)和文本介绍(用text表示)的列。

我尝试将数据加载到文件中:

LOAD DATA INFILE '/home/paul/clientdata.csv' INTO TABLE CSVImport;
Query OK, 2023 rows affected, 65535 warnings (0.08 sec)
Records: 2023  Deleted: 0  Skipped: 0  Warnings: 198256
SELECT * FROM CSVImport;
| NULL             | NULL        | NULL           | NULL | NULL               | 
...

整个表被NULL填充。

我认为问题在于文本简介包含多行,MySQL解析文件时就好像每个新行对应一个数据库行一样。我可以毫无问题地将文件加载到OpenOffice中。

csv文件包含2593行和570条记录。第一行包含列名。我认为它是用逗号分隔的,文本显然是用双引号分隔的。

更新:

如果有疑问,请阅读手册:http://dev.mysql.com/doc/refman/5.0/en/load-data.html

我在LOAD DATA语句中添加了一些OpenOffice智能推断的信息,现在它加载了正确数量的记录:

LOAD DATA INFILE "/home/paul/clientdata.csv"
INTO TABLE CSVImport
COLUMNS TERMINATED BY ','
OPTIONALLY ENCLOSED BY '"'
ESCAPED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 LINES;

但是仍然有很多完全为空的记录,没有一个数据被加载似乎在正确的地方。


当前回答

以下是excel文件截图示例:

另存为并选择.csv。

如果您使用notepad++或任何其他记事本打开,您将会看到如下所示的.csv数据屏幕截图。

确保在.csv中删除标题和列对齐,就像在mysql表中一样。 将folder_name替换为文件夹名称

加载数据本地文件 “D: / folder_name / myfilename.csv” 进入表格邮件 以','结尾的字段 (fname,lname,email, phone);

如果大数据,你可以拿着咖啡装!

这就是你所需要的。

其他回答

phpMyAdmin可以处理CSV导入。以下是步骤:

准备CSV文件,使字段与MySQL表字段的顺序相同。 从CSV中删除标题行(如果有的话),以便文件中只有数据。 进入phpMyAdmin界面。 在左侧菜单中选择表。 单击顶部的导入按钮。 浏览到CSV文件。 选择选项“CSV using LOAD DATA”。 在“以”结尾的字段中输入“,”。 按与数据库表中相同的顺序输入列名。 点击go按钮,你就完成了。

这是我为将来使用准备的笔记,如果其他人能从中受益,就分享在这里。

问题的核心似乎是将CSV文件中的列与表中的列进行匹配。

许多图形化mySQL客户端都有非常好的导入对话框。

我最喜欢的工作是基于Windows的HeidiSQL。它为您提供了一个图形界面来构建LOAD DATA命令;您可以稍后以编程方式重用它。

截图:“导入文本文件”对话框

打开“导入文本文件”对话框,进入工具>导入CSV文件:

我看到一些奇怪的东西。用于转义的字符与用于封闭的字符相同。因此,当引擎发现一个“”时,它不知道该做什么,我认为这就是为什么似乎没有什么东西在正确的地方。 我觉得如果去掉了escape这条线,应该会跑得很棒。如:

LOAD DATA INFILE "/home/paul/clientdata.csv"
INTO TABLE CSVImport
COLUMNS TERMINATED BY ','
OPTIONALLY ENCLOSED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 LINES;

除非你分析(手动的,视觉的,…)你的CSV和找到哪个字符用于转义。有时是“\”。但如果你没有,就不要使用它。

使用mysqlimport加载一个表到数据库:

mysqlimport --ignore-lines=1 \
            --fields-terminated-by=, \
            --local -u root \
            -p Database \
             TableName.csv

我在http://chriseiffel.com/everything-linux/how-to-import-a-large-csv-file-to-mysql/找到的

要使分隔符为制表符,请使用——fields-terminated-by='\t'

mysql命令行在导入时容易出现太多问题。你可以这样做:

使用excel编辑标题名称,使其没有空格 另存为。csv 使用免费的Navicat Lite Sql浏览器导入并自动创建一个新表(给它一个名字) 打开新表,为ID插入一个主要的汽车编号列 根据需要更改列的类型。 完成了!