【数据集资源】大数据资源

时间： 2023-12-21 admin 维修知识

【数据集资源】大数据资源推荐度：
相关推荐

【数据集资源】大数据资源

大概包含10个领域数据集：
金融
交通
商业
推荐系统
医疗健康
图像数据
视频数据
音频数据
自然语言处理
社会数据
处理后的科研和竞赛数据

1、huggingface的数据下载方式：

 1.进入官网数据集列：Hugging Face – The AI community building the future.2.选中自己想要下载的数据后，在本地执行如下命令：git lfs installgit clone

2、魔塔社区的数据下载方式（中文数据社区）

1、进入官网数据集列（）：数据集首页 · 魔搭社区 (modelscope)2.选中自己想要下载的数据后，下载方式如下：数据集的下载 · 文档中心 (modelscope)

Machine Learning Datasets | Papers With Code

阿里巴巴datahub:

清华官网整理数据集：openslr

聚数力：数据集 – Labeled Faces in the Wild 数据集 | 聚数力平台 | 大数据应用要素托管与交易平台

文本分类（情感分析）中文数据集汇总
这段时间在公司NLP组里实习，相应的开始学习了一些NLP的知识，并搜索了一些关于NLP中文本分类领域的相关数据集，本文主要列举一些中文数据集。关于英语数据集，且听下回分解。

1.THUCNews数据集：
THUCNews是根据新浪新闻RSS订阅频道2005~2011年间的历史数据筛选过滤生成，包含74万篇新闻文档（2.19 GB），均为UTF-8纯文本格式。我们在原始新浪新闻分类体系的基础上，重新整合划分出14个候选分类类别：财经、彩票、房产、股票、家居、教育、科技、社会、时尚、时政、体育、星座、游戏、娱乐。使用THUCTC工具包在此数据集上进行评测，准确率可以达到88.6%。

数据集地址： /

2.今日头条新闻文本分类数据集：
数据来源：今日头条客户端
数据规模：共382688条，分布于15个分类中。
数据格式：6552431613437805063_!102!news_entertainment!谢娜为李浩菲澄清网络谣言，之后她的两个行为给自己加分!_佟丽娅,网络谣言,快乐大本营,李浩菲,谢娜,观众们

每行为一条数据，以_!_分割的个字段，从前往后分别是
新闻ID，分类code（见下文），分类名称（见下文），新闻字符串（仅含标题），新闻关键词

数据集地址：

3.全网新闻数据(SogouCA)：
来自若干新闻站点2012年6月—7月期间国内，国际，体育，社会，娱乐等18个频道的新闻数据，提供URL和正文信息

数据格式为

页面URL 页面ID 页面标题页面内容 1 2 3 4 5 6 注意：content字段去除了HTML标签，保存的是新闻正文文本

数据集地址： .php

4.搜狐新闻数据(SogouCS)：
来自搜狐新闻2012年6月—7月期间国内，国际，体育，社会，娱乐等18个频道的新闻数据，提供URL和正文信息

数据格式为

页面URL
页面ID
页面标题
页面内容

1
2
3
4
5
6
7
注意：content字段去除了HTML标签，保存的是新闻正文文本

数据集地址： .php

5.ChnSentiCorp_htl_all数据集：
7000 多条酒店评论数据，5000 多条正向评论，2000 多条负向评论

数据字段：
Label：1表示正向评论，0表示负向评论
Review：评论内容
1
2
3

数据集地址：
.csv

6.waimai_10k数据集：
某外卖平台收集的用户评价，正向4000 条，负向约 8000 条

数据字段：

Label：1表示正向评论，0表示负向评论
Review：评论内容
1
2
3
4

数据集地址：
.csv

7.online_shopping_10_cats数据集：
10 个类别（书籍、平板、手机、水果、洗发水、热水器、蒙牛、衣服、计算机、酒店），共 6 万多条评论数据，正、负向评论各约 3 万条

数据集下载地址：
.zip

8.weibo_senti_100k数据集：
10 万多条，带情感标注新浪微博，正负向评论约各 5 万条。

数据集下载地址：
.ipynb

9.simplifyweibo_4_moods数据集：
36 万多条，带情感标注新浪微博，包含 4 种情感，其中喜悦约 20 万条，愤怒、厌恶、低落各约 5 万条

数据集下载地址：

10.dmsc_v2数据集：
28部电影，超70万用户，超200万条评分/评论数据

数据集地址：

原始数据集地址：

11.yf_dianping数据集：
24 万家餐馆，54 万用户，440 万条评论/评分数据

数据集地址：
原始数据集地址：/

12.yf_amazon数据集：
52 万件商品，1100 多个类目，142 万用户，720 万条评论/评分数据

原始数据集地址：/
数据集地址：

13.Datahub数据中心：
包含文本分类、情感分析以及知识图谱的数据集