阅读量:0
目录
1. json简介
JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，用于在不同应用程序之间传递数据。它是一种文本格式，易于阅读和编写，同时也易于解析和生成。JSON最初是由Douglas Crockford于2001年提出的，它基于JavaScript对象字面量语法，但已经成为一种独立于编程语言的数据格式。
乍一看json对象和python中的字典长得差不多，但前者是一种数据格式，而后者是一种数据结构。
具体来讲，json对象由一个大括号 {} 组成，大括号里保存的是若干个key-value对，其中key必须是字符串，且必须由双引号括起来（python的字典可以是单引号）。value可以是字符串，数值（整数/浮点数），布尔值，null，数组，json对象。key和value使用冒号 : 进行分隔，每个key-value对使用逗号 , 进行分隔。
📝 JSON是JavaScript对象字面量语法的一个子集。这意味着所有的JSON字符串在格式上都符合JavaScript对象字面量的语法规则，但并非所有JavaScript对象字面量的写法都是合法的JSON格式。
json对象通常存储在以 .json 为扩展名的文本文件中，一个可能的例子：
{ "k1": "a", "k2": 1, "k3": 1.1, "k4": true, "k5": false, "k6": null, "k7": [ 1, 1.1, false, "b" ], "k8": { "c": 2, "d": 3 } } 以上列出了value所有可能的数据类型。当然，json文件中可以包含多个json对象，通常由一个大列表括起来，每个json对象间用逗号分隔：
[ { "k1": 1, "k2": 2 }, { "k3": 3, "k4": 4 } ] 事实上，json文件能存储的有：
- 单个简单值：例如数值，字符串，布尔值，null。
- 单个数组：数组的内容可以是简单值，其他数组以及json对象。
- 单个json对象：包含一系列key-value对。
📝 看起来只有三种，但展开后就是上面提到的六种：
Number(int/float)、String、Boolean、Null、Array、Object。其中Object指的就是由{}括起来的一组无序的键值对。
对于数组和json对象，其中的最后一个元素后面不能有逗号。
json 库是python的标准库，它主要有四个函数：dump、dumps、load、loads，接下来也只讲解这四个函数。
2. dumps/loads
dumps用于将一个python对象转化成json格式的字符串，其中python对象必须是json可序列化的，即上面提到的三种。dumps这一过程又被称为序列化。
不严谨地来讲，dumps的函数签名如下：
def dumps(obj: Union[None, int, float, str, bool, list, dict], *args) -> str: pass 一些示例：
print(json.dumps(None)) # null print(json.dumps(1)) # 1 print(json.dumps(3.3)) # 3.3 print(json.dumps("abc")) # "abc" print(json.dumps([1, 2, 3, 4])) # [1, 2, 3, 4] print(json.dumps({"a": 1, "b": 2})) # {"a": 1, "b": 2} loads的作用与dumps相反，loads过程又被称为反序列化，即将一个json格式的字符串转化为相应的python对象。
不严谨地来讲，loads的函数签名如下：
def loads(s: str, *args) -> Union[None, int, float, str, bool, list, dict]: pass 📝
s还可以是bytes或bytearray，这超出了本文的讨论范围。
一些示例：
print(json.loads("null")) # None print(json.loads("1")) # 1 print(json.loads("3.3")) # 3.3 print(json.loads("\"abc\"")) # abc print(json.loads("[1, 2, 3, 4]")) # [1, 2, 3, 4] print(json.loads("{\"a\": 1, \"b\": 2}")) # {'a': 1, 'b': 2} 在使用dumps时有一个小细节，如下：
print(json.dumps("abc你好")) # "abc\u4f60\u597d" 默认情况下，所有非 ASCII 字符（即那些无法用标准 ASCII 表示的字符）都被转义为 Unicode 转义序列。这样做的目的是为了确保生成的 JSON 字符串是 ASCII 编码的，因为一些旧系统或处理 JSON 数据的应用程序可能不支持非 ASCII 字符。
如果要防止对非ASCII字符进行转义，可以设置 ensure_ascii = False，如下：
print(json.dumps("abc你好", ensure_ascii=False)) # "abc你好" 3. dump/load
dump用于将一个python对象（需要是json可序列化的）保存到相应的json文件中，dump没有返回值。
with open('1.json', 'w') as f: json.dump([1, 2, 3], f) load用于从一个json文件中读取并转化为相应的python对象：
with open('1.json') as f: print(json.load(f)) # [1, 2, 3] 4. jsonl格式
JSONL（JSON Lines）中的每一行都是一个json对象，如下：
{"name": "John", "age": 30, "city": "New York"} {"name": "Alice", "age": 25, "city": "Los Angeles"} {"name": "Bob", "age": 35, "city": "Chicago"} JSONL 更适合处理大型数据集，特别是日志文件和行格式数据。它可以逐行处理，而不需要一次性加载整个文件到内存中。这使得它在处理大型数据文件时更具效率。
使用json库对jsonl文件进行读写：
# 读取 with open('1.jsonl') as r: for line in r: print(json.loads(line)) # 写入 content = ... # 预定义 with open('1.jsonl', 'w') as w: for line in content: w.write(json.dumps(line, ensure_ascii=False) + '\n') 使用 jsonlines 库，我们可以更高效的处理jsonl文件：
import jsonlines # 读取 with jsonlines.open('1.jsonl') as r: for line in r: print(type(line), line) # <class 'dict'> {'name': 'John', 'age': 30, 'city': 'New York'} # <class 'dict'> {'name': 'Alice', 'age': 25, 'city': 'Los Angeles'} # <class 'dict'> {'name': 'Bob', 'age': 35, 'city': 'Chicago'} # 写入 dic = {"a": 1, "b": 2} with jsonlines.open('1.jsonl', 'w') as w: w.write(dic) # 会自动加换行符 # 写入多个 dic = [{"a": 1, "b": 2}, {"c": 3, "d": 4}] with jsonlines.open('1.jsonl', 'w') as w: w.write_all(dic) 可以看到我们能够直接对 dict 对象进行操作，而不需要进行 dict <-> str 的转化。
📝
write()有返回值，即当前行的字符总数（包括换行符）。write_all()是所有行的字符总数。
注意，jsonlines 的 Writer 并没有 flush() 方法，如需立即写入文件，可以在创建上下文管理器的时候设置 flush=True，如下：
with jsonlines.open('1.jsonl', 'w', flush=True) as w: w.write(line) 