python多进程读写文件_python多进程文件操作的一些理解
python多进程读写文件_python多进程文件操作的一些理解
如果多进程都对同一个文件进行写入,那么就会出现多个进程争夺资源的问题。会使写入的文件内容错乱。
1. 写入文件: 同一时间,只能有一个进程,对文件进行写入操作。这是操作系统的设定
2. 多进程写入文件: 由操作系统随机决定哪个进程来写入操作。
因为这种决策是随机,完全无序的。所以写入文件时,会造成文件顺序的错乱。
一个进程执行多长时间是由操作系统决定的。而且程序的执行单元是原子型的,
也就是说一行汇编代码才是一个执行单元,并不是Python中的一行代码才是一个执行单元。
3. 执行单元:最小的原子型的不可分割的一个执行动作。
比如:一共十个进程,每个进程写十个字,写十个字算是一个完整的操作。一个字全是一个执行单元。
那么一个进程可能写完十个字,也就是一个完整的操作后,由系统决定切换到另外一个进程。
也可能一个进程1写三个字,系统就切换另外一个进程3来进行操作。进程3写了二个字,系统切换到进程5,继续写入。
这样就造成了文件内容的错乱。一行内有进程1的三个字,进程3的两个字,进程5的字。
解决办法:
1. 对写入操作 进行加锁
就是说:对当前进行写入操作的进程锁定,直到该进程写完十个字,也就是一个完成的操作,后解除该进程的锁定,放它离开。切换到另外一个进程来操作。
因为一次只能一个进程执行写入操作,而且必须执行完成完整的操作,才允许切换。所以不会造成文件内容的混乱。
但是加锁一般会完造成程序的执行效率下降。而且,如果写入操作分散在整个代码的多处,
总不能把整个代码都锁起来吧,