详解Python中的多线程

# -*- coding:utf-8 -*-
# 线程使用的方式一
import threading
import time
# 需要多线程运行的函数
def fun(args):
    print("我是线程%s" % args)
    time.sleep(2)
    print("线程%s运行结束" % args)
# 创建线程
t1 = threading.Thread(target=fun, args=(1,))
t2 = threading.Thread(target=fun, args=(2,))
start_time = time.time()
t1.start()
t2.start()
end_time = time.time()
print("两个线程一共的运行时间为：", end_time-start_time)
print("主线程结束")
"""
运行结果：
我是线程1
我是线程2两个线程一共的运行时间为： 0.0010077953338623047
主线程结束
线程1运行结束
线程2运行结束
"""

# 继承式调用
import threading
import time
class MyThreading(threading.Thread):
    def __init__(self, name):
        super(MyThreading, self).__init__()
        self.name = name
    # 线程要运行的代码
    def run(self):
        print("我是线程%s" % self.name)
        time.sleep(2)
        print("线程%s运行结束" % self.name)
t1 = MyThreading(1)
t2 = MyThreading(2)
start_time = time.time()
t1.start()
t2.start()
end_time = time.time()
print("两个线程一共的运行时间为：", end_time-start_time)
print("主线程结束")
"""
运行结果：
我是线程1
我是线程2
两个线程一共的运行时间为： 0.0010724067687988281
主线程结束
线程2运行结束
线程1运行结束
"""

# 守护线程
import threading
import time
class MyThreading(threading.Thread):
    def __init__(self, name):
        super(MyThreading, self).__init__()
        self.name = name
    # 线程要运行的代码
    def run(self):
        print("我是线程%s" % self.name)
        time.sleep(2)
        print("线程%s运行结束" % self.name)
t1 = MyThreading(1)
t2 = MyThreading(2)
start_time = time.time()
t1.setDaemon(True)
t1.start()
t2.setDaemon(True)
t2.start()
end_time = time.time()
print("两个线程一共的运行时间为：", end_time-start_time)
print("主线程结束")

# join:线程同步
import threading
import time
class MyThreading(threading.Thread):
    def __init__(self, name):
        super(MyThreading, self).__init__()
        self.name = name
    # 线程要运行的代码
    def run(self):
        print("我是线程%s" % self.name)
        time.sleep(3)
        print("线程%s运行结束" % self.name)
threading_list = []
start_time = time.time()
for x in range(50):
    t = MyThreading(x)
    t.start()
    threading_list.append(t)
for x in threading_list:
    x.join()    # 为线程开启同步
end_time = time.time()
print("50个线程一共的运行时间为：", end_time-start_time)
print("主线程结束")

# -*- coding:utf8  -*-
import threading
import time
num = 100
threading_list = []
def fun():
    global num
    print("get num:", num)
    num += 1
    time.sleep(1)
for x in range(200):
    t = threading.Thread(target=fun)
    t.start()
    threading_list.append(t)
for x in threading_list:
    x.join()
print("nun:", num)

import random
import threading
import time
num = 100
threading_list = []
def fun():
    global num
    time.sleep(random.random())
    lock.acquire() # 加锁
    print("get num:", num, threading.current_thread())
    num += 1
    lock.release()  # 释放锁
# 实例化锁对象
lock = threading.Lock()
for x in range(200):
    t = threading.Thread(target=fun)
    t.start()
    threading_list.append(t)
for x in threading_list:
    x.join()
print("num:", num)

import threading, time
def run1():
    lock.acquire()
    print("grab the first part data")
    global num
    num += 1
    lock.release()
    return num
def run2():
    lock.acquire()
    print("grab the second part data")
    global num2
    num2 += 1
    lock.release()
    return num2
def run3():
    lock.acquire()
    res = run1()
    print('--------between run1 and run2-----')
    res2 = run2()
    lock.release()
    print(res, res2)
if __name__ == '__main__':
    num, num2 = 0, 0
    lock = threading.RLock()
    for i in range(3):
        t = threading.Thread(target=run3)
        t.start()
while threading.active_count() != 1:
    print(threading.active_count())
else:
    print('----all threads done---')
    print(num, num2)

import threading
data_list = []
lock_object = threading.RLock()
def task():
    print("开始")
    for i in range(1000000):
        data_list.append(i)
    print(len(data_list))
for i in range(2):
    t = threading.Thread(target=task)
    t.start()

# -*- coding:GBK -*-
import threading
import time

sum_1 = 0
def run(i):
    global sum_1
    time.sleep(1)
    # lock.acquire()
    semaphore.acquire()
    sum_1 += 1
    print("线程%s来了,并修改了sum_1的值为：%s" % (i, sum_1))
    semaphore.release()
    # lock.release()

# lock = threading.Lock()
semaphore = threading.BoundedSemaphore(5)

for x in range(10):
    t = threading.Thread(target=run, args=(x,))
    t.start()

while threading.active_count() != 1:
    pass

print("程序结束")

# -*- coding:utf-8 -*-
import threading
import time
def light():
    count = 1
    event.set()  # 设置标志位 True
    while True:
        if count <= 10:
            print("现在是绿灯")
            time.sleep(1)
        elif count <= 15:
            print("现在是红灯")
            event.clear()   # 清空标志位(将标志位改为false)
            time.sleep(1)
        else:
            count = 0
            event.set()
        count += 1
def car(name):
    while True:
        if event.is_set():
            print("----------%s在起飞-------------" % name)
            time.sleep(1)
        else:
            print("---------%s在等红灯---------------" % name)
            event.wait()   # 等待标志位被设置位True程序才继续往下运行
event = threading.Event()
light_1 = threading.Thread(target=light)
light_1.start()
for x in range(5):
    car_1 = threading.Thread(target=car, args=("马自达"+str(x),))
    car_1.start()

queue.Queue(maxsize=0)
#队列：先进先出  maxsize:设置队列的大小
queue.LifoQueue(maxsize=0)
##last in fisrt out  maxsize:设置队列的大小
queue.PriorityQueue(maxsize=0)
#存储数据时可设置优先级的队列,按优先级顺序（最低的先）  maxsize:设置队列的大小  

import queue
# 实例化队列对象
q = queue.Queue(3)
print(q.qsize())    # 获取队列内数据的长度
print(q.empty())    # 如果队列是空的，返回True，否则返回False（不可靠！）
print(q.full())     # 如果队列已满，返回True，否则返回False（不可靠！）。
"""
Queue.put(item, block=True, timeout=None)
可以简写：Queue.put(item, True, 5)
将项目放入队列。
如果可选的args block为true(默认值)，并且timeout为None（默认值），必要时进行阻塞，直到有空闲的槽。
如果timeout是一个正数，它最多阻断timeout秒，如果在这段时间内没有空闲槽，则引发Full异常。
否则（block为false），如果有空闲的槽立即可用，就在队列上放一个项目，否则就引发Full异常（在这种情况下忽略超时）。
"""
q.put(1)            # 数据“1”进入队列
q.put("nihao")      # 数据"nihao"进入队列
q.put("456ni", block=True, timeout=5)
'''
将一个项目放入队列中，不进行阻断。
只有在有空闲位置的情况下才排队。
否则会引发Full异常。
'''
# q.put_nowait(123)

'''
Queue.get(block=True, timeout=None)
可以简写：Queue.get(True, 3)
从队列中删除并返回一个项目。
如果可选的args'block'为True(默认)，'timeout'为无（默认）。
    就会在必要时阻塞，直到有一个项目可用。
    如果'timeout'是非负数，它最多阻断'timeout'秒，如果在这段时间内没有项目可用，则引发Empty异常。
否则（'block'为False），如果有一个项目立即可用，则返回一个项目。
    否则引发Empty异常（'timeout'被忽略了在这种情况下）。
'''
print(q.get())
print(q.get())
print(q.get())
print(q.get(block=True, timeout=2))
'''
从队列中移除并返回一个项目，而不阻塞。
只有当一个项目立即可用时，才会得到一个项目。
否则引发Empty异常。
'''
# print(q.get_nowait())

# 生产者/消费者
import threading
import queue
import time
# 生产者
def producer(name):
    count = 1
    while True:
        p.put("{}骨头{}".format(name, count))
        print("骨头{}被{}生产".format(count, name).center(60, "*"))
        count += 1
        time.sleep(0.1)
# 消费者
def consumer(name):
    while True:
        print("{}被{}吃掉了".format(p.get(), name))
# 实例化队列对象
p = queue.Queue(10)
# 创建生产者线程
producer_threading1 = threading.Thread(target=producer, args=("飞某人",))
producer_threading2 = threading.Thread(target=producer, args=("Alex",))
# 创建消费者线程
consumer_threading1 = threading.Thread(target=consumer, args=("张三",))
consumer_threading2 = threading.Thread(target=consumer, args=("李四",))
producer_threading1.start()
producer_threading2.start()
consumer_threading1.start()
consumer_threading2.start()

import threading
def task(video_url):
    pass
url_list = ["www.xxxx-{}.com".format(i) for i in range(30000)]
for url in url_list:
    t = threading.Thread(target=task, args=(url,))
    t.start()
# 这种每次都创建一个线程去操作，创建任务的太多，线程就会特别多，可能效率反倒降低了。

import time
from concurrent.futures import ThreadPoolExecutor  # 并行期货，线程池执行者
"""
pool = ThreadPoolExecutor(100)
pool.submit(函数名,参数1，参数2，参数...)
"""
def task(video_url, num):
    print("开始执行任务", video_url, num)     # 开始执行任务 www.xxxx-299.com 3
    time.sleep(1)
# 创建线程池，最多维护10个线程
threadpool = ThreadPoolExecutor(10)
# 生成300网址，并放入列表
url_list = ["www.xxxx-{}.com".format(i) for i in range(300)]
for url in url_list:
    """
    在线程池中提交一个任务，线程池如果有空闲线程，则分配一个线程去执行，执行完毕后在将线程交还给线程池，
    如果没有空闲线程，则等待。注意在等待时，与主线程无关，主线程依然在继续执行。
    """
    threadpool.submit(task, url, 3)
print("等待线程池中的任务执行完毕中······")
threadpool.shutdown(True)   # 等待线程池中的任务执行完毕后，在继续执行
print("END")

"""线程池的回调"""
import time
import random
from concurrent.futures import ThreadPoolExecutor
def task(video_url):
    print("开始执行任务", video_url)
    time.sleep(1)
    return random.randint(0, 10)    # 将结果封装成一个Futuer对象，返回给线程池
def done(response):     # response就是futuer对象，也就是task的返回值分装的一个Futuer对象
    print("任务执行完后，回调的函数", response.result())    # 即Futuer.result()：取出task的返回值
# 创建线程池
threadpool = ThreadPoolExecutor(10)
url_list = ["www.xxxx-{}.com".format(i) for i in range(5)]
for url in url_list:
    futuer = threadpool.submit(task, url)    # futuer是由task返回的一个Future对象，里面有记录task的返回值
    futuer.add_done_callback(done)           # 回调done函数，执行者依然是子线程
# 优点：可以做分工，例如：task专门下载，done专门将下载的数据写入本地文件。