• 周四. 4月 25th, 2024

5G编程聚合网

5G时代下一个聚合的编程学习网

热门标签

python模拟发送、消费kafka消息

admin

11月 28, 2021

参考文章: https://zhuanlan.zhihu.com/p/279784873

生产者代码:

import traceback

from kafka import KafkaProducer,KafkaConsumer
from faker import Faker

fake=Faker()
# 生产者
kafka_topic = "test_kafka_demo"
kafka_bootstrap_servers = ['xx:9092','xx:9092','xxx:9092']
# 消费者
kafka_topic_group = "test-group-zeze" #消费者群组
def producer(num:int):
    producer = KafkaProducer(bootstrap_servers=kafka_bootstrap_servers)
    phones = [fake.name()+"-"+str(i) for i in range(num)]
    for p in phones:
        msg = bytes(p, encoding='utf-8')
        # print("生成消息",msg)

      #同一个key的消息会被自动分配到同一个分区 future=producer.send(kafka_topic, key=b"test",value=msg)
      #加了监听事件是否成功发送后,执行速度很慢,所以这里去掉了
# try: # future.get(timeout=2) # except Exception as e: # traceback.print_stack() print("成功生产{}条消息".format(num)) producer.close()

消费者代码:

from kafka import KafkaConsumer


# 生产者
kafka_topic = "test_kafka_demo"
kafka_bootstrap_servers = ['xx:9092','xx:9092','xx:9092'] #xx为对应的ip地址
# 消费者
kafka_topic_group = "test-group-zeze" #消费者群组


def consumer():
    consumer = KafkaConsumer(kafka_topic,group_id=kafka_topic_group,bootstrap_servers=kafka_bootstrap_servers)

    for message in consumer:
        print ("开始消费:","%s:%d:%d: key=%s value=%s" % (message.topic, message.partition,
                                              message.offset, message.key,
                                              message.value))

    # consumer.close()

亲测单机生产10w消息耗时20秒内,单线程

消费者没记录耗时,但是也非常快,kafka性能确实牛 

脑子不够用当然只能脚踏实地的做事情!

《python模拟发送、消费kafka消息》有3,131个想法
  1. Oh my goodness! an amazing article dude. Thank you Nonetheless I’m experiencing issue with ur rss . Don抰 know why Unable to subscribe to it. Is there anybody getting equivalent rss drawback? Anyone who is aware of kindly respond. Thnkx

  2. Good post. I be taught something tougher on completely different blogs everyday. It can all the time be stimulating to read content material from different writers and apply somewhat something from their store. I抎 prefer to use some with the content on my blog whether or not you don抰 mind. Natually I抣l offer you a link in your net blog. Thanks for sharing.

  3. Разрешение на строительство — это административный акт, выписываемый авторизованными инстанциями государственного аппарата или местного руководства, который допускает начать строительство или исполнение строительных операций.
    Получение рнс в строительстве задает юридические основания и нормы к стройке, включая приемлемые виды работ, дозволенные материалы и подходы, а также включает строительные стандарты и пакеты безопасности. Получение разрешения на строительную деятельность является необходимым документов для строительной сферы.

  4. Can I simply say what a reduction to seek out somebody who really is aware of what theyre speaking about on the internet. You positively know how to carry a difficulty to light and make it important. More people have to learn this and understand this aspect of the story. I cant consider youre no more popular because you undoubtedly have the gift.

  5. I抎 should check with you here. Which isn’t one thing I normally do! I enjoy reading a publish that may make individuals think. Additionally, thanks for allowing me to remark!

  6. This is the proper weblog for anyone who wants to seek out out about this topic. You notice a lot its nearly laborious to argue with you (not that I really would need匟aHa). You definitely put a brand new spin on a topic thats been written about for years. Great stuff, simply nice!

  7. Good post. I be taught something more difficult on completely different blogs everyday. It’ll always be stimulating to read content material from other writers and practice a little bit one thing from their store. I抎 favor to make use of some with the content on my weblog whether you don抰 mind. Natually I抣l provide you with a link in your net blog. Thanks for sharing.

  8. Nice post. I be taught one thing more difficult on completely different blogs everyday. It will always be stimulating to learn content material from different writers and observe a little bit one thing from their store. I抎 desire to use some with the content on my blog whether or not you don抰 mind. Natually I抣l provide you with a hyperlink in your net blog. Thanks for sharing.

  9. Быстромонтируемые здания – это актуальные здания, которые отличаются большой скоростью установки и гибкостью. Они представляют собой конструкции, образующиеся из эскизно изготовленных элементов или блоков, которые могут быть скоро установлены в месте строительства.
    Быстровозводимые здания и сооружения отличаются податливостью а также адаптируемостью, что позволяет просто изменять а также трансформировать их в соответствии с запросами покупателя. Это экономически эффективное и экологически устойчивое решение, которое в последние годы приняло маштабное распространение.

  10. After examine a few of the weblog posts on your web site now, and I truly like your way of blogging. I bookmarked it to my bookmark web site checklist and might be checking back soon. Pls try my website as nicely and let me know what you think.

  11. I and my pals appeared to be reading through the best hints located on the website while then developed a horrible feeling I never thanked the blog owner for them. Most of the young men are actually as a consequence thrilled to read through all of them and now have in fact been using these things. I appreciate you for turning out to be really considerate and also for deciding upon certain cool information most people are really needing to understand about. My personal honest regret for not expressing appreciation to sooner.

  12. I found your blog site on google and examine just a few of your early posts. Continue to maintain up the very good operate. I just additional up your RSS feed to my MSN News Reader. In search of ahead to studying more from you later on!?

  13. After study a couple of of the weblog posts in your website now, and I truly like your method of blogging. I bookmarked it to my bookmark website record and might be checking again soon. Pls try my website online as well and let me know what you think.

  14. Nice post. I learn something more difficult on totally different blogs everyday. It is going to at all times be stimulating to read content material from different writers and observe a bit of one thing from their store. I抎 prefer to make use of some with the content material on my blog whether or not you don抰 mind. Natually I抣l give you a link on your net blog. Thanks for sharing.

  15. Oh my goodness! an incredible article dude. Thanks Nevertheless I am experiencing situation with ur rss . Don抰 know why Unable to subscribe to it. Is there anyone getting similar rss problem? Anybody who is aware of kindly respond. Thnkx

  16. Can I simply say what a reduction to search out somebody who actually knows what theyre talking about on the internet. You definitely know how one can deliver a difficulty to mild and make it important. Extra folks need to read this and understand this facet of the story. I cant imagine youre no more popular because you positively have the gift.

  17. This website online is mostly a walk-through for the entire information you wished about this and didn抰 know who to ask. Glimpse right here, and also you抣l positively uncover it.

  18. Nice post. I study something more challenging on completely different blogs everyday. It is going to all the time be stimulating to read content from different writers and practice slightly one thing from their store. I抎 prefer to use some with the content material on my blog whether or not you don抰 mind. Natually I抣l provide you with a hyperlink on your internet blog. Thanks for sharing.

  19. You made some first rate points there. I seemed on the web for the problem and located most people will associate with with your website.

  20. Быстровозводимые здания – это прогрессивные системы, которые различаются громадной быстротой строительства и мобильностью. Они представляют собой постройки, состоящие из эскизно сделанных составляющих либо компонентов, которые имеют возможность быть скоро собраны на пункте стройки.
    Быстровозводимые здания и сооружения владеют податливостью также адаптируемостью, что разрешает легко преобразовывать и трансформировать их в соответствии с пожеланиями клиента. Это экономически эффективное а также экологически надежное решение, которое в крайние годы получило обширное распространение.

  21. Youre so cool! I dont suppose Ive read anything like this before. So good to find anyone with some authentic thoughts on this subject. realy thank you for beginning this up. this web site is something that’s needed on the net, someone with just a little originality. useful job for bringing one thing new to the internet!

  22. I in addition to my buddies ended up studying the great tips found on your web page and then all of a sudden I got a terrible feeling I never thanked the blog owner for them. All the young men ended up so excited to read them and have in effect actually been having fun with those things. Thank you for indeed being really accommodating and then for deciding on this kind of awesome issues most people are really eager to understand about. My very own honest apologies for not expressing gratitude to you earlier.

  23. That is the appropriate weblog for anybody who wants to seek out out about this topic. You realize a lot its virtually arduous to argue with you (not that I actually would want匟aHa). You positively put a new spin on a subject thats been written about for years. Great stuff, simply great!

  24. There are certainly a lot of details like that to take into consideration. That is a nice level to bring up. I provide the ideas above as basic inspiration but clearly there are questions just like the one you carry up where the most important thing will be working in honest good faith. I don?t know if greatest practices have emerged round things like that, however I am certain that your job is clearly identified as a good game. Each boys and girls really feel the affect of only a moment抯 pleasure, for the rest of their lives.

  25. The following time I read a blog, I hope that it doesnt disappoint me as much as this one. I mean, I know it was my option to read, however I really thought youd have one thing interesting to say. All I hear is a bunch of whining about one thing that you can repair should you werent too busy looking for attention.

  26. Spot on with this write-up, I truly assume this web site needs rather more consideration. I抣l probably be again to read much more, thanks for that info.

  27. After examine a few of the blog posts on your website now, and I actually like your method of blogging. I bookmarked it to my bookmark web site record and will be checking again soon. Pls try my web site as properly and let me know what you think.

  28. The subsequent time I learn a weblog, I hope that it doesnt disappoint me as a lot as this one. I mean, I do know it was my choice to read, however I really thought youd have something interesting to say. All I hear is a bunch of whining about something that you could fix if you werent too busy searching for attention.

  29. I抎 have to examine with you here. Which isn’t one thing I often do! I get pleasure from studying a submit that will make folks think. Also, thanks for allowing me to comment!

  30. Spot on with this write-up, I really assume this website needs much more consideration. I抣l probably be again to learn far more, thanks for that info.

  31. Thank you for your whole work on this site. My mom really loves working on investigation and it’s easy to see why. Most people hear all concerning the powerful tactic you produce valuable guidelines through this blog and even strongly encourage response from some others on that theme so our favorite princess is truly studying a lot of things. Enjoy the rest of the new year. You’re the one conducting a superb job.

  32. Can I just say what a aid to seek out someone who actually is aware of what theyre speaking about on the internet. You positively know tips on how to carry a difficulty to light and make it important. Extra folks have to read this and perceive this facet of the story. I cant consider youre not more in style because you undoubtedly have the gift.

  33. Скоростроительные здания: экономический доход в каждой детали!
    В современной действительности, где моменты – финансы, строения быстрого монтажа стали настоящим спасением для предпринимательства. Эти современные конструкции комбинируют в себе твердость, финансовую выгоду и ускоренную установку, что дает им возможность превосходным выбором для разнообразных коммерческих задач.
    [url=https://bystrovozvodimye-zdanija-moskva.ru/]Быстровозводимые здания[/url]
    1. Быстрота монтажа: Моменты – наиважнейший аспект в предпринимательстве, и скоростроительные конструкции позволяют существенно сократить время монтажа. Это преимущественно важно в условиях, когда срочно нужно начать бизнес и начать монетизацию.
    2. Экономия: За счет улучшения процессов изготовления элементов и сборки на объекте, расходы на скоростройки часто оказывается ниже, по сопоставлению с традиционными строительными задачами. Это позволяет получить большую финансовую выгоду и добиться более высокой доходности инвестиций.
    Подробнее на [url=https://xn--73-6kchjy.xn--p1ai/]scholding.ru[/url]
    В заключение, моментальные сооружения – это отличное решение для коммерческих инициатив. Они обладают молниеносную установку, финансовую выгоду и надежные характеристики, что обуславливает их первоклассным вариантом для деловых лиц, желающих быстро начать вести бизнес и получать доход. Не упустите возможность сократить издержки и сэкономить время, превосходные экспресс-конструкции для вашей будущей задачи!

  34. There are some fascinating points in time in this article but I don抰 know if I see all of them middle to heart. There’s some validity but I will take hold opinion until I look into it further. Good article , thanks and we want extra! Added to FeedBurner as well

  35. I抎 have to examine with you here. Which isn’t one thing I often do! I get pleasure from studying a publish that will make people think. Additionally, thanks for allowing me to remark!

  36. There are some fascinating points in time on this article however I don抰 know if I see all of them center to heart. There’s some validity however I will take maintain opinion till I look into it further. Good article , thanks and we would like more! Added to FeedBurner as well

  37. I want to show thanks to this writer for rescuing me from this challenge. After looking through the the web and coming across methods which were not helpful, I thought my life was over. Living minus the solutions to the difficulties you have solved through your main website is a serious case, as well as those which could have in a negative way affected my career if I hadn’t come across your blog. Your actual understanding and kindness in touching the whole lot was very useful. I am not sure what I would have done if I had not come across such a step like this. It’s possible to at this point relish my future. Thanks a lot so much for the reliable and effective guide. I won’t think twice to recommend your site to any individual who desires counselling about this situation.

  38. This website online can be a walk-by for all of the info you wished about this and didn抰 know who to ask. Glimpse right here, and also you抣l definitely uncover it.

  39. I抎 must examine with you here. Which isn’t something I normally do! I take pleasure in reading a post that can make people think. Additionally, thanks for permitting me to comment!

  40. Психическое здоровье включает в себя наше эмоциональное, психологическое и социальное благополучие. Это влияет на то, как мы думаем, чувствуем и действуем. Оно также помогает определить, как мы справляемся со стрессом, относимся к другим и делаем здоровый выбор.
    Психическое здоровье важно на каждом этапе жизни: с детства и подросткового возраста до взрослой жизни.ние) — специалист, занимающийся изучением проявлений, способов и форм организации психических явлений личности в различных областях человеческой деятельности для решения научно-исследовательских и прикладных задач, а также с целью оказания психологической помощи, поддержки и сопровождения.

  41. Психическое здоровье включает в себя наше эмоциональное, психологическое и социальное благополучие. Это влияет на то, как мы думаем, чувствуем и действуем. Оно также помогает определить, как мы справляемся со стрессом, относимся к другим и делаем здоровый выбор.
    Психическое здоровье важно на каждом этапе жизни: с детства и подросткового возраста до взрослой жизни.ние) — специалист, занимающийся изучением проявлений, способов и форм организации психических явлений личности в различных областях человеческой деятельности для решения научно-исследовательских и прикладных задач, а также с целью оказания психологической помощи, поддержки и сопровождения.

  42. Холоп смотреть онлайн бесплатно в хорошем качестве. Фильм холоп смотреть онлайн. Холоп фильм 2024 смотреть онлайн. Холоп фильм 2024 смотреть онлайн бесплатно в хорошем качестве. Холоп 2 когда выйдет. Фильм холоп смотреть онлайн бесплатно в хорошем качестве. Холопы. Актеры фильма холоп. Фильм холоп 2 смотреть онлайн бесплатно в хорошем качестве.

  43. Стили руководства и лидерства. Алекс фергюсон уроки лидерства купить. Статья про лидерство. План политическое лидерство. Политическое лидерство. Особенности оперативного маневрирования в лидерстве. Личностная теория лидерства. Атрибутивное лидерство.

  44. Смотреть фильмы онлайн в хорошем качестве. Фильмы HD онлайн в хорошем качестве бесплатно. Смотреть онлайн фильмы в хорошем качестве hd 720 1080. Официальный сайт! Смотреть фильмы и сериалы. Фильмы, мультфильмы, сериалы в 4k Ultra HD качестве смотреть. Смотреть кино фильмы онлайн бесплатно, фильмы 2024. Смотреть фильмы онлайн бесплатно в хорошем HD качестве. Бесплатные фильмы смотреть онлайн подборку. Список лучшего.

  45. Аренда VPS и VDS сервера – Dedicated Server
    – Более 15 000 сервер уже РІ работе
    – Отлично РїРѕРґС…РѕРґРёС‚ РїРѕРґ CapMonster
    – Автоматическая установка Windows – бесплатно
    – Дата-центр РІ РњРѕСЃРєРІРµ Рё Амстердаме
    – Отлично РїРѕРґС…РѕРґРёС‚ РїРѕРґ A-Parser
    – Мгновенное развёртывание сервера РІ несколько кликов – бесплатно
    – Отлично РїРѕРґС…РѕРґРёС‚ РїРѕРґ GSA Search Engine Ranker
    – Почасовая оплата
    – Круглосуточная техническая поддержка – бесплатно
    – Супер (аптайм, скорость, РїРёРЅРі, нагрузка)
    – FASTPANEL Рё HestiaCP – бесплатно
    – Windows – 2022, 2019, 2016, 2012 R2
    – Отлично РїРѕРґС…РѕРґРёС‚ РїРѕРґ Xneolinks
    – Быстрые серверы СЃ NVMe.
    – Для сервера сеть РЅР° скорости 1 Гбит!
    – Отлично РїРѕРґС…РѕРґРёС‚ РїРѕРґ XRumer + XEvil
    – Скорость порта подключения Рє сети интернет — 1000 РњР±РёС‚/сек
    – Outline VPN, WireGuard VPN, IPsec VPN.
    – Ubuntu, Debian, CentOS, Oracle 9 – бесплатно
    – Управляйте серверами РЅР° лету.
    – Windows – 2012 R2, 2016, 2019, 2022 – бесплатно
    – Возможность арендовать сервер РЅР° 1 час или 1 сутки

  46. Хостинг Windows VDS / VPS серверов
    – Отлично подходит под XRumer + XEvil
    – Отлично подходит под Xneolinks
    – Отлично подходит под GSA Search Engine Ranker
    – FASTPANEL и HestiaCP – бесплатно
    – Отлично подходит под A-Parser
    – Автоматическая установка Windows – бесплатно
    – Скорость порта подключения к сети интернет — 1000 Мбит/сек
    – Управляйте серверами на лету.
    – Круглосуточная техническая поддержка – бесплатно
    – Ubuntu, Debian, CentOS, Oracle 9 – бесплатно
    – Супер (аптайм, скорость, пинг, нагрузка)
    – Быстрые серверы с NVMe.
    – Отлично подходит под CapMonster
    – Windows – 2022, 2019, 2016, 2012 R2
    – Outline VPN, WireGuard VPN, IPsec VPN.
    – Мгновенное развёртывание сервера в несколько кликов – бесплатно
    – Более 15 000 сервер уже в работе
    – Почасовая оплата
    – Дата-центр в Москве и Амстердаме
    – Для сервера сеть на скорости 1 Гбит!
    – Windows – 2012 R2, 2016, 2019, 2022 – бесплатно
    – Возможность арендовать сервер на 1 час или 1 сутки