Tag : GenAI

The rapid rise of generative AI, especially following the launch of OpenAI’s ChatGPT nearly two years ago, has sparked growing concerns about the energy demands of large language models (LLMs). For this reason, I am reaching out with our latest piece of research, revealing just how much electricity ChatGPT consumes to answer user queries alone. AI’s appetite for electricity continues to grow, it is putting pressure on power grids, raising carbon emissions, and exacerbating environmental issues. A single ChatGPT query is said to use 2.9 watt-hours, about ten times the energy required for a typical Google search, which uses just 0.3 watt-hours. To put this into perspective, the team at BestBrokers calculated the total electric power consumption of OpenAI’s chatbot when responding to prompts over the course of a year. They also looked at what that would cost at the average U.S. commercial electricity rate of $0.131 per kWh as of June 2024. After running the numbers, it turned out ChatGPT consumes approximately 226.82 million kilowatt-hours annually, solely for answering questions. At the average U.S. commercial electricity rate of $0.131 per kWh as of June 2024, this translates to energy costs of $29.71 million. Key takeaways from the report: ChatGPT uses around 0.0029 kWh per query. With 100 million active weekly users asking an average of 15 questions each week, it ends up consuming about 226.82 million kWh annually. At the average U.S. commercial electricity rate as of June 2024, that adds up to a whopping $29.71 million in energy costs. On a daily basis, this translates to more than 214 million daily requests, consuming over half a million kilowatt-hours of energy. This figure is more than 21,602 times the daily power usage of an average U.S. household, which consumes around 29 kWh per day. For further context, the energy ChatGPT consumes in a year could fully charge about 3.13 million electric vehicles, each with an average battery capacity of 72.4 kWh. That is almost 95% of all electric cars on U.S. roads at the end of 2023. The annual energy ChatGPT uses to generate response could also power 21,602 U.S. homes for a year, based on the average yearly household consumption of 10,500 kWh. It’s also equivalent to streaming video for 137,728 hours...