Just  35  years  ago,  severe  anemia  was  pervasive  in  the  hemodialysis  population,  where  blood transfusions were commonly administered to alleviate the most extreme cases of anemia. The postulation and subsequent discovery of erythropoietin and identification of its gene, heralded a new era of treatments for CKD anemia. Recombinant erythropoietin alfa (epoetin alfa) came to the U.S. and other markets based  on  a  pivotal  single‐arm  trial  that  did  not  have  a  comparison (placebo) group. While it was evident that the rather effective treatment of anemia led to a swift reduction  in  transfusions  relative  to  the  rate  observed  prior  to  epoetin  alfa  initiation,  other benefits such as patient reported outcomes could not be demonstrated convincingly.   Further, demonstrating the postulated cardiovascular and mortality benefits required a different trial  design.  Subsequently,  several  trials  comparing  higher  to  relatively  lower  hematocrit  or hemoglobin targets were conducted: the Normal Hematocrit Trial in maintenance hemodialysis patients, as well as the CREATE and CHOIR trials in patients with moderate to advanced chronic kidney disease and anemia. These experiments were executed using superiority trial designs to test for differences in the rates of all‐cause mortality and non‐fatal cardiovascular events. None of  these  trials  was  able  to  corroborate  the  alternative  hypothesis  of  improved  mortality  and cardiovascular risk with more aggressive anemia treatment targets, with the Normal Hematocrit Trial being stopped early for futility and the CHOIR trial for safety.   Finally,  the  TREAT  trial,  which  used  a  placebo‐controlled  superiority  design  in  patients  with diabetes, moderate to advanced CKD, and anemia did not only fail to demonstrate superiority of darbepoetin alfa over placebo with rescue erythropoiesis‐stimulating agent (ESA) regarding the composite  of  mortality  and  nonfatal  cardiovascular  events  but  found  a  significant  doubling  of ischemic stroke in the darbepoetin group. In aggregate, these findings not only led to substantial changes in the FDA‐approved labels of ESAs, but it also appears to have  altered the burden of evidence  required  for  approval  of  new  therapies  for  CKD  anemia.  All  subsequent  non‐iron investigational  new  drugs  for  the  treatment  of  CKD  anemia  were  subjected  to  non‐inferiority trials compared with ESA or, in one specific case, against placebo.   While non‐inferiority trials are increasingly common, their interpretation  is  more  challenging. Understanding their limitations and biases is key to drawing appropriate conclusions. This lecture will  explain  key  differences  between  superiority  and  non‐inferiority  trials  and  explore  how violations of certain key assumptions in design and analysis may induce biases that lead to false positive  results,  corresponding  to  overly  optimistic  adoption  of  non‐inferiority.  Recent  trials  of novel treatments for CKD‐anemia are suitable vehicles to explore  and  explain  the  strengths, limitations, and fallacies of non‐inferiority designs.